传送门

笔者在总结时跳过了第3，4，5节课。其中第3，4节课分别介绍了神经网络和反向传播，笔者假定读者有着基本的机器学习和神经网络相关的知识，所以掠过了这两章内容。其中第5节课介绍了语法结构，但是因为与笔者目前方向不一致，故略去。

本节为第6节课，介绍了Language Model并且以此为契机引入了RNN模型。

传送门

Word2Vec

Optimization

梯度下降，随机梯度下降。

实质上是无监督学习，每个batch的最小单位可以是一组word2word的映射，输入值是一个中心词，输出值是一个其对应的outside词，要学习是从中心词要其对于outside词的映射，训练结束后只需要过程中的隐藏层信息，即词向量。

More Detials of Word2Vec

• 一个词要两个向量的原因？
  • 为了更容易优化，但是一个也行
  • 事后可以对两个向量取平均值
• 两种变种模型
  • Skip Grams 即由中心词预测上下文（第一节课所述模型即SG）
  • Continunous Bag of Words 即由上下文推测中心词
    • Negative Sampling 负采样
    • 每个训练sample只有一个输出为1，剩下的都为0，所以只需要选取 个 0 输出点（即其对应的outside词向量）进行更新即可，如 $$J_{neg-sample}(o,v_c,U)=-\log(\sigma(u_o^Tv_c))-\sum_{k=1}^K\log(\sigma(-u_k^Tv_c))$$ 其中 表示sigmoid函数。这样就可以将一个多分类问题变成一个二分类问题来处理。

词向量

NLP 处理文本，所以在进行处理之前，要先解决文本的表示。文本由词组成，本文讨论了表示词汇的几种方案。

引言

组合博弈如今是信息学竞赛中十分重要的组成部分，因为一方面其天然与动态规划等算法思想契合，有着各种优美的性质；另一方面其形式多变，主要偏重于对思维的考察，对代码能力的要求相对较低，所以适合出成竞赛题。本文中，我们从组合博弈的原始形态：NIM博弈谈起，再谈到更一般的无向图上的组合博弈，并给出这类问题的一个通解。接下来我们引入NIM游戏和，NIM游戏积的概念，得到了单个游戏的组合情形，并利用SG定理给出相应的解法。最后，我们引入SG的一些变形形式，并分别对其提供解答。

1 引言

计算几何计算机科学的一个重要分支，因此在算法竞赛中也是常考的一类题，难度从签到题到防AK题不等。本文是作者对计算几何在算法竞赛中的解题学应用的一点心得，主要介绍计算几何专题内比较经典的思想，算法和个人对此的一点心得。本文从逻辑上分为三个部分，第一部分是阐释解决有关计算几何算法问题时的设计思想，第二部分从点，向量，圆，三角，简单多边形等计算几何中主要处理的二维图像的角度出发，用面向对象的思想介绍类成员函数和成员变量（但是出于程序实现的方便，在设计程序时依然以面向过程为主），主要采用的手段仍然以解析几何为主。最后介绍非解析方法的数值计算技巧，用以解决一类其他的问题。本文将围绕问题转化，分类讨论等算法设计中常用的思想对上述内容进行阐释。

问题引入

给定二维平面上三个不共线的点 , 求出他们形成的圆的圆心和半径。

问题引入

陌上花开1

若干个元素有三个属性，问多少对数对满足 $a_i\leq a_j , b_i\leq b_j , c_i\leq c_j$

读这篇文章的前置条件

1.了解函数，多项式等概念
2.了解复数以及其乘法运算
3.会写代码
因为在看其他fft的教程的时候复数读完就不知道在说啥了，读了好多篇又抄了std才大致了解，所以通俗的讲一下fft是啥，主要是确定一下概念，梳理一下思路。一些更基础的内容就不再赘述了，如果遇到不知道复数是什么之类的，那可以看一下其他的教程。

传送门：http://acm.hdu.edu.cn/showproblem.php?pid=1356

由题意，就是要解一个不定方程ax+by=d，要求（abs(x)+abs(y)）最小。