Neural Network
February 16, 2020
Table of Contents
The server’s previous technical issues have caused the loss of images and data.
基础的神经单元
| 参数 | 功能 |
|---|---|
| $x_i$ | 输入的n维度的向量 |
| $w_i$ | 加权的系数 |
| $b$ | 偏置 |
| $z$ | $\Sigma_{i=1}^{n} w_ix_i+b$ 的值 |
| $h(z)$ | 经过激活函数得到的一个范围在0-1之间的数 |
| $a$ | 作为输入向量x传给下一个神经元 |
思想：用无限多的神经元节点来模拟任何函数
神经网络的训练过程
目的
训练出对于每个神经元节点最佳的$w$和$b$
BP 算法
求出参数$b$和$w$的导数，当倒数为0时，loss function值最小，与期望值越接近
神经网络分类
卷积神经网络
通常用于图像识别
步骤
以一个固定的大小在图像上滑动，卷积操作
能够提取照片中的特征，能够避免需要识别的物体位置的不同而导致的差异
输入神经网络中学习
循环神经网络 RNN
网络的输入不仅包括当前输入的x，还包括当前的记忆
适用于语言处理等信息前后关联的模型
- 时间顺序下，第一个词arrive输入后得到的输出a会作为输入和Taipei一起输入到第二个神经元当中，不断往后，相当于每一个神经元的输出都要考虑之前的输入，当然，输入的越早产生的影响就会越小
改进版： LSTM 长短时记忆
输入变成了四个，输出变成了两个
h’y’j’n除了原有的输出外，加入了本次记忆的信息输出