Neural Network

神经网络基础

十个重要的单词：

1. neuron
2. threshold
3. connection
4. activation function
5. perceptron
6. hidden layer
7. feedforward nerural network
8. error 
9. BackPropagation
10. gradient descent

1. neuron

神经元。
源自生物学。
神经网络的拓扑结构。
类似数据结构当中的图。

2. threshold

阈值。
为了便于理解这种模型的结构。
在编程中往往没有特别的意义，蕴含到下面要提到的概念当中。

3. connection

权值。
可以理解为神经网络的重要性，越重要权越大。

4. activation function

**函数。
函数几乎是数学建模最重要的东西，神经元**的过程，大概类似某个函数的映射过程。
阶跃函数，sigmoid函数，典型。
这里是神经网络开始延展，发展的起点，不同的**函数，效果不同。

5. perceptron

1~4建立了基于神经元的网络基础。
那么最简单具有学习能力的就是感知机，两层神经元。
为什么说M-P没有学习功能呢？
因为权的意义几乎不存在。
学习的过程就是在于权值和阈值的变换。
刚才提到了，阈值本质就是偏置的权值而已。

6. hidden layer

感知机能做到线性可分。
那么如何解决非线性问题呢？
线性、非线性都是各种模型首要解决的事。
神经网络当中，增加隐层就可以逼近任意一个曲线，是已经被证明的事实。
所以，非线性问题对应的分类曲线可以通过增加隐层来实现。
这是神经网络技术的极大突破点。

7.feedforward nerural network

前馈神经网络。
就是网络是向前传递的，在拓扑结构上没有形成回路。
这是最简单的形式的结构，后面不会影响前面。
但是这样的方式也有不完美的地方。

8. error

误差。
这是用数学方式来描述一些数据的离散程度，可能是距离，也可能是其他的参照。
总之定义了某种程度上的误差，修正了这种误差就会带来，机器学习。

9. BackPropagation

误差逆反馈传播。
这是一种算法，为了实现多层网络的功能。
采取的数学模型不同，处理的方式也不一样。
这是一种经典的思考方式。误差累积—生成误差函数—函数值最小。
这个过程中需要调整权值，才能实现误差的缩小。

10. gradient descent

梯度。
这是数学上的概念，跟神经网络没有太大关系。
但是9的反馈形成的8需要某种策略来获得修正。
这就从数学的角度上找到了梯度下降的方法来迭代。
梯度是一个抽象的概念。
当然，具象的比喻有很多。
最浅显易懂的就是：最快下山的概念。

总结

神经网络的知识有很多。
之所以谈感知机，因为这是这个概念最简单的模型。
一生二，二生三，三生万物。
就像电子学中与或非的出现，就奠定了大多数的逻辑基础。
神经网络整个设计的过程就是：
具象——数学模型（灵感与强大的数学基础）——权值修正（我觉得这是神经元的灵魂)
基础的ELM的出现，其实并没有改变神经网络的拓扑结构。
只是从数学模型的角度，采用矩阵运算的角度来解决一些问题。
这是强大的数学基础做支撑才能做到的。

其他常见的神经网络

1. RBF 简单说就是采用了不一样的**函数，当然这样后面的策略都改变了。
2. ART、SOM、级联相关网络、Elman网络都是对神经网络拓扑结构的顶层设计。
3. Boltzman又是新的数学思路。（没有仔细看，可能不准确）
4. 深度学习