目录
1 神经元
2 MP模型
3 激活函数
3.1 激活函数
3.2 激活函数作用
3.3 激活函数有多种
4、神经网络模型
5、神经网络应用
6、存在的标题及办理方案
6.1 存在标题
6.2 办理方案-反向流传
1 神经元
神经元是主要由树突、轴突、突出构成，树突是从上面吸收很多信号，颠末轴突处理后转达给突触，突触会进行选择性向下一级的树突转达信号。突触输出的信号只有两种大概，要么输出，要么不输出，即只有0和1两种环境。
在生物神经网络中，每个神经元与其他神经元相连，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位凌驾了一个“阈值”，那么它就会被激活，即“兴奋”起来，向其他神经元发送化学物质。
下图错误请忽略（留作自用）
2 MP模型
每个神经网络单元抽象出来的数学MP模型如下，也叫感知器，它吸收多个输入（x1，x2，x3...），产生一个输出 即 y= W1X1+W2X2+W3X3+...+WnXn + b。
这就好比是神经末梢感受各种外部环境的变化（感知外部刺激），产生不同的电信号（也就是输入：x1，x2，x3...xn），这些强度不同(也就是参数w1,w2,w3...wn)的电信号汇聚到一起，会改变这些神经元内的电位，如果神经元的电位凌驾了一个“阈值”（参数 b），它就会被激活(激活函数)，即“兴奋”起来，向其他神经元发送化学物质。
MP模型：麦卡洛克一皮茨模型(McCulloch-Pitts model )简称，一种早期的神经元网络模型.
由美国神经生理学家麦卡洛克(McCulloch, W.)和数学家皮茨 < itts,W.)于1943年共同提出。设有n个神经元相互连结，每个神经元的状态Si (i=1，2，…，n)取值0或1，分别表现该神经元的抑制和兴奋，每个神经元的状态都受其他神经元的制约，B是第i个神经元的阂值，W是神经元i与神经元J 之间的连结强度。
MP模型过程：
- 每个神经元都是一个多输入端
- 如x1,x2,x3
- 每个输入都会乘以权重w1,w2,w3
- 再加一个阈值 b
- 末了我们会得到 y = w1x1 + w2x2 + w3x3 + b
- 终极我们得到一个值 y
- 得到这个值后是否会向卑鄙输出则取决于激活函数f(x)
- 向卑鄙输出的效果Oj的值要么是0，要么是1。
3 激活函数
3.1 激活函数
就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。
3.2 激活函数作用
如果不消激活函数：每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种环境就是最原始的感知机（Perceptron）。
如果使用激活函数：激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，如许神经网络就可以应用到众多的非线性模型中。
3.3 激活函数有多种
Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性子，Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间 。
Relu激活函数（The Rectified Linear Unit），用于隐层神经元输出。
Tanh是双曲函数中的一个，Tanh()为双曲正切。在数学中，双曲正切“Tanh”是由根本双曲函数双曲正弦和双曲余弦推导而来。
4、神经网络模型
单个的感知器(也叫单感知机)就构成了一个简朴的模型(MP模型)，但在现实天下中，现实的决定模型则要复杂得多，通常是由多个感知器构成的多层网络，如下图所示，这也是经典的神经网络模型（也叫多感知机，也叫人工神经网络），由输入层、隐含层、输出层构成。
人工神经网络可以映射任意复杂的非线性关系，具有很强的鲁棒性、记忆本事、自学习等本事，在分类、预测、模式识别等方面有着广泛的应用。
5、神经网络应用
神经网络怎样资助我们做一些事变呢？比方语音怎样识别？比方图片怎样识别？
其本质上都是可以转换为数字，将转换后的数字通过神经网络进行操纵。
比方下图，图像表现的是字母X，是一个单通道的5x5=25个像素的优劣图像（像素值只有0和255）。它代表的就是一堆数字（x1,x2,...,x25）=(0,255,255,0,....225,0)，这堆数字就是代字母表X。
我们就是通过练习，找到一堆参数，来判断它是不是一个字母X。
目前我们判断图片是不是x，只是通过一层的1个神经元（一个神经元MP模型）就可以判断。
固然，这个1层单个神经元必要的找到的参数是25个参数（W1,W2,W3,...,W25）。
如果是 彩色图像，就是3通道 5*5*3 个像素，1层单个神经元必要的找到的参数就是75个参数（W1,W2,W3,...,W75）。
以是，从本质上讲，无论什么图，本质上都是一堆数字，我们就是把这些数字输入到神经元中进行练习参数，直到找到一个误差最小的函数，这就是成功的练习。
但在现实天下中，现实的决定模型则要复杂得多，比方阅读文章、语音识别、图像识别等，仅仅用一层神经元很难达到效果。于是就必要使用多层神经元，就是多层神经网络模型。
起首先有一个输入，输入端连接第一隐层的每一个神经元，第一隐把这些数据输出后，选择向卑鄙输出到第二隐层，第二隐层输出效果输出到第三隐层。这就是所谓的多层神经网络。
每两层的神经网络连接都会有大量的参数，通过一定的算法，能让大量的参数调治到最优，使得末了的误差函数最小，如许就是一个成功的练习。
6、存在的标题及办理方案
6.1 存在标题
我上面可以说是使用一层单个神经元练习必要找到(单通道)25个或(3通道)75个参数，使用的是全连接方式 y=W1X1+W2X2+W3X3+...+W25X25+b 或y=W1X1+W2X2+W3X3+...+W25X75+b ，但全连接网络存储在最大标题就是太复杂。
比方 有 5x5 图片，有三层神经网路，每个神经网络层有25个神经元。
25个像素（x1,x2,...,x25）作为输入，
输入到第1层第1个神经元必要确定25个参数
输入到第1层第2个神经元必要确定25个参数
....
输入到第1层第25个神经元必要确定25个参数
因此（x1,x2,...,x25）输入到第1层25个神经元必要参数 25 *25 = 625
第1层25个神经元的输出效果又是新的输入（x1,x2,...,x25）
同理，（x1,x2,...,x25）输入到第2层25个神经元必要参数 25 *25 = 625
同理，（x1,x2,...,x25）输入到第3层25个神经元必要参数 25 *25 = 625
因此3层神经网络就必要 625 * 3 = 1875 个 参数必要调。
这照旧在 5x5 最简朴的图片神经网络才3层的环境下，如果图片是彩色的呢？如果图片是1个比力的图片(3000x1000)呢？如果是彩色大图且网络层数更多如10层呢？
此时的参数目就是 3000x1000 x 3000x1000 x 10 = 300000000000 。这时间识别起来就会更复杂，盘算也比力慢。
这也是前频频人工智能陷入低谷的原因。由于不管是算力照旧算法，都跟不上。
6.2 办理方案-反向流传
正由于存在上述标题，以是采用辛顿提出的反向流传算法，即BP算法。
BP算法在调解参数时间，不消向从前一样调参，可以先调末了一层，调完末了一层往前调，末了调到最前面一层。这种算法就叫反向流传。这种算法比从前算法复杂度要低得多。以是 反向流传算法 也引领了第三次人工直智能的海潮。
到这里初步有了对人工智能的粗浅的认识。
7 反向流传
见 人工智能反向流传
上一篇：人工智能发展史及最小二乘法和梯度下降法
下一篇：卷积神经网络
来源：https://blog.csdn.net/qq_41946216/article/details/131714541
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！ |
