机器学习之多层感知机理论与实践
导读
这里我们将要了解什么是多层感知机神经网络,为什么它这么强大以及我们如何实现它。
我们将要介绍多层感知机神经网络以及反向传播算法,这是现今最流行的神经网络结构。
教学前提知识
读者要熟悉感知机神经网络(单个的)
读者有c/c++的基础知识
读者知道如何编译和运行程序
教学目标
读者将会了解到多层感知器神经网络
读者将会了解到反向传播算法
读者将会知道这个神经网络广泛应用在哪里
读者将通过一个数字识别的例子学习到以上的知识
这个神经网络在1986年与反向传播算法一起提出。直到那个时候,没有任何规则去训练多层的神经网络。多层感知机就如它的名字一样,很多个神经元,分成很多层。如图所示:
多层感知机
1,输入层(input layer),这一层是神经网络的输入。在这一层,有多少个输入就有多少个神经元。
2,一层或者多层隐藏层(hidden layers)。隐藏层在输入层和输出层之间,层数是可变的。隐藏层的功能就是把输入映射到输出。已经得到证明的是,一个只有一个隐藏层的多层感知器可以估算任何连接输入和输出的函数,如果这个函数存在的话。
3,输出层,这层的神经元的多少取决于我们要解决的问题。
多层感知器与简单的感知器有很多的不同。相同的是它们的权重都是随机的,所有的权重通常都是[-0.5,0.5]之间的随机数。除此之外,每个模式(pattern)输入到神经网络时,都会经过三个阶段。接下来让我们一个个详细地介绍。
阶段一:输出的计算
在这个阶段,我们计算神经网络的输出。在每一层,我们计算这一层每个神经元的触发值(firing value)(不同地方不同叫法,意思一样)。触发值通过计算连接这个神经元的前一层的所有神经元的值与相应的权重的乘积之和得到。有点拗口,看看代码吧
for(int i = 0; i < previousLayerNeurons; i ++) value[neuron,layer] += weight(i,neuron) * value[i,layer-1]; value[neuron,layer] = activationFunction(value[neuron,layer]);
从上面的伪代码我们可以看到激励函数(activation function)。激励函数是用来归一化每个神经元的输出的。这个函数在感知机的分析中经常出现。这个输出的计算在神经网络中一层层往前直到输出层得到一些输出值。这些输出值一开始的时候都是随机的,跟我们的目标值没有什么关系。但这里是反向传递算法的开始之处。
阶段二:反向传递
反向传递算法使用了delta规则。这个算法就是在算delta,这是从输出神经元开始往回直到输入层的每个神经元的局部梯度下降。要计算输出神经元的delta,我们首先要得到每个输出神经元的误差。这是很简单的,因为多层感知器是有监督的训练网络,所以误差就是神经网络的输出与实际输出的差别。
ej(n) = dj(n) – oj(n)
e(n)是误差向量,d(n)是实际输出(期望输出),o(n)是神经网络的输出。现在可以计算delta了,
deltaj(L)(n) = ej(L)(n) * f'(uj(L)(n)) ,这个式子是对于在输出层L的第j个神经元
f'(uj(L)(n))是输出层L的第j个神经元的值的求导所得的值。
deltaj(l)(n) = f'(uj(l)(n)) Σk(deltak(l+1)(n)*wkj(l+1)(n)) , 这个式子是对于隐藏层l的第j个神经元。
在求和符号里面的是下一层所有神经元的delta值以及相应的权重的乘积。
这一部分在delta规则中是很重要的,是反向传递算法的精髓。你可能会问为什么?因为中学数学老师教过我们,求导能得到一个函数随着它的输入的变化,这个函数变化了多少。通过反向传递求导的值,前面的神经元就会知道权重要变化多少以更好地让神经网络的输出符合实际的输出。这一切都要从神经网络的输出与实际输出的差别开始算起。是不是很神奇呢?
阶段三:权重的调整
在计算了所有神经元的delta之后,我们开始最后一个阶段的计算。这次,我们要根据以下式子调整权重:
wji(l)(n+1) = wji(l)(n) + α * [wji(l)(n) – wji(l)(n-1)] + η * deltaj(l)(n)yi(l-1)(n)
不要被这么多数学符号吓到,其实这很简单,这个式子说的是:
对于层l来说,新的权重是在现在的权重上加上两样东西。第一个是现在权重与之前的权重的差别乘以一个系数α。这个系数叫做势系数(momentum coefficient)。势系数通过往多层神经网络里面加入已经发生的权重变化起到加速训练的作用。这是把双刃剑,因为如果势系数设得太大,神经网络不会收敛,很有可能陷入局部最小值。
另一个加入的东西是层 l 的delta值乘以前一层 l-1 的神经元的输出,这个乘积还要乘以一个系数η,在前一个教学中我们已经学过这个系数叫学习步长。基本就是这样了!这就是多层感知器了。在统计分析中,神经网络是一个毋庸置疑的强有力的工具!
实例+代码
多层感知机有很多应用。统计分析学,模式识别,光学符号识别只是其中的一些应用。我们将给出一个很简单的例子。最后,MLP(多层感知机)能够分辨出一些单色位图并且告诉我们每幅图对应哪个数字,这些图片是一些8×8 像素的图片。当然图片的像素可以由用户自己定义,因为程序会自动读取位图的大小。下图是一个例子:
这些数字很丑,是不是?对于计算机来说分辨它们会很难吗?这些丑的地方可以视作噪声。MLP(多层感知器)真的很擅长分辨噪声和实际的数据。让我们看看代码吧:
class MLP { private: std::vector inputNeurons; std::vector> hiddenNeurons; std::vector outputNeurons; std::vector weights; FileReader* reader; int inputN,outputN,hiddenN,hiddenL; public: MLP(int hiddenL,int hiddenN); ~MLP(); //assigns values to the input neurons bool populateInput(int fileNum); //calculates the whole network, from input to output void calculateNetwork(); //trains the network according to our parameters bool trainNetwork(float teachingStep,float lmse,float momentum,int trainingFiles); //recalls the network for a given bitmap file void recallNetwork(int fileNum); };
以上就是多层感知器的类。我们可以看到有神经元向量,权重向量。还有个FileReader的对象。这个FileReader是一个读取位图文件的类。MLP读取位图文件,计算神经网络的输出然后训练神将网络。此外,你还可以输入一个‘fileNum'来调用这个神经网络,看下神经网络对你给的图片上的数字的判断是什么。
//Multi-layer perceptron constructor MLP::MLP(int hL,int hN) { //initialize the filereader reader = new FileReader(); outputN = 10; //the 9 possible numbers and zero hiddenL = hL; hiddenN = hN; //initialize the filereader reader = new FileReader(); //read the first image to see what kind of input will our net have inputN = reader->getBitmapDimensions(); if(inputN == -1) { printf("There was an error detecting img0.bmp\n\r"); return ; } //let's allocate the memory for the weights weights.reserve(inputN*hiddenN+(hiddenN*hiddenN*(hiddenL-1))+hiddenN*outputN); //also let's set the size for the neurons vector inputNeurons.resize(inputN); hiddenNeurons.resize(hiddenN*hiddenL); outputNeurons.resize(outputN); //randomize weights for inputs to 1st hidden layer for(int i = 0; i < inputN*hiddenN; i++) { weights.push_back( (( (float)rand() / ((float)(RAND_MAX)+(float)(1)) )) - 0.5 );//[-0.5,0.5] } //if there are more than 1 hidden layers, randomize their weights for(int i=1; i < hiddenL; i++) { for(int j = 0; j < hiddenN*hiddenN; j++) { weights.push_back( (( (float)rand() / ((float)(RAND_MAX)+(float)(1)) )) - 0.5 );//[-0.5,0.5] } } //and finally randomize the weights for the output layer for(int i = 0; i < hiddenN*outputN; i ++) { weights.push_back( (( (float)rand() / ((float)(RAND_MAX)+(float)(1)) )) - 0.5 );//[-0.5,0.5] } }
神经网络把隐藏层的层数和隐藏层的神经元数作为参数来初始化神经元和权重向量。此外,通过一下这个语句,神经网络读取第一幅位图'imag0.bmp'以获取输入的维数(即输入层的神经元个数):
inputN = reader->getBitmapDimensions();
这个输入是这个教程的程序需要的。你可以随意输入任何大小的位图,但是之后输入的位图必须与第一输入的位图大小一致。大部分的神经网络的权重初始化范围是[-0.5,0.5]。
void MLP::calculateNetwork() { //let's propagate towards the hidden layer for(int hidden = 0; hidden < hiddenN; hidden++) { hiddenAt(1,hidden) = 0; for(int input = 0 ; input < inputN; input ++) { hiddenAt(1,hidden) += inputNeurons.at(input)*inputToHidden(input,hidden); } //and finally pass it through the activation function hiddenAt(1,hidden) = sigmoid(hiddenAt(1,hidden)); } //now if we got more than one hidden layers for(int i = 2; i <= hiddenL; i ++) { //for each one of these extra layers calculate their values for(int j = 0; j < hiddenN; j++)//to { hiddenAt(i,j) = 0; for(int k = 0; k < hiddenN; k++)//from { hiddenAt(i,j) += hiddenAt(i-1,k)*hiddenToHidden(i,k,j); } //and finally pass it through the activation function hiddenAt(i,j) = sigmoid(hiddenAt(i,j)); } } int i; //and now hidden to output for(i =0; i < outputN; i ++) { outputNeurons.at(i) = 0; for(int j = 0; j < hiddenN; j++) { outputNeurons.at(i) += hiddenAt(hiddenL,j) * hiddenToOutput(j,i); } //and finally pass it through the activation function outputNeurons.at(i) = sigmoid( outputNeurons.at(i) ); } }
上面这个calculateNetwrok()计算当前输入的输出。它把输入的信号传递到输出层。上面的代码并没有什么特别,就是之前讲到的一些式子的实现。这个例子有10个不同的输出。每个输出表示的是 输入的模式是一个特定的数字的可能性。所以,输出1(接近1.0)表示输入的模式最有可能是1,以此类推。
训练函数太大不能摆在这里,但是推荐你看.zip文件里面的源代码(原文中有源代码下载)。我们就集中看反向传递算法的实现。
for(int i = 0; i < outputN; i ++) { //let's get the delta of the output layer //and the accumulated error if(i != target) { outputDeltaAt(i) = (0.0 - outputNeurons[i])*dersigmoid(outputNeurons[i]); error += (0.0 - outputNeurons[i])*(0.0-outputNeurons[i]); } else { outputDeltaAt(i) = (1.0 - outputNeurons[i])*dersigmoid(outputNeurons[i]); error += (1.0 - outputNeurons[i])*(1.0-outputNeurons[i]); } } //we start propagating backwards now, to get the error of each neuron //in every layer //let's get the delta of the last hidden layer first for(int i = 0; i < hiddenN; i++) { hiddenDeltaAt(hiddenL,i) = 0;//zero the values from the previous iteration //add to the delta for each connection with an output neuron for(int j = 0; j < outputN; j ++) { hiddenDeltaAt(hiddenL,i) += outputDeltaAt(j) * hiddenToOutput(i,j) ; } //The derivative here is only because of the //delta rule weight adjustment about to follow hiddenDeltaAt(hiddenL,i) *= dersigmoid(hiddenAt(hiddenL,i)); } //now for each additional hidden layer, provided they exist for(int i = hiddenL-1; i >0; i--) { //add to each neuron's hidden delta for(int j = 0; j < hiddenN; j ++)//from { hiddenDeltaAt(i,j) = 0;//zero the values from the previous iteration for(int k = 0; k < hiddenN; k++)//to { //the previous hidden layers delta multiplied by the weights //for each neuron hiddenDeltaAt(i,j) += hiddenDeltaAt(i+1,k) * hiddenToHidden(i+1,j,k); } //The derivative here is only because of the //delta rule weight adjustment about to follow hiddenDeltaAt(i,j) *= dersigmoid(hiddenAt(i,j)); } }
我们看到上面的代码是第二阶段反向传播算法。计算了输出并且知道期望输出(或者在上面的代码中叫做target),我们可以根据之前的等式计算delta。如果你不喜欢数学,我们给你有一些代码。你可以看到有很多宏(macros)去分辨不同层的权重以及delta。
//Weights modification tempWeights = weights;//keep the previous weights somewhere, we will need them //hidden to Input weights for(int i = 0; i < inputN; i ++) { for(int j = 0; j < hiddenN; j ++) { inputToHidden(i,j) += momentum*(inputToHidden(i,j) - _prev_inputToHidden(i,j)) + teachingStep* hiddenDeltaAt(1,j) * inputNeurons[i]; } } //hidden to hidden weights, provided more than 1 layer exists for(int i = 2; i <=hiddenL; i++) { for(int j = 0; j < hiddenN; j ++)//from { for(int k =0; k < hiddenN; k ++)//to { hiddenToHidden(i,j,k) += momentum*(hiddenToHidden(i,j,k) - _prev_hiddenToHidden(i,j,k)) + teachingStep * hiddenDeltaAt(i,k) * hiddenAt(i-1,j); } } } //last hidden layer to output weights for(int i = 0; i < outputN; i++) { for(int j = 0; j < hiddenN; j ++) { hiddenToOutput(j,i) += momentum*(hiddenToOutput(j,i) - _prev_hiddenToOutput(j,i)) + teachingStep * outputDeltaAt(i) * hiddenAt(hiddenL,j); } } prWeights = tempWeights;
以上代码是我们最后的阶段,是一个从前向后由输入层到输出层的算法。我们用之前计算的delta来调整神经网络的权重。这个只是我们之前看到的权重调整的式子的代码实现。
我们可以看到学习步长如何起作用。此外,细心的读者会发现我们把前一次的权重向量暂时地保存起来。这是因为势(momentum,向前冲之力)。之前那个权重调整的式子里面,势加快了训练速度,因为添加了权重的变化部分。
这就是关于反向传播训练算法以及多层感知机的所有了。让我们看看那fileReader类吧。
class FileReader { private: char* imgBuffer; //a DWORD char* check; bool firstImageRead; //the input filestream used to read ifstream fs; //image stuff int width; int height; public: FileReader(); ~FileReader(); bool readBitmap(int fileNum); //reads the first bitmap file, the one designated with a '0' //and gets the dimensions. All other .bmp are assumed with //equal and identical dimensions int getBitmapDimensions(); //returns a pointer to integers with all the goals //that each bitmap should have. Reads it from a file int* getImgGoals(); //returns a pointer to the currently read data char* getImgData(); //helper function convering bytes to an int int bytesToInt(char* bytes,int number); };
这个是fileReader类。这个类包含imgBuffer用来存储现在读取的位图数据,这个类用输入文件流来读取位图文件,这个类还会保存初始图片的宽和高。需要知道更多如何实现这些函数的可以看.zip文件。你需要知道的是这个类是用来读取指定的位图’img0.bmp',并且假定其它所有位图的大小是一样的,而且所有图片保存在相同的路径下。
你可以用任何图片编辑程序去得到单色位图。你可以建立自己的位图,但要用升序的数字去保存他们,并且相应地更新golas.txt。此外,所有的图片要大小一致。
如图运行代码:
假设你在相同的路径下有一些位图以及goals.txt文件,你可以如上图那样运行这个教程的例子。这就像在windows中使用cmd命令行一样,当然在Linux下也是可以运行的。你可以在上图看到如何调用。如果错误地调用了,你会马上看到一个改正的要求。
在windows的训练期间和在Linux每1000代(epochs),你可以停止或者开始调用图片。你要输入图片的号码,就是图片文件名跟在‘img'后面那个数字。神经网络调用这个图片,然后它会告诉你它认为这个图片是什么数字。最后,你可以在上面这幅图看到,神经网络认为这个图片是0到9这些数字的概率。
相关推荐:http://www.roncoo.com/course/view/5a057438cc2a4231a8c245695faea238
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
CentOS 7下配置hadoop 2.8 分布式集群
Hadoop是一个由Apache基金会所开发的分布式系统基础架构,实现分布式文件系统HDFS,用于存储大数据集,以及可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。本文描述了在CentOS 7下,基于三个节点安装hadoop 2.8,供大家参考。 一、基础环境描述 OS版本 [root@namenode~]#more/etc/redhat-release CentOSLinuxrelease7.2.1511(Core) JAVA环境 [root@namenode~]#java-version openjdkversion"1.8.0_65" OpenJDKRuntimeEnvironment(build1.8.0_65-b17) OpenJDK64-BitServerVM(build25.65-b01,mixedmode) 三个节点主机名及IP 192.168.81.142namenode.example.comnamen...
- 下一篇
基于Redis的限流系统的设计
基于Redis的限流系统的设计,主要会谈及限流系统中限流策略这个功能的设计;在实现方面,算法使用的是令牌桶算法来,访问Redis使用lua脚本。 1、概念 限流是对系统的出入流量进行控制,防止大流量出入,导致资源不足,系统不稳定。 限流系统是对资源访问的控制组件,控制主要的两个功能:限流策略和熔断策略,对于熔断策略,不同的系统有不同的熔断策略诉求,有的系统希望直接拒绝、有的系统希望排队等待、有的系统希望服务降级、有的系统会定制自己的熔断策略,很难一一列举,所以本文只针对限流策略这个功能做详细的设计。 针对限流策略这个功能,限流系统中有两个基础概念:资源和策略。 资源 :或者叫稀缺资源,被流量控制的对象;比如写接口、外部商户接口、大流量下的读接口 策略 :限流策略由限流算法和可调节的参数两部分组成 注:熔断策略:超出速率阈值的请求的处理策略,是我自己理解的一个叫法,不是业界主流的说法。 2、限流算法 限制瞬时并发数 限制时间窗最大请求数 令牌桶 2.1、限制瞬时并发数 定义:瞬时并发数,系统同时处理的请求/事务数量 优点:这个算法能够实现控制并发数的效果 缺点:使用场景比较单一,一般用来...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Hadoop3单机部署,实现最简伪集群
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果