欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

java写卷积神经网络(CupCnn简介)

程序员文章站 2023-12-13 11:48:10
前言 在机器学习中,卷积神经网络是一种深度前馈人工神经网络,已成功地应用于图像识别。目前,很多的车牌识号识别,人脸识别等都采用卷积神经网络,可以说卷积神经网络在图像识别方...

前言

在机器学习中,卷积神经网络是一种深度前馈人工神经网络,已成功地应用于图像识别。目前,很多的车牌识号识别,人脸识别等都采用卷积神经网络,可以说卷积神经网络在图像识别方面取得了巨大的成功。当前开源的深度学习框架有很多了,比如caffe,tensorflow,torch等,这些深度学习框架包含了完善的卷积神经网络的实现,那么,为什么我们还要自己写卷积神经网络?直接用这些开源的深度学习框架多好,又快又省事,性能好稳定,bug少。是的,如果你只是使用卷积神经网络做一些应用,并不在意它的工作原理,那你大可不必自己费神费力的写卷积神经网络,可如果你想完全掌握卷积神经网络的工作原理,古人云:纸上得来终觉浅,觉知此时要躬行。所以,你很有必要自己实现一遍卷积神经网络,从而加深对它的认识。

什么是cupcnn

cupcnn是个用java写的卷积神经网络,我在工作之余,为了加深对卷积神经网络的认识,实现了它。它足够简洁,表现也不错,非常适合初学者参考使用。它的源码可以从github下载:cupcnn

你不用担心它的协议什么的限制,您可以用它来做任何事,任意修改它,如果它能对你有所帮助,希望能给个星星!!!
^-^^-^^-^

设计的思路

我希望它是以足够简单的神经网络,这样有利于初学者学习。所以我没有实现那些并发加速的东西,这保证的代码的简介性。设计的时候,我将卷积神经网络分为四个模块:network(layer blob loss active),这点可以从包名中看出来。layer,loss,active都有一个基类,整个神经网络的编程都是面向基类的。network是综合这四个模块,统筹和调度资源的中心,每个layer都会有一个network的实例,这样可以轻松的通过network获得各种数据,比如获取每一层的输出,diff等。
设计框图如下:

java写卷积神经网络(CupCnn简介)

参数的保存对于java而言就非常简单了,实现serializable接口就可以快速实现参数的序列化和反序列化。cupcnn只对data目录下的blob和blobparams两个实现了serializable接口,所有的参数都由这两个实现。

目前的表现

全连接神经网络

目前,在mnist数据集上,全连接神经网络(全连接(100)+全连接(30)+全连接(10)+softmax),训练30个epoes,准确率为96.76

卷积神经网络

卷积神经网络(6个特征)+最大值池化+卷积(6个特征)+全连接(512)+全连接(30)+全连接(10)+softmax),在学习速率为0.2的情况下,训练30个epoes,准确率为97.79.我相信经过进一步参数调优,在充分训练的情况下,准确率能达到更高。

卷积神经网络训练快照如下:

begin train
epoe: 0 lossvalue: 2.3019369891560455   lr: 0.2  accuracy is 0.13
epoe: 0 lossvalue: 2.0722489482105195   lr: 0.2  accuracy is 0.44
epoe: 0 lossvalue: 1.2423286194012682   lr: 0.2  accuracy is 0.72
epoe: 0 lossvalue: 0.7860529560675255   lr: 0.2  accuracy is 0.79
epoe: 0 lossvalue: 0.6272194196176664   lr: 0.2  accuracy is 0.87
epoe: 0 lossvalue: 0.5240051326725808   lr: 0.2  accuracy is 0.84
epoe: 0 lossvalue: 0.27637563581928026   lr: 0.2  accuracy is 0.95
epoe: 0 lossvalue: 0.35585388987055083   lr: 0.2  accuracy is 0.92
epoe: 0 lossvalue: 0.441971528417802   lr: 0.2  accuracy is 0.92
epoe: 0 lossvalue: 0.25637710325999674   lr: 0.2  accuracy is 0.95
epoe: 0 lossvalue: 0.39872273532502   lr: 0.2  accuracy is 0.9
epoe: 1 lossvalue: 0.264085484522027   lr: 0.16000000000000003  accuracy is 0.91
epoe: 1 lossvalue: 0.22754066024803088   lr: 0.16000000000000003  accuracy is 0.96
epoe: 1 lossvalue: 0.30256420975577103   lr: 0.16000000000000003  accuracy is 0.96
epoe: 1 lossvalue: 0.18149648622985948   lr: 0.16000000000000003  accuracy is 0.99
epoe: 1 lossvalue: 0.177239938748327   lr: 0.16000000000000003  accuracy is 0.96
epoe: 1 lossvalue: 0.15041993009777443   lr: 0.16000000000000003  accuracy is 0.98
epoe: 1 lossvalue: 0.10759545752665524   lr: 0.16000000000000003  accuracy is 1.0

cupcnn的使用

目前,cupcnn实现了mnist数据集上的测试,在src/test下,mnisttest是main函数的入口,具体的神经网络的搭建在mnistnetwork类中。在mnistnetwork类中,buildconvnetwork和buildfcnetwork分别实现
了搭建卷积神经网络和搭建全连接神经网络。得益于java良好的跨平台属性,你下载完cupcnn的源码后,使用eclipse打开该项目,然后直接运行,应该就能开始在mnist数据集上训练和测试了。

构建神经网络

  public void buildnetwork(){
    //首先构建神经网络对象,并设置参数
    network = new network();
    network.setbatch(100);
    network.setloss(new loglikehoodloss());
    //network.setloss(new crossentropyloss());
    optimizer = new sgdoptimizer(0.2);
    network.setoptimizer(optimizer);

    //buildfcnetwork();
    buildconvnetwork();

    network.prepare();
  }

setbatch()函数设置一个批次里有多少张图片。

setloss()设置要是用的损失函数。cupcnn实现了交叉熵损失函数和对数似然损失函数。

setoptimizer()设置要是用的优化器。cupcnn只实现了sgd优化器,如果您实现了更好的优化器,并且愿意提交到cupcnn,那本人深表欢迎。

构建全连接神经网络

  private void buildfcnetwork(){
    //给network添加网络层
    inputlayer layer1 = new inputlayer(network,new blobparams(network.getbatch(),1,28,28));
    network.addlayer(layer1);
    fullconnectionlayer layer2 = new fullconnectionlayer(network,new blobparams(network.getbatch(),784,1,1));
    layer2.setactivationfunc(new reluactivationfunc());
    network.addlayer(layer2);
    fullconnectionlayer layer3 = new fullconnectionlayer(network,new blobparams(network.getbatch(),100,1,1));
    layer3.setactivationfunc(new reluactivationfunc());
    network.addlayer(layer3);
    fullconnectionlayer layer4 = new fullconnectionlayer(network,new blobparams(network.getbatch(),30,1,1));
    layer4.setactivationfunc(new sigmodactivationfunc());
    network.addlayer(layer4);
    fullconnectionlayer layer5 = new fullconnectionlayer(network,new blobparams(network.getbatch(),10,1,1));
    layer5.setactivationfunc(new reluactivationfunc());
    network.addlayer(layer5);
    softmaxlayer sflayer = new softmaxlayer(network,new blobparams(network.getbatch(),10,1,1));
    network.addlayer(sflayer);
  }

正如上面代码展示的一样,每一个layer都需要一个network,它是network的实例,network是全局的管理者和资源的调度者,有了network的引用,我们可以轻易的获得到每一层的输出的数据,输出的误差等。此外,每一层都需要一个指定当前层输出数据块大小的参数,该参数告诉某一层你需要输出多少数据。比如神经网络的最后一层是softmaxlayer ,它需要输出到底是哪个数字,这个数字用长度为10的向量表示,比如数字7,那么softmaxlayer 应该输出第8个元素的值为1,其他元素的值为0。卷积层和池化层需要更多的参数,因为他们都有一个kernel,对卷积层而言,它叫卷积核,卷积层的实现每此每个方向的stride也就是步长都是1,这点还有改进的余地。对于池化层,你出来需要传入池化核的参数外,还需要传入水平方向和垂直方向的步长,这是必须的。

训练和测试

搭建好神经网络后,你需要调用network.prepare()方法,该方法会根据每一层的数据参数创建输出数据块和误差数据块。因此该方法的调用是必须的。

  public void train(list<digitimage> imglist,int epoes){
    system.out.println("begin train");
    int batch = network.getbatch();
    double loclalr = optimizer.getlr();
    for(int e=0;e<epoes;e++){
      collections.shuffle(imglist);
      for(int i=0;i<imglist.size()-batch;i+=batch){
        list<blob> inputandlabel = buildblobbyimagelist(imglist,i,batch,1,28,28);
        double lossvalue = network.train(inputandlabel.get(0), inputandlabel.get(1));

        if(i>batch && i/batch%50==0){
          system.out.print("epoe: "+e+" lossvalue: "+lossvalue+" "+" lr: "+optimizer.getlr()+" ");
          testinner(inputandlabel.get(0), inputandlabel.get(1));
        }
      }

      if(loclalr>0.001){
        loclalr*=0.8;
        optimizer.setlr(loclalr);
      }
    }
  }

  public void test(list<digitimage> imglist){
    system.out.println("begin test");
    int batch = network.getbatch();
    int correctcount = 0;
    int i = 0;
    for(i=0;i<imglist.size()-batch;i+=batch){
      list<blob> inputandlabel = buildblobbyimagelist(imglist,i,batch,1,28,28);
      blob output = network.predict(inputandlabel.get(0));
      int[] caloutlabels = getbatchoutputlabel(output.getdata());
      int[] reallabels = getbatchoutputlabel(inputandlabel.get(1).getdata());
      for(int kk=0;kk<caloutlabels.length;kk++){
        if(caloutlabels[kk] == reallabels[kk]){
          correctcount++;
        }
      }
    }

    double accuracy = correctcount/(1.0*i+batch);
    system.out.println("test accuracy is "+accuracy+" correctcount "+correctcount);
  }

 如上,调用network的 train即可训练,调用network的predict方法即可测试。

参数的保存和加载

  public void savemodel(string name){
    network.savemodel(name);
  }

  public void loadmodel(string name){
    network = new network();
    network.loadmodel(name);
    network.prepare();
  }

调用network的savemodel和loadmodel可分别实现参数的保存和加载,你只需要传入一个文件名即可。当我们通过保存的参数创建神经网络的时候,我们需要先new 一个network,然后调用这个network的loadmodel加载已保存的参数,然后不要忘记调用prepare方法创建每一层的输出数据块和误差数据块。

目前的完成情况及未来的计划

目前,实现的层有:全连接,卷积,最大值池化层,平均值池化层,softmax层。实现的激活函数有:sigmod,tanh,relu.
实现的损失函数有:交叉熵,对数似然。实现的优化为:sgd。参数已经能save和load.接下来会添加droupout层,还会尝试添加cifar-10上的例子。

此外,我会写一些文章,回顾自己写cupcnn过程中的思考可问题,供初学者参考,大神请绕道。感兴趣的可以继续关注,希望对大家的学习有所帮助,也希望大家多多支持。

上一篇:

下一篇: