RBM玻尔兹曼机的matlab简单演示程序

% This program trains Restricted Boltzmann Machine in which
% visible binary stochastic pixels are connected to
% hidden binary stochastic feature detectors using symmetrically
% weighted connections. Learning is done with 1-step Contrastive Divergence.   
% The program assumes that the following variables are set externally:
% 本程序用来训练受限波尔玆曼机（RBM）
% 可见层是二进制的输入，隐藏层是也是二进制的
% 使用对称权重来连接可见层和隐藏层
% 使用1步Contrastive Divergence对比散度进行训练
% 本程序假设以下变量已经存在 
%代码是按照Geoff Hinton提供的关于RBM的matlab代码做了轻微修改，以便可以直接运行
%假设有6个可见节点，10个隐藏节点
%提供的输入节点集合是
%[111000;101101; 101000;101001]分成了两个batch

maxepoch=100;  % maximum number of epochs 最大训练迭代次数
numhid=10;     % number of hidden units   隐藏层节点的数量
% batchdata -- the data that is divided into batches （numcases numdims numbatches）
%以batch为单位的训练数据，训练数据的维度为（numcases numdims numbatches）
batchdata（::1） = [111000; 101101];  %（::1）表示三维矩阵，“:“表示行列不限，“1“表示第一页 
batchdata（::2） = [101000; 101001];
restart = 1;    %set to 1 if learning starts from beginning 如果restart为1，则训练从头开始
epsilon_w  = 0.1;   % Learning rate for weights  权重学习效率
epsilon_vb = 0.1;   % Learning rate for biases of visible units  可见单元偏差学习效率
epsilon_hb = 0.1;   % Learning rate for biases of hidden units   隐藏单元偏差学习效率
weightcost = 0.0002;  %权重惩罚系数
initialmomentum = 0.5;%初始的和最终的冲量
finalmomentum   = 0.9;
%每个batch样例：样本个数、样本维数（可见层输入大小）、batch个数
[numcasesnumdimsnumbatches] = size（batchdata）;
%batchdata是2*6*2的矩阵，2个样本，样本维数是6，共有2个batch

if restart == 1
  restart = 0;
  epoch = 1;
  %Initializing symmetric weights and biases. 
  %初始化[对称]权重和可见层与隐藏层的偏置
      vis_hid = 0.1*randn（numdimsnumhid）;%初始化可见层到隐含层的权重矩阵 
      hidbiases = zeros（1numhid）; %初始化隐藏层的偏差
      visbiases = zeros（1numdims）;%初始化可见层的偏差 numdims可见节点个数，和样本维数一致
      %positive隐藏层的概率
      pos_hidprobs = zeros（numcasesnumhid）;%初始化由data得到的隐含层的概率
      %negetive隐藏层的概率（neg反向传播，即重构后）
      neghid_probs = zeros（numcasesnumhid）;%初始化重构后的data得到的隐藏层的概率。

      %positive term用于更新权重的矩阵，由data得到。
      posprods = zeros（numdimsnumhid）;
      %negative term用于更新权重的矩阵，由重构data得到。
      negprods = zeros（numdimsnumhid）;
      %权重更新的增量
      vishid_inc = zeros（numdimsnumhid）;
      %隐藏层偏置的增量
      hidbias_inc = zeros（1numhid）; 
      %可见层偏置的增量
      visbias_inc = zeros（1numdims）;
      %每个batch Positive隐藏层的概率
      batchposhidprobs = zeros（numcasesnumhidnumbatches）;%将新得到的隐含层作为下一层的可见层
end
%根据设置的最大迭代次数进行迭代训练
%开始迭代，进行pre-training
for epoch = epoch:maxepoch
 fprintf（1‘epoch %d\r‘epoch）; %fprintf “1“是文件号
 %误差
 errsum = 0;               
%每个batch分别进行训练
  for batch = 1:numbatches
   fprintf（1‘epoch %d batch %d\r‘epochbatch）; 

    %%%%%%%%% START POSITIVE PHASE %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
      %正向传播
      data = batchdata（::batch）;       %提取每一批次的数据来进行预训练
      %隐藏层的概率为hj = sigmoid（sigma（Vi*Wij）+ hbias_i），计算隐含层为