MatLab强化学习_倒立摆控制_深度Q学习_神经网络

MatLab强化学习代码包，使用深度Q学习（神经网络）控制倒立摆的代码。 详细说明可参看我的专栏《强化学习与控制》 https://blog.csdn.net/weixin_43723517/category_9676083.html "I thought what I'd do was I'd pretend I was one of those deaf-mutes, or should I?"

%输出控制力矩列表
FcTable=[-3-2.5-2-1.5-1-0.5-0.300.30.511.522.53];
global N_Fc
N_Fc=size（FcTable）; N_Fc=N_Fc（2）;

%DQN神经网络初始化
QNet_eval=fitnet（[4040]）;

%训练神经网络，规定输入输出
S_ini=150;
Iniset=zeros（6S_ini）;  %前五行为输入，最后一行为目标输出。第一行X，第二行dotX，第三行θ，第四行dotθ，第五行Fc
Iniset（1:）=0.5*rand（1S_ini）-0.5*rand（1S_ini）;
Iniset（2:）=0.1*rand（1S_ini）-0.1*rand（1S_ini）;
Iniset（3:）=（2*rand（1S_ini）-2*rand（1S_ini））*pi/180;            %单位为弧度
Iniset（4:）=（2*rand（1S_ini）-2*rand（1S_ini））*pi/180;            %单位为弧度
Iniset（5:）=unidrnd（N_Fc1S_ini）;
for i=1:S_ini
    Iniset（6i）=Reward_Cal（Iniset（1:4i））;
end 

QNet_eval=train（QNet_evalIniset（1:5:）Iniset（6:））;
QNet_target=QNet_eval;
%将神经网络训练算法设置为自适应动量梯度下降法
QNet_eval.trainFcn=‘traingdx‘;  
%关闭训练图窗nntraintool
%QNet_eval.trainParam.showWindow=0;


%学习参数初始化
global alpha gamma
alpha=0.55;                 %学习率alpha
gamma=0.99;                 %奖励传递效率gamma
nBatch=400;                 %神经网络单次训练调用的样本量
N_gap=400;                  %神经网络训练的频率
N_renew=3*N_gap;            %目标神经网络更新的频率

%Replaymemory初始化   
S_memo=4000;                %MemoSize
Rmemo=zeros（9S_memo）;      %1-4:CPstate5act6-9:newstate
Memopointer=1;              %Replay memory的写入指针

%}

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件       1403  2020-03-04 13:22  CartPoleDQN_DEMO\AgentInitializer.m

     文件       1155  2020-03-04 10:14  CartPoleDQN_DEMO\CalculationQtarget.m

     文件        280  2020-03-04 13:24  CartPoleDQN_DEMO\CartPoleInitializer.m

     文件        377  2020-03-04 09:18  CartPoleDQN_DEMO\CartPoleReset.m

     文件       3291  2020-03-07 16:44  CartPoleDQN_DEMO\CartPole_DQN.m

     文件        619  2020-03-03 10:35  CartPoleDQN_DEMO\CartPole_Eqs.m

     文件        157  2020-02-25 11:40  CartPoleDQN_DEMO\PointerMove.m

     文件        204  2020-03-04 13:50  CartPoleDQN_DEMO\Reward_Cal.m

     文件        422  2020-03-04 10:28  CartPoleDQN_DEMO\tcegreedy.m

     目录          0  2020-03-07 14:57  CartPoleDQN_DEMO

----------- ---------  ---------- -----  ----

                 7908                    10