example Actor-Critic简单应用例子

Actor-Critic简单应用例子,连续状态空间，离散动作

clc;
clear;
figure（8）;
par=zeros（1100）;
par2=zeros（1100）;
time=zeros（1100）;
sstep=zeros（1100）;

for j=1:1
    disp（‘------------------------------------------------------------------‘）;
    episodes=100;  
    theta=zeros（541）;
    distance=0;
    v=zeros（271）;
    gamma=0.9;
    lambda=0.5;
    epsilon=10^（-20）;
%   F=400*eye（10）;
    pend_actions=2;
    for r=1:episodes
        disp（‘%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%‘）;
        noise=（2*rand（13）‘-1）.*[2;2;0];%初始化状态
        state=[140;0;0]+0*noise;  
        z=zeros（271）;
        step=0;
        signal=0;
        endsim=0;
        mytime=cputime;
        
        while  endsim==0
            step=step+1;
            phi=computphi（state）;
            phi_sa=zer

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件       2765  2014-04-26 19:48  example\AC.asv

     文件       2776  2014-04-27 20:36  example\AC.m

     文件        414  2014-04-25 11:11  example\computphi.asv

     文件        420  2014-04-26 16:11  example\computphi.m

     文件        214  2014-04-25 17:38  example\computpi.m

     文件        214  2014-04-18 16:32  example\computpsi.m

     文件        691  2014-04-26 20:00  example\evaluate.m

     文件        140  2014-04-25 23:05  example\select.m

     文件        512  2014-04-26 00:11  example\simulator.asv

     文件        517  2014-04-27 20:51  example\simulator.m

     目录          0  2014-04-26 22:20  example

----------- ---------  ---------- -----  ----

                 8663                    11