模拟退火

模拟退火算法来源于固体退火原理，将固体加温至充分高，再让其徐徐冷却，加温时，固体内部粒子随温升变为无序状，内能增大，而徐徐冷却时粒子渐趋有序，在每个温度都达到平衡态，最后在常温时达到基态，内能减为最小。根据Metropolis准则，粒子在温度T时趋于平衡的概率为e-ΔE/(kT)，其中E为温度T时的内能，ΔE为其改变量，k为Boltzmann常数。用固体退火模拟组合优化问题，将内能E模拟为目标函数值f，温度T演化成控制参数t，即得到解组合优化问题的模拟退火算法：由初始解i和控制参数初值t开始，对当前解重复“产生新解→计算目标函数差→接受或舍弃”的迭代，并逐步衰减t值，算法终止时的当前解即为所得近似最优解，这是基于蒙特卡罗迭代求解法的一种启发式随机搜索过程。退火过程由冷却进度表(Cooling    Schedule)控制，包括控制参数的初值t及其衰减因子Δt、每个t值时的迭代次数L和停止条件S。 

模拟退火的基本思想:
              　　(1) 初始化：初始温度T(充分大)，初始解状态S(是算法迭代的起点)， 每个T值的迭代次数L
              　　(2) 对k=1，……，L做第(3)至第6步：
              　　(3) 产生新解S′
              　　(4) 计算增量Δt′=C(S′)-C(S)，其中C(S)为评价函数
              　　(5) 若Δt′<0则接受S′作为新的当前解，否则以概率exp(-Δt′/T)接受S′作为新的当前解.
              　　(6) 如果满足终止条件则输出当前解作为最优解，结束程序。 终止条件通常取为连续若干个新解都没有被接受时终止算法。
              　　(7) T逐渐减少，且T->0，然后转第2步。

为什么当迭代一次后结果比前一次差还要以一个小概率接受这次变动呢，这是为了算法能够跳出局部最优解，然后找到全局最优解，所以应该允许出现本次结果比上一次糟糕的结果。 

温度的下降方法一般可以是：

T(k+1)=a*T(k)，a取[0，1]为降温系数。另外关于算法的性能，是依概率1收敛到全局最优解，初始温度T0越大，降温过程越慢（a越接近1），则越有可能收敛到最优解。

用模拟退火算法求解TSP问题的伪程序：
              Procedure TSPSA:
              　begin 
              　　init-of-T; { T为初始温度}
              　　S={1，……，n}; {S为初始值}
              　　termination=false;
              　　while termination=false
              　　　begin 
              　　　　for i=1 to L do
              　　　　　　begin
              　　　　　　　　generate(S′form S); { 从当前回路S产生新回路S′}
              　　　　　　　　Δt:=f(S′))-f(S);{f(S)为路径总长}
              　　　　　　　　IF(Δt<0) OR (EXP(-Δt/T)>Random-of-[0,1])
              　　　　　　　　S=S′;
              　　　　　　　　IF the-halt-condition-is-TRUE THEN 
              　　　　　　　　termination=true;
              　　　　　　End;
              　　　　T_lower;
              　　　End;
              　End

#include <math.h>#include <stdlib>#include <iostream>void main(){int city[30][30]={{     0 , 0.5844 ,  1.0123 , 1.2826 , 1.5823 , 1.0457 , 1.0527 , 1.0605,1.0692 , 1.0788 , 1.1004 , 1.1123 , 1.1385,  1.1527 , 1.1675  , 1.2002,1.2518 , 0.0925 , 1.0103, 1.0429 ,1.1434  ,1.1627 , 1.1820  , 1.2033,1.2243 ,  1.2474 ,  1.2713  , 1.2959 ,  1.3201 , 1.3462 }, {0.5844 ,      0 ,  1.0565 , 0.9270 , 2.0018 , 0.9810 , 0.9699 , 0.9598,0.9506 , 0.9423 , 0.9288 , 0.9236 , 0.9163,  0.9143 , 0.9133  , 0.9155,0.9256 , 0.6179 , 1.2478, 1.1632 ,1.1206  ,1.1200 , 1.1207  , 1.1229,1.1262 ,  1.1311 ,  1.1374  , 1.1450 ,  1.1535 , 1.1637 }, {1.0123 , 1.0565 ,       0 , 0.7640 , 1.2320 , 0.1921 , 0.2235 , 0.2550,0.2865 , 0.3179 , 0.3809 , 0.4124 , 0.4753,  0.5068 , 0.5383  , 0.6021,0.6961 , 1.1045 , 2.0220, 2.0357 ,2.0858  ,2.0960 , 2.1063  , 2.1179,2.1295 ,  2.1424 ,  2.1559  , 2.1701 ,  2.1842 , 2.1996 }, {1.2826 , 0.9270 ,  0.7640 ,      0 , 1.9960 , 0.5724 , 0.5409 , 0.5094,0.4779 , 0.4464 , 0.3834 , 0.3520 , 0.2890,  0.2575 , 0.2261  , 0.1624,0.0691 , 1.3622 , 2.1615, 2.0898 ,2.0376  ,2.0331 , 2.0295  , 2.0264,2.0243 ,  2.0228 ,  2.0221  , 2.0221 ,  2.0230 , 2.0246 }, {1.5823 , 2.0018 ,  1.2320 , 1.9960 ,      0 , 1.4237 , 1.4552 , 1.4867,1.5182 , 1.5497 , 1.6127 , 1.6442 , 1.7072,  1.7387 , 1.7702  , 1.8340,1.9280 , 1.6359 , 2.3763, 2.5068 ,2.6778  ,2.7040 , 2.7292  , 2.7561,2.7819 ,  2.8094 ,  2.8372  , 2.8652 ,  2.8921 , 2.9207 }, {1.0457 , 0.9810 ,  0.1921 , 0.5724 , 1.4237 ,      0 , 0.0315 , 0.0630,0.0945 , 0.1260 , 0.1890 , 0.2205 , 0.2835,  0.3150 , 0.3465  , 0.4103,0.5043 , 1.1379 , 2.0423, 2.0337 ,2.0583  ,2.0649 , 2.0719  , 2.0799,2.0883 ,  2.0978 ,  2.1080  , 2.1189 ,  2.1299 , 2.1421 }, {1.0527 , 0.9699 ,  0.2235 , 0.5409 , 1.4552 , 0.0315 ,      0 , 0.0315,0.0630 , 0.0945 , 0.1575 , 0.1890 , 0.2520,  0.2835 , 0.3150  , 0.3788,0.4728 , 1.1445 , 2.0455, 2.0333 ,2.0536  ,2.0596 , 2.0661  , 2.0735,2.0813 ,  2.0902 ,  2.0999  , 2.1102 ,  2.1207 , 2.1324 }, {1.0605 , 0.9598 ,  0.2550 , 0.5094 , 1.4867 , 0.0630 , 0.0315 ,      0,0.0315 , 0.0630 , 0.1260 , 0.1575 , 0.2205,  0.2520 , 0.2835  , 0.3473,0.4413 , 1.1520 , 2.0491, 2.0333 ,2.0495  ,2.0549 , 2.0607  , 2.0676,2.0748 ,  2.0831 ,  2.0922  , 2.1020 ,  2.1120 , 2.1231 }, {1.0692 , 0.9506 ,  0.2865 , 0.4779 , 1.5182 , 0.0945 , 0.0630 , 0.0315,     0 , 0.0315 , 0.0945 , 0.1260 , 0.1890,  0.2205 , 0.2520  , 0.3158,0.4098 , 1.1603 , 2.0533, 2.0339 ,2.0457  ,2.0505 , 2.0558  , 2.0621,2.0688 ,  2.0765 ,  2.0850  , 2.0942 ,  2.1037 , 2.1143 }, {1.0788 , 0.9423 ,  0.3179 , 0.4464 , 1.5497 , 0.1260 , 0.0945 , 0.0630,0.0315 ,      0 , 0.0630 , 0.0945 , 0.1575,  0.1890 , 0.2205  , 0.2843,0.3783 , 1.1694 , 2.0579, 2.0349 ,2.0425  ,2.0467 , 2.0514  , 2.0571,2.0632 ,  2.0704 ,  2.0783  , 2.0869 ,  2.0958 , 2.1059 }, {1.1004 , 0.9288 ,  0.3809 , 0.3834 , 1.6127 , 0.1890 , 0.1575 , 0.1260,0.0945 , 0.0630 ,      0 , 0.0315 , 0.0945,  0.1260 , 0.1575  , 0.2213,0.3153 , 1.1899 , 2.0686, 2.0384 ,2.0375  ,2.0404 , 2.0440  , 2.0485,2.0534 ,  2.0594 ,  2.0661  , 2.0736 ,  2.0814 , 2.0903 }, {1.1123 , 0.9236 ,  0.4124 , 0.3520 , 1.6442 , 0.2205 , 0.1890 , 0.1575,0.1260 , 0.0945 , 0.0315 ,      0 , 0.0630,  0.0945 , 0.1260  , 0.1898,0.2838 , 1.2012 , 2.0746, 2.0409 ,2.0357  ,2.0380 , 2.0410  , 2.0449,2.0493 ,  2.0546 ,  2.0608  , 2.0677 ,  2.0749 , 2.0833 }, {1.1385 , 0.9163 ,  0.4753 , 0.2890 , 1.7072 , 0.2835 , 0.2520 , 0.2205,0.1890 , 0.1575 , 0.0945 , 0.0630 ,      0,  0.0315 , 0.0630  , 0.1268,0.2208 , 1.2260 , 2.0880, 2.0473 ,2.0336  ,2.0347 , 2.0365  , 2.0391,2.0424 ,  2.0465 ,  2.0515  , 2.0572 ,  2.0633 , 2.0705 }, {1.1527 , 0.9143 ,  0.5068 , 0.2575 , 1.7387 , 0.3150 , 0.2835 , 0.2520,0.2205 , 0.1890 , 0.1260 , 0.0945 , 0.0315,       0 , 0.0315  , 0.0953,0.1893 , 1.2394 , 2.0954, 2.0512 ,2.0332  ,2.0337 , 2.0349  , 2.0370,2.0396 ,  2.0432 ,  2.0475  , 2.0526 ,  2.0582 , 2.0647 }, {1.1675 , 0.9133 ,  0.5383 , 0.2261 , 1.7702 , 0.3465 , 0.3150 , 0.2835,0.2520 , 0.2205 , 0.1575 , 0.1260 , 0.0630,  0.0315 ,      0  , 0.0638,0.1578 , 1.2535 , 2.1033, 2.0556 ,2.0334  ,2.0333 , 2.0339  , 2.0353,2.0374 ,  2.0403 ,  2.0440  , 2.0485 ,  2.0535 , 2.0595 }, {1.2002 , 0.9155 ,  0.6021 , 0.1624 , 1.8340 , 0.4103 , 0.3788 , 0.3473,0.3158 , 0.2843 , 0.2213 , 0.1898 , 0.1268,  0.0953 , 0.0638  ,      0,0.0940 , 1.2845 , 2.1212, 2.0667 ,2.0360  ,2.0346 , 2.0340  , 2.0342,2.0351 ,  2.0368 ,  2.0392  , 2.0425 ,  2.0463 , 2.0511 }, {1.2518 , 0.9256 ,  0.6961 , 0.0691 , 1.9280 , 0.5043 , 0.4728 , 0.4413,0.4098 , 0.3783 , 0.3153 , 0.2838 , 0.2208,  0.1893 , 0.1578  , 0.0940,     0 , 1.3336 , 2.1498, 2.0854 ,2.0423  ,2.0391 , 2.0368  , 2.0351,2.0342 ,  2.0340 ,  2.0347  , 2.0361 ,  2.0382 , 2.0411 }, {0.0925 , 0.6179 ,  1.1045 , 1.3622 , 1.6359 , 1.1379 , 1.1445 , 1.1520,1.1603 , 1.1694 , 1.1899 , 1.2012 , 1.2260,  1.2394 , 1.2535  , 1.2845,1.3336 ,      0 , 0.9186, 0.9569 ,1.0681  ,1.0891 , 1.1100  , 1.1330,1.1557 ,  1.1804 ,  1.2059  , 1.2322 ,  1.2579 , 1.2856 }, {1.0103 , 1.2478 ,  2.0220 , 2.1615 , 2.3763 , 2.0423 , 2.0455 , 2.0491,2.0533 , 2.0579 , 2.0686 , 2.0746 , 2.0880,  2.0954 , 2.1033  , 2.1212,2.1498 , 0.9186 ,      0, 0.2360 ,0.5120  ,0.5520 , 0.5900  , 0.6300,0.6680 ,  0.7080 ,  0.7480  , 0.7880 ,  0.8260 , 0.8660 }, {1.0429 , 1.1632 ,  2.0357 , 2.0898 , 2.5068 , 2.0337 , 2.0333 , 2.0333,2.0339 , 2.0349 , 2.0384 , 2.0409 , 2.0473,  2.0512 , 2.0556  , 2.0667,2.0854 , 0.9569 , 0.2360,      0 ,0.2760  ,0.3160 , 0.3540  , 0.3940,0.4320 ,  0.4720 ,  0.5120  , 0.5520 ,  0.5900 , 0.6300 }, {1.1434 , 1.1206 ,  2.0858 , 2.0376 , 2.6778 , 2.0583 , 2.0536 , 2.0495,2.0457 , 2.0425 , 2.0375 , 2.0357 , 2.0336,  2.0332 , 2.0334  , 2.0360,2.0423 , 1.0681 , 0.5120, 0.2760 ,     0  ,0.0400 , 0.0780  , 0.1180,0.1560 ,  0.1960 ,  0.2360  , 0.2760 ,  0.3140 , 0.3540 }, {1.1627 , 1.1200 ,  2.0960 , 2.0331 , 2.7040 , 2.0649 , 2.0596 , 2.0549,2.0505 , 2.0467 , 2.0404 , 2.0380 , 2.0347,  2.0337 , 2.0333  , 2.0346,2.0391 , 1.0891 , 0.5520, 0.3160 ,0.0400  ,     0 , 0.0380  , 0.0780,0.1160 ,  0.1560 ,  0.1960  , 0.2360 ,  0.2740 , 0.3140 }, {1.1820 , 1.1207 ,  2.1063 , 2.0295 , 2.7292 , 2.0719 , 2.0661 , 2.0607,2.0558 , 2.0514 , 2.0440 , 2.0410 , 2.0365,  2.0349 , 2.0339  , 2.0340,2.0368 , 1.1100 , 0.5900, 0.3540 ,0.0780  ,0.0380 ,      0  , 0.0400,0.0780 ,  0.1180 ,  0.1580  , 0.1980 ,  0.2360 , 0.2760 }, {1.2033 , 1.1229 ,  2.1179 , 2.0264 , 2.7561 , 2.0799 , 2.0735 , 2.0676,2.0621 , 2.0571 , 2.0485 , 2.0449 , 2.0391,  2.0370 , 2.0353  , 2.0342,2.0351 , 1.1330 , 0.6300, 0.3940 ,0.1180  ,0.0780 , 0.0400  ,      0,0.0380 ,  0.0780 ,  0.1180  , 0.1580 ,  0.1960 , 0.2360 }, {1.2243 , 1.1262 ,  2.1295 , 2.0243 , 2.7819 , 2.0883 , 2.0813 , 2.0748,2.0688 , 2.0632 , 2.0534 , 2.0493 , 2.0424,  2.0396 , 2.0374  , 2.0351,2.0342 , 1.1557 , 0.6680, 0.4320 ,0.1560 , 0.1160,  0.0780 ,  0.0380,     0 ,  0.0400 ,  0.0800  , 0.1200 ,  0.1580 , 0.1980 }, {1.2474 , 1.1311 ,  2.1424 , 2.0228 , 2.8094 , 2.0978 , 2.0902 , 2.0831,2.0765 , 2.0704 , 2.0594 , 2.0546 , 2.0465,  2.0432 , 2.0403  , 2.0368,2.0340 , 1.1804 , 0.7080, 0.4720 ,0.1960  ,0.1560 , 0.1180  , 0.0780,0.0400 ,       0 ,  0.0400  , 0.0800 ,  0.1180 , 0.1580 }, {1.2713 , 1.1374 ,  2.1559 , 2.0221 , 2.8372 , 2.1080 , 2.0999 , 2.0922,2.0850 , 2.0783 , 2.0661 , 2.0608 , 2.0515,  2.0475 , 2.0440  , 2.0392,2.0347 , 1.2059 , 0.7480, 0.5120 ,0.2360  ,0.1960 , 0.1580  , 0.1180,0.0800 ,  0.0400 ,       0  , 0.0400 ,  0.0780 , 0.1180 }, {1.2959 , 1.1450 ,  2.1701 , 2.0221 , 2.8652 , 2.1189 , 2.1102 , 2.1020,2.0942 , 2.0869 , 2.0736 , 2.0677 , 2.0572,  2.0526 , 2.0485  , 2.0425,2.0361 , 1.2322 , 0.7880, 0.5520 ,0.2760  ,0.2360 , 0.1980  , 0.1580,0.1200 ,  0.0800 ,  0.0400  ,      0 ,  0.0380 , 0.0780 }, {1.3201 , 1.1535 ,  2.1842 , 2.0230 , 2.8921 , 2.1299 , 2.1207 , 2.1120,2.1037 , 2.0958 , 2.0814 , 2.0749 , 2.0633,  2.0582 , 2.0535  , 2.0463,2.0382 , 1.2579 , 0.8260, 0.5900 ,0.3140  ,0.2740 , 0.2360  , 0.1960,0.1580 ,  0.1180 ,  0.0780  , 0.0380 ,       0 , 0.0400 }, {1.3462 , 1.1637 ,  2.1996 , 2.0246 , 2.9207 , 2.1421 , 2.1324 , 2.1231,2.1143 , 2.1059 , 2.0903 , 2.0833 , 2.0705,  2.0647 , 2.0595  , 2.0511,2.0411 , 1.2856 , 0.8660, 0.6300 ,0.3540  ,0.3140 , 0.2760  , 0.2360,0.1980 ,  0.1580 ,  0.1180  , 0.0780 ,  0.0400 ,      0}}; int i,j; int a[30]; int c[30];int b[30];static int tt=0;    //记录最优路径int mm,nn;int dis1=0;int dis11=0;int dis22=0;double t0=10000;  //初始温度 int d_dis=0;int dis_total1=0;int  dis_total2=0;int dis_total3=0;int m,n,l; //循环变量 int total=0;double p,q;int temp;int dis_temp=0;int dis2=0;  //改变前，后距离 double e;double ll;int ms[3];  //马氏链数组，比较3组值int flag=0;for(i=0;i<30;i++) {   a[i]=i; } for(i=0;i<30;i++) {   b[i]=i; } for(i=0;i<29;i++){dis_total1+=city[i][i+1];}dis_total1+=city[29][0];  //初始路径时的距离dis_total3=dis_total1;for(i=0;i<1000;i++)   //外循环for(j=1;j<1000;j++){ flag=0;tt++;dis1=0; dis2=0; m=int(rand()/1130)+1; n=int(rand()/1130)+1;while (m==n) {n=int(rand()/1130)+1;}if(m>n){temp=m;m=n;    n=temp;}  for(l=0;l<30;l++)  {c[l]=a[l];}    c[m]=a[n];  c[n]=a[m];    //用c[ ]来记录假如交换后的城市顺序  for(l=0;l<29;l++) { dis1+=city[a[l]][a[l+1]]; } dis1+=city[a[29]][0]; for(l=0;l<29;l++) { dis2+=city[c[l]][c[l+1]]; } dis2+=city[c[29]][0]; d_dis=dis2-dis1;  if(t0>0) {if (d_dis<0){ flag=1;  temp=a[m];  a[m]=a[n];  a[n]=temp;  dis_temp=0;  dis_temp=dis2;   if(dis_temp<dis_total3)  { dis_total3=dis_temp;  for(l=0;l<30;l++)  {  b[l]=a[l];  }  }   //记录最优路径  if(flag==1){   nn=0;   mm=0;   for(l=0;l<29;l++) { mm+=city[a[l]][a[l+1]]; }  mm+=city[a[29]][0]; ms[nn]=mm;  nn++;  if(nn==2) nn=0;if(ms[0]==ms[1]&&ms[1]==ms[2])  {  break;  } } flag=0;//flag清零}  else  if(d_dis>=0){ q=-d_dis; e=exp(q/t0);  p=double((double)rand()/32767); ll=p;     if (ll<e)   { flag=1; temp=a[m]; a[m]=a[n]; a[n]=temp; dis_temp=0;             for(l=0;l<29;l++) {   dis_temp+=city[a[l]][a[l+1]]; }     dis_temp+=city[a[29]][0];   }} } else  break;   t0*=0.9999999;  }cout<<"初始温度为：10000"<<endl;cout<<"温度下降系数为：0.9999999"<<endl;cout<<"最后路径为："<<endl;for(i=0;i<30;i++){cout<<a[i]<<"->";}for(i=0;i<29;i++){ dis_total2+=city[a[i]][a[i+1]];}dis_total2+=city[a[29]][0];cout<<dis_total2;cout<<endl<<endl;cout<<"所走过的最短路径:"<<endl;for(i=0;i<30;i++) {cout<<b[i]<<"->";}cout<<dis_total3<<endl;cout<<tt;}          

 OpenAI Gym 关于CartPole的模拟退火解法