基于杂合标准的POMDP值迭代求解算法

作者：刘峰

来源：模式识别与人工智能, 2016, 29(11): 961-968.

DOI：10.16451/j.cnki.issn1003-6059.201611001

• 部分可观测马尔科夫决策过程(POMDP)
• 杂合启发式值迭代
• 可达信念空间
• 探索价值

基于点的值迭代方法是求解部分可观测马尔科夫决策过程(POMDP)问题的一类有效算法.目前基于点的值迭代算法大都基于单一启发式标准探索信念点集,从而限制算法效果.基于此种情况,文中提出基于杂合标准探索信念点集的值迭代算法(HHVI),可以同时维持值函数的上界和下界.在扩展探索点集时,选取值函数上下界差值大于阈值的信念点进行扩展,并且在值函数上下界差值大于阈值的后继信念点中选择与已探索点集距离最远的信念点进行探索,保证探索点集尽量有效分布于可达信念空间内.在4个基准问题上的实验表明,HHVI能保证收敛效率,并能收敛到更好的全局最优解.

• 单位
  南京大学; 计算机软件新技术国家重点实验室