基于后状态强化学习的最优订单接受决策

作者：钱静; 吴克宇^*; 陈超; 胡星辰

来源：计算机科学, 2022, S2: 55-63.

• 订单接受
• 强化学习
• 马尔可夫决策过程
• 神经网络
• 后状态

随着客户多样化需求不断提升，根据客户对订单的不同需求来组织生产的订单生产型（Make-To-Order,MTO）模式在企业生产活动中越来越重要。根据企业有限的生产能力和订单状态来确定是否接受到达的订单，对企业提高利润至关重要。在传统的订单接受问题基础上，提出了更完备的MTO企业订单接受问题的模型：在延期交货成本、拒绝成本、生产成本传统模型要素的基础上，进一步考虑了订单的库存成本、多种顾客优先级因素，并将最优订单接受决策问题建模为马尔可夫决策过程（Markov Decision Process,MDP）。此外，由于经典的MDP求解方法依赖于对高维状态价值函数的求解和估计，其计算复杂性较高，为了降低复杂性，证明了经典的MDP问题中基于状态价值函数的最优策略可以等价地用基于后状态的价值函数进行定义和构造，将多维控制问题转化为一维控制问题。同时，为了解决连续状态空间问题，结合神经网络对后状态价值函数进行参数化标表征，解决了状态空间较大的问题。最后，通过仿真验证了所提出的订单接受策略模型和算法的适用性和优越性。

• 单位
  国防科技大学