基于LHD与GPR的机器学习超参数建模及优化

作者：王方成; 刘玉敏^*; 崔庆安

来源：统计与决策, 2023, 39(23): 22-27.

DOI：10.13546/j.cnki.tjyjc.2023.23.004

• 超参数优化
• 机器学习
• 超拉丁方设计
• 高斯过程回归
• 遗传算法

针对机器学习超参数与算法性能之间的非线性、高阶交互作用和约束的复杂作用关系，文章提出一种基于高斯过程回归和遗传算法相结合的建模及优化方法。采用超拉丁方抽样在超参数配置空间内进行取点设计，建立超参数与算法性能之间的高斯过程回归模型并对所构建的模型进行遗传算法寻优。仿真研究表明，该方法能够在超参数配置空间内较好地拟合超参数与算法性能之间的复杂作用关系，与传统响应曲面法相比，在超参数配置空间内以较少的实验次数实现了全局最优，从而有效提升了优化的效率和精度。

• 单位
  经济管理学院; 上海海事大学