针对人工智能在传统飞航导弹控制系统优化改造方面的应用进行了初步探索。考虑到目前实际应用中控制结构基本上都是采用PID控制形式,利用强化学习技术实现了PID姿态控制参数的在线闭环快速自适应整定。通过分别搭建评价网络和动作执行网络,实现对非线性系统最优目标函数的逼近和对PID控制参数的拟合,并利用梯度下降法给出了不基于被控对象动力学而只依赖于观测数据的神经网络权值调整公式。考虑到实际工程实现,动作执行网络的输入采用长周期信号,数学仿真结果验证了所提算法的有效性。