基于攻击图和深度Q学习网络的自动化安全分析与渗透测试模型

作者：樊成^*; 胡国庆; 丁涛杰; 张展华

来源：网络与信息安全学报, 2023, 9(06): 166-175.

• 自动化渗透测试
• 强化学习
• 攻击图
• 深度Q学习网络

随着网络技术的快速发展和广泛应用，网络安全问题日益突出，渗透测试成为评估和提升网络安全性的重要手段。然而，传统的人工渗透测试方法效率较低，且易受到人为错误和测试人员技能水平的影响，造成测试结果不确定性大、评估效果不理想等问题。针对以上人工渗透测试中存在的问题，提出了基于攻击图和深度Q学习网络（DQN,deepQ-learningnetwork）的自动化安全分析与渗透测试（ASAPT,autonomous security analysis and penetration testing）模型。该模型由训练数据构建和模型训练两部分构成。在训练数据构建阶段，采用攻击图对目标网络进行威胁建模，将网络中存在的漏洞和攻击者可能的攻击路径转化为节点、边，随后结合CVSS(commonvulnerabilityscoringsystem)漏洞信息库构建对应的“状态-动作”转移矩阵，用以描述攻击者在不同状态下的攻击行为和转移概率，并全面反映攻击者的攻击能力和网络的安全状况。为进一步降低计算复杂度，创新性地使用深度优先搜索算法对转移矩阵进行简化，查找并保留所有能达到最终目标的攻击路径，以便于后续模型训练。在模型训练阶段，使用基于DQN的深度强化学习算法对渗透测试中的最优攻击路径进行确定，该算法通过不断与环境交互、更新Q值函数，从而逐步优化攻击路径选择。仿真结果表明，ASAPT模型在最优路径寻找方面准确率可达84%，收敛速度快，并且在面对大规模网络环境时，相较于传统Q学习具有更好的适应性，能够为实际的渗透测试提供指导。