科研之友
微信
新浪微博
Facebook
分享链接
摘要
在自然语言处理领域中，基于梯度的对抗训练是一种能够有效提高神经网络鲁棒性的方法。首先，该文针对现有的对抗训练算法效率较低的问题，提出基于全局扰动表的初始化策略，在提高神经网络的训练效率的同时保证初始化扰动的有效性；其次，针对传统的归一化方法忽略了令牌之间的相对独立性问题，提出基于全局等权的归一化策略，保证令牌之间的相对独立性，避免少数样本主导对抗训练；最后，对于使用可学习的位置编码的预训练语言模型，提出基于全局多方面的扰动策略，使得神经网络更具鲁棒性。实验结果表明，该方法能有效提升神经网络的性能。
- 单位
