科研之友
微信
新浪微博
Facebook
分享链接
摘要
端到端(End-to-End)框架是一种基于深度神经网络可直接预测语音信号和目标语言字符的概率模型，从原始的数据输入到结果输出，中间的处理过程和神经网络成一体化，可脱离人类主观偏见，直接提取特征，从而充分挖掘数据信息，简化任务处理步骤。近几年，注意力机制的引入，辅助端到端架构实现了多模态间的相互映射，进一步提高了技术的整体性能。通过对近几年端到端技术在智能语音领域技术和应用的调研，端到端架构为语音模型算法提供了新的思想和方法，但也存在混合框架无法有效地平衡和兼顾单一技术特点，模型内部逻辑复杂使得人工介入调试困难、定制可扩展性减弱等问题。未来端到端一体化模型在语音领域应用方面还将有进一步的发展，一方面是前端到后端的模块端到端，忽略前端语音增强和后端语音识别中涉及多项输入的假设，将语音增强和声学建模一体化，另一方面是交互信息载体的端到端，聚焦于语音信号数据本身的信息提取和处理，使得人机交互更贴近真实人类语言的沟通方式。
-
单位中国信息通信研究院
