分布式系统Hadoop平台的视频转码

作者：杨帆; 沈奇威

来源：计算机系统应用, 2011, (11): 80-85.

• 视频转码
• 分布式内容处理
• Hadoop
• FFMPEG video transcoding
• distributed processing
• FFMPEG

在研究了目前主流的视频转码方案基础上,提出了一种分布式转码系统。系统采用HDFS(Hadoop Distributed File System)进行视频存储,利用MapReduce思想和FFMPEG进行分布式转码。详细讨论了视频分布式存储时的分段策略,以及分段大小对存取时间的影响。同时,定义了视频存储和转换的元数据格式。提出了基于MapReduce编程框架的分布式转码方案,即Mapper端进行转码和Reducer端进行视频合并。实验数据显示了转码时间随视频分段大小和转码机器数量不同而变化的趋势。结果表明,相比单机转码,提出的系统在采用8台机器并行转码时,可以节约80%左右的时间。

• 单位
  网络与交换技术国家重点实验室; 北京邮电大学