科研之友
微信
新浪微博
Facebook
分享链接
摘要
MapReduce是Google开发的一种并行分布式计算模型,已在搜索和处理海量数据领域得到了广泛的应用。但是MapReduce框架中的"一对一分区"策略使得其在处理多数据连接任务时,需要将该任务拆分成多个链接的子任务,造成中间结果集的频繁"洗牌",带来巨大的磁盘I/O开销。文中就该问题提出了一种新的分区策略:"一对多分区"策略,为了能够在MapReduce框架中实现这一分区策略,因此需要对MapReduce框架中的分区函数接口进行修改。改进策略的优点在于只要一个MapReduce任务就能够完成多数据集连接任务,因此节省了I/O开销。最后在搭建的Hadoop平台上对改进前和改进后的两种方法进行...
- 单位
