基于布隆过滤器的网页搜索去重方法

作者：黄恩博

来源：现代计算机(专业版), 2013, (21): 7-10.

• 布隆过滤器
• MD5
• 网页搜索去重 Bloom Filter
• MD5
• URL Duplicate Removal

介绍布隆过滤器的相关理论,对MD5哈希算法进行较为详细的分析,对GPU和CPU的结构及运算特点进行分析比较,提出一种基于布隆过滤器并使用GPU进行URL的MD5计算的网页搜索去重方法。

• 单位
  广州大学华软软件学院