一种面向哈希连接的布隆过滤器配置方法

作者:汤德佑; 萧伟豪; 杨文升; 卢浩坚; 毕文轩
来源:2023-03-30, 中国, CN202310329825.7.

摘要

本发明提供一种面向哈希连接的布隆过滤器配置方法,包括:采样初始数据、分析初始数据、动态分析种类数变化趋势、拟合变化趋势模型、构建布隆过滤器、评估布隆过滤器大小、调整布隆过滤器配置。本发明结合概率统计、数学建模动态分析部分数据集并预估其码值倾斜情况,使用变化斜率、变异系数等判断数据的稳定趋势;利用HausdorffDistance选择最佳模型估算布隆过滤器,最终提出不同的配置布隆过滤器策略,高效配置布隆过滤器大小,充分利用内存资源,提升哈希连接整体查询效率。