一种大数据量数据处理方法及系统

作者：唐益鹏; 洪文其

来源：2011-12-21, 中国, ZL200810097594.7.

本发明公开了一种大数据量数据处理方法及系统,以解决大数据量数据无法在规定时间内处理造成处理延时,最后造成系统崩溃的问题。所述方法包括：根据原始文件命名规则分配服务器,将原始文件拆分为小文件；针对拆分后的每个小文件,根据小文件命名规则再次分配服务器,对拆分后的小文件进行处理。本发明可以部署多台服务器同时对大数据量文件进行拆分和处理,极大地提升了系统的处理能力,保证系统在规定时间内对文件处理完毕。而且,所述系统具有非常好的扩展性,当文件越来越大或者是越来越多的时候,通过新增服务器就可以满足需求,即可以线性扩展,而不需要购买更高级的服务器,也不需要重新部署以前已经运行的服务器。