高并发汉英信息抽取系统的设计与实现

作者：张少迪; 艾山·吾买尔^*; 郑炅; 石刚

来源：现代电子技术, 2019, 42(16): 104-111.

DOI：10.16652/j.issn.1004-373x.2019.16.024

• 大数据
• 高并发
• 信息抽取
• TextRank
• uWSGI
• Nginx
• Django

随着大数据时代的来临,如何从海量数据中抽取出最有效的信息成为人们最迫切的需要。为了能够在大数据的环境下更好更快地进行汉英文本的信息抽取,文中采用Python编程语言,Django+uWSGI+Nginx框架,基于TextRank的图排序算法实现汉英文本信息抽取系统。该系统包含文本关键词提取,文本关键短语提取以及文本摘要提取。测试结果表明,该系统能够实现大规模数据的高并发稳定调用,在兼顾抽取质量的同时,还能实现超高效率的信息抽取,具有很好的实际应用价值。

• 单位
  新疆大学