科研之友
微信
新浪微博
Facebook
分享链接
摘要
随着网络的发展和普及,人们对于安全性、匿名性、反审查等信息安全的需求快速增强,越来越多的人开始关注和研究Tor匿名通信网络。目前针对Tor网络内容监控的研究工作大部分存在功能少、性能弱等劣势,如缺乏为暗网设计的专用爬虫,网络连接速度较慢,本文设计开发了一套综合性的Tor网络内容动态感知及情报采集系统,包含数据采集爬虫以及网页内容分类两个部分。其中爬虫部分使用了分布式架构,包括了任务管理模块、爬虫调度模块、网页下载模块、页面解析模块、数据存储模块,同时创新性地优化了Tor连接链路以提高爬取速度和稳定性;网页内容分类部分使用了自然语言处理技术,建立训练模型并对抓取到的信息进行精准高效分类,解决分类的准确度和复杂性问题,最后根据结果分析暗网的内容结构和敏感信息。我们也相应地为保障系统运行设计了容错模块和预警模块,从而对系统各个组件的当前状态进行实时监控,并将系统的状态数据进行整合、收集和展示。最后我们将该系统放到了实际Tor网络环境中进行了测试,从系统网页爬取效果、内容分类效果及系统性能等三方面进行了评估和分析,并与国内外7中现有的框架的功能进行了对比,证明本文提出的方案在暗网域名、网页、数据爬取的量级和速度性能方面均为最佳。
- 单位
