基于Python技术的校园网搜索引擎设计

作者：闫丽丽

来源：信息与电脑(理论版), 2023, 35(17): 183-185.

• 校园网搜索引擎
• Python技术
• Scrapy爬虫框架

传统搜索引擎模式存在新消息获取不及时、无法搜索通用引擎等问题,为此设计基于Python技术的校园网搜索引擎。首先分析搜索引擎的建立流程,其次分析Scrapy爬虫框架的工作原理,再次借助统一资源定位系统(Uniform Resource Locator,URL)去重策略优化校园信息查询流程,最后分析Scrapy爬虫框架爬虫防禁止策略。