摘要

网站所有者出于各种理由会禁止搜索引擎机器人爬行其网络信息,但是搜索引擎企业的机器人也可能违反(即无视)爬虫协议的禁止性指令,仍然爬行甚至抓取网站所有者的网页信息,由此网站所有者与搜索引擎企业之间产生利益冲突。网站所有者通常对这类搜索引擎企业提出不正当竞争诉讼,学者们也多从是否构成不正当竞争的角度,对搜索引擎企业违反爬虫协议的行为进行研究。相比而言,对网站所有者限制搜索引擎企业机器人爬行其网站是否违反反垄断法的研究却很缺乏。本文主要探讨拒绝机器人爬行的爬虫协议是否构成反垄断法所禁止的拒绝交易和歧视待遇的问题。