robots协议限制抓取行为的正当性分析  

作　　者：谢甄珂 雒明鑫 

机构地区：[1]北京知识产权法院

出　　处：《中国审判》2023年第4期70-73,共4页China Trial

摘　　要：robots协议(Robots Exclusion Protocol),又称为爬虫协议、机器人协议,是指网站所有者通过一个置于网站根目录下的文本文件,即robots.txt,告知搜索引擎的网络机器人(或称网络爬虫、网络蜘蛛)哪些网页内容不希望被抓取,哪些网页内容可以抓取。其本质上是受访网站与网络机器人之间的一种“君子协议”,不具有技术措施的限制效果。

关 键 词：网络机器人 网络爬虫 网络蜘蛛 网页内容 搜索引擎 文本文件 根目录 君子协议 

分 类 号：TP3[自动化与计算机技术—计算机科学与技术]