如何让网站页面内容不被抓取?  

作　　者：王铮 

出　　处：《计算机与网络》2014年第20期43-43,共1页Computer & Network

摘　　要：可能有的朋友会奇怪,网站的页面不是让搜索引擎抓的越多越好吗,怎么还会有怎么让网站页面内容不被抓取的想法。首先,一个网站可以分出去的权重是有限,哪怕是Pr10的站,也不可能无限的分权重出去。这权重包括链到别人网站的处链以及自己网站内的内链。外链的话,除非是想坑被链的人。否则外链都是需要让搜索引擎所抓取,这不在本文讨论范围之内。而内链,因为有些网站有不少重复或冗余的内容。

关 键 词：网站页面 网站管理 讨论范围 浏览者 文件控制 谷歌 产品类型 

分 类 号：TP393.092[自动化与计算机技术—计算机应用技术]