|
本文介绍了apache中屏蔽指定的搜索引擎蜘蛛与主机名的方法，Deny from选项禁止某些搜索引擎的抓取。
方法1，打开Apache配置文件httpd.conf，配置如下：
复制代码代码示例:
<Directory />
Options FollowSymLinks AllowOverride all Deny from www.bing.com //屏蔽蜘蛛 Deny from search.msn.com //屏蔽蜘蛛 </Directory>
方法2，robots.txt 文件
User-agent: *
Disallow: /newcar/ 建议用第一种方法，因为第二种方法，有些垃圾搜索引擎根本不予理会，仍然继续抓取。 另外，还可以考虑用iptables直接禁止相关ip地址段的访问。 (责任编辑：IT) |