当前位置:首页 > 建站资讯 > 外贸SEO网站优化 > 禁止采集和未知名搜索引擎抓取网站unknown robot

禁止采集和未知名搜索引擎抓取网站unknown robot

时间:2017-05-13 09:25来源:未知 作者:admin 点击:
未知名搜素引擎抓取网站,倒是网站流量浪费 有些是采集的。
SEO外贸网站方案

User-agent: Yahoo Slurp
Allow: /

User-agent: Googlebot
Allow: /

把斜面的内容复制到robots.txt内,然后上传到网站更目录,就可以了

User-agent: MSNBot-media
Allow: /

User-agent: Netcraft
Allow: /

User-agent: MSNBot-media
Allow: /

User-agent: MSNBot
Allow: /

User-agent: Alexa (IA Archiver)
Allow: /


User-agent: *
Disallow: /

 

这样就可以禁止未知名搜索引擎,unknown robots了。

  • TAG:
你可能还感兴趣的文章

企业QQ:800013951(多工号) 手机QQ扫描: