如何让 sogou spider 不抓我的网站

2025-01-08分类：规则算法阅读：35

sogou spider 支持 robots 协议，您可以在网站的根目录放置 robots.txt。

robots.txt 的规则请参阅 http://www.robotstxt.org/。需要注意的是，最新更新的 robots.txt 可能需要几个星期才能体现出效果来，另外，被您禁止 sogou spider 收录的网页将不能在搜狗搜索引擎上检索到。

郑重声明：部分文章来源于网络，仅作为参考，如果网站中图片和文字侵犯了您的版权，请联系我们处理！