robots.txt 生成

按爬虫规则、屏蔽路径与 sitemap 地址生成标准 robots.txt。

站点域名

允许收录

禁止路径（每行一条）

包含 Sitemap

Ctrl + Enter 快速执行

关于这个工具

按爬虫规则、屏蔽路径与 sitemap 地址生成标准 robots.txt。

robots txt 爬虫 seo 禁止收录 sitemap

同类工具

Sitemap 生成网站状态检测 SSL 证书检测 SEO 诊断安全响应头检测 DNS 记录查询

还没有收藏任何工具，在工具页点击右上角星标即可收藏。

最近使用