使用此测试工具测试并验证您的 robots.txt。检查 URL 是否被阻止、哪个语句阻止它以及针对哪个用户代理。您还可以检查页面的资源(CSS、JavaScript、图像)是否被禁止。
使用方法
1、输入需要检测的URL
2、User Agent 选择 Googlebot
3、将你站的robots.txt 放至网站编辑内
4、点击 TEST
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END
使用此测试工具测试并验证您的 robots.txt。检查 URL 是否被阻止、哪个语句阻止它以及针对哪个用户代理。您还可以检查页面的资源(CSS、JavaScript、图像)是否被禁止。
1、输入需要检测的URL
2、User Agent 选择 Googlebot
3、将你站的robots.txt 放至网站编辑内
4、点击 TEST