此 robots.txt 文件是否只允许 googlebot 索引我网站的 index.php 文件？注意，我有一个 htaccess 重定向，输入的人
http://www.example.com/index.php
被重定向到简单的
http://www.example.com/
所以，这是我的 robots.txt 文件内容......
User-agent: Googlebot
Allow: /index.php
Disallow: /
User-agent: *
Disallow: /
提前致谢！
并不真地。
好机器人
只有“好”机器人才会遵循robots.txt说明（并非所有机器人和蜘蛛都会费心阅读/遵循robots.txt）。这甚至可能不包括所有主要搜索引擎的机器人，但这绝对意味着某些网络爬虫将完全忽略您的请求（如果您确实想阻止机器人/爬虫看到某些内容，您应该考虑使用 .htaccess 或密码保护）您的网站）。
第二次检查
Google 多次访问您的网站，包括显示为浏览用户。第二次访问将忽略robots.txt文件。第二次访问可能实际上并不索引（如果这是您担心的），但它确实会检查以确保您没有试图欺骗索引机器人（用于搜索引擎优化等）。
话虽这么说，你的语法是正确的......如果这就是你所要求的，那么是的，它会起作用，只是没有你希望的那么好。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
