我有一个网站，其中包含大量产品和价格数据库。
我经常被价格困扰。
我想用一个来防止它<noscript>标签，但我能做的就是隐藏内容，机器人仍然能够抓取我的内容。
有没有办法运行 JS 测试来查看 js 是否被禁用（以检测机器人）并重定向这些请求，也许在黑名单中。
这样做会阻止谷歌浏览我的网站吗？
由于 CURL 只是一个 html 请求，您的服务器无法区分，除非您限制某些 url 的访问或检查引用网址并针对本地未引用的任何内容实施过滤器。可以在此处找到如何构建支票的示例：
检查引荐来源网址 https://stackoverflow.com/questions/2031362/checking-the-referrer
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
