我怎样才能抵御不良的不明机器人爬行我的网站？一些名称未出现在 Apache cPanel 中的恶意机器人正在严重访问我的网站带宽。
我曾在 batgap.com/robots.txt 上尝试过 robots.txt，也使用 .htaccess 进行了阻止，但带宽使用情况没有任何改善。我不知道这些机器人的 IP，因此无法通过 IP 地址阻止它们。这些机器人消耗了太多的网站带宽，因此我需要从服务器增加带宽。
我来自 Incapsula，我们定期与不良机器人打交道。
我们最近发布了一项与机器人相关的研究，提供了对问题范围的见解（http://www.incapsula.com/the-incapsula-blog/item/225-what-google-doesnt-show-you-31-of-website-traffic-can-harm-your-business http://www.incapsula.com/the-incapsula-blog/item/225-what-google-doesnt-show-you-31-of-website-traffic-can-harm-your-business）并且根据这些数据，我必须同意@Leonard Challis - 你根本无法手动处理机器人保护。
话虽如此，有一些机器人程序保护解决方案，甚至是免费的（包括我们）可以帮助您应对不良机器人程序。
顺便说一句 - 正如您所提到的，不良机器人访问的副产品之一是带宽损失。
我们最近意识到与机器人相关的带宽使用量确实有多么惊人。
这本身就是一个有趣的话题。
我们相信，通过避免不良机器人流量，托管提供商实际上可以极大地提高其效率（希望以此来降低成本或改善服务）。一旦你想象到这对社会和商业的影响，你就能理解这个糟糕的机器人问题的真正范围，它远远超出了造成的直接损害。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
