这是一个好主意吗？？
http://browsers.garykeith.com/stream.asp?RobotsTXT
滥用爬行是什么意思？这对我的网站有什么坏处？
并不真地。无论如何，大多数“坏机器人”都会忽略 robots.txt 文件。
滥用爬行通常意味着抓取。这些机器人的出现是为了获取电子邮件地址或更常见的内容。
至于如何阻止他们？这确实很棘手，而且往往并不明智。反爬行技术往往不够完美，会给普通人带来问题。
可悲的是，就像零售业的“萎缩”一样，这是在网络上开展业务的成本。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
