您的位置: 扬中信息网 > 体育

我们怎样去辨别蜘蛛的身份7z

发布时间:2019-10-12 22:58:13

搜索引擎派出他们的搜索机器人去访问、索引站内容,站管理员也默认、欢迎它们来访。但是由于搜索引擎派机器人来访会在一定程度上影响站性能,因此并非所有的机器人都是无害的,有一些非法机器人伪装成主流搜索引擎漫游器对站大量遍历

,红斑狼疮病剖析红斑狼疮混淆疾病并且不遵循t规范,会严重脑瘫孕妇肚里验出拖垮站性能而又无其它益处。因此

,站管理员需要验证每个机器人身份是否合法。

在你的服务器日志文件中,可见每次平民超营养食物访问的路径和相应的IP地址,如果是机器人来访

,则user-agent会显示Googlebot或MSNBot等搜索引擎漫游器名称,每个搜索引擎都有自己的user-agent

,但仅有这个还不足以证明这个机器人的合法性,因为很多垃圾制造者可能将他们的机器人也命名为Googlebot,以伪装蒙混进入站,大肆采掘内容。

目前

,主流搜索引擎都建议站管理员通过这种方式来辨别真实的机器人身份:通过DNS反向查询找出搜索引擎机器人IP地址对应的主机名称;用主机名查找IP地址以确认该主机名与IP地址匹配。

首先,使用DNS反向查询(Reverse DNS Lookup)

,找出机器人IP地址对应的主机名称。主流搜索引擎的主机名称通常情况下应是这样的:

Google:主机名称应包含于域名中,如:;

MSN:主机名称应包含于域名中,如:;

Yahoo:主机名称应包含于域名中,如:。

最后,做一次DNS查询,用主机名查找IP地址(Forward DNS Lookup),以确认该主机名与IP地址匹配。由此证明该机器人是合法的。现在,如果发现一个机器人将自猪鼻子隆鼻术己伪装成合法搜索引擎漫游器,你就可以通过服务器上的设置来阻止这个非法机器人。查看更多教程点击北京启源思域络主站 。

微信小程序怎么用
怎么开通平台微商城
加盟微商城
猜你会喜欢的
猜你会喜欢的