致富网赚论坛

 找回密码
 注册会员
搜索
查看: 55|回复: 1

华为移动搜索AspiegelBot爬虫被发现高频爬取

[复制链接]
发表于 2020-5-23 13:30 | 显示全部楼层 |阅读模式
华为移动搜索AspiegelBot爬虫被发现高频爬取
继上次头条搜索暴力爬取网站信息后,华为移动搜索AspiegelBot爬虫近日也被站长发现开始高频抓爬网站信息,就和站长头条差不多。

202005239808_512.jpg

了解到,这个AspiegelBot爬虫主要模拟安卓机进行抓爬 , UA标识符里也没有标注爬虫所属公司信息,显然不想让人发现,后面有站长深挖才发现这个爬虫属华为搜索旗下的AspiegelBot公司,并且AspiegelBot的爬虫超高频抓取甚至堪比上次的头条爬虫的暴力抓取,很多被爬的一些小网站很多直接瘫痪,开始屏蔽华为搜索AspiegelBot爬虫的访问。

有站长表示: 这次华为移动搜索AspiegelBot爬虫高频爬取跟就和站长头条差不多,也是大量抓取网站信息,一般搜索引擎只有开始大量建立索引库才会这么玩,跟刚上线时的头条搜索一个套路,看来华为搜索也是要准备进场了!
回复

使用道具 举报

发表于 2020-5-23 16:07 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

使用道具 举报

您需要登录后才可以回帖 登录 | 注册会员

本版积分规则 快速回帖:

小黑屋|手机版|Archiver|网赚论坛 ( 鲁ICP备16041170号-1 )

GMT+8, 2020-5-29 09:00 , Processed in 0.062500 second(s), 21 queries .

Powered by 致富网 X3.2

© 2001-2019 致富创业网 网站地图

快速回复 返回顶部 返回列表