所在分类:  其它网络技术 所属圈子: Amazon 计算机和网络技术

亚马逊识别了、启动了反爬机制吗?为什么同样用加速器(静态IP),我的电脑用加速器换各种IP都会报错,爬的东西无论是BSR,评论,详情也都会出验证码和狗,另两个同事同样的代码同样的节点完全没问题

发帖6次 被置顶0次 被推荐0次 质量分2星 回帖互动41次 历史交流热度31.34% 历史交流深度0%
如题,公司有三个同事,同样是用这一个加速器,同一个账号,3太电脑,节点都是一样的。

然后奇怪的是,用着同一个爬虫代码,但是我的电脑的爬虫代码永远都会报错出验证码或者直接出狗。而同事的,用同一个验证码缺没问题。爬取一样的内容,用的加速器节点也是一样的,唯一不同的就是电脑不同,爬的东西无论是BSR,评论,详情也都会出验证码和狗,然后另外两个同事爬同样的东西同样的代码同样的节点,完全没问题。

有没有IT大神可以帮忙解决一下为什么呢?

我的猜想是因为亚马逊识别了启动了反爬机制,但是作为爬虫,正常不会对电脑识别,更多的是对网络识别,但是同样的网络为什么会有那么大的不同?
已邀请:
专业爬虫30年 帮你解答下这个问题,首先说下亚马逊的反爬机制:

1、亚马逊自己维护了一个ip库,经常爬数据的ip、或者很多人用的公共代理ip,就容易被判为爬虫,轻则出验证码,重则爬啥都是狗
2、亚马逊会检查请求头完整性,这块最重要的是user-agent,如果能模拟用户正常操作下带cookie去访问最好
3、亚马逊的反爬判断是有个动态调节的机制,用户访问高峰期,比如晚上、大促期间,反爬力度会减弱
所以,你可以尝试 更换ip、更换header的user-agent、带cookie访问、换个时间段访问
 

要回复问题请先登录注册

x 点击咨询