selenium爬虫被检测到 该如何破

本人之前在做X宝，X评，X团的爬虫项目时，均遇到了获取cookies这个重要的问题，而获取cookies的前提是实现用户登录，登陆的过程就不赘述了，相信大家都遇到了滑块，滚动条等反爬手段，(本人用webdriver破解)，可大厂的技术团队还是给了我们一个更难解决的问题，就是通过js给webdriver请求响应错误信息。那我们的思考路线就是如何让这个js文件功能作废，本人使用的方法是通过 mitmproxy 蔽掉识别 webdriver 标识符的 js 文件。

首先下载mitproxy，pip安装方法：

    pip install mitmproxy

基本使用方法：

1. 给本机设置代理ip 127.0.0.1端口8001（为了让所有流量走mitmproxy）具体方法请百度。

2. 启动mitmproxy。

windows：

mitmdump -p 8001

Linux：

mitmproxy -p 8001

3. 打开chrome的开发者工具，找到目标网站是通过哪个js文件控制webdriver相应的， 如：

4. 开始写干扰脚本(DriverPass.py)：

import re
from mitmproxy import ctx

def response(flow): 
    if '/js/yoda.' in flow.request.url:
        for webdriver_key in ['webdriver', '__driver_evaluate', '__webdriver_evaluate', '__selenium_evaluate', '__fxdriver_evaluate', '__driver_unwrapped', '__webdriver_unwrapped', '__selenium_unwrapped', '__fxdriver_unwrapped', '_Selenium_IDE_Recorder', '_selenium', 'calledSelenium', '_WEBDRIVER_ELEM_CACHE', 'ChromeDriverw', 'driver-evaluate', 'webdriver-evaluate', 'selenium-evaluate', 'webdriverCommand', 'webdriver-evaluate-response', '__webdriverFunc', '__webdriver_script_fn', '__$webdriverAsyncExecutor', '__lastWatirAlert', '__lastWatirConfirm', '__lastWatirPrompt', '$chrome_asyncScriptInfo', '$cdc_asdjflasutopfhvcZLmcfl_' ]:
            ctx.log.info('Remove "{}" from {}.'.format(
            webdriver_key, flow.request.url
            ))  
        flow.response.text = flow.response.text.replace('"{}"'.format(webdriver_key), '"NO-SUCH-ATTR"')  
    flow.response.text = flow.response.text.replace('t.webdriver', 'false')
    flow.response.text = flow.response.text.replace('ChromeDriver', '')

5. 退出刚才的mitmproxy状态，重新用命令行启动mitmproxy干扰脚本 监听8001端口的请求与响应。

mitmdump -s DriverPass.py -p 8001

6. 现在别管mitmproxy，启动webdriver 顺利获得cookies。

大功告成，点个赞再走。

个人经历，即使是使用Selenium调用ChromeDriver来打开网页，其还是与正常打开网页有区别的，有被识别的可能性。

因为在尝试登录阿里爸爸的某平台后台信息时，手动使用浏览器打开的网页登录的时候输入用户名和密码直接就登录进去了，而使用selenium操纵ChromeDriver打开的网页登录操作，不仅需要滑块验证，而且滑块验证还总是失败（手动拖鼠标滑块）。

区别以及被识别的原因是什么，目前还没有找到原因，可能是因为被识别到浏览器是使用自动测试工具进行的操作：

如何解决呢？一个方法是使用pyqt的qtwebengine组件，具体怎么实现，可以自己思考一下。

selenium在运行的时候会暴露出一些预定义的Javascript变量（特征字符串），例如"window.navigator.webdriver"，在非selenium环境下其值为undefined，而在selenium环境下，其值为true

除此之外，还有一些其它的标志性字符串(不同的浏览器可能会有所不同):

1. webdriver
2. __driver_evaluate
3. __webdriver_evaluate
4. __selenium_evaluate
5. __fxdriver_evaluate
6. __driver_unwrapped
7. __webdriver_unwrapped
8. __selenium_unwrapped
9. __fxdriver_unwrapped
10. _Selenium_IDE_Recorder
11. _selenium
12. calledSelenium
13. _WEBDRIVER_ELEM_CACHE
14. ChromeDriverw
15. driver-evaluate
16. webdriver-evaluate
17. selenium-evaluate
18. webdriverCommand
19. webdriver-evaluate-response
20. __webdriverFunc
21. __webdriver_script_fn
22. __$webdriverAsyncExecutor
23. __lastWatirAlert
24. __lastWatirConfirm
25. __lastWatirPrompt
26. $chrome_asyncScriptInfo
27. $cdc_asdjflasutopfhvcZLmcfl_

了解了这个特点之后，就可以在浏览器客户端JS中通过检测这些特征串来判断当前是否使用了selenium，并将检测结果附加到后续请求之中，这样服务端就能识别并拦截后续的请求。

可行的做法是通过mitmproxy类型代理工具，修改js文件，替换文件内所有变量关键词，或者将其不可执行，从而避免被识别。

爬虫要用一些调度策略，避免触发机器人识别程序。机器人识别程序有些很简单，比如，根据单位时间内访问的网页数量，有些比较复杂，比如根据访问的网页间关系，还有更复杂的根据监听网页上的事件。

反正要让爬虫的行为特别像真人，目前我重点是做行为建模，比如，我从GooSeeker爬虫6.x版本开始增加了一个开发者工具：录制真人浏览网页的事件，期望建立一个十分逼真的模型。在这个回答中有说明：直接用Charles抓包的信息， python 模拟登录网站的一点问题？ - 华天清的回答

有一个很简单粗暴的办法，就是用其他方式控制浏览器（换个思路，不一定要PC）。

当然最好还是根据抓包看到的必要参数去逆向JS，直接模拟请求。

楼上其他方法都试过，我把最终的结果总结了下。

1. 识别selenium，可以通过window.navigater.webdriver的属性值来识别，这种可以使用中间件拦截来改变这个值。
2. 但是有的网站不仅仅是这。还会检测selenium里面一些特殊的js变量名，这种理论上也可以采用中间件来处理检测方法。
3. 但是中的但是，还没完。开启selenium好像是开启了一个本地代理，所有的操作都是通过和代理通信来操作浏览器，包括find_element方法。也有的网站js能识别是否使用了这些方法。js是怎么知道selenium的准确代理地址和是否进行了通信，自己的js基础薄弱，还没搞懂。大牛阅及，望指正。

phantomjs 会被好些网站自动认作爬虫。因为正常人是不会用这个浏览器的……建议尝试直接上chrome 的 webdriver。使用方法和 phantomjs 完全一样。还可以实时方便的监控网页的爬取进程。之前做过一个爬取google的小项目，最后就是用chrome加随机延时防止被捉的。

from selenium import webdriver


test_url = 'https://www.crunchbase.com/app/search/companies'
spider = webdriver.Chrome('C:/Program Files (x86)/Chromedriver/chromedriver.exe')
spider.get(test_url)

stackoverflow上有个相同问题。链接在这里：

Can a website detect when you are using selenium with chromedriver?

高票答案说这种识别是通过辨认一些带有selenium特征的javascript预定义变量来实现的，且不同的浏览器所能暴露出来的特征不一样。那哥们也是用的chrome，他提出的解决方法是改掉这些变量的名称。他自己下了chromedriver的源码，把里面特征变量的名字改掉，然后重新编译，结果似乎是骗过了目标网站。但是他后面补充了一点：在此之前你最好不要被网站加入黑名单里，因为你的浏览器有自己独特的指纹可以被追踪。 更具体的讨论还得看原帖。

里面第二个回答还引用了一段 "Distil Networks" （题主提到的那个distilnetworks.com）CEO的话，提到了逆向工程和模式识别。他们似乎是通过多种技术来实现对机器人的识别，但是更多的细节并没有透露。

我对webdriver的实现细节并不清楚，之前一直觉得 手动打开浏览器 和 使用webdriver打开浏览器 应该没有差别，都是货真价实的浏览器嘛，但从现在这个情况看，在使用selenium时，浏览器的某些特征和手动打开时是不一样的。只要你用webdriver打开了浏览器，浏览目标网站时即便不对浏览器进行更多操作，也能被网站发现。就看这个网站是不是使用了这样的识别技术了。

不知题主找到解决方法没，感觉重新编译还是有点麻烦啊。今天也遇到这个问题，现在我只能先附上最上面的链接，如果后面解决了这个问题，我会把步骤补上供大家参考。要是题主已经解决了的话还请分享一下解决方法呀！

爬大众点评的时候，爬的量比较大，代码没多久就被封了，但是发现只有部分页面会检测爬虫，如果不是一定要爬的页面的话，可以改一下爬虫策略，只爬那些不检测的页面，这种页面一般也不是很需要sleep。

前段时间用selenium写了个去某网站解析抖音视频去水印 小工具，然后这几天突然不能用了，返回的提示是客户端浏览器异常，应该就是大神们说的什么特征码的问题了，我用selenium打开浏览器，自己手动操作一样不行。解决方法就是手动打开浏览器，然后用selenium控制这个浏览器跑程序。反正我的问题是这么解决的

看了一些答案，并没有很好地解决楼主这个问题。正好这段时间也在研究这个方面的问题，有一些心得，就顺便来回答一波。

selenium爬虫被识别的原因很简单，就是因为浏览器中的window.navigator.webdriver属性被JS暴露了出来，而被服务器端所识别，触发了服务器的反爬策略，导致爬取失败。

比较简单的解决方法有两个：

1. Chrome从v63版本开始添加了这一属性，那么我们就可以使用低于v63版本的Chrome来实现即可(v62.0.3202.62版本测试通过，当然也不要忘了将chromedriver换成对应的版本)。
2. 使用google新推出的puppeteer，现在已经有对应的python版本pyppeteer，功能非常强大，绝对算得新一代爬虫利器，相信你去用了之后会爱上它的。API参考地址：

一般防爬的目的就两种：

1.防止资源被拉取，这种用心做了特别难爬

2.防止服务器被弄挂了，这种做个限速就OK了

发个JS给你，你浏览器多大，鼠标位置在哪里，点击验证拖动验证码要花多长时间点下去多久松开多久，包括光影特征，比如你是chrome模拟成firefox ua的根本没用人家清清楚楚，是不是人的行为特征一下子就知道了，webdrive是真实浏览器没错的，但是是不是人行为也可以获取的。

爬虫比较容易改的就是一些头部特征，比如UA什么的，这种抓个包就知道咋回事了，之所以可以抓取是因为人家没有花费这个精力去防爬，或者资源价值在那不值得这样搞

遇到同样问题，正在查资料。以下是查到的一些相关知识点

可以看这篇文章以及文内链接科普一些必要知识↓ 包括selenium如何被识别

selenium各种坑和bug真实记录-python中国网​www.python66.com/seleniumjiaocheng/156.html

可以用pyppeteer注入js脚本：

mitmproxy中间人攻击：

还可以使用google的cdp协议，预加载js，做一些简单的措施，例如，修改window.navigator.webdriver的值。

补充一下，除了webdriver，有一个叫ichrome的包也挺好用的，直接调用cdp。应该是比较新的项目。

我最近也遇到了这个问题，确实是Chromedriver打开地址会有有特征的Javascript变量

有个解决办法是使用中间人代理过滤掉特征字符串，使网站认为非Chromedriver。

按键模拟➕抓包

简单粗暴秒杀一切

再也不用看什么卵子鬼JS了，再也不用掉头发了。

有些网站的反爬手段越来越高明，貌似现有回答的方法都不一定能行了。

你好，我试了一下不行了，你看一下你的还行吗？

你试一试直接访问首页，看能不能正常访问。