带有爬虫检测的网站汇总

有爬虫，就有反爬虫

这里汇总直到的一些带有反扒功能的站点

https://www.crunchbase.com/

如果爬虫程序进入页面 Control+F5 刷新后就会被识别为爬虫了

爬虫检测：

https://bot.sannysoft.com/

使用selenium访问这个网站 https://bot.sannysoft.com/ 它会显示有哪些特征被检测出

参考：https://www.gaoyuanqi.cn/python-selenium-execute_cdp_cmd/