你有没有想过网站是通过什么来知道现在有爬虫正在抓取自己网站信息?不然网站的反爬虫机制是以什么为基准来建立的呢。黑洞代理下面来介绍4中最常见的方式：

1、IP检测

即会检测到用户IP访问的速度，如果访问速度达到设置的阈值，就会开启限制，封IP，让爬虫终止了脚步，不可以重新获取数据。针对IP检测，可以用黑洞代理，切换大量IP地址，能够很好的突破限制。

2、请求头检测

爬虫并不是用户，在访问时，没有其他的特征，网站可以通过检测爬虫的请求头来检测对方到底是用户还是爬虫。

3、验证码检测

设置登陆验证码限制，还有过快访问设置验证码限制等的，若是没有输入正确的验证码，将不能再获取到信息。由于爬虫可以借用其他的工具识别验证码，故网站不断的加深验证码的难度，从普通的纯数据研验证码到混合验证码，还是滑动验证码，图片验证码等。

4.cookie检测

浏览器是会保存cookie的，因此网站会通过检测cookie来识别你是否是真实的用户，若是爬虫没有伪装好，将会触发被限制访问。

同理网站可以通过这些途径去监测是否有爬虫，爬虫工作者也能够按照这个原理来去突破。比如是利用IP检测的，我们就可以用代理IP来进行换IP处理。