一个爬虫工作前期准备是非常重要的，要梳理好爬虫的需求，明确要抓取哪个目标网站的哪些数据，而且还要对网站的反爬虫有深入了解。

网络爬虫从技术层面来说就是通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据(图片、视频) 爬到本地，进而提取自己需要的数据，存放起来使用.

爬虫需要用代理IP是反爬最重要的一点就是对IP的限定，超过设定的次数或频率，IP就会被封。代理IP就可以代替被封的IP继续爬虫。到了设定值后，就继续用代理换IP，这样才能完成爬虫工作。

但是如果没有很好的模拟正常用户使用，导致ip被封的原因是可以有很多的，例如没有清理cookie缓存等，也有可能是目标服务器反爬虫策略升级。

所以有很多用户在购买代理ip使用之后，觉得只要换了ip就一定不会被禁，这个想法是不对的。因为只要有操作不当，就会影响到整个ip代理池的使用。