在海量的技术用语，要数大家都比较熟悉的可能就是爬虫了。就算是大家并没有尝试过网络爬虫，但是在这个大数据应用的时代，大家也接触过爬虫技术。

今天，我们跟着黑洞代理来一起学习爬虫相关的基础知识。

爬虫(Web crawler)，是一种按照一定的规则，自动地提取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。

通常情况下，爬虫用户自己是没有能力去自己维护服务器或者是自己搞定代理ip的问题的，一来是因为技术含量太高，二来是因为成本太高当然，也有很多人会在网上提供一些免费的代理ip，但是从实用性、稳定性以及安全性来考虑，不推荐大家使用免费的ip。

现在，爬虫程序怎么样安全躲避防爬程序，可以说是一个很普遍的需求了。做网络爬虫时，一般对代理IP的需求量比较大。因为在爬取网站信息的过程中，很多网站做了反爬虫策略，可能会对每个IP做频次控制。这样我们在爬取网站时就需要很多代理IP。

我们能够通过专业的代理服务商处获得爬虫ip代理，通过与换ip软件的配合，我们就可以利用不同的ip来进行爬虫工作了。