从事互联网工作，网络爬虫是大家非常耳熟能详的，就算大家不懂得代码编写，对于爬虫的效果还是能够了解一二的。

网络爬虫能够有自己的发展空间就是因为用爬虫程序抓取网页信息便捷、高效、迅速，但是同时也要小心IP地址受限制。从是否合乎规范来看，爬虫可以分为以下两种。

1.恶意爬虫

通过分析并自行构造参数对非公开接口进行数据爬取或提交，获取对方本不愿意被大量获取的数据，并有可能给对方服务器性能造成极大损耗。此处通常存在爬虫和反爬虫的激烈交锋。

2.合法爬虫

以符合Robots协议规范的行为爬取网页，或爬取网络公开接口，或购买接口授权进行爬取，均为合法爬虫，该类爬虫通常不用考虑反爬虫等对抗性工作。

但是现在的爬虫有很多，网站为了保护自己的信息或者是减少服务器的流量压力，会对爬虫做出一定的限制，比如爬取频率等等。如果需要突破限制，那么就需要用到换ip软件。