因为python的脚本特性和易于配置，对字符的处理也非常灵活，加上python有丰富的网络抓取模块，所以叫爬虫。
网络爬虫(web crawler简称爬虫)就是按照一定规则从互联网上抓取信息的程序，爬虫与用户正常访问信息的区别就在于：用户是缓慢、少量的获取信息，而爬虫是大量的获取信息。爬虫相对其他技能简单易学，且效果立即可见，会有一定的成就感。
在爬虫流程的第二步，向URL发送请求，那么就要依赖于HTTP/HTTPS协议。HTTP:超文本传输协议，默认端口为80。超文本：是指超过文本，不限于文本，可以传输图片、视频、音频等数据。传输协议：是指使用公共约定的固定格式来传递转换成字符串的超文本内容。HTTPS:HTTP+SSL（安全套接字），即带有安全套接字层的超文本传输协议，默认端口443。
Python作为一门编程语言而言纯粹的自由软件，以简洁清晰的语法和强制使用空白符进行语句缩进的特点从而深受程序员的喜爱。用不同编程语言完成一个任务：c语言一共要写1000行代码；java要写100行；python则只需要写20行的代码。若使用python来完成编程任务编写代码量更少，代码简洁简短且可读性更强，一个团队进行开发的时候编写代码效率会更快，开发效率高让工作变得更加高效。
Python非常适合开发网络爬虫的编程语言，相比于其他静态编程语言，Python抓取网页文档的接口更简洁;相比于其他动态脚本语言，Python的urllib2包提供了较为完整的访问网页文档的API。python中有优秀的第三方包可以高效实现网页抓取，并可用极短的代码完成网页的标签过滤功能。
爬虫构架
1、URL管理器：管理待爬取的url集合和已爬取的url集合，传送待爬取的url给网页下载器；
2.、网页下载器：爬取url对应的网页，存储成字符串，传送给网页解析器；
3、网页解析器：解析出有价值的数据，存储下来，同时补充url到URL管理器。