爬虫通俗来说就是抓取网页数据，比如说大家都喜欢的妹子图、小视频呀，还有电子书、文字评论、商品详情等等。
只要网页上有的，都可以通过爬虫爬取下来。
一般而言，python爬虫需要以下几步：
当然会撸python是前提，对于小白来说自学也不是件容易的事，需要花相当的时间去适应python的语法逻辑，而且要坚持亲手敲代码，不断练习。
如果对自己没有自信，也可以考虑看编程课程，跟着老师的节奏去学习，能比较快地掌握python语法体系，也能得到充分的案例练习。
在默认你已经有python基础的前提下，来说一说如何写代码进行网页请求、解析。
网页请求意思是把网页的HTML源码下载下来。
好了，接下来我们一步步按照套路把本问题的信息都爬下来！
这个很容易，该问题的url：https://www.zhihu.com/question/21358581
我们需要爬取四个信息：
推荐使用chrome浏览器实践，会和本文操作同步。
打开本问题的网页：
按F12键进入开发者页面：
点击开发者页面左上角的‘选择元素’箭头：
然后再点击网页上的问题描述，这时候开发者界面上出现HTML源码：
你想要的问题描述文字，就藏在html源码里：
我们要爬取的第一个信息已经找到，按照上面步骤，可以找到其它三个信息在html中的位置。
如果你不懂什么是html？为甚么爬信息需要看html？请先看这篇回答：
这一步可能是大家最最关心的，因为涉及到python代码。
其实这里对python的要求也仅限于你需要会数据类型、变量、运算符、函数、模块之类的简单语法。
因为我们会用到好几个第三方库，帮助我们完成网页请求、解析的工作，你需要做的是知道这些库的使用方法。
如果你对这个过程仍感迷惑，仍推荐先看这篇回答：
Part 1
这里用到的用于网页请求的库是requests，一个非常流行的http请求库。
这里请求的是什么？不是原谅、也不是理解，而是网页的html信息。
服务器收到请求后，会返回相应的网页对象。
Requests库会自动解码来自服务器的内容，大多数 unicode 字符集都能被无缝地解码。
这一切requests都能妥妥地搞定。
我们来尝试下：
我们会接收到服务器返回的页面，requests解析后，呈现下面这样子：
这就是我们需要的html源码呀！
接下来要做的就是从html中抽取我们需要的四个信息。
Part 2
通过网页请求，我们获取到响应的html文档，我们需要的东西都在这个文档里。
但是怎么去抽取信息呢？
XPath 是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进行遍历。
这里用到另一个有用的库xpath，xpath库可以让你轻松的使用XPath语言查找信息。
既然XPath是在XML文档中才能起作用，然而我们刚刚获取的html只是文本字符串。
所以需要把html文档转换为XPath可以解析的对象：lxml.etree._Element（xml/html文件树中的一个节点）。
接着上面代码：
Part 3
这下我们可以使用xpath库来进行信息的提取了。
xpath的使用方法这里不赘述了，大家可以网上搜搜资料，个半小时也能学会。
这里介绍一种简单的方法，你在开发者页面中找到对应信息的源码后，直接右键复制xpath地址：
但复制的xpath很有可能会导致获取的信息为空，所以我这里用标签的属性来获取对应文本。
接上面代码：
最终呈现的结果：
好了，关于这个问题的信息已经通过python爬下来。
初学的小伙伴自己尝试再多爬些内容，练习requests和xpath的使用，爬虫也就能入门了。
对于小白来说自学也不是件容易的事，需要花相当的时间去适应python的语法逻辑，而且要坚持亲手敲代码，不断练习。
如果对自己没有自信，也可以考虑看编程课程，跟着老师的节奏去学习，能比较快地掌握python语法体系，也能得到充分的案例练习。
