相关视频：

Python之scrapy入门_哔哩哔哩_bilibili

转：scrapy入门实战-爬取代理网站 - JayMu - 博客园

入门scrapy。

学习了有这几点

1.如何使用scrapy框架对网站进行爬虫；

2.如何对网页源代码使用xpath进行解析；

3.如何书写spider爬虫文件，对源代码进行解析；

4.学会使用scrapy的基础命令，创建项目，使用模板生成一个爬虫文件spider；

5,通过配置settings.py反爬虫。如设置user-agent；

设定目标:爬取网络代理www.xicidaili.com网站。

使用scrapy startproject 项目名称

scrapy startproject xicidailiSpider

项目名称应该如何命名呢：建议是需要爬虫的域名+Spider.举个例子：比如要爬取www.zhihu.com,那么项目名称可以写成zhihuSpider。

会在目录中出现该文件目录：

2.  目录中spiders放置的是爬虫文件，然后middlewares.py是中间件，有下载器的中间件，有爬虫文件的中间件。pipelines.py是管道文件，是对spider爬虫文件解析数据的处理。settings.py是设置相关属性，是否遵守爬虫的robotstxt协议，设置User-Agent等。

3.可以使用scrapy提供的模板，命令如下：

scrapy genspider 爬虫名字   需要爬虫的网络域名

举例子：

我们需要爬取的www.xicidaili.com

那么可以使用

scarpy genspider xicidaili  xicidaili.com

命令完成后，最终的目录如下：

建立后项目后，需要对提取的网页进行分析

经常使用的有三种解析模式：

1.正则表达式

2 xpath   response.xpath("表达式")

3 css    response.css("表达式")

XPath的语法是w3c的教程。XPath 语法

需要安装一个xpath helper插件在浏览器中，可以帮助验证书写的xpath是否正确。

xpath语法需要多实践，看确实不容易记住。

运行

scrapy crawl xicidai 项目名，这个必须唯一。

如果需要输出文件，

scarpy crawl xicidaili --output ip.json 或者ip.csv