爬虫的应用方面：

1. 通过网络技术向指定的url发送请求，获取服务器响应内容
2. 使用某种技术（如正则表达式，XPath等）提取页面中我们感兴趣的信息
3. 高效的识别响应页面中的链接信息，顺着这些链接递归

安装scrapy

pip install scrapy

本人在安装的时候并没有报以上错误

成功安装scrapy之后，可以通过doc来查看scrapy的文档 。

python -m pydoc -p 8899

打开浏览器查看localhost:8899的页面，可以在python安装目录的libsite-packages下看到scrapy的文档

 

创建scrapy 项目

scrapy startproject ZhipinSpider

 

 

 下面我们来爬去boss直聘 广州地区的招聘信息https://www.zhipin.com/c101280100/h_101280100

使用scrapy提供的shell调试工具来抓取该页面中的信息，使用如下命令来开启shell调试

 scrapy shell https://www.zhipin.com/c101280100/h_101280100

运行上面命令，将会看到如果所示的提示信息

 

scrapy shell -s USER_AGENT='Mozilla/5.0' https://www.zhipin.com/c101280100/h_101280100

response.xpath('//div[@class="job-primary"]/div/h3/a/div/text()').extract()

 

 response.css('div.job-primary>div.info-primary>h3.name span').extract()

 

  （1）编写items.py文件

（2）

 scrapy genspider job_position "zhipin.com"

 

 

 

 

 

（3）编写piplines.py文件，该文件负责将所爬取的数据写入文件或者数据库中

 配置settings.py文件

回顾一下上面的开发过程，使用scrapy开发爬虫的核心工作就是三步。

1. 定义Item类，由于Item只是一个DTO对象，因此定义Item类很简单
2. 开发Spider类。这一步是核心，Spider使用XPath从页面中提取项目所需的信息，并用这些信息来封装Item对象
3. 开发Pipeline。Pipline负责处理Spider获取的Item对象

经过上面的步骤，这个基于Scrapy的spider已经开发完成，在命令行窗口中进入ZhipinSpider项目目录下，执行如下命令启动Spider。

scrapy crawl job_position

这里的job_position就是前面定义 的Spider名称

 

 

 

 

 

scrapy shell https://unsplash.com/

 

 

 

 创建项目

 scrapy startproject UnsplashImageSpider

 

 

 

 

 

 

 （2）常用的反爬虫手段

1.IP地址验证

 2.禁用cookie

 3.违反爬虫规则文件

4.限制访问频率

 

 5.图形验证码

（3）整合Selenium模拟浏览器行为

 1.为python安装 selenium 库

pip  install selenium

 2.下载浏览器驱动

 

3.安装目标浏览器

 

 

 

 

 

 

 一句话，只要技术到位，网络上没有爬取不到的数据，当然，如果有些网站的数据属于机密数据，并且这些网站也已经采取种种措施来防止非法访问，但是你非要越过层层限制去访问这些数据，这就涉嫌触犯法律了，因此，爬虫也要适可而止。