python3 scrapy抓取今日头条视频(西瓜视频)
发布时间：2018-07-21 16:07,
浏览次数：979
, 标签：
python
scrapy
<>使用环境：
* python3
* scrapy
* win10
<>爬取步骤
(1)从用户视频列表页开始
(2)使用ajax对接接口
(3)获取今日头条视频真实地址(西瓜视频真实地址)
备注：
这里的今日头条视频链接是直接跳转到365阳光宽频网的
https://www.365yg.com/
(1)我们要做的目标就是从把某个作者下的视频全部爬取下来。
(2)列表页下滑，获取xhr json数据
(3)xhr json获取规则: max_behot_time 参数的获取
列表的json数据参数只靠一个uid和max_behot_time进行拼接，得到下次请求数据内容，
(4)到这，列表页面的数据内容我们就获取到了。
(5)获取详情页的数据内容(视频播放页)
(6)source_url：
http://toutiao.com/item/6580318835541279236/
视频会重定向到：
http://www.365yg.com/i6580318835541279236/#mid=98676707813
(7)详情页解析：
这里详情页的信息是进行动态加载出来的，包括各种html标签，在查看网页源代码的时候都是这些
唯一有用的一个参数也就只有videoId这个东西了。
(8)右键审查元素
这个video标签下的url链接并不是我们所要取出来的，因为它返回的是404页面
真实的视频地址应该是这样子的：
http://v11-tt.ixigua.com/8a683ae4cba879e11cb4d6f0b43a7619/5b52f568/video/m/220af88614f73ce4742877a807bbbc0d0fb1159603c00008d84075740fd/
上面这个地址也是西瓜视频的永久地址，并不存在视频根据时间过期的时间。
因为使用的是scrapy-redis框架，加上ip代理池，加上延时1秒，并发量在1秒10次请求左右(限于ip1秒最大只能取10次)，数据爬了一天，现在为14万左右
单条信息数据：
'videos': [{'cut_url':
'http://p1.pstatp.com/list/190x124/31b9000116e2ab5c8840', 'duration': '',
'size': '', 'title': '世界这么美好，你为什么要去得罪老虎！为什么为什么为什么！', 'url':
'http://v3-tt.ixigua.com/85a193eb73049b91d90c871805557408/5b52f4ec/video/m/2206c559475e53f41849f784a829d58ef67114c4830000113768212918/'}]}
个人网站：http://xudailong.cc
关注「蛇崽网盘教程资源」公众号 ，在微信后台回复「领取资源」，获取IT资源200G干货大全。
更多资源请访问：
超详细图文搭建个人免费博客
关注「蛇崽网盘教程资源」公众号 ，在微信后台回复「领取资源」，获取IT资源200G干货大全。