分享好友 最新动态首页 最新动态分类 切换频道
用Python写一个视频采集脚本,对某网站进行批量采集
2024-12-26 03:16

最近某牙上又出现一批高质量视频,听说删的很快,还好我会Python,赶紧采集下来保存

环境使用

Python 3.10 解释器
Pycharm 编辑器

模块使用

requests >>> 数据请求模块
re <正则表达式模块>
os <文件操作模块>

为了让大家彻底学会本案例,小编特地熬夜加班录制了视频讲解, 跟代码一起打包好了,直接文末名片自取,点击直达文末。

一、数据来源分析

1.明确需求

明确采集的网站以及数据内容

  • 网址: https:/video/play/994633970.html
  • 数据: 视频标题 / 视频链接
2.抓包分析

通过浏览器开发者工具分析对应数据位置

  • 打开开发者工具
    F12 / 右键点击检查选择network 网络面板
  • 刷新网页
  • 通过关键字搜索找到对应数据位置
    关键字: 需要什么数据就搜什么数据

1.先找视频链接
-开发者工具 -> 网络 -> 媒体 -> 查看对应视频链接 ×
-开发者工具 -> 网络 -> 全部 -> 是否存在某些链接 xx.ts -> 说明m3u8流媒体文件
2.关键字: m3u8进行数据搜索查询

数据包地址: https:/moment/getMomentContent?callback=jQuery1124092 55698284796892_1720872611286&videoId=994633970&uid=1259519996193&_=172087261129
2

二、代码实现步骤

1.发送请求
 
2.获取数据

获取服务器返回响应数据

response.text

  • 获取响应的文本数据

response.json()

  • 获取响应的json数据
    必须是完整的json数据格式

response.content

  • 获取响应的二进制数据
3.解析数据

提取我们需要的数据内容

 
4.保存数据

获取视频内容, 保存本地文件夹。

 

效果

最新文章
CHATGPT无法加载
CHATGPT无法加载是指在使用CHATGPT时无法正常加载其功能或页面出现错误的现象。CHATGPT是一款基于人工智能的聊天机器人,它可以实现自然语言交互,理解用户意图并给出相关答案。这款聊天机器人在日常生活与工作中有着广泛的应用,如客服、
如何通过sem营销引流
通过搜索引擎营销(SEM)引流可以有效提升网站的曝光率和流量。以下是一些关键步骤和策略:1. 关键词研究:利用工具(如Google Keyword Planner、Ahrefs、SEMrush等)进行关键词研究,寻找与你的产品或服务相关的高搜索量、低竞争度的关键
【实用精品】百度网盘无限扩容技术,外面卖399的,自用或出售都可以
【项目背景】亲测可用,亲测可用,刚刚才测试过的 包含整个扩容教程、扩容文件!!教程里面都有!!请先看教程! 随着信息资源愈发丰富,最主流的百度网盘容量时常不够用,官方扩容
人工智能的未来?RAG 结合了语言和搜索
随着专家们暗示大型语言模型(LLM)的技术极限即将到来,人们的焦点转向了检索增强生成(RAG)——这是一项很有前途的进步,可以通过将信息检索与自然语言生成相结合来重新定义人工智能(AI
SEO谈判步骤,如何赢得关键词战役
随着互联网的普及,SEO(搜索引擎优化)在营销领域的地位日益凸显。对于企业而言,拥有一个优秀的SEO团队,无疑能够在激烈的市场竞争中占据有利地位。如何与SEO进行,以实现双方共赢,成为许多企业关注的焦点。本文将围绕SEO谈判思路,为您
【seo】关于重复页面的详细介绍及解决方案
关于重复页面的解决方案,我在拓谷思学院视频里也有讲到,这里给大家用文字形式讲解一下。什么是重复页面?重复页面指的是在你的网站里有内容相似的页面,她可能是以Page 1、Page 2、Page 3等形式出现,也可能是以参数的形式出现。重复页面
如何获得更多高质量外链,提高网站流量和排名?
如何获得更多高质量外链,提高网站流量和排名一、了解外链的重要性外链是指从一个网站指向另一个网站的网络链接。对于网站而言,高质量的外链有助于提高搜索引擎排名和流量。当其他网站的用户点击链接来到你的网站,这不仅会增加网站的可见
大模型晚报|iOS版ChatGPT集成必应搜索功能,仅限付费订阅者使用
大语言资讯:iOS版ChatGPT集成必应搜索功能,仅限付费订阅者使用DeepMind:谷歌新AI模型Gemini将结合AlphaGo 比GPT-4更强在5月的开发者大会上,谷歌首次透露了其正在开发的大型语言模型Gemini。复旦大学与阿里巴巴达成全面战略合作,共享 A
成品网站1.1.719版本深度解析:提升用户体验与SEO优化功能
成品网站1.1.719版本是一款全新的解决方案,旨在为用户提供更加高效、稳定和个性化的网站建设服务。该版本在设计、功能和性能上做了全面的优化,无论是企业网站、小型电商平台还是个人博客,都能够通过成品网站1.1.719来快速搭建与管理。本
【做网站】搜索引擎优化与长期收益知识科普
今天我要讲的是搜索引擎优化(SEO)和长期收益。搜索引擎优化是获得长期收益的好营销策略。一、SEO结果需要一段时间长期收益是SEO活动的主要优势。从本质上讲,SEO是一个缓慢而深思熟虑的过程,它不会马上得到回报。在它真正的成功之前,它可
相关文章
推荐文章
发表评论
0评