分享好友 最新动态首页 最新动态分类 切换频道
【Python爬虫奇淫技巧】 用pandas库read
2024-12-28 03:49

一、介绍read_html()函数

【Python爬虫奇淫技巧】 用pandas库read

喜欢Python编程的小伙伴你知道吗,python的pandas库除了可以做数据分析,还可以做简易爬虫,仅需一行核心代码,就可以实现一个爬虫程序,轻轻松松爬取网页数据!

它就是pandas库的read_html()函数,实现python爬虫可以说是非常方便了。

这里需要说明的是,它只能针对网页上有<table></table>标签的表格数据进行爬取。

二、分析爬取目标页面

这里,我爬取的目标网址是:

查看web页面数据

可以看到,页面上是有一个表格数据的,按F12打开开发者模式,查看网页源代码:

查看网页源代码

确实是有<table>标签的表格数据。那就好办了,开始撸代码!

三、代码讲解

代码总共3行,核心代码就1行:

这样短短3行代码,数据就爬取下来了。看一下爬下来的数据:

pandas数据爬取结果

没问题,和原页面数据完全一致!后面在用pd.to_excel()把数据保存下来就OK了。

超级简单、强大有没有!

这里附上read_html()函数的官网参数说明,供小伙伴们参考:(贴心的我已经翻译成中文了^_^)

read_html()参数说明

再次强调一遍,它只能针对网页上有<table></table>标签的表格数据进行爬取。

如果页面上没有<table>标签,用这个方法爬取的话,会提示"No tables found"的报错:

报错截图

这是我用ipython界面截的图,你用其他IDE也会这样报错的!

对应的视频讲解传送门:

四、关于我

我是 @马哥python说  ,关注我,持续分享Python干货中!

按以往的习惯,我都会分享Python源码文件,这次不用分享了吧,就3行代码,自己撸吧小伙伴!

最新文章
服务器运维管理面板1Panel本地部署并结合内网穿透实现远程访问
1Panel 是一个现代化、开源的 Linux 服务器运维管理面板。高效管理,通过 Web 端轻松管理 Linux 服务器,包括主机监控、文件管理、数据库管理、容器管理等 下面我们介绍在Linux 本地安装1Panel 并结合cpolar 内网穿透工具实现远程访问
深入理解搜索引擎——开篇
什么是搜索引擎? 搜索引擎,一般分为大搜和垂搜,其中大搜包含我们熟知的google、baidu、搜狗、神马及近期比较活跃的夸克,垂搜包含各领域门户网站的搜索引擎,例如电商搜索(淘宝、天猫、京东及拼多多等等)、本地生活搜索(美团、饿了么及
科技板块独占鳌头,AI眼镜领涨!指数混时间,后市怎么看?
【盘面分析】12月份国内和国外会议多,本周A股市场在政治局会议公告之后大幅上涨,但是幅度和持续性依然一般。这一态势与10月8日的走势遥相呼应,但是对比外盘欧美股市,A股其实已经“很强了”!本周还有3个交易日,对比之前的走势,只要不
海纳小说阅读器
闲着无聊就来看小说吧!《海纳小说阅读器》是一款小说免费阅读软件。不瞒大家说,小编我以前一直在用这款阅读器,因为真的很好用。软件内的小说种类齐全,而且全部免费,连阅读界面也是小编我最喜欢的样式。大家快来下载吧。1、完全免费!无
网易有道词典介绍.网易有道词典介绍.ppt
主讲教师:毛凌志浙江经贸职业技术学院数据采集与处理有道词典案例导入功能介绍下载其它英语学习工具介1、案例导入小明是一名大一新生,他的专业经常有英语方面的需求,但是他英语不太好,碰到专业上的词汇就不明白意思了。那么,这种情况
榴莲视频app下载安装无限看丝瓜安卓七客,一款提供海量视频资源的免费观看神器
在众多的视频类 App 中,榴莲视频 app 下载安装无限看丝瓜安卓七客以其海量的视频资源和免费观看的特点脱颖而出,成为了众多用户的首选。详细介绍这款 App 的特点和优势,以及如何正确使用它来观看视频。榴莲视频 app 下载安装无限看丝瓜安
百度影音浏览器:畅享高清影音,尽在指尖
简介:百度影音浏览器是一款功能强大的影音播放工具,可以让用户在手机或电脑上畅享高清影音,尽在指尖。本文将介绍百度影音浏览器的特点和优势,并提供使用方法和建议。工具原料:电脑品牌型号:华硕ROG GX501操作系统版本:Windows 10软
【经验之谈】如何在搜索过程中快速解决问题,如何用好谷歌和百度等搜索引擎?
1、百度搜索引擎对CSDN的文章非常照顾,一般是以这个网站的文章排到第一位,博客园和知乎至少要排到第二、第三位; 2、但是实际上CSDN有很多文章都是爬虫僵尸爬出来的,或者直接搬运博客园、知乎等网站,甚
车位转让纠纷的案由
一、车位转让背后的纷争车位转让是一个常见的问题,通过转让可以满足不同人群的需求,但同时也可能引发纠纷。在购买车位时,买家和卖家往往会由于各种原因发生纷争。这些纷争可能涉及价格、产权归属、车位使用权等方面。在车位转让中,我们
相关文章
推荐文章
发表评论
0评