10个python爬虫入门基础代码实例 + 1个简单的python爬虫完整实例

   日期:2024-12-27    作者:x12ue 移动:http://mip.riyuangf.com/mobile/quote/58921.html

本文主要涉及python爬虫知识点:

web是如何交互的

requests库的get、post函数的应用

response对象的相关函数,属性

python文件的打开,保存

代码中给出了注释,并且可以直接运行哦

如何安装requests库(安装好python的朋友可以直接参考,没有的,建议先装一哈python环境)

windows用户,Linux用户几乎一样:

打开cmd输入以下命令即可,如果python的环境在C盘的目录,会提示权限不够,只需以管理员方式运行cmd窗口

Linux用户类似(ubantu为例): 权限不够的话在命令前加入sudo即可

python爬虫入门基础代码实例如下

1.Requests爬取BD页面并打印页面信息

2.Requests常用方法之get方法实例,下面还有传参实例

3. Requests常用方法之post方法实例,下面还有传参实例

4. Requests put方法实例

5.Requests常用方法之get方法传参实例(1)

如果需要传多个参数只需要用&符号连接即可如下

6.Requests常用方法之get方法传参实例(2)

params用字典可以传多个

7.Requests常用方法之post方法传参实例(2) 和上一个有没有很像

8.关于绕过反爬机制,以知呼为例

9.爬取信息并保存到本地

因为目录关系,在D盘建立了一个叫做爬虫的文件夹,然后保存信息

注意文件保存时的encoding设置

10.爬取图片,保存到本地

下面是一个完整的python爬虫实例,功能是爬取百度贴吧上的图片并下载到本地;

你也可以关注公众号 Python客栈 回复 756 获取完整代码;

python爬虫主要操作步骤:

获取网页html文本内容;

分析html中图片的html标签特征,用正则解析出所有的图片url链接列表;

根据图片的url链接列表将图片下载到本地文件夹中。

1. urllib+re实现

运行上面脚本,过几秒种之后完成下载,可以在当前目录下看到图片已经下载好了:

2. requests + re实现

下面用requests库实现下载,把getHtmlContent和downloadJPG函数都用requests重新实现。


特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。


举报收藏 0评论 0
0相关评论
相关最新动态
推荐最新动态
点击排行
{
网站首页  |  关于我们  |  联系方式  |  使用协议  |  隐私政策  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号