前言:
📝📝此专栏文章是专门针对Python零基础爬虫,欢迎免费订阅!
📝📝第一篇文章获得全站热搜第一,python领域热搜第一,欢迎阅读!
🎈🎈欢迎大家一起学习,一起成长!!
💕💕:悲索之人烈焰加身,堕落者不可饶恕。永恒燃烧的羽翼,带我脱离凡间的沉沦。
Python中的POST请求是HTTP协议中的一种请求方法,用于向服务器提交数据。与GET请求不同,POST请求将数据封装在请求体中,而不是在URL中传递。通常情况下,POST请求用于向服务器提交表单数据、上传文件等操作。
示例代码如下:
这个例子中,我们向这个URL发送了一个POST请求,请求体中包含了和两个字段的数据。服务器接收到请求后,可以根据数据进行相应的处理,并返回响应结果。表示服务器返回的文本内容。
Python中的GET请求也是HTTP协议中的一种请求方法,用于向服务器请求数据。与POST请求不同,GET请求将数据以查询字符串的形式附加在URL后面,而不是封装在请求体中。通常情况下,GET请求用于向服务器请求某个资源,比如获取网页、图片、视频等。
示例代码如下:
这个例子中,我们向这个URL发送了一个GET请求,查询字符串中包含了的参数。服务器接收到请求后,根据参数返回相应的数据,表示服务器返回的文本内容。
(1)post请求更安全
不会作为url的一部分,不会被缓存、保存在服务器日志、以及浏览器浏览记录中,get请求的是静态资源,则会缓存,如果是数据,则不会缓存
(2)post请求发送的数据更大
get请求有url长度限制,http协议本身不限制,请求长度限制是由浏览器和web服务器决定和设置
(3)post请求能发送更多的数据类型
get请求只能发送ASCII字符
(4)传参方式不同
get请求参数通过url传递,post请求放在request body中传递
(5)get请求产生一个TCP数据包;post请求产生两个TCP数据包
get请求,浏览器会把http header和data一并发送出去,服务器响应200返回数据;post请求,浏览器先发送header,服务器响应100
continue,浏览器再发送data,服务器响应200 返回数据
爬百度官网logo实战
快速找到图片链接位置
右键空白处 --> 检查 --> 鼠标附魔 --> 点击图片找到对应的链接
需要确认和检查图片链接是否完整
右键空白处 --> 检查 --> 鼠标附魔 --> 点击图片找到对应的链接
接着就是敲代码,把照片获取到本地。
代码如下:
导入requests库,用于发送HTTP请求和获取响应数据。
定义一个URL变量,表示要下载的图片的链接。
使用requests.get()方法发送GET请求,获取图片的二进制数据。
打开一个文件(这里是百度logo.png),使用wb模式打开,表示以二进制写入模式打开文件。
将获取到的二进制数据写入文件中。 关闭文件。
最终,运行这段代码会在当前目录下生成一个名为百度logo.png的图片文件,内容为从指定URL下载的图片。
百度翻译实战
1.确认爬虫的流程(获取数据的时候,根据流程操作)
找数据(先到网页源代码里面找数据)
如果数据不在网页源代码
数据在哪里?
如何快速找到数据并确认它?
三种方法
筛选 刷新 搜索
搜索
通过三种方式找到数据,接下来写代码拿出我们想要的数据
模拟登录17k小说网
接下来开始找数据,账号密码,方便我们登录个人主页
运行代码,看看我们是否登录成功。
看到我们的登录昵称,说明我们登录成功了,接下来我们通过代码进入个人主页
我们得到了个人主页的html页面代码,在里面我们可以看到,最近阅读和最近收藏等,说明我们本次成功的获取了想要的数据。
获取不到需要的数据
增加cookie等其他比较重要的请求头信息
获取的数据是乱码状态
写Accept-Encoding 容易乱码 请求头里面不要写