分享好友 最新动态首页 最新动态分类 切换频道
2024年最全Python爬虫-抓取数据到可视化全流程的实现(1)
2024-12-27 02:34

(ps:我也是在学习的过程中,欢迎各位小伙伴跟我一起交流,一起学习

2024年最全Python爬虫-抓取数据到可视化全流程的实现(1)

1、爬取目标网站:业绩预告_数据中心_同花顺财经


(ps:headers不会设置的可以看这篇:Python——爬虫 用requests.get获取网页内容为空 ’ ’_你隔壁的小王的博客-CSDN博客

import pandas as pd

import numpy as np

import matplotlib.pyplot as plt

import re

import requests##把各种可能用到的包提前导好

headers={

‘Accept’: ‘text/html,/; q=0.01’,

‘hexin-v’: ‘A2C11EVPFXAhNKl0PUpM6xp8MWU2aUUO5k-YOdpwLngMrQpTgnkUwzZdaMMp’,

‘Referer’: ‘http://data.10jqka.com.cn/financial/yjyg/’,

‘Cookie’:‘对应填写’,

‘User-Agent’:‘对应填写’

}

url=“http://data.10jqka.com.cn/ajax/yjyg/date/2021-12-31/board/ALL/field/enddate/order/desc/page/{}/ajax/1/free/1/”

result = ‘’

for i in range(1,5):

result += requests.get(url.format(i), headers=headers).text

result

爬取成功,检查数据

2、获取序号、股票代码、等你所需要的信息


index = re.findall(‘(.*)’,result)

index

148条数据符合预期,继续查看股票代码(这里使用正则表达式查询,可以看这篇里边对正则表达式进行了讲解:正则表达式+常用示例_你隔壁的小王的博客-CSDN博客

stock_code = re.findall(‘class=“stockCode”>(.*)’,result)

print(stock_code)

3、组成DataFrame


data = pd.DataFrame({

“stock_code”:stock_code,

“stock_name”:stock_name,

“performance”:performance,

“summary”:summary

}, index=index)

data

组合成功

做了那么多年开发,自学了很多门编程语言,我很明白学习资源对于学一门新语言的重要性,这些年也收藏了不少的Python干货,对我来说这些东西确实已经用不到了,但对于准备自学Python的人来说,或许它就是一个宝藏,可以给你省去很多的时间和精力。

别在网上瞎学了,我最近也做了一些资源的更新,只要你是我的粉丝,这期福利你都可拿走。

我先来介绍一下这些东西怎么用,文末抱走。


(1)Python所有方向的学习路线(新版

这是我花了几天的时间去把Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

最近我才对这些路线做了一下新的更新,知识体系更全面了。

(2)Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频,总共100多个,虽然没有那么全面,但是对于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

(3)100多个练手项目

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。

(4)200多本电子书

这些年我也收藏了很多电子书,大概200多本,有时候带实体书不方便的话,我就会去打开电子书看看,书籍可不一定比视频教程差,尤其是权威的技术书籍。

基本上主流的和经典的都有,这里我就不放图了,版权问题,个人看看是没有问题的。

(5)Python知识点汇总

知识点汇总有点像学习路线,但与学习路线不同的点就在于,知识点汇总更为细致,里面包含了对具体知识点的简单说明,而我们的学习路线则更为抽象和简单,只是为了方便大家只是某个领域你应该学习哪些技术栈。

(6)其他资料

还有其他的一些东西,比如说我自己出的Python入门图文类教程,没有电脑的时候用手机也可以学习知识,学会了理论之后再去敲代码实践验证,还有Python中文版的库资料、MySQL和HTML标签大全等等,这些都是可以送给粉丝们的东西。

这些都不是什么非常值钱的东西,但对于没有资源或者资源不是很好的学习者来说确实很不错,你要是用得到的话都可以直接抱走,关注过我的人都知道,这些都是可以拿到的。

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友,可以戳这里无偿获取

最新文章
微信广告的投放逻辑,看这篇就够了!
数英用户原创文章,转载请遵守底部规范作为移动端的巨大流量入口,如何在既保证用户使用体验的同时也能带来其商业价值,一直都是腾讯,也是“微信之父”张小龙探寻的方向。众所周知,互联网的变现方式除了电商,最为普遍的就是广告流量的变
漫蛙最新最新入口在哪里?如何快速进入最新平台获取最新内容?
如果你正在寻找“漫蛙最新最新入口”,那么你来对地方了。漫蛙是一个非常受欢迎的在线平台,提供丰富的内容和服务。无论你是想了解漫蛙的最新资讯,还是需要直接访问其最新入口,这篇文章将为你提供详细的指导,帮助你快速找到正确的入口。
教你360浏览器禁用/启用地址栏复制粘贴助手图文教程
360浏览器如何禁用、启用地址栏复制粘贴助手呢?相信使用360浏览的用户在复制网站网址的时候只需使用鼠标就可以完成操作,无需使用键盘、鼠标进行操作,点击网站网址后就会出现复制网址的提示,点击即可复制。但是不少用户不喜欢这样的网址
阿里巴巴关键词源代码查看(关键词搜索代码)
本文目录一览:1、阿里巴巴国际站怎么看到别人的关键词2、数字营销阿里巴巴怎么查询有排行的关键词3、阿里巴巴诚信通会员 发布产品时的源代码编辑是什么4、阿里巴巴怎么看同行设置的关键词5、如何查看某产品关键词在阿里巴巴中文站的搜索量
超值推荐!2024年二季度南沙人气楼盘榜单,揭晓备受追捧的热门楼盘!
热度排名楼盘名地址价格1绿城·蓝湾半岛广州·南沙·深中通道旁16000元/平方米2中交·蓝色海湾港前大道南沙客运港正对面待定3越秀·珠实 | 天悦海湾南沙湾港前大道(邮轮母港南侧)24000元/平方米4保利半岛滨水大道左侧35000元/平方米5湾区
谷歌SEO优化,如何做好local business?
在当今数字化时代,谷歌搜索引擎已成为连接消费者与本地商家的重要桥梁。作为一名在SEO领域摸爬滚打多年的从业者,我深知在谷歌搜索结果中获得良好排名对于本地企业来说至关重要。这不仅意味着更多的曝光机会,还能直接转化为销售额的提升
外链建设计划:利用微信 Bug 提升网站权重
在竞争激烈的数字环境中,网站外链建设对于提高搜索引擎排名和网站可见度至关重要。利用微信 Bug 外链方法,我们可以有效地获得高质量外链,从而提升网站权重。本文将提供一个详细的外链建设规划计划和执行方案,帮助您有效地利用此策略。
除了您在Google搜索中看到的文字广告之外,展示广告网络中的网站还可以展示其他具有视觉吸引力的广告类型:文字广告 图片广告——包含照片或插图的广告富媒体广告—&m
上海天擎结合Google领先的搜索广告优化经验,为广告主定制出一套适合Google推广的解决方案MADA服务模式,通过市场分析策略、广告管理策略、数据分析策略、账户优化策略及服务保障策略全方位、专业、高效的满足企业Google推广的需求,真正
短剧逍遥全集观看_逍遥 电视剧
今天给各位分享短剧逍遥全集观看的知识,其中也会对逍遥 电视剧进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!1、总之,又见逍遥电视剧一共40集,这个集数安排既符合了电视剧制作的一般规律,又满足了观众对于精
相关文章
推荐文章
发表评论
0评