分享好友 最新动态首页 最新动态分类 切换频道
阿里云服务器定时在线运行python爬虫代码
2024-12-27 12:10

前言

这是我听老师讲课做的笔记

作者:神的孩子都在跳舞

关注我的csdn博客,更多python知识还在更新

前言

为了参加计算机设计大赛,我和我的团队做了个数据分析项目,由于涉及到数据的爬取,实时更新等,所以有了这一篇文章

思路

其实定时爬取并不难,无非就是在linux上跑程序,加上一个时间给它,如果你学过linux那么一定听说过这个cron服务,接下来我们就用它弄个定时任务就可以了

服务器:centos
任务管理:cron服务
环境:python3.7

对于cron服务不了解的可以看我这篇文章cron服务——Linux计划任务管理

  1. 调用文本编辑器对cron任务进行编辑
 

定时运行python爬虫文件的设置命令是这样的

 

由于我的项目已经在服务器上部署好了,项目运行是在虚拟环境下面的,所以我需要进入指定目录和环境

 

我这里的意思是每个星期天0点0分(就是晚上12点整)cd进入项目文件,source启动进入环境,使用python命令运行conten2.py这个文件

具体的修改查看命令可以看上面的文章

 
 

然后我们等一分钟,在我们没有做任何操作的情况下数据发生了改变,之前的数据被替换了,这就起到了定时爬取页面展示的效果

本人博客:https://blog.csdn.net/weixin_46654114
本人b站求关注:https://space.bilibili.com/391105864
转载说明:跟我说明,务必注明来源,附带本人博客连接。

最新文章
拼多多店铺标题能和别人一样吗?如何优化标题?
最近有很多商家朋友都问过我同一个问题:老师啊,我产品现在能改标题不?改了又降权,不改流量到瓶颈了,不知道如何提升!今天我就出一期关于拼多多商品在什么情况下去改标题怎么去改最好详细讲解一下。相信大家都知道,你的商品卖的好不好
私信卡片工具一键跳转微信加好友如何实现?
您是否常常遭遇这样的困扰:想要引导平台粉丝或潜在客户快速添加微信好友,却面临重重阻碍?繁琐的手动操作、复杂的引导流程,让许多宝贵的人脉资源和商业机会从指尖溜走。别担心,私信卡片工具一键跳转微信加好友功能的出现,将为您彻底扭
Sora开始收费了,其他人怎么办?
《中国经营报》记者注意到,Sora最早于今年2月公开亮相,一度惊艳世界,但试用者局限于艺术家、动画师、电影制作人等专业人士。在此次OpenAI宣布开放之后,Sora官网注册人数激增导致页面无法正常使用。Sora产品负责人Rohan Sahai对此回应称
视频压缩在线工具,推荐6个实用工具
有时候视频文件体积太大不仅会占用设备的存储空间,降低设备的运行效率,在网络状况不佳的情况下,还会导致视频播放卡顿,十分影响用户的视频观看体验。对于这种情况,很多用户会选择压缩视频大小。那么有哪些比较好用的视频压缩在线工具或
西安市建设工程信息网平台/福州seo技巧培训
STL中,要删除容器内的一个元素,其方法会随着容器类型的不同而不同。  例如,对于STL容器c,c包含int类型的元素,现在需要删除c中等于2014的元素。 序列容器即具有连续内存的容器,如vector,
SEO关键词首页排名
SEO关键词首页排名 为什么选择我们的百度关键词排名优化服务?精准分析,量身定制优化策略我们深入分析你的行业和目标受众,帮助你选择最合适的关键词,并制定个性化的优化方案,确保你的网页能够排名靠前,吸引更多的潜在客户。高效优化,
搜索引擎营销文案写作技巧
搜索引擎营销文案写作技巧  我们一直提倡用SEO 的思想去写文章,即合理的将关键词分布在文章中。下面是YJBYS小编整理的搜索引擎营销文案写作技巧,希望对你有帮助!  1.标题醒目  标题是搜索引擎营销文案写作至关重要的地方,必须简单
国内可以24小时挂机的云电脑有哪些?
随着云计算技术的发展,越来越多的人需要使用云计算机。云计算机可以帮助我们随时随地访问桌面环境和应用程序,而不必担心数据丢失和缺乏计算能力。本文将为大家介绍几款可以24小时挂机的国产云电脑主机。1.阿里云阿里云是中国最大的云计算
澄迈爱采购代运营费用
百度爱采购服务商浅谈:上传产品图片需要注意的地方 百度爱采购服务商浅谈:上传产品图片需要注意的地方,不同的商品质量影响着商品的排序程度,主要因素有类目优化程度、图片质量、参数丰富度、时间、地域等,下面来了解下百度爱采购上传
相关文章
推荐文章
发表评论
0评