阿里云服务器定时在线运行python爬虫代码

   日期:2024-12-27    作者:b930536 移动:http://mip.riyuangf.com/mobile/quote/72615.html

前言

这是我听老师讲课做的笔记

作者:神的孩子都在跳舞

关注我的csdn博客,更多python知识还在更新

前言

为了参加计算机设计大赛,我和我的团队做了个数据分析项目,由于涉及到数据的爬取,实时更新等,所以有了这一篇文章

思路

其实定时爬取并不难,无非就是在linux上跑程序,加上一个时间给它,如果你学过linux那么一定听说过这个cron服务,接下来我们就用它弄个定时任务就可以了

服务器:centos
任务管理:cron服务
环境:python3.7

对于cron服务不了解的可以看我这篇文章cron服务——Linux计划任务管理

  1. 调用文本编辑器对cron任务进行编辑
 

定时运行python爬虫文件的设置命令是这样的

 

由于我的项目已经在服务器上部署好了,项目运行是在虚拟环境下面的,所以我需要进入指定目录和环境

 

我这里的意思是每个星期天0点0分(就是晚上12点整)cd进入项目文件,source启动进入环境,使用python命令运行conten2.py这个文件

具体的修改查看命令可以看上面的文章

 
 

然后我们等一分钟,在我们没有做任何操作的情况下数据发生了改变,之前的数据被替换了,这就起到了定时爬取页面展示的效果

本人博客:https://blog.csdn.net/weixin_46654114
本人b站求关注:https://space.bilibili.com/391105864
转载说明:跟我说明,务必注明来源,附带本人博客连接。


特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。


举报收藏 0评论 0
0相关评论
相关最新动态
推荐最新动态
点击排行
{
网站首页  |  关于我们  |  联系方式  |  使用协议  |  隐私政策  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号