现在Python爬虫工程师的薪资大概多少啊?爬虫工程师的前景怎么样?发展方向是什么呢?
熟悉前端、数据库,懂点基本的linux
会各种库爬、解析取页面,会数据存储,会ajax数据爬取,会selenium,会验证码识别,会使用代理,会模拟登录,会APP爬取,会pyspider、scrapy,会分布式爬虫。
做过的比较大的项目是12306抢票项目
爬虫薪资,看城市和公司。
答主在成都,成都爬虫的上限就是美团的20k起
也有二货公司要求懂爬虫+ETL 起薪8k
一般金融公司给8-12k + 2年以上的经验
玩大数据的公司给10-20k + 2年以上经验
。。。。。。。等等等等
北京的工资高啊,经常在拉钩上看的流口水,可我也不会去北漂,只能含恨了
爬虫这工作看你怎么理解了,如果你觉得会get、post会数据解析就是爬虫,那它很简单,很容易被替代。
其实爬虫涉及的东西挺多的,包括JS逆向,安卓逆向、架构设计这些比较复杂的知识,尤其是安卓逆向,算是杂学了,门槛挺高的,竞争力肯定也是可以的。
爬虫所做的工作的结果,得到的是基础的数据。
基础数据之上,有哪些发挥用途的地方,就有哪些拓宽职业道路的地方。
在基础数据上往上走,数据处理、数据分析、数据展示(可视化或Web)、数据应用(挖掘),都可以在这些领域继续向前。
大数据和人工智能时代下,爬虫工程师这几年是路越走越宽的,但是初级爬虫工程师基本会被八爪鱼这类软件替代,高级爬虫工程师的能力重点不在于会写几个get,post请求,使用正则解析下文本这么简单,而是在对数据和业务本身的立即深刻,对于从数据中如何整合挖掘价值有一整套的思路和方法,包括精通数据分析,精通各种数据库。
我觉得未来爬虫工程师应该朝全栈工程师的方向发展,并且积极学习人工智能技术,真正有价值的高技术人才应该是以下几个方面的交集:大数据+人工智能+应用场景。
想学的朋友可以看看我之前发过的文章:python爬虫资源汇总 : 书单、网站博客、框架、工具、项目(附资源),全网最全,赶紧收藏。
这里我给大家【免费】分享一套完整的Python学习资料,里面包含有系统化的学习框架路线和视频教程,内容清晰明了,教程讲解通俗易懂,非常适合零基础的同学。