一招教你用Go语言爬虫快速精准抓取拉勾职位!!!

点击这里,查看源代码等关键重要内容

拉勾

这里分析以拉勾网上的数据为准,通过使用Go语言编写一个拉勾网岗位的爬虫,抓取Go语言的所有岗位,来进行分析。正好我们也是找Go语言工作,顺便用Go语言练练手。

该爬虫比较简单,只需要根据拉勾网的搜索,然后一页页的爬取搜索结果,把结果整理成Excel输出即可。这里我们选取了岗位名称、工作地点、薪水以及招聘公司这几个元素进行爬取,收集这些信息进行分析。

本次分析,爬取了拉勾网上所有Go语言岗位,一共30页,450个岗位进行分析,所以结果也是很有代表性的。

工作地点

https://ucc.alicdn.com/pic/developer-ecology/60195498de124f05b6d4de915ee282a2.jpg

从上图来看,450个Go语言的岗位,北京最多,占了186个,其次是上海83个,深圳52个,杭州31个,所以找Go语言的工作还是去北京、上海、深圳这些一线大城市,尤其是北京,一枝独秀,说明Go语言在北京的发展还是非常好的,学习和分享氛围也不错。

招聘公司

https://ucc.alicdn.com/pic/developer-ecology/2448343f0c414764a03ca80c0b3da793.jpg

该图表选择了一些招聘Go语言岗位多的公司进行分析,发现其中最多的是瓜子二手车,一个公司发布了19个Go语言开发的岗位,估计整个公司都快转Go语言了。

其次是滴滴公司,一共有13个在招聘Go语言的岗位,也是非常多了,看来滴滴对Go语言的推动力度很大。

除此之外,美团、百度、UCloud以及腾讯等公司都有3-5个Go语言的岗位在招聘,说明这些公司也陆陆续续开始用Go语言做一些适合的业务。

薪水分布

https://ucc.alicdn.com/pic/developer-ecology/9766021b41094d41a3e137f92cc7c0f4.jpg

薪水分布分析也过滤了分布比较少的区间,保留了主要的薪水区间。

从图表上看薪水开到15K-30K的Go语言岗位有71个,是岗位最多的薪水分布;其次是15K-25K的占51个;10K-20K的有49个。基本上一个Go语言开发都是上万。

此外,20K以上的Go语言岗位有89个,占总共450个岗位的近20%;25K以上的有31个,也占了总岗位的7%左右,比例也不算太低。

所以从这个看,Go语言做好了,20K以上也是非常轻松,最多可以开到50K。

经验要求

这个我保留了,没有分析,留给大家试试,看是1-3年的多,还是3-5年的多。

源代码

该代码只可用于学习研究之用,不可用于其他用途。

该爬取拉勾职位的Go语言爬虫,基于pholcus这个爬虫框架编写,是一个pholcus的爬取拉勾职位的规则库,大家使用的时候和正常的pholcus规则库是一样的,import导入引用即可。

关键字:数据采集 Go

2 个评论

pholcus 貌似原作者已经删库了? https://github.com/henrylee2cn/pholcus
emmmm,之前还能用来着

要回复文章请先登录注册