新手问题 一招教你用Go语言爬虫快速精准抓取拉勾职位!!!

w1015357065 · 2020年01月09日 · 23 次阅读

点击这里,查看源代码等关键重要内容

拉勾

这里分析以拉勾网上的数据为准,通过使用 Go 语言编写一个拉勾网岗位的爬虫,抓取 Go 语言的所有岗位,来进行分析。正好我们也是找 Go 语言工作,顺便用 Go 语言练练手。

该爬虫比较简单,只需要根据拉勾网的搜索,然后一页页的爬取搜索结果,把结果整理成 Excel 输出即可。这里我们选取了岗位名称、工作地点、薪水以及招聘公司这几个元素进行爬取,收集这些信息进行分析。

本次分析,爬取了拉勾网上所有 Go 语言岗位,一共 30 页,450 个岗位进行分析,所以结果也是很有代表性的。

工作地点

微信图片_20200109105450.jpg

从上图来看,450 个 Go 语言的岗位,北京最多,占了 186 个,其次是上海 83 个,深圳 52 个,杭州 31 个,所以找 Go 语言的工作还是去北京、上海、深圳这些一线大城市,尤其是北京,一枝独秀,说明 Go 语言在北京的发展还是非常好的,学习和分享氛围也不错。

招聘公司

微信图片_20200109105457.jpg

该图表选择了一些招聘 Go 语言岗位多的公司进行分析,发现其中最多的是瓜子二手车,一个公司发布了 19 个 Go 语言开发的岗位,估计整个公司都快转 Go 语言了。

其次是滴滴公司,一共有 13 个在招聘 Go 语言的岗位,也是非常多了,看来滴滴对 Go 语言的推动力度很大。

除此之外,美团、百度、UCloud 以及腾讯等公司都有 3-5 个 Go 语言的岗位在招聘,说明这些公司也陆陆续续开始用 Go 语言做一些适合的业务。

薪水分布

微信图片_20200109105503.jpg

薪水分布分析也过滤了分布比较少的区间,保留了主要的薪水区间。

从图表上看薪水开到 15K-30K 的 Go 语言岗位有 71 个,是岗位最多的薪水分布;其次是 15K-25K 的占 51 个;10K-20K 的有 49 个。基本上一个 Go 语言开发都是上万。

此外,20K 以上的 Go 语言岗位有 89 个,占总共 450 个岗位的近 20%;25K 以上的有 31 个,也占了总岗位的 7% 左右,比例也不算太低。

所以从这个看,Go 语言做好了,20K 以上也是非常轻松,最多可以开到 50K。

经验要求

这个我保留了,没有分析,留给大家试试,看是 1-3 年的多,还是 3-5 年的多。

源代码

该代码只可用于学习研究之用,不可用于其他用途。

该爬取拉勾职位的 Go 语言爬虫,基于 pholcus 这个爬虫框架编写,是一个 pholcus 的爬取拉勾职位的规则库,大家使用的时候和正常的 pholcus 规则库是一样的,import 导入引用即可。

关键字:数据采集 Go

更多原创文章干货分享,请关注公众号
  • 加微信实战群请加微信(注明:实战群):gocnio
暂无回复。
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册