数极客首页

产品经理AI指北(一):企业AI产品经理采购指南

文章通过教学爬取招聘数据的方式,详细剖析了当今AI产品经理的岗位需求和企业招聘情况。

产品经理AI指北(一):企业AI产品经理采购指南

商业情报领域,有一个被称为奥地利学派的理论,他们主要关注不能量化的信息,而非公式化的信息,认为这类信息才是高利润的来源,并且指出商业情报工作的重点,应该是不能用数据或统计分析方法解决的问题。

我个人其实很欣赏这个理论,如果能够通过数据的统计分析能够发现需求的话,那么产品经理的价值和意义怎么去体现,产品经理真正的价值应该是体现在:用数据和统计分析方法无法直观体现和挖掘需求的数据上。

John:

好久不见,我是Kevin。近期也想从产品经理转行成为一名AI产品经理,我需要做什么样的准备呢?

                                                            Kevin

                                                 2018年9月8日

Kevin:

已经收到你的来信,的确好久不见!既然你想成为一名AI产品经理,那我今天先给你说一下企业对于AI产品经理有怎样的要求吧?

一、爬取招聘数据

我们从拉勾上爬取有关AI产品经理的招聘数据:

产品经理AI指北(一):企业AI产品经理采购指南

完整的代码下载地址:

链接:https://pan.baidu.com/s/1kZU1vPr49ymazoMrh80ulg  密码:b5dz

在范冰的《增长黑客》一书中,提到增长黑客使用的各种方法,包括:A/B 测试、数据抓取、排队机制、提供有损服务等。由于今天我们的任务主要是基于数据分析的,我们就来简单的了解一下数据抓取。

作为产品经理、增长黑客、亦或AI产品经理,难免会在日常工作中需要使用和分析第三方的数据,比如百度API Store,聚合数据等公开的第三方数据服务提供商,从事淘宝客产品的伙伴,可能需要分析淘宝的商品数据。

不管是哪一种类型的产品经理,遇到问题的第一时间,想到的并不是需要用写代码去解决问题(请记住我们是产品经理,我们不是负责开发的伙伴),而是利用现有的工具,数据的抓取工作也是同样的道理。现有的第三方工具,比如八爪鱼(http://www.bazhuayu.com)。

如果现有第三方工具不能满足需要的情况,例如John的尴尬情况,因为八爪鱼只提供Windows的版本,我的Mac无法运行,所以我选了用Python编写爬虫。而产品经理涉及相关的爬虫工作,我们只需要了解基础的爬虫程序就可以了,如果要从事比较深入的工作,好吧你可以转行从事开发的工作了,少年!

我们先写一个最基本的爬虫小程序。

工作:Python2.7

目的:第一个爬虫程序

产品经理AI指北(一):企业AI产品经理采购指南

第一行代码是:

# -*- coding:UTF-8 -*-

如果我们是使用的Python工具,第一行代码一定先写下这句,这是为了使我们在编写代码时,能够使用中文的注释或者一些中文字符。

OK我们导入requests库,requests库的开发者为我们提供了详细的中文教程,查询起来很方便,万事请问度娘。如果我们需要使用Python进行网络请求,requests将是我们十分常用的库。

import requests

让我们看下requests.get()方法,它用于向服务器发起GET请求,不了解GET请求没有关系。我们可以这样理解:get的中文意思是得到、抓住,那这个requests.get()方法就是从服务器得到、抓住数据,也就是获取数据。我们就以百度为例:

if __name__ == ‘__main__’:

target = ‘https://www.baidu.com’

req = requests.get(url=target)

print(req.text)

运行程序,我们看到以下结果:

产品经理AI指北(一):企业AI产品经理采购指南

我们已经完成了我们的第一个小程序。大家可以把链接换成其他的链接,尝试一下爬取我们感兴趣的内容。

再者,我们来说一下比较深入一点的爬虫抓取工程,通常思路:

  1. 找到我们目标数据的API;
  2. Python模拟GET请求获取数据;
  3. 保存数据,等待我们去揭开他的神秘面纱。

我们以本次爬取拉勾的招聘数据为例,笔者首先找到招聘数据的API:

产品经理AI指北(一):企业AI产品经理采购指南

具体的实现过程,可以从百度网盘中下载源码。

程序运行完之后,数据如下图所示:

产品经理AI指北(一):企业AI产品经理采购指南

二、数据分析及理解

我们开始对获取到的数据进行分析和理解:

链接:https://pan.baidu.com/s/1kZU1vPr49ymazoMrh80ulg  密码:b5dz

给大家分享一个模板,我们基础的数据分析和理解工作,也可以参考该模板:

# 1. 准备

  1. # a) 导入类库
  2. # b) 导入数据集
  3. # c) 初步描述性统计

# 2. 预处理数据

  1. # a) 数据清洗
  2. # b) 特征选择
  3. # c) 数据转换

# 3. 概述数据

  1. # a) 描述性统计
  2. # b) 数据可视化

2.1 导入数据

通过Pandas导入CSV文件,CSV 文件是用逗号(,)分隔的文本文件。

产品经理AI指北(一):企业AI产品经理采购指南

我们导入数据后,可以通过head方法查看一下我们的数据是否正常导入。

Data.head()

产品经理AI指北(一):企业AI产品经理采购指南

我们数据已经正常导入。

2.2 初步描述性统计数据

产品经理AI指北(一):企业AI产品经理采购指南

我们的数据维度:共有450行,11列数据。这说明我们总共抓取到450条招聘信息,而11列说明我们设定爬取的参数时,设定了11个参数或指标。

我们查看数据概述数据,如果数据大部分为数字或者全是数值型数据的话,通过data.describe()方法查看数据,能够帮我们直观的看到数据的整体情况,比如最大值、最小值、中位数等数据。

产品经理AI指北(一):企业AI产品经理采购指南

由于我们此次抓取的数据都是对象,所以呈现了上述的情况,不过我们依然可以看到数据共有450条,招聘的公司总数有308条,开出的工资条件总共有71种薪水范围。

数据类型:

产品经理AI指北(一):企业AI产品经理采购指南

查看数据类型的重要一点,就是我们需不需要对数据类型进行转换。

2.3 数据清洗

我们进行数据清洗,通常采用的方式:

  1. 删除空值数据;
  2. 去除重复值数据;
  3. 删除异常值数据;
  4. 删除包含某个关键词的数据或者不包含某个关键词的数据。

我们此次采取的是删除包含某个关键词的数据:

产品经理AI指北(一):企业AI产品经理采购指南

2.4 对数据进行可视化理解

通常我们的数据可视化包含:

  1. 分布直方图
  2. 箱线图
  3. 线性图
  4. 饼图
  5. 词云

matplotlib包含了丰富的图表,大家可以到官网上去选择自己需要用到的图表。(matplotlib: https://matplotlib.org)

我们此次用到的首先是饼图,查看全国主要城市,对于AI产品经理的招聘情况:

产品经理AI指北(一):企业AI产品经理采购指南

① 全国主要城市AI产品经理的招聘情况:

产品经理AI指北(一):企业AI产品经理采购指南

城市:

  • 上海      82
  • 东莞       1
  • 佛山       1
  • 北京     153
  • 南京      12
  • 南宁       1
  • 厦门      11
  • 合肥       5
  • 天津       3
  • 宁波       2
  • 常州       1
  • 广州      51
  • 成都       3
  • 杭州      64
  • 武汉      12
  • 济南       2
  • 深圳      14
  • 珠海       2
  • 石家庄      1
  • 苏州      11
  • 西安       4
  • 贵阳       1
  • 郑州       4
  • 重庆       3
  • 长沙       5

从数据来看:北京AI产品经理招聘岗位153个,上海82个,杭州64个,广州51个。通过地理分布来看,AI产品经理作为一个新的产品经理品种,仍是集中在北上杭广三大地区。

② AI产品产品经理工资情况:

产品经理AI指北(一):企业AI产品经理采购指南
产品经理AI指北(一):企业AI产品经理采购指南

AI产品经理工资平均数为16K,25%的伙伴能拿到19K,最高是55K,而最低仅有3K,平均工资在16K左右。由此来看,AI产品经理是产品经理这个种群中高收入的人群,产品经理虽然散步在互联网行业的各个角落,但是AI产品经理目前主要分布在并且集中在使用大数据、机器学习、深度学习、智能家居、车联网等与前沿技术相关联的公司。虽然技术的发展,AI产品将是一个新的增长极。

产品经理AI指北(一):企业AI产品经理采购指南
产品经理AI指北(一):企业AI产品经理采购指南

从工资的分布直方图来看,主要工资集中在15-20K左右居多,其次为10K-15K左右。从抓取的数据来看,多数工资的构成仍然是普通产品经理岗位的工资,10K-15K左右为数据产品经理的薪资范围,15-20K是真正属于AI产品经理的岗位薪资。

③ 职位福利:

产品经理AI指北(一):企业AI产品经理采购指南
产品经理AI指北(一):企业AI产品经理采购指南

我们将职位福利这一列的数据汇总,按照词频生成词云。可见五险一金在职位福利里出现的频率最高,其次是平台,工作氛围、年终奖、期权等。

④ 学历要求:

产品经理AI指北(一):企业AI产品经理采购指南

从数据来看,R-squared的值为0.185,说明工作经验和学历仅仅解释了工资变异性的18.5%。

这一点其实比较好理解,因为我们抓取的数据中,title其实主要仍然是普通产品经理的岗位工作,普通产品经理的岗位工作、数据产品经理,AI产品经理的实际工作内容差异还是比较大的。

普通产品经理主要仍然是进行产品原型设计和完成三大文档的工作;数据行产品经理可能会经常使用Python、R等工具进行工作;AI产品经理将设计NLP、MPL等方面的工作。另外,各个公司的规模和它愿意开出的工资也不尽相同。

产品经理AI指北(一):企业AI产品经理采购指南

从这次数据分析来看,Kevin是不是对去从事AI产品经理充满了信心呢?

Kevin,我们今天看了AI产品经理的岗位需求和企业招聘情况,我们下次聊聊关于AI产品经理在思维上和普通产品经理岗位有着怎样的不同。

相关阅读

产品经理AI指北(二):AI产品经理思维6顶思考帽

 

作者:John_Ren,微信公众号:产品经理与增长黑客,id: pmgrowth

本文由 @John_Ren 原创发布。未经许可,禁止转载

题图来自 Unsplash,基于 CC0 协议

新一代大数据用户行为分析与数据智能平台:数极客(https://www.shujike.com),是支持无埋点、前端埋点、后端埋点、API导入四种混合数据采集方式,整合分析用户行为数据和业务数据,可以自动监测网站、APP、小程序等多种渠道推广效果分析,是增长黑客们必备的互联网数据分析软件。数极客支持实时多维分析、漏斗分析、留存分析、路径分析等十大数据分析方法以及APP数据分析网站统计网站分析小程序数据统计用户画像等应用场景,业内首创了六种提升转化率的数据分析模型,是数据分析软件领域首款应用定量分析与定性分析方法的数据分析产品

发表评论

相关文章