详解AI产品经理工作全流程_模子_数据

2024-12-06 14:49:07 文字写作

一、AI产品经理事情全流程概览

详解AI产品经理工作全流程_模子_数据文字写作

AI产品经理事情全流程中与普通产品经理的差异紧张是多了算法模型部分，包括模型预研、数据准备、模型构建、模型宣讲、模型验收，协作的工具相对普通产品经理也多了算法工程师。

二、需求定义

需求定义紧张要定义清楚以下几点：

做什么?为什么要做，有什么收益和代价？业务预期目标、上线期限？

为了方便理解，我们以开拓一套筛选薅羊毛用户的产品进行举例解释。

1、项目背景

团队创造卖力的项目数据统计有些非常，细查之后，创造存在夜间偷数据的情形，大致行为路径如下：

淘宝上买一批手机号，注册新账号。
通过自动薅羊毛的办法（新手礼包、逐日签到、周任务等），获取免费券等资源。
夜深人静的时候，利用免费券或积分批量下载数据。

亡羊补牢，犹未晚矣。
我们决定开拓一套筛选薅羊毛用户的产品，彻底堵住这个缺口。

2、做什么？

开拓一套筛选薅羊毛用户的产品。
详细设计大概思路如下：

在领取新手礼包或周任务褒奖时，须要用户绑定手机号（薅羊毛时大略卡一下，以免影响正常的用户体验）。
在利用券进行下载操作时，判断是薅羊毛用户的概率，并根据概率高低分成正常、疑似、高危三类。
针对“疑似”用户，就触发极验或验证码校验等逻辑。
针对高危用户，就锁定账号，并在激活时哀求绑定微信，避免再涌现大量偷数据的情形。

3、为什么要做，有什么收益和代价？

减少公司做活动发放福利时被薅羊毛，让福利触达给有效的用户。

4、业务预期目标、上线期限？离线/实时模式：支持实时判断，以是该当定义为实时模型。
覆盖率：期望该模型的覆盖率为100%，面向所有用户。
方向：尽可能找出所有羊毛党，追求高“召回率”，可以接管一定程度的误报。
宁肯错杀一千，不可放过一个。
上线期限：双十一前得上线，离现在还有半年韶光。

三、模型预研

AI产品经理把需求同步给算法工程师，算法工程师需判断目前积累的数据和沉淀的算法是否可以达到业务需求。

如果现有数据不知足需求，要么增加埋点补齐数据，要么想办法获取目标数据，要么更换成其他类似数据。

如果算法支持度不足，可能须要调度需求内容，以便达到更适配的效果。
以该项目为例，实时模式的话，可能会对原业务的相应速率有一定影响，以是末了调度为离线模型，每天定时处理前一天的用户数据。

四、数据准备

对付算法同学而言，他只能根据现有的数据剖析哪些特色对付模型有用，但是，AI产品经理对业务理解更深，通过判断哪些数据、哪些特色对模型提升有帮助，把自己想到的要点和技能沟通，得到更完善的数据集，再动手去获取数据。

比如该用户是否紧张在夜间活动？操作频率是否过高？短韶光内同一台终端是否登录过多个用户？用户是否触发过新手勾引？

尽可能准确的找到羊毛党用户的特色，对模型质量的提升会有极大的帮助。

获取数据时，紧张分为以下三类（有时也可与其他公司联合建模）：

1、内部业务数据

如果以前业务有干系数据，那么我们可以从以前业务保留的数据中选取利用；如果当前没有干系数据，而我们有干系业务可以得到数据，我们通过增加埋点的办法将数据留存。

2、跨部门数据

其他部门数据或统一的中台数据，这些数据须要我们根据公司的数据管理规范流程提取，在数据提取的时候把稳筛选有效数据。

3、外采数据

根据我们的需求向外部公司购买数据。
我们须要理解市场上不同公司都可以供应什么数据，比如：极光、友盟供应的是开拓者做事，以是他们可以供应一些和App干系的用户画像，比如运营商可以供应上网流量、话费等干系数据。

进行外采数据须要把稳两点：外采公司的资质审核、采集数据的合法性（须要考虑数据安全和消费者隐私保护）。

五、模型构建

模型构建的详细流程如下：

1、模型设计

模型设计阶段，我们须要考虑该选择什么样的算法，目标变量该当怎么设置、数据源该当有哪些、数据样本如何获取，是随机抽取还是分层抽样。

a.算法选择

于其需求定义，模型须要打算出用户是薅羊毛用户的概率，并根据概率高低分为正常、疑似、高危三类，终极技能同学决定采取逻辑回归算法来实现该需求。

逻辑回归算法具有打算速率快、可阐明性强的优点，适用于办理需求中的多分类问题，而且还可以对用户“为什么封号”的质疑，有较强的阐明性。

b.定义目标变量及抽取样本

在模型设计阶段最主要的便是定义模型目标变量，以及抽取数据样本。

不同的目标变量，决定了这个模型运用的场景，以及能达到的业务预期。

样本是用来做模型的根本。
在选取样本的时候，你须要根据模型的目标、业务的实际场景来选择得当的样本。
必须要考虑时令性和周期性的影响。
其余，还要考虑韶光跨度的问题。
建议你选择近期的数据，并结合跨韶光样本的抽取，来降落抽样的样本不能描述总体的这种风险。

2、特色工程

所有模型的输入都是数量化的信息（用向量、矩阵或者张量的形式表示的信息），以是我们须要通过某种办法，把各种类型的数据转化成数量化的信息，这个过程便是特色工程。

特色工程是模型构建过程中最主要的部分，如果我们可以挑选到足够优质的特色，不仅可以提升模型性能，还能降落模型的繁芜度，（当选择了优质的特色之后，纵然你的模型参数不是最优的，也能得到不错的模型性能，你也就不须要花费大量韶光去探求最优参数了，从而降落了模型实现的繁芜度。
）大幅简化构建过程。

数据和特色决定了模型的上限，而模型和算法只是逼近这个上限而已。

以薅羊毛项目为例，我们可以通过用户是否在夜间活动、操作频率、历史订单、完成活动速率、同一台终端是否登录多个账号等一系列特色，来表达是薅羊毛用户的可能性，这便是建立了薅羊毛用户的特色工程。
我们可以通过这些特色来判断用户的可疑程度。

特色过程包括以下四个流程：

1）数据洗濯

数据洗濯紧张是算法工程师要做的事情，数据预处理的主要环节，紧张是对数据进行重新审查和校验，检讨数据同等性、处理无效值和缺失落值等。

来办理这些数据可能存在的数据缺失落、有非常值或无效值、数据不屈衡（比如前面部分数据表现好，后面部分数据表现不好）、单位不一致等问题。

对数据缺失落，算法工程师可以通过删除缺失落值或者补充缺失落值的手段来办理它。

对付数据不屈衡的问题，由于数据偏差可能导致后面演习的模型过拟合或者欠拟合，以是算法工程师取数据时须要考虑均衡问题。

2）特色提取

从原始数据中提取有用的特色，将其转化为一组更具代表性和可阐明性的特色。
特色提取的目的是减少原始数据的维度，提高数据的表达能力，帮助算法进行更好的完成任务。

一样平常提取出的特色会有 4 类常见的形式，分别是数值型特色数据、标签或者描述类数据、非构造化数据、关系型数据。

数值型特色：如消费金额、好友人数、浏览页面次数等（干系的业务操作数据、运营数据）。
一样平常来说，会首先提取主体特色，再提取其他维度特色。
标签或描述类特色：如有房、有车、高付费，用来打标签。
非构造化特色：如内容评论，须要判断是否有负面感情。
非构造化数据一样平常存在于 UGC（User Generated Content，用户天生内容）内容数据中。
提取非构造化特色的一样平常做法便是，对文本数据做洗濯和挖掘，挖掘出在一定程度上反响用户属性的特色。
关系型数据特色：如通讯录、收成地址、商品分享（一样平常分享给亲朋）、LBS位置信息等维度数据。
比如说，在京东购物时，你和一个人在同一收货地址上，如果这个收货地址是家庭地址，那你们很可能便是家人。

3）特色选择

特色在选择时紧张有覆盖度、IV 值（信息代价）、稳定性等指标。

LV值指的是表示特色对目标预测的贡献程度，LV值有限定条件，一是面向的任务必须是有监督的任务；二是预测的模型必须是二分类模型。

4）天生测试集与演习集

算法同学为了给模型演习做末了的准备，须要把数据分成演习集和测试集，他们会利用演习集来进行模型演习，会利用测试集验证模型效果，

3. 天生测试集与演习集

模型演习是通过不断演习、验证和调优，让模型达到最优的过程。
便是要找到一个划分条件（决策边界），使得准确率（拟合）最高的同时兼顾稳定性（泛化性能）。
这里涉及几个名词须要理解：

a、决策边界

那么怎么达到最优呢？便是要绘制一条比较好的决策边界。

决策边界：便是在符合某种条件做出某种选择的条件，根据这个条件可以将结果进行划分。
比如说：下午6：00不写完这篇博客我不用饭，那么写完了就去吃，没写完就不吃。
这个条件便是我们说的决策边界。

决策边界分为：线性决策边界和非线性决策边界。
下图中，图1为线性决策边界，图2、图3为非线性决策边界。

决策边界曲线的平滑程度和算法演习出来的模型能力息息相关。
曲线越陡峭模型的测试精度越准确（可以理解为不是一刀切），但是越陡峭的曲线模型越不稳定。

b、拟合与泛化

模型的“最优”，指的是模型拟合能力和泛化能力的平衡点。

拟合能力：模型在已知数据上（演习集）表现的好坏泛化能力：模型在未知数据上（测试集）表现的好

如果想让模型有足够好的拟合能力，就须要构建一个繁芜的模型对演习集进行演习，但是模型越繁芜就会越依赖演习集的数据，就越可能涌现演习集的表现很好，但在测试集上表现差的情形，泛化能力比较差，这种情形叫做“过拟合”。

如果想让提高模型的泛化能力，就要降落模型繁芜度，减少对演习集的依赖，但如果过度降落繁芜度，又可能导致“欠拟合”的情形。

过拟合：模型把数据学习的太彻底，乃至把噪声数据的特色也学习到了，就导致不能很好的识别未知数据，模型泛化能力低落。
演习集表现很好，但是测试集很差。
读的是“去世书”，并没有真正节制书里的精髓，自然就无法很好的运用了。
产生过拟合的缘故原由一样平常有：特色过多，模型繁芜度过高，样本数据无法代表预定的分类，样本噪音滋扰过大等。
欠拟合：模型不能很好的捕捉数据特色，不能很好的拟合数据。
在演习集的表现就很差，须要连续努力“学习”。
产生欠拟合的缘故原由一样平常有：模型繁芜度过低、特色量过少等。

c、交叉验证

算法工程师就这样不断的调度模型参数、演习，再用交叉验证的办法，逐渐找到拟合能力和泛化能力的平衡点，这个平衡点便是我们演习模型的目标。

交叉验证：一种评估机器学习模型性能的有效方法，可以用于选择最佳模型参数、模型选择以及避免过拟合等问题。
包括大略交叉验证、留出交叉验证、自助交叉验证等方法。
如把测试数据进行进行封箱处理，后随机对一些分箱测试结果取均匀值。

4、模型验证

经由繁芜的模型演习，我们终于得到了一个所谓的“最优解”，但是怎么证明这个最优解便是真正的最优解呢？我们须要模型验证阶段来确认这个“最优解”的真假。

模型验证一样平常通过模型的性能指标和稳定性指标来评估。

模型性能，便是模型预测的准确性。

分类模型性能评估：分类模型的预测结果是详细的分类，一样平常利用召回率、F1、KS、AUC等评估指标，来判断分类模型的性能。

回归模型性能评估：回归模型的预测结果是连续值，一样平常利用方差和MSE等评估指标，来判断回归模型的性能。

模型稳定性，指的是模型性能可以持续多久，一样平常利用PSI指标来评估模型的稳定性。

PSI指标，指模型稳定性指标（或称为客情稳定性指标），PSI越小越好，如果PSI>0.25解释稳定性很差。

综上：模型验收环节，AI产品经理须要知道常用的性能指标与稳定性指标，并且知道其合理的范围。
AI产品经理对模型验证环节格外关注，须要深入理解评估指标、打算逻辑，并能根据指标的数据判断模型效果是否达标。