揭秘你不知道的AI数据：它们是这样加工分娩出来的_数据_人工智能

2024-11-21 20:46:56 文字写作

这是90后小袁的第39次失落业。
在此之前，他在饭店做过传菜工、在工厂做过皮鞋、在广告公司公司做过牌匾，在奶粉厂装过箱子，却总是由于无法避险、难以沟通被辞退。
“我是烫手的小袁，由于我是聋哑人，以是我总是会烫到身边的人，被扔出很远很远。
”他用如此悲哀的笔墨描述自己内心天下。

揭秘你不知道的AI数据：它们是这样加工分娩出来的_数据_人工智能文字写作

终于，小袁在第40份事情，等到了贰心中的渴望——挣钱不仅仅混口饭吃，以及做人的基本肃静。

他用一个月的韶光，刻苦演习学会了用模板做数据标注，成了人工智能革命浪潮背后的一位“数据标注员”，为企业供应图像、语音、文本等的数据标注做事。
“我很光彩，也能成为一个在人工智能家傍边有用的人。
”

在人工智能全面影响社会和运用越来越遍及， “人脸识别”、“自动驾驶”、“语音识别”等家当狂潮的背后，最主要的核心便是越来越弘大、越来越精准的数据——离开数据，谈人工智能运用无异于“无米之炊”。

“数据标注”，是将最原始数据变成算法可用数据的关键过程，是全体 AI 家当的根本，是机器感知现实天下原点。

而“数据标注员”，正是一个人工智能家当未被写出的幕后隐形故事：在中国，有10万的全职数据标注员，以及100万的兼职数据标注员，每天源源不断的用人工，为人工智能的发展供应最主要的“数据燃料”——在现有技能框架下，数据量越大，质量越好，算法模型就表现越好。

这100多万个标数据的人，很多学历不高，却决定着中国全体人工智能行业的发展态势：他们之间，既有小袁这样生理毛病者，找不到空想事情的职高学生，从工地辗转而来的新生代农人工，还有原来淘宝刷单的，赋闲在家的中年妇女……

流水线上加工数据

标注作业有时并不大略，比如这种关联性标注

25岁的罗雪娇，正把手写体的古德文转录为印刷体字母，然后把转录出的这些笔墨发给OCR(光学字符识别）公司——这些被罗雪娇一个个标注出来的字母，将做为机器演习的数据材料。

这个事情并不随意马虎，要知道，这是一个即便在德国，认识这种古老字体的人也寥寥无几，但罗雪娇却犹如流水线上的机器人，须要每秒钟准确输入1个字母。

在罗雪娇的阁下，另一位同事正为路况图片中的各种机动车、非机动车、自行车和行人打标签、做标记，并标注行进方向和是否有遮挡——这将用于安防系统，乃至成为中国天网系统能2秒过滤环球所有人口的根本。

另一位同事，则在标记图片中汽车的可行驶区域，之后会用于无人驾驶场景的演习。
他须要分绝不差的描述建筑物的边缘，将静止画面中鳞次栉比的大楼逐一分割，标注身分歧的色块。

还有的正将雷达扫描出的障碍物3D线条逐一还原成实物，长方体是建筑、绿色的是树木，这些内容会被用来演习雷达数据和真实天下的关联性。

他们这种介于手写录入和图像标记之间的事情，共同的行业学名叫做“人工智能数据标注”——只管数据标注并不算一个完备新兴的家当，早在1998年“海天瑞声”就已成立，但彼时人工智能尚未兴起，数据运用也相对较少。

“2011年针对AI的数据标注开始涌现，2015年真正开始，2017年有了大爆发。
”一家数据标注外包公司的主管说。

人工智能浪潮催生了这统统，干系数据显示，2017年，仅北京中关村落大数据家当规模就超过700亿元，贵阳则超过了1500亿元。
联合国教科文组织信息与传播知识社会局主任英德拉吉特·班纳吉也认为，到 2030 年，人工智能将向天下经济贡献 16 万亿美元。

对付AI而言，优质数据必不可少，须要标注的领域也越来越多：自动翻译的语音识别、机场安检时的人脸识别、识别选取商品的无人商店、安全行驶的无人驾驶等等。

以是，就像传统工厂一样，一个叫“数据标注”的隐形家当正在迅速扩大，数据正在流水线上处理，被分块加工，然后运用到不同领域。

这是全体 AI 家当的根本，是机器感知现实天下原点。
京东众智一位高层人士对说，一张图片识别系统能瞬间认出某个物品，一套语音识别系统能瞬间读懂你说的话，实在也是一张张图片、一段段语音素材后天演习出来的结果。

“对图片标注仍旧须要依赖人力。
”上述高层人士表示，只管互联网催生了浩如烟海的内容，但标注这件须要耐心和专注的“小事”，暂且还须要大量人力。
“图片包含的特性太多，比如在不同光芒下的拍摄，模糊，清晰等等。
即便在对5000万张图片进行归类之后，也只有几种特性被准确的标注出来了。
”

关于“数据标注”，上述京东众智高层人士打了一个形象比喻：和小孩一样，要认识一个足球，你不能见告它是“圆形的”、“用脚踢的”、“黑白相间网格的”，最大略最常用的办法是，找来一个真十足球摆在小孩面前，见告他“这便是足球”，没有真球，用图片或视频也行。
试过几遍就会创造，孩子就能“自然而然”地认出足球。

机器也一样，工程师想让 AI 准确识别出足球，最好办法不是用代码来描述足球，而是直接找来很多张带有足球的图片，用 AI 能读取的办法把图片、视频里的足球“标注”出来，扔进 AI 模型演习，之后它“自然而然”就得到了识别足球的能力。

和小孩不同的是，机器须要在不同场景、不同角度下反复学习，这个漫长的教授过程便是罗雪娇们在 AI 家傍边的位置——标注大量用于演习机器学习模型的数据，让机器越来越像人。

一个让人崩溃的“辛劳活”

图片为大略标注办法的一种

常日而言，数据标注得越准确、数量越多，模型效果就越好。
自然，产品的效果就会更好。

对罗雪娇而言，她必须担保给机器的标注数据达到 90% 以上精度（即是指标注的精确率），否则最直接的后果是机器也会随着犯错，这对付机器学习将毫无意义。

90%的精度，意味着100 个点里有两个点缺点，就会被打回。
罗雪娇碰着过一次“让人崩溃”的经历，那是一张人物群体站立图，只要露出了头、脖子、胸口，罗雪娇就要从图片的左上角开始画矩形，框住这些动作、着装完备同等的人。
重复拖动50个框后，要再放大这些带有蓝色阴影矩形框，从头到四肢标注完每个人的骨骼点。
末了，600多个点密密麻麻地落在了那张图里。

这个项目让她不记得重复了多少次，“拉框哀求十分风雅，偏差丝毫都弗成。
末了无论是滴眼药水，还是冷水洗脸，拍打脸部、揉眼睛，都没有任何浸染，只剩下流眼泪了。
”罗雪娇说。

“有些任务图上密密麻麻的点，看两个小时以上眼睛绝对会花掉了，只有哀求员工不断战胜人本身的一些‘悲观成分’，才能避免标错数据。
”数据标注公司、BasicFinder创始人杜霖说。

实在，看似大略的操作，要达到 90% 的精度对大多数标注者来讲却是天方夜谭。
据理解，很多兼职标注团队最高精度只能达到 70%，即便是在全职、全把控情形下，很多项目只能达到50% 的精度，基本上承接的每个项目都须要重复三次以上才能达到 90% 的精度。

但现在，越来越多的客户哀求达到95%乃至97%的风雅化标注。
“95% 以上的准确率是空想情形，但从 95% 提到 97% 所需花的本钱就不再是一两倍了，可能是100 倍。
”杜霖说。

每个行业人士都认为这是一个“让人崩溃的辛劳活”。
提起“数据标注”四个字，2002年景立，来自上海的华院数据的首席科学家尹相志不禁苦笑：几个月前，华院数据举办过一次大数据运用比赛，在“通过卖场货架图片自动打算产品的货架霸占率”这项测试中，她们拍摄了1600多张真实的货架图片作为原始数据，为了让比赛的难度不那么“变态”，她们还为选手们供应了“风雅化标注”后的货架图片——也便是货架上每一包紧挨着的零食、泡面，都要延边缘仔细划分。
终极，这一千多张图片的标注耗费了12个人大半个月韶光，卖力标注事情的组员“几近崩溃”。

另一个例子是，李飞飞创办的ImageNet，是目前天下上图像识别最大的数据库，拥有1500万张标注图片，不过大部分人不知道，这是来自167个国家的48940名事情者，花费了2年韶光，清理、分类、标记了近十亿张通过互联网搜集到的图片，才得到这个有1500万张图片的数据集。

“无论国内外，情形都差不多。
一旦哀求质量，每个人的产出量就不会太多。
闇练者均匀一天可以标注40张图片，条件是只须要为图片中的物体打框、标注种别和前后关系。
如果涉及到刻画建筑物边缘等繁芜细节，一天标注10张已是极限。
”一位数据标注行业人士说，看似大略的数据标注背后，其所耗费的韶光与人力，远非一样平常项目可比。

在高质量数据标注不随意马虎，同时又决定了一家人工智能公司竞争力情形下，国内外大大小小的科技公司都开始用另一种办法，来完成这样细碎的任务，以得到更细致、更准确的数据。

AI时期的“富士康”

这种办法，便是外包。

实际上，无论是Google Open Image Datasets中的900万张图片，还是YouTube-8M中包含了800万段被标记的视频，这些精心标记的数据，大部分是由亚马逊劳务外包平台“Amazon Mechanical Turk”（以下简称AMT）上数十万名注册用户花费2年韶光完成的。

科技网站TechRepublic的一篇文章描述称：这些分布在环球各地的50万名工人们，昼夜交替、时常待命，对数据进行手工输入、分类，区分出下一张照片中是否有“狗”，语句中的“bass”到底是低音还是鲈鱼。

文章评价称，人类变成投喂机器的流水线工人，亚马逊AMT也顺势成为AI时期的富士康。

在海内，人工智能创业公司、BAT同样采取了目前数据标注行业的主流模式——“外包”。
某数据标注公司卖力人就透露，BAT、商汤、旷视、云从科技这类大的人工智能公司，一年在数据上的外包支出高达数千万元。
此外，学术团体、政府、银行等传统机构的需求相对较小但有不断增长的趋势。

“按照职员规模划分，现在的数据标注行业分为小型事情室（20 人旁边）、中型公司以及巨子企业。
”京东金融众智平台项目卖力人对表示，而从外包办法来看，也分为“众包”和“工厂”两种模式。

众包（Crowdsourcing）平台是《连线》（Wired）杂志2006年发明的一个专业术语，用来描述一种新的商业模式，即企业利用互联网来将事情分配出去、创造创意或办理技能问题。

京东金融方面供应给本报的数据显示，2018年1月，京东金融发布海内首个聚焦人工智能领域的数据众包平台——京东众智，通过聚合拥有碎片化韶光和空隙韶光的普通人，为企业供应图像、语音、文本、视频的数据标注等做事。

“百度众包”、“龙猫数据”、数据堂等同样是这个模式。
去年11月，龙猫数据宣告得到3370万元A轮融资，且用户量达到百万级，为百度、腾讯、小米等数十家科技公司供应数据标注业务。
数据堂则成立于2011年,并在2014年12月10日成为第一家在新三板上市的数据标注企业。

不雅观察创造，无论是百度众包，还是京东众智、龙猫数据、数据堂，官网首页都有明显的 “任务大略、轻松赢利”广告，其本色都是把任务转嫁给网民——某有名数据众包平台就据称，其拥有超过5000名数据标注专员，上十万数据标注兼职职员，单日可处理超过200万条数据，能稳定供应数据标注做事。

“亚马逊AMT也是如此，每天会发布任务给墨西哥以及印度兼职职员，但很多高精度事情是不适宜众包的。
”在杜霖看来，由于参与众包标注的事情者数量很多，专业背景和事情能力参差不齐，其标注质量也并非所说的那么可靠，一些任务网络到的标注内容中存在噪声乃至缺点，不能直接作为精确的标注利用。

以定制为主的数据标注“工厂”模式应运而生——也便是自己经营团队，成为一个上游，对全体流程进行掌握。

BasicFinder采取的正是“工厂”模式，其注册成立于2015年， 2017年3月份完成了一千多万元pre-A轮融资。
目前与二十来家“数据工厂”有长期业务互助，这些数据工厂有些是参与投资，有些是深度互助，少则几十人，多则两三百人。

而详细到标记过程，杜霖表示都是流水线式的，从最前真个任务定义、采集数据，到中间的洗濯、加工，以及后真个质量检测、演习迭代等全部环节分开作业，并开拓了一套系统赞助人工提高效率。

算上互助的周边工厂，杜霖的公司已经有 2000 多人，他们可以同时进行 20 多个不同项目的标注。
在“工厂”内部，犹如传统制造加工业一样，这里的各个小组都有自己的管理者。
管理者之上是项目经理、高层管理者。
员工“生产”的内容会经由质检职员的核验，全部合格后才会终极交付项目方，以便担保稳定的标注效率和质量。

同样，受困于人力本钱，“工厂”很多时候不得不把一些业务外包给小团队，因此在这些相对规范的机构之外，还游离着浩瀚规模不等的“小作坊”——在京东众智卖力人看来，这同样是一个短板：“小作坊没有标注工具，而工厂更多是流程化操作，缺少合理的运营模式。
”

摇身一变都做AI数据标注

外包的兴起，让数据标注员成为一个热门行业——干系数据显示，截至2018年1月，目前中国有10万的全职数据标注员，以及100万的兼职数据标注员。

“在供应无差别人力劳动这件事上，大家是没有门槛。
原来干淘宝刷单的、送快递的、赋闲在家的大妈，现在也能摇身一变做AI数据标注。
” 杜霖说。

无从统计那100万兼职数据标注员都来自何方，但数据标注工厂，目前多集中在贵州、河北、河南、山东、山西等地区，这和传统制造企业富士康契合——算法公司和人才多集中在北深杭等科技核心区域，而作为一个“劳动密集型”的中低收入行业，数据标注职员散落三四线城市。

在间隔“大数据之都”贵阳市中央50公里的惠水县百鸟河数字小镇，有一个规模500人的“数据工场”，合为难刁难象包括百度等AI巨子，500名数据标注员中，近一半是隔壁一家扶贫高职“盛华职业学院”的学生。

除上课外，这些不懂AI的学生们每天有大约6个小时可以事情，“易于管理、尽职尽责”是该数据工场卖力人给这些学生的评价。
对付当地政府和学生而言，这是一件双赢的事：学生们大多来自穷苦山区，在数据加工公司兼职赚来的钱不仅足够生活，有些学生还会拿出一部分补贴家用。
当地媒体《贵州日报》称，未来三年百度将在百鸟河基地完成2万小时的数据加工,直接办理1000人就业,促进惠水县每年近5000余名大学生优质就业。

作为一个劳动密集型行业，门槛并不高，几万元启动资金，就可以在四五线小城组起一个“事情室”。
在河北衡水，原来在化工厂制品上班的小苏，带着原来 30 多人的发卖团队转行数据标注，队员小的到 20 不到，老的超过40，共同点是都不明白什么是AI。

高中学历是小苏在招人时的最高期望——在行业中，这个招聘标准已经算是较高水平，在某些众包平台上，有的标注者只有小学文凭，在北京的全职工厂中，最高学历是大专或者中专。
而在京东众智平台上，则重点强调众智事情的残疾人士比例，截至目前，在京东众智平台上从事数据标注事情的总人数已达到30000人，个中残疾人士1000人旁边。

在这个行业，空想标注精度和学历没什么关系，而且操作非常大略，经由培训，谁都能做——一家数据标注公司的高层职员就表示，一个农人在标注方言语音时，可能会比不懂这种措辞的大学生还好。

事实上，对发布任务的甲方公司来讲，谁来标注、学历高低、如何管理这些都不是他们须要担心的问题，本钱和按时保质交付才是核心。

某数据公司的主管说，常日数据工厂须要处理的客户订单每每以万为单位。
比如客户哀求 6 万张图片，7 天内完成标注，理论上这个订单须要 200人旁边，共同机器般事情 7 天才能完成。

但部分AI公司却过分压低预算，把项目外包给一些不靠谱的团队，工期又很短；这些团队做不完、做不了，又会把任务转包给另一些小团队，或重新找到大的数据标注公司，使质量和交期都无法担保。

这种情形下，层层外包也就涌现了，“小团队只能接二手乃至是好几手的项目，一手项目就像江湖传说，听过没见过。
”曾做室内装修，现在转行做AI数据标注的小何说，他们的项目都是从小公司手里接的，连发包方的名字都不知道”

“数据标注行业比较混乱，没有一个标准，低价竞争和行业不规范，导致层层外包是行业的噩梦。
”京东众智平台的卖力人李工说。

乃至，这还可能涉及敲诈。
“我们这边刚收到的上家发来的一个数据标注任务，到公司该当是四五手资源了。
公司为了节约本钱让我们在网上发帖招收大量任务标注员，然后剩下的就能想象到了。
”7月4日，某数据标注公司一位内部人士老柳对称，公司以试标题的形式哀求兼职职员完成，一样平常都因此韶光或者数量，第一次给你打回去，然后让你反复的试题，末了合格了，我们再以各种情由推脱谢绝薪酬。

“乃至，人们不会想到的是，兼职职员做过的题，我们自己改动下也能节省很多韶光。
”老柳说。

他们也有自己的无奈，一手的项目在谁手上，价格多高，会经历多少层级，每层有多少利润，都是谜。
对小团队来说，层层外包下来，实在没什么利润了，“比如，一个拉框均匀4分，一个人一天最多能做4000个，一共160元。
过关率90%，再撤除审核本钱，再给每个标注员每天发100元旁边的人为，均匀下来事情室每天也就从每个人身上赚20元，公司都亏损了，还拿什么去付给兼职的呢？”

人物特写他们推动了AI，却变成了一颗螺丝钉

1年前的秋日，18岁的小芳坐上了数据标注工厂派来接他们入职、开往河北的大巴车。
同行的，还有10名在同一个加工厂工厂演习的同学。

彼时，只有中专文凭的小芳怎么也想不明白，怎么老板就看上了自己，自己也可以去做人工智能这种高大上家当干系的事情。
要知道，出身屯子的小芳，都是在上初中后才打仗过电脑。

1年后，现在的小芳已经被老板表扬为最出色的几个员工之一。
踏实干好现在的事情是她从入职以来唯一的想法，也是她改变屯子穷苦环境的最好办法——最近一段韶光，由于工期赶得很急，小芳已经连续几个周末到公司加班，每天十多个小时盯着显示器让她倍感怠倦，但她不想停下，根本加计件的人为构成总是多劳多得。
“我操持着，能拿多一些钱，好寄回去给长期腰痛的妈妈买点药，给弟弟妹妹添一件衣服。
”

不过，同所有的人力密集型家当一样，大家都能在此求生的同时，收入并不高。
某自动驾驶创业公司数据标注卖力人常常私底下开玩笑说，与动辄几十万、乃至上百万的AI工程师比较，从事着AI数据标注的行业可谓是个“血汗工厂”，兼职员可能收入1000多元，全职的收入也不过三四千元。

常日，一件普通任务是按分、乃至是厘算的，比如在一堆不同图片中识别某人是否是同一个人，这样的事情只能按厘算。
只有繁芜标注图时，收入可能更高，有可能甲方出到每小时几十元，以便保质保量完成。

因此，在这个超过110万人的数据标注员军团中，人来人往，有许多人进来了，也有更多人难以忍受低收入、呆板单调重复的事情而离开——兼职做过数据标注的小猫说，她曾接到过一个在所给图片中辨别不同角度素菜的任务，几天后，她标注了一万张图，没有一张返工，但她说自己再也不会做这个事情，由于就像“流水线上的螺丝钉”一样不断重复。

实际上，坚持留下的，每每是家庭条件并不好，想凭自己努力改变家庭和命运的人。
算上加班费，小芳现在每个月能拿到3000多元，这让她很是满意了，毕竟家里父亲种地一年也不过这个数字。
而且，每次回老家，当家人问起小芳的事情，她说自己是做一些人脸、骨骼点标注的“数据标注员”，家人不懂，但如果说是人工智能干系的事情，从电视上看到过这个名词家里人就会停滞追问，并以为这是一个响亮的高科技职位。

这样故事，还有很多很多，他们的梦想，则与AI这个高大上的行业相去甚远：职高学生小志从贵阳坐了四小时的大巴回到山区家中，第一件事便是将做数据标注得来的钱塞到母亲手里，他的家里父母都务农，身体也不好，家里除了屋子和田，唯一像样的财产是一头牛。
先后做过厨师、进过工厂的犇犇，在转行做数据标注员后，用人为给在建筑工地打工的父亲买了电动剃须刀；何军家在河南周口，打算把钱都存着娶媳妇，过年期间就要见几个相亲工具……

至于小袁，想再挣点钱后换一副助听器，现在这个，他已戴了好多年，把他不断终年夜的耳蜗磨出了新新旧旧的伤——在此之前，这个戴了多年的助听器，让小袁在饭店做传菜工时，由于厨房的尖锐噪音不得不关掉，终极导致他在事情中频频出错被辞退。

干系链接：

常见的几种数据标注类型

1. 分类标注：便是常见的打标签。
一样平常是从既定的标签中选择数据对应的标签，一张图就可以有很多分类 / 标签：成人、女、黄种人、长发等。
对付笔墨，可以标注主语、谓语、宾语，名词动词等。

适用：文本、图像、语音、视频

运用：脸龄识别，感情识别，性别识别

2. 标框标注：便是框选要检测的工具。
如人脸识别，首先要先把人脸的位置确定下来。

适用：图像

运用：人脸识别，物品识别

3. 区域标注：区域标注哀求更加精确。
边缘可以是柔性的。
如自动驾驶中的道路识别。

运用：自动驾驶

4. 描点标注：一些对付特色哀求细致的运用中常常须要描点标注。
人脸识别、骨骼识别等。