前一节紧张跟大家谈论了文本纠错技能的运用，本节将跟大家谈论分享关于图像视觉方面的运用——图像检索。

在人工智能技能运用方面，图像视觉该当是被运用最广泛的技能之一，从最早的安防监控，到后面落地最多的人脸识别，都是图像技能的运用，本文想环绕图像检索技能的运用进行产品先容。

图像检索技能在实际运用中包括了检索+识别（相似度度量）两个部分，目前重点运用于泛搜索引擎中，百度搜索、谷歌搜索、淘宝拍立淘等都可以支持通过图片检索实现信息查找。

相对付笔墨搜索而言，图像检索更直不雅观，更易操作，尤其是对付陌生信息的检索，可以直接通过拍照实现信息的检索。

一、关键技能

图像检索包括了基于文本的图像检索和基于内容的图像检索。
基于文本的图像检索紧张通过对图像进行文本描述，提炼关键词等标签信息，后续在进行检索时，可以通过检索关键词的办法查找对应的图片，这种办法跟用百度查找“胡歌”返回胡歌的照片是同等的；

基于内容的图像检索是通过提取图像的纹理、颜色、梯度或者其他高层语义特色等作为图像特色来打算图像间的相似度，实现图像检索。

1. 基于文本的图像检索

如果须要高查准率，就须要精确的标签数据，而精确的标签数据对付人工标注来说是耗时耗力的，乃至有些图像很难用有限的关键词能描述清楚。
目前常日情形下会先基于图像内容剖析进行自动标注，然后只要存储图像和文本标签即可，虽然会降落查准率，但是仍旧可以担保文本检索。

2. 基于内容的图像检索

虽然搜索精度不一定如文本搜索，并且随意马虎受到图像质量（光照、遮挡、背景繁芜度等）的影响，但是对用户而言，搜索难度将降落，可以实现所见即所得，只要拍照出发搜索即可。
因此，可运用范围将更加广阔。

3. 分布式存储技能

除了关键的算法技能，还须要跟工程干系的分布式存储技能，由于在实际工程运用中，涉及到的索引构造须要支持到10亿量级的，以是如何构建并存储图片的特色索引信息，须要工程上进行优化（ps：由于过于技能化，笔者也不敢班门弄斧了）。

在实际运用中，基于文本和基于内容的图像检索一样平常是解耦的，产品设计可以选择两者并存，或者独立利用。

比如在电商中，淘宝通过知识图谱技能构建了大量的商品画像，以是用户可以通过文本搜索，同时拍立淘也支持图像搜商品；而某些识花等小软件则是纯挚通过以图搜图实现。
详细的还是须要产品根据实际运用处景来决定。

本文下面将重点先容的是基于内容的图像检索，个中基于内容的图像检索，从产品的输入角度又可以分为以图搜、以***搜和以音频搜，列举出来的话是图搜图、图搜***、***搜***。

二、产品设计1. 运用处景

（1）目前常见的图像搜索运用处景有以下几种：

拍立淘的电商运用处景，通过拍照识图，实现快速购物，提高购物体验。
视觉中国的图片库类的图片查找运用处景，实现图片查找运用，和版权鉴定。
阿里在工业场景中供应的布料纺织品的图像检索技能，快速理解布料的供应信息。
医疗诊断方面，可以通过图像检索在医学影像库找到相似医学病灶的案例，从而帮忙病情的诊断的运用处景。

（2）本文选择图片库类的图片检索为运用处景，讲述产品设计中的业务流程和须要支持的产品能力，个中图片库类的图片检索运用处景有以下两个：

供稿人上传图片，为担保图片版权，会对供稿人图片与现有图片库进行查重，避免侵权行为。
用户查找并***图片，为了知足用户的图片需求，一样平常会进行相似图片推举。

2. 检索技巧

先确定运用处景不仅是为了便于产品设计，也是为了检索技能的选择，从图像检索的特色来看一样平常包括两种类型：

相同图搜索：是指返回与查询图片包含相同主体的图片，一样平常是完备相同或具备相同主体的图片，紧张适用于重复图片检测、图片精确查找等场景。
相似图搜索：是指返回与查询图片内容语义相似的图片，内容语义相似包括在图片类型、颜色、布局、内容、风格和纹理等特色方面的相似，紧张运用于相似图片素材搜索、相似图片推举等场景；

在图片库的图片检索运用处景中，这两个场景都是要支持的，因此相同图检索，和相似图检索都须要包含的。

但是实际上相似图的结果常日情形下是包含相同图的，相同图是相似图的一个子集。
之以是区分开来，是为了便于产品设计，由于在实际过程中，须要设定一个阈值来决定返回结果，但是如果想让相似图都能包含相同图，则很难指定一个通用的阈值，因此，可以根据实际场景分别调用两个模型。

3. 产品功能设计

（1）业务流程

产品的核心业务流程紧张包括三点：

历史图片入库，建立图片库和图片特色索引库。
查询图片，基于相似图的特色提取和检索引擎在历史图片库中查找相似图片。
供稿新图片，基于相同图的特色提取和检索引擎在历史图片库中查重，若不重复，则许可图片入库；若有主体重复的图片，则提醒供稿人，图片存在侵权风险，并谢绝入库。

ps：相同图和相似图的特色提取是不一样的，这里为了简化流程，因此画在了一起。

（2）产品功能

这里将列举描述产品的紧张功能，涉及事情成分，无法供应页面交互功能细节。

图片底库管理：用于管理图片数据，可以根据图片类型、韶光、用场平分类，功能包括：新建底库、删除底库、编辑底库名称。
图片新增：用于在底库中新增图片，比如上述的供稿图片审核通过，就须要调用图片新增入库操作，功能包括：单张图片新增、批量图片新增。

（把稳点：图片的大小、图片的分辨率、批量上传的图片数量等限定条件。
）

图片删除：用于删除底库中过期或者脏的数据，同样支持单张删除或者批量删除。
图片检索：用于查询与上传图片相似或者相同的图片，这里可以根据实际场景进行设计，增加参数是否做主体识别，如果做主体识别，则调用相同图检索；如果不做主体识别，则调用相似图检索。
索引库更新机制：图片新增或者删除后，如何更新图片的特色索引库，以新增为例，是在新增后实时更新索引库还是定时更新，这个须要产品根据场景判断。
一样平常当底库较小，且日常并发检索较小时，可以考虑实时更新；当底库容量较大，且频繁发生检索时，建议可以选择定时更新，如选取闲时更新。

4. 产品评估

产品设计中，还须要对产品性能进行评估，包括算法和工程两个方面：

算法侧：打算查询结果top k的精确率和召回率，再根据实际运用处景判断是保召回还是保精确。
工程侧：打算检索多并发时的处理速率和存储资源花费，力求降落存储本钱并提高检索相应速率。

三、结论

随着AI技能和互联网运用的发展，图搜这样的智能化检索办法将会有更多的落地场景，但是对付产品设计而言，须要根据实际场景结合技能现状考虑。

比如在推举场景中，为了更多能留住客户，在尽可能担保高精确率的情形下，k的上限就会取得较大，这样就能给用户更多的返回结果。
因此为了能知足检索业务的须要，同时提高用户体验，就须要产品能多思考实际业务场景。

本文由@Eric_d 原创发布于大家都是产品经理，未经容许，禁止转载

题图来自 Unsplash，基于CC0协议