深度学习在搜索的运用概括起来包括4个方面：

首先是系统，强大的深度学习演习平台和在线预测系统是深度学习运用的必要条件，目前我们的离线深度学习框架、在线深度学习框架和在线预测框架统一到tf，并实现了日志处理，特色抽取，模型演习和在线做事支配端到真个流程，极大提升了算法迭代效率；

其次是搜索运用，包括智能交互，语义搜索，智能匹配和智能决策四个技能方向，这四个方向的协同创新实现了搜索全链路的深度学习技能升级，并具备从传统的单场景单目标优化到多场景多目标联合优化的能力；

再次是在性能优化上做的事情，包括模型压缩、量化、低秩分解再到二值网络，大量的技能调研和论证，为未来提高深度模型预测性能和软硬件协同优化做了很好的技能铺垫；

末了是排序平台化，实现了PC商品搜索、无线商品搜索、店铺内搜索搜索和店铺搜索的搜索做事统一，通过特色和模型复用，实现了多条业务线技能的快速升级。
下面我会简要的概括下在四个方向上取得的紧张进展和背后的思考。

下面是搜索系统和算法的简图。
系统包括:

a. 离线数据平台ODPS，卖力离线日志join、特色抽取和离线模型预估产出排序特色，时效性不强的特色都是通过离线数据平台产出的，比如用户性别标签，商品关键字等;

b. 离线机器学习平台PAI，底层是主流的parameter server和TF深度学习框架，平台实现了大部分机器学习算法模型的并行演习和预测，在搜索运用中紧张浸染是离线模型演习产出离线排序特色模型；

c. 流式打算和在线学习平台 Porsche，流式打算是基于blink卖力实时日志解析和特色join天生实时排序特色，在线学习和离线学习底层框架可以相同，差别紧张是依赖数据源和部分优化方法不同，由于用户行为和市场环境变革快，流式打算和在线学习在搜索运用非常广泛，并积累了不少在线学习和强化学习算法；

d. 在线做事平台，包括引擎、排序做事和搜索平台组成，卖力在线的做事分发、索引查询、排序做事和结果合并等功能，搜索的排序策略、干系性、个性化等模型紧张通过在线预测做事生效。
经由多年景长我们已经具备了非常完善的商品搜索排序算法体系，包括知识图谱、分词、tagging、类目预测、意图预测、拼写纠错、query 推举、query 语义改写、干系性、商品标签、商品质量、店铺分层、用户profile、用户偏好、用户感知、召回策略、个性化模型、多样性策略、异构做事混排策略、多目标联合优化策略、多场景联合排序策略等，并平台化的办法赋能干系业务团队。

搜索系统和算法简图

系统进展包括机器学习平台和在线预测平台

机器学习平台。
搜索演习样本紧张来自用户行为，由于用户行为是流式数据，适宜做在线深度学习，但当模型参数非常弘大须要海量的样本时在线学习须要很长的韶光才能收敛，这时一样平常是先做离线预演习再结合增量或在线学习，其余有些模型离线预演习后在线只须要对靠近输出层的网络做fine-tuning。
搜索在实际运用的有离线机器学习平台PAI和在线机器学习平台Porsche，两个平台深度学习框架目前都统一到了tf-pai， tf-pai 对原生tf做了一些优化，比如底层通讯，稀疏参数存储、优化方法、GPU显存优化等，比原生tf演习深度有较大的提升，演习上千亿样本和上百亿参数的深度模型毫无压力。
虽然Porsche和PAI都支持GPU，但在搜索运用中CPU依然是主流，GPU运用比较少，缘故原由紧张是个性化相对图像或语音大略，特色抽取网络比较浅，维度相对较低，GPU的稠密矩阵打算能力得不到充分发挥，同时离在线混布后流量低谷期间腾出了大量的在线做事闲置CPU，把临时闲置的CPU利用起来做深度学习演习是一个非常好的思路。

在线预估RTP，搜索排序算分做事。
由于每次搜索要求有上千个商品须要打算排序分数，深度模型运用对RTP做事的压力是非常大的，RTP通过采取异构打算，打算算子化和模型分片等办法办理了深度模型inference打算和存储问题，深度模型用GPU，浅层模型用CPU，今年双11期间搜索RTP做事用到了550张GPU卡。
其余，RTP还实现了离线/在线演习模型/数据和在线预测做事支配的无缝衔接，算法演习好的模型或数据可以很轻松的支配都在线做事，提升了算法迭代效率。

算法包括智能交互、语义搜索、智能匹配和搜索策略四个方向

智能交互。
商品搜索便是带交互的商品推举，用户通过关键字输入搜索意图，引擎返回和搜索意图匹配的个性化推举结果，好的交互技能能够帮助到用户更好的利用搜索引擎，目前搜索的交互紧张是主动关键字输入和关键字推举，比如搜索框中的默认查询词和搜索结果中的笔墨链等，推举引擎根据用户搜索历史、高下文、行为和状态推举关键字。

和商品推举的差异是，关键字推举是搜索链路的中间环节，关键字推举的收益除了关键字的点击行为外，还须要考虑对全体购物链路的影响，包括在推举关键字的后续行为中是否有商品点击、加购和成交或跳转到其余一个关键字的后继行为，这是一个范例的强化学习问题，action 是推举的关键字候选凑集，状态是用户当前搜索关键词、高下文等，收益是搜索勾引的成交。
除了被动的关键字推举，我们也在思考搜索中更加主动的交互办法，能够做到像导购员一样的双向互动，主动讯问用户需求，挑选个性化的商品和给出个性化的推举情由，目前阿里搜索团队已经在做智能导购和智能内容方向的技能原型及论证，智能导购在技能上紧张是借鉴对话系统，通过勾引用户和引擎对话与关键字推举办法互为补充，包括自然措辞理解，对话策略，对话天生，知识推理、知识问答和商品搜索等模块，功能紧张包括：

a. 根据用户搜索高下文天生勾引用户主动交互的文本，比如搜索“奶粉”时，会天生“您宝宝多大？0~6个月，6个月到1岁….”勾引文案，提示用户细化搜索意图，如果用户输入“3个月”后，会召回相应段位的奶粉，并在后续的搜索中会记住对话状态“3个月”宝宝和提示用户“以下是适宜3个月宝宝的奶粉”。

b. 知识导购，包含提高售前知识问答或知识提示，比如“3个月宝宝吃什么奶粉” 回答“1段”。
目前对话技能正在提高中，尤其是在多轮对话状态跟踪、知识问答和自动评价几个方面，但随着深度学习、强化学习和天生对抗学习等技能在NLP、对话策略、阅读理解等领域的运用，越来越多的演习数据和运用处景，domain specific 的对话技能未来几年该当会突飞年夜进。
智能内容天生，包括天生或赞助人工天生商品和清单的“卖点”，短标题和文本择要等，让淘宝商品表达更加个性化和多元化。

语义搜索。
语义搜索紧张是办理关键字和商品内容之间的语义鸿沟，比如搜索“2~3周岁宝宝外套”，如果按照关键字匹配召回结果会远小于实际语义匹配的商品。

语义搜索的范围紧张包括：

a. query tagging和改写，比如新品，年事，尺码，店铺名，属性，类目等搜索意图识别和归一化，query tagging模型是用的经典的序列标注模型 bi-lstm + CRF，而标签分类（归一化） 作为模型其余一个任务，将序列标注和分类领悟在一起学习。

b. query 改写，紧张是打算query之间相似度，把一个query改写成多个语义相似的query，常日做法是先用不同改写策略天生改写候选query凑集，比如词更换、向量化后top k、点击商品相似度等，然后在用ltr对后续凑集排序找出得当的改写凑集，模型设计和演习相对大略，比较难的是如何构建高质量的演习样本凑集，线上我们用bandit 的方法探测部分query 改写结果的利害，离线则用规则和天生对抗网络天生一批质量较高的样本。

c. 商品内容理解和语义标签，通过商品图片，详情页，评价和同义词，高下位词等给商品打标签或扩充商品索引内容，比如用 image tagging技能天生图片的文本标签丰富商品内容，或者更进一步用直接用图片向量和文本向量领悟，实现富媒体的检索和查询。

d. 语义匹配，经典的DSSM 模型技能把query 和商品变成向量，用向量内积表达语义相似度，在问答或阅读理解中大量用到多层LSTM + attention 做语义匹配，同样高质量样本，特殊是高质量负样本很大程度上决定了模型的质量，我们没有采样效率很低的随机负采样，而是基于电商知识图谱，通过天生字面相似但不干系的query及干系文档的方法天生负样本。

从上面可以看到query tagging、query相似度、语义匹配和语义干系性是多个目标不同但关联程度非常高的任务。
下一步操持用统一的语义打算框架支持不同的语义打算任务，详细包括

1. 开拓基于商品内容的商品表征学习框架，为商品内容理解，内容天生，商品召回和干系性供应统一的商品表征学习框架，重点包括商品标题，属性，详情页和评价等文本信息抽取，图像特色抽取和多模旗子暗记领悟。

2. query 表征学习框架，为query 类目预测，query改写，query 推举等供应统一的表征学习框架，重点通过多个query 相似任务演习统一的query表征学习模型。

3. 语义召回，语义干系性等业务运用模型框架。
语义搜索除了增加搜索结果干系性，提升用户体验外，也可以一定程度上遏制淘宝商品标题堆砌热门关键词的问题。

智能匹配。
这里紧张是指个性化和排序。
内容包括：

a. ibrain (深度用户感知网络)，搜索或推举中个性化的重点是用户的理解与表达，基于淘宝的用户画像静态特色和用户行为动态特色，我们基于multi-modals learning、multi-task representation learning以及LSTM的干系技能，从海量用户行为日志中直接学习用户的通用表达，该学习方法长于“总结履历”、“举一反三”，使得到的用户表达更根本且更全面，能够直接用于用户行为识别、偏好预估、个性化召回、个性化排序等任务，在搜索、推举和广告等个性化业务中有广泛的运用处景，感知网络超过10B个参数，已经学习了几千亿次的用户行为，并且会保持不间断的增量学习越来越聪明。

b. 多模学习，淘宝商品有文本、图像、标签、id 、品牌、类目、店铺及统计特色，这些特色彼此有一定程度的冗余和互补，我们利用多模学习通过多模联合学习方法把多维度特色领悟在一起形成统一的商品标准，并多模联合学习中引入self-attention实现特色维度在不同场景下的差异，比如女装下图片特色比较主要，3C下文本比较主要等。

c. deepfm，相对wide & deep 模型，deepfm 增加了特色组合能力，基于先验知识的组合特色能够运用到深度学习模型中，提升模型预测精度。

d. 在线深度排序模型，由于行为类型和商品主要性差异，每个样本学习权重不同，通过样本池对大权重样本重复copy分批学习，有效的提升了模型学习稳定性，同时通过领悟用户状态深度ltr模型实现了千人千面的排序模型学习。

e. 全局排序，ltr 只对单个文档打分然后按照ltr分数和打散规则排序，随意马虎导致搜索结果同质化，影响总页效率，全局排序通过已知排序结果做为高下文预测下一个位置的商品点击概率，有效提升了总页排序效率。

f. 其余工程还实现了基于用户和商品向量的向量召回引擎，相对倒排索引，向量化召回泛化能力更强，对语义搜索和提高个性化匹配深度是非常有代价的。
以上实现了搜索从召回、排序特色、排序模型、个性化和重排的深度学习升级，在双11无线商品搜索中带来超过10% (AB-Test)的搜索指标提升。

多智能体协同学习实现智能决策

搜索中个性化产品都是成交最大化，导致的问题是搜索结果趋同，摧残浪费蹂躏曝光，今年做的一个主要事情是利用多智能体协同学习技能，实现了搜索多个异构场景间的环境感知、场景通信、单独决策和联合学习，实现联合收益最大化，而不是此消彼长，在今年双11中联合优化版本带来的店铺内和无线搜索综合指标提升12% (AB-Test)，比非联合优化版本高3% (AB-Test)。

性能优化。
在深度学习刚起步的时候，我们意识到深度模型inference 性能会是一个瓶颈，以是在这方面做了大量的调研和实验，包括模型压缩(剪枝)，低秩分解，量化和二值网络。

通过以上技能，今年双11期间在手淘默认搜索、店铺内搜索、店铺搜索等均取得了10% (AB-Test)以上的搜索指标提升。

阿里巴巴人工智能搜索运用的未来操持

通用用户表征学习。
前面先容的DUPN 是一个非常不错的用户表征学习模型，但基于query 的attention 只适宜搜索，同时短缺基于日志来源的attention，难以推广到其他业务，在思考做一个能够适宜多个业务场景的用户表征模型，非搜索业务做些大略fine tuning 就能取得比较好的效果；同时用户购物偏好受时令和周期等影响，韶光跨度非常大，最近K个行为序列假设太大略，我们在思考能够做life-long learning 的模型，能够学习用户过去几年的行为序列；

搜索链路联合优化。
从用户进入搜索到离开搜索链路中的整体优化，比如 搜索前的query 勾引（底纹），搜索中的商品和内容排序，搜索后的 query推举（锦囊）等场景；

跨场景联合优化。
今年搜索内部主搜索和店铺内搜索联合优化取得了很好的结果，未来希望能够拓展在更多大流量场景，提高手淘的整体购物体验；

多目标联合优化。
搜索除了成交外，还须要承担卖家多样性，流量公正性，流量商业化等居多平台和卖家的诉求，搜索产品中除了商品搜索外还有“穹顶”，“主题搜索”，“锦囊”，“内容搜索”等非商品搜索内容，不同搜索目标和不同内容（物种）之间的联合优化未来很值得深挖。

智能交互。
“搜索排序做的再好搜索也只是一个工具”，如何把搜索从工具做成私人导购助手，能够听懂你的措辞，理解你的感情，能够对话和多轮交互，办理售前售后困惑，推举更加个性化的商品该当是搜索未来的其余一个紧张发展方向。