【智能零售】AI在双11中的个性化搜索和决策实践

12月13-14日，由云栖社区与阿里巴巴技术协会共同主办的《2017阿里巴巴双11技术十二讲》顺利结束，集中为大家分享了2017双11背后的黑科技。本文是《人工智能在搜索中的应用》演讲整理，本文首先介绍了AI如何在搜索中落地，进而重点介绍了个性化搜索，包括图搜索、个性化召回，接着又分享了智能决策的探索。内容如下。

分享嘉宾：

三桐

三桐：阿里巴巴资深算法专家，淘宝商品搜索算法方向，主持多个搜索技术项目，致力于推动大规模机器学习、深度学习等在商品搜索的应用。

搜索智能化之路

搜索是有交互的个性化推荐产品，具体体现在query的引导，提升整体效率；其次是个性化，主要问题是行业冷启动、购物链路比较长，包括淘宝产品如搜索、推荐、广告的个性化，用户会在其中作不同的穿插；第三，电商搜索是商业平台的搜索产品，涉及到消费者、商家和买家三方市场；最后是数据闭环，淘宝数据链与网页不一样，用户行为（浏览、点击、成交、评价、物流）形成全链路闭环数据，商品数据也上传到淘宝平台中。

AI在搜索中如何落地？

在算法层面,需要考虑用户理解、个性化匹配和排序策略，还要对购物链路进行优化，也要对深度学习在线预估进行探索调研。学习（大数据+大模型+实时+在线预估）+决策（自动探索和学习）是在算法中所作的人工智能，学习具体体现在由单任务-多任务、由浅层-深层、由batch-sgd，决策是指探索未知领域、多任务联合优化等。

AI在搜索中的挑战主要是如何做超大规模机器学习平台，如何进行在线深度学习，如何进行稀疏深度模型处理和加速，如何进行异构计算，如何进行多模信息融合、多任务表征学习、多目标学习，以及如何处理长短期收益平衡？

图为算法系统框架，包括离线数据处理和机器学习平台和在线数据处理和机器学习平台，离线主要做预测和模型训练，在线主要做个性化引擎和搜索服务。算法层面我们实现了常见的强化学习、在线学习、深度学习等主要模型，我们还为搜索业务制定了特定模型。

在系统演化方面我们取得了很多进展，比如：

• 流式计算Blink：实时日志Join，在线特征抽取和预测和在线学习 TF-PAI@Porsche；

• 图搜索引擎 IGRAPH：分布式超大规模，实现实时更新、在线查询、过滤、复合查询和推理；

• 在线排序算分服务 RTP：服务解耦，CPU + GPU异构计算；

• 机器学习平台：离线、增量和在线学习，混布和异构计算；

• 引擎：个性化索引和向量召回，多级排序和重排；

• 平台化：服务产品化，算法平台化。

整体来看，算法、系统和业务正在交织发展，机器学习平台、在线学习平台和实时计算平台是算法的前提条件，我们一直在探索深度学习和强化学习，并且在搜索全链路深度学习、多场景联合优化和知识图谱和智能交互方面取得一些进步。

个性化搜索

关键字推荐

推荐关键字主要参考用户和当前query，我们会给出关键字list，用户会选择想要的query进行下一步的搜索，那么，如何评价query list的好坏呢？我们从直接收益和间接收益当中学习，包括query点击和query引导的用户搜索页是否成交，以及用户选择query后，会产生新的query做query推荐。Query推荐是一个序列优化问题，适合使用强化学习来做，所以我们基于DQN做query推荐，每个query是一个action，状态是用户和当前query。

图搜索

个性化搜索数据体系叫电商图谱，是以用户为核心建立用户社交圈、用户生活圈、用户购物行为、用户购物行为、用户标签和辅助关系，通过数据挖掘挖掘出这些关系，基于此图做简单个性化，电商图谱约有10亿个实体、近千亿条边和几十种关系类型。

个性化召回

个性化搜索中较重要的是个性化召回，首先基于Igraph数据取出基本信息，因为搜索中是有query的，每个query中用户信息是不一样的，所以首先会基于上下文对基本信息进行过滤，再拿这个信息去引擎中召回结果。传统搜索引擎只是关键字，在这里除了关键字外，还有很多个性化辅助信息参与召回。

由于布尔召回的召回深度较浅，所以我们使用基于深度学习的向量化召回，向量化召回包括做similarity learning把query 、user和商品变成低维的向量，再通过Top K高位向量的召回实现向量化召回，召回深度有所提高。

Deep User Perception Network

如何深度感知用户？从个性化角度说，一是年龄、性格等用户标签，一是用户行为序列；从搜索角度说，用户行为对于当前搜索的重要性是不一样的 。如图，首先输入x1～xn的行为序列，首先做embedding，然后再经过LSTM做Attention，最后通过相似task学习统一用户表征。

offline training

离线训练流程如图，主要解决如何做超大规模深度模型训练，我们在训练时候有2000个workers、96个parameter servers，每个worker应用15个GPU核，模型规模达到150G。在模型训练本身，针对稀疏 id 特征进行了专门处理。

real-time updating

在线学习流程如图，电商商品变化较快，如果模型无法快速适应变化，效果肯定会大打折扣，所以我们实现了端到端的在线模型学习更新。

online processing

在线预测结果如图所示。

实验结果如图，我们会做不同的尝试实验，基于DUPN我们一是不做端到端训练，现将商品embedding部分用离线模型做预训练；二是做端到端模型训练。可以看到，端到端训练相比其它会有明显提升。

右图为多任务和单任务的对比，多任务准确率相对更高，对于一个任务来说，其它任务就是约束，得到用户表征更加通用。

我们在做任务迁移时比传统迁移有明显优势，用户行为序列通过attention可以更好的学习与当前场景较相关的表征。

Contextual Linear LTR

传统的LTR是指学习统一的模型，在电商搜索中不同行业不同用户下排序特征不一样，对此，我们做了基于上下文的LTR，第一版做了1000个排序模型，每个模型完全独立训练，其实际效果十分明显。但是，该场景划分是根据数据统计划分，具有很大不确定性，如果划分场景比较碎，做在线学习也有很大困难，模型训练稳定性较差。

Online Contextual Nonlinear LTR

因此，我们使用深度学习得出在线上下文LTR模型。可以看到，在特征层面加入了深度特征，引入了query和user信息，首先会将商品特征进行结合再降维，用户也需进行结合再降维，再将商品特征和用户组合在一起再降维，最后输出时还会用原来商品特征和组合的降维特征再做CTR和CVR预估，通过深度学习非线性表达能力，实现基于用户和上下文感知的非线性排序模型。

Learn to Display

我们做了基于上下文的序列最优排序，利用前面已经排好的结果来预测下一个该排的商品，首先会对之前排好结果做embedding，基于embedding预测下一个商品，实现整页最优排序。

为了生成一些特色商品内容传递给消费者，也为了做商品聚合并生成主题，我们做了智能内容生成展示。

智能决策

智能决策与搜索的差异是：在搜索中无法给一些场景确定的样本，比如用户偏好的探索；其次是长短期受益的平衡。因此，实施在多目标环境下，根据环境反馈实时优化策略达到整体最优。

MAB 多样性探索

我们在搜索个性化结果中会有不同维度，使用MAB探索不同维度，分别去计算每个维度收益，使强个性化和弱个性化平衡，提升效率同时避免过度个性化。

feature pruning

不同用户不同场景下，每个特征重要性不一样，如果不用一些特征，可以很好的提升性能。因此，我们用强化学习做用最少的特征学习用全部特征类似的排序结果，排序性能提升20%。

MA-RDPG

非合作竞争会带来负面影响，电商领域有很多类似问题，比如搜索和推荐都奔着GMV，会导致结果趋同，引发无效报关。对此，我们提出MA-RDPG模型，MA-DPG策略独立，评价统一。

实际应用架构如图，首先模型训练是在porsche中完成，搜集样本成立model，model会更新到在线服务，根据Actor场景产生排序policy再部署到我们的环境中，环境中的结果会反馈到porsche中，形成数据闭环。

实验结果如图，可以看到，我们的整体收益有明显提升。

性能优化

Cascade Learning

我们在排序时除了考虑模型军队外，还要考虑模型性能开销。我们会把每个特征性能的cascade带进来，样本进来后是否应该进入到下一轮排序，通过控制每一轮排序商品数量，达到整体模型精度。使用Cascade Learning使整体性能提升了30%。

除了业务角度的性能优化，针对深度学习我们也做了很多加速探索，包括降维、量化、剪枝和二值网络。

未来挑战仍有很多。包括在冷启动、多场景联合优化、多目标优化、超参数学习、多模交互和智能导购等多方面，仍有许多等待着我们去完成。

---

千亿特征流式学习在大规模推荐排序场景的应用

云栖社区 

摘要：2017云栖大会机器学习平台PAI专场，阿里巴巴高级技术专家陈绪带来千亿特征流式学习在大规模推荐排序场景的应用的演讲。主要从电商个性化推荐开始谈起，进而描述了技术挑战和PAI解决方案，重点分享了鲲鹏框架和算法调优，最好作了简要总结。

以下是精彩内容整理：

电商个性化推荐

淘宝、天猫在无线、PC端各个场景的商品个性化推荐大家都很熟悉，这些展示都是由个性化推荐排序算法决定的。根据每个用户不同的兴趣，做到千人千面的个性化展示，比如手淘首页的猜你喜欢，它是阿里电商最大的推荐场景，还有人群导购、看了又看、买了又买等页面，背后都是由机器学习算法来规划商品个性化排序。

点击率预估算法

商品的个性化排序一般都转化成点击率预估问题，给定一个当前用户，并且给定用户相关上下文的一些特征，来预测对于一个特定的商品的点击概率有多大，我们希望用户点击率越高的商品排在前面，点击或者不点击是二分类问题，通过采集用户商品各种维度特征进行建模，最终训练排序模型。

点击率预估算法是经典的研究课题，很早以前就有逻辑回归：Logistic Regression（LBFGS、FTRL）线性算法，还有决策树GBDT、XGBOOST提供非线性分类能力，近几年逐渐往更深层次发展研究，比如Factorization Machine、DNN、Wide&Deep。

挑战和解决方案

具体到阿里电商场景，我们也有特定的问题和挑战。

阿里电商推荐的业务特点：最大场景达到百亿级别的PV/天，训练样本很大，亿级别用户维度和亿级别商品维度使我们做特征工程交叉组合时非常容易形成爆炸式天文数字的特征维度，还有快速实时变化的用户兴趣和热门商品。

传统的点击率预估算法和平台的挑战是特征规模有限（10亿~100亿）难以刻画全网用户行为和商品特征，热门商品每天也在快速变化，离线训练难以捕捉用户短期内兴趣模式。

基于以上问题，我们做了大量算法框架和平台优化，在PAI平台上开发千亿特征流式学习这样的机器学习框架。

阿里Parameter Server (鲲鹏，SIGKDD'17)优化

PS支撑阿里集团最大规模的分布式算法训练，我们从2014年开始研发，到目前为止服务广告、推荐、搜索等多个重要场景，支撑PAI平台大规模算法，Owlqn-LR：300亿特征、1千亿样本，LDA：1万亿word - topic矩阵等，我们也逐步向公有云用户开放算法训练服务。

PS框架面临的挑战有很多，包括参数规模和样本规模巨大，为了能够更精确的学习商品特征，我们需要将规模提升到几千亿甚至上万亿级别；模型更新间隔短（分钟级别）才能尽快捕捉线上用户变化信息特征；算法效果稳定性要求高，在鲲鹏基础上做了大量针对性功能和优化来适应新型算法场景。

PS框架具备以下特点：

l 迈向千亿特征规模

200~400台Server，平均35GB内存。

l 特征集合高频率变化

使用定制的ArrayHashMap存储特征权重向量，去除特征ID化环节，插入、迭代性能较std::unordered_map提升300%。我们以高频率向模型中插入新特征到模型中，也会以非常高的频率剔除过期特征，在工程实践上做了大量改进，能够适应高频率特征集合的高频率变化。

l 通信性能优化

当并行server数量非常高时，我们做了大量通信性能优化，使得我们对大量特征样本量实时训练更新，Sparse、Dense参数合并通信，通信链路无锁。

我们将以前离线batch方式转换成实时在线训练，由全量样本训练向流式增量训练（Online Learning）演化，由训练Job转化为不间断训练Service，整个过程中内存数据不落盘，实时感知新数据分区触发训练，将训练样本读到训练进程中，将更新后的模型实时推到在线预测服务中去。同时，框架还支持灵活控制实时训练触发间隔，如果某些场景需要高频模型，最高可以精确到分钟级触发。

我们在多数据源支持统一checkpoint、Exactly Once Failover，所有数据保证严格训练一遍；支持单节点异步failover，在训练过程中，如果有个别进程crash，整个进程不需要打断，可以继续不受影响继续更新模型；我们也可以灵活断点调参，结合流式预估、流式评价算子，加速调参过程。

千亿特征流式算法体系

我们在鲲鹏平台上打造了一系列千亿特征流式学习系列算法。包括XFtrl是线性模型+千亿级宽特征；XSVD是千亿规模Embedding向量召回模型，融合了许多矩阵算法；XNN也是千亿特征DNN算法。我们具备了从线性到浅层Embedding再到深层DNN网络的算法建设，实际上涵盖了个性化推荐在算法场景下的粗排召回模型以及精排的ranking模型，在平台上都可以支持。

我们对于参数更新模式进行了相应改进，不间断实时模型更新算法优化（XFtrl为例），比如在样本量累积到很大时很容易遇到数值稳定性问题和参数抖动问题，我们做了动态梯度平均策略和正则策略来弥补甚至消除动态抖动影响；此外，我们需要把特征进行高频增删，我们通过特征权重动态衰减策略及时从模型中剔除，保证模型始终是正向更新。

我们也进行了抽象算子(Operator)体系，比如参数Optimizer，支持稀疏梯度矩阵，减少计算量；参数Initializer，支持Lazy initialization，一直到参数第一次出现时我们才会进行随机初始化；我们还有很多的模型评估operator。

模型评估范式

常规模型评价方式是准备一个验证数据集，每次训练完后在模型上计算Loss、AUC等指标，这样会带来流式场景下的问题：用户点击行为和商品快速变化；静态测试集无法反馈模型动态效果。

流式模型评估：对“未来”数据实时评估当前模型准度：AUC、PCOPC、MAE、...，提高了算法工程师对离线调参的效率。

总结

PAI平台鲲鹏框架在手淘、天猫多个大规模推荐场景上线，单场景1天100亿+训练样本，累积2000亿+特征；平台训练速度达到500万Sample/s迭代性能，模型持续增量在线训练超过60天；有了大规模特征和实时应用更新，使引导点击率和客单价显著提升。

我们在千亿特征流式学习模式下训练框架和实现算法的革新，PAI平台鲲鹏框架是推荐、广告、搜索排序算法的利器，而且我们以算法组件形式即将通过PAI平台提供公有云服务

 

人工智能赛博物理操作系统

AI-CPS OS

“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能）分支用来的今天，企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中，利用AI-CPS OS形成数字化+智能化力量，实现行业的重新布局、企业的重新构建和自我的焕然新生。

AI-CPS OS的真正价值并不来自构成技术或功能，而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务和数据+分析一体化，这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合，没有颠覆现状的意愿，这些将不可能实现。

领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量，领导者必须在行业、企业与个人这三个层面都保持领先地位：

1. 重新行业布局：你的世界观要怎样改变才算足够？你必须对行业典范进行怎样的反思？

2. 重新构建企业：你的企业需要做出什么样的变化？你准备如何重新定义你的公司？

3. 重新打造自己：你需要成为怎样的人？要重塑自己并在数字化+智能化时代保有领先地位，你必须如何去做？

AI-CPS OS是数字化智能化创新平台，设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端，可以帮助企业将创新成果融入自身业务体系，实现各个前沿技术在云端的优势协同。AI-CPS OS形成的数字化+智能化力量与行业、企业及个人三个层面的交叉，形成了领导力模式，使数字化融入到领导者所在企业与领导方式的核心位置：

1. 精细：这种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切，进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。

2. 智能：模型随着时间（数据）的变化而变化，整个系统就具备了智能（自学习）的能力。

3. 高效：企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力，这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。

4. 不确定性：数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验，其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域：技术、文化、制度。

5. 边界模糊：数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化，还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。

AI-CPS OS形成的数字化+智能化力量通过三个方式激发经济增长：

1. 创造虚拟劳动力，承担需要适应性和敏捷性的复杂任务，即“智能自动化”，以区别于传统的自动化解决方案；

2. 对现有劳动力和实物资产进行有利的补充和提升，提高资本效率；

3. 人工智能的普及，将推动多行业的相关创新，开辟崭新的经济增长空间。

给决策制定者和商业领袖的建议：

1. 超越自动化，开启新创新模式：利用具有自主学习和自我控制能力的动态机器智能，为企业创造新商机；

2. 迎接新一代信息技术，迎接人工智能：无缝整合人类智慧与机器智能，重新

   评估未来的知识和技能类型；

3. 制定道德规范：切实为人工智能生态系统制定道德准则，并在智能机器的开

   发过程中确定更加明晰的标准和最佳实践；

4. 重视再分配效应：对人工智能可能带来的冲击做好准备，制定战略帮助面临

   较高失业风险的人群；

5. 开发数字化+智能化企业所需新能力：员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说，创造兼具包容性和多样性的文化也非常重要。

子曰：“君子和而不同，小人同而不和。”  《论语·子路》云计算、大数据、物联网、区块链和 人工智能，像君子一般融合，一起体现科技就是生产力。

如果说上一次哥伦布地理大发现，拓展的是人类的物理空间。那么这一次地理大发现，拓展的就是人们的数字空间。在数学空间，建立新的商业文明，从而发现新的创富模式，为人类社会带来新的财富空间。云计算，大数据、物联网和区块链，是进入这个数字空间的船，而人工智能就是那船上的帆，哥伦布之帆！

新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力，将进一步释放历次科技革命和产业变革积蓄的巨大能量，并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节，形成从宏观到微观各领域的智能化新需求，催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革，深刻改变人类生产生活方式和思维模式，实现社会生产力的整体跃升。

---

产业智能官  AI-CPS

用“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能），在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的认知计算和机器智能；实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。

长按上方二维码关注微信公众号： AI-CPS，更多信息回复：

新技术：“云计算”、“大数据”、“物联网”、“区块链”、“人工智能”；新产业：“智能制造”、“智能农业”、“智能金融”、“智能零售”、“智能城市”、“智能驾驶”；新模式：“财富空间”、“数据科学家”、“赛博物理”、“供应链金融”。

官方网站：AI-CPS.NET

本文系“产业智能官”（公众号ID：AI-CPS）收集整理，转载请注明出处！

---

---

版权声明：由产业智能官（公众号ID：AI-CPS）推荐的文章，除非确实无法确认，我们都会注明作者和来源。部分文章推送时未能与原作者取得联系。若涉及版权问题，烦请原作者联系我们，与您共同协商解决。联系、投稿邮箱：[e-mail]

---

---