一个基于梯度提升决策树的商品推荐算法.pdf 11页

'中国科技论文在线http://www.paper.edu.cn一个基于梯度提升决策树的商品推荐算法#**吕超，朱郑州5（北京大学软件与微电子学院）摘要：在个性化推荐领域，如何使用海量数据设计出合理的用户画像和商品画像，严重影响到推荐效果。本文基于梯度提升决策理论，使用海量销售数据构建了用户画像和商品画像，设计了一个新的商品推荐算法。该算法设计了标签构建方案，使用标签数据区分点击率和转化率两种不同的优化目标。采用梯度提升决策树设计了分数预测模型，进行商品推荐。实验结果表明，该算法在点击率方面较人工排序提升达到15.6%，在转化率方面较人工排序提10升46.9%。关键词：用户画像；电子商务；梯度提升决策；推荐算法中图分类号：TP39115ACommodityRecommendationAlgorithmBasedonGBDTLVChao,ZHUZhengzhou(SchoolofSoftwareandMicroelectronics,PekingUniversity,Beijing100089)Abstract:Inthefieldofpersonalizedrecommendation,howtousealargeamountofdatatodesigna20reasonableuserportraitandcommodityportrait,seriouslyaffecttherecommendationeffect.Inthispaper,weproposeanewcommodityrecommendationalgorithmbasedonthegradientpromotiondecisiontheory,whichisbasedonthemassivesalesdata.Inthisalgorithm,wedesignalabelconstructionscheme,whichuseslabeldatatodistinguishbetweentwodifferentoptimizationobjectives:clickrateandconversionrate.Afractionalpredictionmodelisdesignedbyusinggradientdecisiontree.The25experimentalresultsshowthattheproposedalgorithmcanachievea15.6%improvementintheclickratecomparedwiththemanualsorting,andtheconversionrateishigherthanthatofmanualsortingbyafactorof46.9%.Keywords:User’sPortrait;E-commerce;GBDT;RecommendationAlgorithm300引言在当今这个以海量数据、人工智能为主的技术快速发展、日新月异的时代，信息的爆炸和信息的过载的问题应运而生。这个信息过载的时代对于信息的需求者和创造信息者来说，基金项目：国家自然科学基金青年基金项目（61402020)；教育部高等学校博士点基金（20130001120021）作者简介：吕超(1989-)，男，硕士研究生，主要研究方向：大数据技术，个性化推荐通信联系人：朱郑州(1979-)，男，副教授，硕导，研究方向：教育大数据，项目管理文化与环境.E-mail:zzzmad@163.com-1- 中国科技论文在线http://www.paper.edu.cn都面临着很大的困难。对于信息的需求者，从海量的信息中抽取自己感兴趣的是一件及其苛35求的事情。对于信息创造者，使自己的信息在众多自媒体遍地开花的当今脱颖而出而得到众多信息需求者的关注，也是一件极困难的事情。推荐算法就是解决这一矛盾的重要工具。推荐算法的目标就是关联用户和信息，一方面帮助信息需求者发现自己有价值的信息，另一方面也让信息的创造者更快的找到信息更大的需求点，从而实现信息需求者和信息创造者的双赢。[1]40推荐算法的主要应用场景在电子商务(Amazon、eBay、京东商城、天猫、hulu等)、信[2][3]息检索(如iGoogle、MyYahoo、GroupLens、百度等)、移动应用(DailyLearner)、生活服[4]务等各个领域。在这篇论文的实质在实际的商业环境中开发一套商品推荐算法。在这个领域，实现个性化推荐的途径主要是商家为用户提供全方位的数据精准刻画用户的购买意图。在对客户有全45面了解的前提下，给用户推荐用户潜在的心怡的商品。进而增强顾客购物体验，也为顾客节省了挑选商品的时间。从而也为商家增加了下单的转化率，也增强了商家的用户粘性。本文研究内容就是设计一个描述电商网站用户的用户画像，然后构建一个商品推荐算法并将其实现，并且在实际的电商环境之中运用该算法。在线运行该算法一段时间之后，验证算法推荐的效果，在线实验结果表明，相比传统的无个性化排序，使用用户画像之后的推荐50算法有更好的推荐效果。1相关研究工作在协同过滤算法在上世纪90年代被提出以后，随着互联网的诞生以缓解信息过载为目的的对推荐算法深入研究就已经开始了。根据对用户和项目间的相似性关系挖掘每个用户潜在感兴趣的项目，帮助用户主体寻找感兴趣的客体的同时也帮助客体更有效的出现对它感兴[5]55趣的用户面前。Adomavicius等人给出了推荐算法形式化的定义,公式2-1：用C表示用户集合，推荐项目集合S，目标用户的u，通过计算项目s对用户c的相关程度，计算过程表示为：u:CSR，其中，R为排序后的项目集合。找到最终的项目列表为推荐算法的目标，使得函数u()取得最大值。用s来表示用户c取得最大函数值的项目，即如公式(1)。ccC,sargmax(c,s)（1）csS60在信息检索领域首次提出排序学习时已经有大量的研究在该领域开展了。经典的链接分析就是信息检索领域的经典模型，其余还有布尔、向量空间、概率、语言模型等。这些模型共同点是利用一些简单的特征如词频、逆文档频率等进行无监督排序。需要进行经验参数的调整才可以将这些传统的排序方法得到最优的参数。从而把参数按照一定的标准排序后用于检索文档。逐渐的，搜索引擎需要处理的数据呈指数增长，从而产生率排序学习的概念。排65序学习利用机器学习中分类与回归特性来解决其排序问题。其在文本检索中，首先针对文本的相关性、重要性等衡量标准自动从训练数据中学习，之后得到一个排序函数，从而利用排-2- 中国科技论文在线http://www.paper.edu.cn序函数对文本进行排序。[6]Fuhr利用最小二乘回归进行排序学习。2000年后，MSRA针对排序学习的提出的用[7][8]支持向量机的来构建排序模型的RankingSVM、利用梯度下降算法来训练神经网络的排[9][10][11]70序模型RankNet、使用boost构建排序函数的方法RankBoost。根据输入的不同排序[1]学习一般可分为三类：点级(pointwise)、对级(pairwise)、列表级(listwise)。点级方法分为分为回归和分类两种，输入为每个排序对象的特征。对级方法更接近排序问题的实质，因为考虑文档之间的先后顺序关系。列表级方法更加全面的考虑不同文档的序列关系，关联了所有关联文档的集合。本文因为涉及大规模排序的效率问题，采用了点级的排序学习策略。75点级排序学习主要思想是，将排序问题转化为多分类问题或回归问题。系统从训练数据中学习到分类或回归模型，之后评好分的项目列表来返回项目列表。点级排序的思想应用之[12]一有隐语义模型LFM(latentfactormodel)。Koren2009年首次引入LFM到推荐系统之中：使用降维的矩阵因式分解方法通过隐含特征来填充用户和评分矩阵。将用户-项目评分矩阵分解为用户-隐含特征矩阵和物品-隐含特征矩阵，矩阵因式分解方法为隐语义模型的一般应80用方式。可以预测用户u对物品i的兴趣度rˆ，如公式(2)。u,iKTrˆpqpq（2）u,iiu,ki,kk1其中p度量了用户u的兴趣度和第k个隐类的关系，q度量了第k个隐类和物品iu,ki,k的关系。接着，可以定义损失函数进行迭代优化，并加入正则化因子以避免过拟合现象，以找到最合适的参数p和q，见公式(3)。85其中，rui为用户u对物品i的实际评分，rˆui为用户u对物品i的预测评分，为正则化参数。利用随机梯度下降法求得其全局最小值求得损失函数。通过迭代法不断的优化参数，最终得到最优的“用户-隐含特征”矩阵和“物品-隐含特征”矩阵。矩阵计算向量内积得到“用户-物品”评分矩阵。为物品评分，取前N个物品推荐给目标用户为推荐结果。902用户画像和商品画像构建在大数据时代对用户和商品的准确刻画，无疑对于企业识别特定群体的客户和帮助客户准确识别特定商品都是必要的。电商企业了解消费者的购买习惯和特定消费者的群体特性之[13]后对于精准化的商业推荐也是十分有帮助的。在传统的市场中准确且及时的了解消费者的喜好和购买行为习惯是很困难的。而在当前互联网大数据的情境下，在电商领域中对用户95的购买行为以及顾客满意度的实时把控和精准推荐有了可能。用户画像又称用户角色-3- 中国科技论文在线http://www.paper.edu.cn（Persona），是对特定的具有某一特性的人群的描述。用户画像帮助企业定位到目标客户并根据画像定位到市场需求，然后对用户画像符合的特定群体进行商业活动。通过在海量数据下进行比较自动化和智能的数据采集形成用户画像，并标记不同客户的需求。自动化的用户画像采集极大提升了用户定位的精确度和对市场的反应速度。100本文商品推荐算法是基于用户画像和商品画像而设计的。首先会根据原始用户行为日志来生成用户画像。网站的建设的初期就会建立一整套的用户行为收集机制，也就是日志系统。在较大规模的互联网公司中会话日志通常存储在分布式的数据仓库中，如支持离线分析的Hive数据仓库。互联网公司会在多种用户操作维度来收集用户行为日志，例如用户的每一次浏览行为都会记录为一次浏览日志，而电商公司中每一次购买行为则会记录存储为一条订105单日志。用户画像构建算法主要取得用户来自三个维度的商品描述词来构建画像，即类目、产品词和品牌这三个维度。基于过去两年内用户在商城的所有浏览和购买行为，可以计算出每个用户有行为的三级分类下，用户对那些兴趣强度高于该分类所有用户的平均水平。将这些商品的标签作为用户的兴趣标签。在商品的三个特征维度上面，在用户角度上再分为点击、购110买、收藏和加购物车四个维度。用户画像构建算法流程如图1所示。用户画像构建有四个用户操作维度的信息有待收集和计算。具体见算法1。步骤1中是需要为每一个用户都建立一个用户画像，并为其新建一个空的画像有待填充。步骤2中是要根据用户编号和点击日志数据计算出用户的点击维度的描述词的权重，并且计算过程中有根据点击时间衰减描述词的相对权重和归一化。步骤3中是要根据用户编号和购买日志数据计115算出用户的购买维度的描述词的权重。步骤4中是要根据用户编号和收藏日志数据来计算出用户的收藏维度的描述词权重。步骤5中是要根据用户编号和加购物车数据来计算出用户的加购物车维度的描述词权重。步骤6为构建用户画像完毕，返回用户画像结果。衰减描述词权重和归一化操作主要是因为有一些用户的操作过于陈旧，应该给用户很久之前的操作较少的权重，而给新近的操作较高的权重，具体做法如算法2所示。-4- 中国科技论文在线http://www.paper.edu.cn用户对频道交互开始获取用户点击获取用户购买获取用户收藏获取用户加购物车行为日志行为日志行为日志行为日志用户点击用户购买用户收藏用户加购物日志数据日志数据日志数据车日志数据获取用户行为数据中的商品相关的类目、产品词、品牌关键词并计算其权重占比用户画像120图1用户画像构建流程算法1：用户画像构建算法输入：U{u,u,...,u}，current_time，12mClick{click,click,...,click},clicku,s,ct,cate,pword,brand12niiiiiiiOrder{order,order...,order},orderu,s,ot,cate,pword,brand12,niiiiiiiFollow{follow,follow,...,follow},followu,s,ft,cate,pword,brand12niiiiiiiCart{cart,cart,...,cart},cartu,s,cartT,cate,pword,brand12niiiiiii输出：UserProfile{up,...,up},upu,Cate,Pword,Brand,1niiiiiCate[cate:cw,cate:cw...,cate:cw],ii1i1i2i2iaiaPword[pword:pw,prowd:pw...,pword:pw],ii1i1i2i2ibibBrand[brand:bw,brand:bw...,brand:bw]ii1i1i2i2icic-5- 中国科技论文在线http://www.paper.edu.cn1.foruinU:iup{u,cate,pword,brand},iiiiiup.cate[],up.pword[],up.brand[]iiiiii2.up.clickweight(u,Click)iiinormalize(up.click)ii3.up.orderweight(u,Order)iiinormalize(up.order)ii4.up.followweight(u,Follow)iiinormalize(up.follow)ii5.up.cartweight(u,Cart)iiinormalize(up.cart)ii6.returnUserProfile125算法2表达了点击维度的用户画像的描述词的权重衰减和归一化算法。对应算法1中的weight和normalize方法，weight为权重衰减算法、normalize为归一化算法。算法4中，步骤1、2代表找到用户u的相关操作。步骤3为权重衰减算法，会根据画像构建的时间点和i用户操作的时间点的差值越大而越接近于0。步骤4到6分别是分类、产品词和品牌词的权重计算过程，对应着上文的weight方法。步骤7到9分别是分类、产品词的权重归一化过130程，对应上文的normalize方法。步骤10为用户的点击维度的用户画像计算完毕，返回结果，用户的收藏、加购物车和购买维度的用户画像构建类似。算法2：画像点击日志的关键词权重衰减和标准化算法输入：u,Click{click,click,...,click},i12nclicku,s,ct,cate,pword,brandjjjjjjj输出：up.clicku,Cate,Pword,Brand,iiiiiiCate[cate:cw,cate:cw,...,cate:cw],i1122nnPword[pword;pw,pword:pw,...,pword:pw],i1122nnBrand[brand:bw,brand:bw,...,brand:bw]i1122nn-6- 中国科技论文在线http://www.paper.edu.cn1.forclickinClick:j2.ifclick.uu:jii((current_timeclickj.cti))/86400000/903.wej4.ifup.click.Catecontainsclick.cate:iiijjup.click.cwwiiijelseup.click.cwwiiij5.ifup.click.Pwordcontainsclick.pword:iiijjup.click.pwwiiijelseup.click.pwwiiij6.ifup.click.Brandcontainsclick.Brand:iiijj135up.click.bwwiiijelseup.click.bwwiiij7.forcateinup.Cate:jjinupi.clicki.catej.cwjcatej.cwj/catej.cwk18.forpwordinup.Pword:jjinupi.clicki.pwordj.pwjpwordj.pwj/catej.cwk19.forbrandinup.Brand:jjinupi.clicki.brandj.bwjbrandj.bwj/brandj.bwk110.returnup.Clickii商品画像也就是商品的特征数据，能够成描述这个商品在电商这个领域中，将要应用于推荐这个频道内的商品特征。商品特征只和商品相关，和用户无关，他描述了商品的性质和140属性，他的定义一般基于商品的各类统计数据，并且一般限定在一定的时间范围内，例如七天内的销量、浏览占比占比等。算法3：商品画像构建输入：SKU{s,s,...,s}，12nALLSKU{AS,AS,...,AS},ASs,o,o,...,o,Cate,Pword,Brand,(t[1,7])tt1t2tmii1i1i2iniii输出：Sku_Profile{sp,sp,...,sp},12nsps,avg_o,sum_o,avg_o,sum_o,...,avg_o,sum_o,Cate,Pword,Brandii1122nn-7- 中国科技论文在线http://www.paper.edu.cn1.Sku_Profile{sp,sp,...,sp},sp{s,0,0,...,0,[],[],[]}12nii2.forsinSKU:iforjin(1,2,...,n):7spi.avg_oj(1/7)*ASk.okjk17spi.sum_ojASk.okjk13.sp.CateAS.Cateiiiisp.PwordAS.Pwordiiiisp.BrandAS.Brandiiii4.returnSku_Profile145算法3描述了商品画像的构建过程。输入信息为频道的商品信息，有商品编号信息和全部的商品价格信息，为七天内的商品价格等信息，ALLSKU代表第t天的全部商品信息，ASti代表第i条商品信息。输出为商品画像Sku_Profile，spi代表第i条商品画像，avg_oi代表第i种商品价格描述的7天均值，sum_o代表第i中商品价格的7天价格总值。步骤1创i建了初始化商品画像，存储s为目标商品编号。步骤2中，计算了每种价格描述的7天均i150值和7天总值。价格描述有本分类下面的当天价格均值，和本产品词下面的当天价格均值和本品牌下面的当天价格均值。步骤3中，保留了商品s的分类、产品词和品牌的描述词。i步骤4完成了商品画像的计算与收集，返回结果。3商品推荐算法在推荐算法中，首先有用户的集合U{u1,u2,...,un}，商品集合S{s1,s2,...,sm}。155给定一个用户uiU，和召回商品集合S"{s1,s2,...,sN},S"S。召回集合S"为S商品集合S的子集。根据分数预测模型为召回集合S"进行打分并排序，排序结果返回给用户u便完成一次推荐。下面介绍推荐算法流程。i算法3：商品推荐算法输入：U{u,u,...,u},S{s,s,...,s},12n12mU"{u",u",...,u"},S"{s",s",...,s"}12a12b输出：RankedList{r,r,...,r},r{u,s,s,...,s}16012n112b-8- 中国科技论文在线http://www.paper.edu.cn1.LabelgetLabel(U,S)2.UserProfilegetUserProfile(U)3.SkuProfilegetSkuProfile(S)4.FeaturegetFeature(U,S,Label)5.ScoreModelgetScoreModel(Feature)6.RankedListrankSkuList(U",S",UserProfile，SkuProfile，ScoreModel)7.returnRankedList算法3描述了商品推荐的流程。步骤1，构建用户标签。标签数据是标识用户对商品的操作信息的数据。在获取标签过程中需要浏览信息、点击信息和购买信息的介入。需要根据算法的优化目标对标签有不同的处理方式，具体有根据CTR的优化目标和CVR优化目标的165两种标签定义方式。步骤2，构建用户画像。用户画像数据，需要统计用户的点击、收藏、加购物车、购买四种操作所对应的商品属性词。属性词有分为品牌词、产品词和分类词三种类型，需要点击、收藏、加购物车和购买四类信息的介入。步骤3，构建商品画像。商品画像数据，需要商品的近七日的销量、浏览、转化率等信息来描述商品的状态。步骤4，构建特征数据。使用步骤1标签数据和步骤2的用户画像和步骤3的商品画像数据结合，并根据170特征重要性选择算法来挑选重要的更能为模型贡献效果的特征数据。步骤5，分数预测模型。定义训练目标，使用回归数模型来训练需要的评分模型。步骤6，召回商品集合排序。把准备好的排序列表取得相应数据构建成特征输入到步骤5中分出预测模型并产生商品评分列表，把评分列表按照分数从高到低排序并返回即为推荐结果。步骤7，返回排好序的商品列表。1754实验4.1数据集及实验步骤某B2C电商平台，30天的数据大概有20亿条用户操作数据。按照前文的标准依次建立用户画像和商品画像，然后定义用户标签，确定以转化率为标准的优化目标，然后生成训练集表。利用取得结果的评分对结果进行排序，实现排序推荐。在得到排序结果之后进行在180线评测。4.2在线评测指标4.2.1点击率点击率(ClickThroughRate，CTR)。CTR=Click/PV,通常体现出这个页面的吸引程度。CTR是在互联网公司通用的指标，是互联网广告的常用术语，指网络广告的点击达到率，185由于栏目在app中属于比较置顶的位置，每天点击数巨大，所以基于CTR优化的模型，也可以让频道为用户更多的浏览指定的商品，从而培养用户对于特定商品的潜意识从而形成潜在购买也是有帮助的。-9- 中国科技论文在线http://www.paper.edu.cn4.2.2转化率转化率(ClickValueRate,CVR)。CVR=Order/Click,含义是点击带来的订单率，这个是电190商行业的核心指标，因为电商公司一般都有自己搭建的平台，但是由于页面大小的限制并不会接受第三方公司的广告需求，所以真正顾客形成购买才是电商公司的核心需求。CVR表示点击转化率，也即Order/Click，购买数量/点击数量。RCVR表示浏览转化率，也即Order/PV，购买数量/页面浏览量。转化率是电商公司的核心根本，也就是商家商品被用户的购买率，所以这个指标是最核心指标。1954.3实验结果对比根据对四月1日到15日半个月的数据观察，频道有大量的流量访问，日均有60w到90w不等的pv，日均访客量40w到50w，根据电商公司商品楼层排序推荐的近一周在线测评数据显示，各项指标均达到了比较优异的稳定提升。图2和图3中hu前缀的分组数据代表无用户画像的非个性化排序，bi前缀的分组数据代表有用户画像的个性化排序。如图2所示，200CTR指标有个性化算法较人工排序提升稳定,15天平均提升率为15.6%，如图3所示，CVR指标有个性化算法较人工排序提升稳定,15天平均提升率为46.9%。图2CTR结果对比205图3CVR结果对比5总结与展望用户画像是现在广告领域，电子商务领域在识别和存储用户习惯方面的重要突破。梯度-10- 中国科技论文在线http://www.paper.edu.cn下降决策树模型是现在电商领域运用成熟的模型，本文在基于真实的电商数据基于特定业务210板块的需求，设定有针对性的用户画像，再根据实际的业务需求构建回归模型来预测用户购买具体商品的可能性，在对其结论进行评价。实验结果表明，在使用用户画像所构建的特征在基于梯度提升决策树的商品推荐中，点击提升率和转化提升率均较人工排序的效果要好。在未来的工作中可以增加用户画像的描述力度，比如增加描述词的向量化，增加特征的描述力度等方面，也可以在回归模型上做出改进，比如应用深度学习等最新的机器学习技术。215[参考文献](References)[1]黄震华,张佳雯,田春岐,孙圣力,向阳.基于排序学习的推荐算法研究综述[J].软件学报,2016,(03):691-713.[2]functionforefficientinformationretrievalsystem.ExpertSystemswithApplications,2015,42(3):1223.1234.[10.1016/j.eswa.2014.09.009]220[3]Colombo-MendozaLO,Valencia-GarcíaR,Rodríguez-GonzálezA,Samper-ZapaterdJJ.RecomMetz:Acontext-awareknowledgebasedmobilerecommendersystemformovieshowtimes.ExpertSystemswithApplications,2015,42(3):1202.1222.[10.1016/j.eswa.2014.09.016][4]XuH,ZhangR,LinC,GanW.ConstructionofE-commercerecommendationsystembasedonsemanticannotationofontologyanduserpreference[J].TELKOMNIKAIndonesianJournalofElectricalEngineering,2252014,12(3):2028.2035.[10.11591/telkomnika.v12i3.4132][5]郝胜宇,陈静仁.大数据时代用户画像助力企业实现精准化营销[J].中国集体经济,2016,(04):61-62.[6]WenH,FangL,GuanL.AhybridapproachforpersonalizedrecommendationofnewsontheWeb.ExpertSystemswithApplications,2012,39(5):5806.5814.[10.1016/j.eswa.2011.11.087][7]FuhrN.Optimumpolynomialretrievalfunctionsbasedontheprobabilityrankingprinciple.ACMTrans.on230InformationSystems(TOIS),1989,7(3):183.204.[10.1145/65943.65944][8]CaoY,XuJ,LiuTY,LiH,HuangYL,HonHW.AdaptingrankingSVMtodocumentretrieval.In:Proc.ofthe29thAnnualInt"lACMSIGIRConf.onResearchandDevelopmentinInformationRetrieval.NewYork:ACMPress,2006.186.193.[10.1145/1148170.1148205][9]CaoH,VermaR,NenkovaA.Speaker-Sensitiveemotionrecognitionviaranking:Studiesonactedand235spontaneousspeech.ComputerSpeech&Language,2015,29(1):186.202.[10.1016/j.csl.2014.01.003][10]SongY,WangH,HeX.Adaptingdeepranknetforpersonalizedsearch.In:Proc.ofthe7thACMInt"lConf.onWebSearchandDataMining.NewYork:ACMPress,2014.83.92.[10.1145/2556195.2556234][11]FreundY,IyerR,SchapireRE,SingerY.Anefficientboostingalgorithmforcombiningpreferences.TheJournalofMachineLearningResearch,2003,4:933.969.240[12]MiaoZ,WangJ,ZhouA,TangK.Regularizedboostforsemi-supervisedranking.In:Proc.ofthe18thAsiaPacificSymp.OnIntelligentandEvolutionarySystems.Berlin,Heidelberg:Springer-Verlag,2015.643.651.[10.1007/978-3-319-13359-1_49][13]PessiotJF,TruongV,UsunierN,AminiM,GallinariP.Learningtorankforcollaborativefiltering.In:Proc.oftheInt’lConf.OnEnterpriseInformationSystems.NewYork:ACMPress,2007.145151.245-11-'