1、2023-5-12023-5-1l电子商务推荐系统简介电子商务推荐系统简介l电子商务推荐系统技术介绍电子商务推荐系统技术介绍l基于关联规则的推荐算法基于关联规则的推荐算法l基于最近邻居的协同过滤算法基于最近邻居的协同过滤算法l基于项目的协同过滤算法基于项目的协同过滤算法2023-5-1lHarvard商学院的商学院的Joe Ping在在大规模定制大规模定制一文中认为现一文中认为现代企业应该从大规模生产代企业应该从大规模生产(以标准化的产品和均匀的市以标准化的产品和均匀的市场为特征场为特征)向大规模定制向大规模定制(为不同客户的不同需求提供不为不同客户的不同需求提供不同的商品同的商品)转化转化l
2、电子商务推荐系统电子商务推荐系统(Recommendation System)向客户提向客户提供商品信息和建议，模拟销售人员帮助客户完成购买供商品信息和建议，模拟销售人员帮助客户完成购买过程过程2023-5-1l电子商务推荐系统的作用：电子商务推荐系统的作用：将电子商务网站的浏览者转变为购买者将电子商务网站的浏览者转变为购买者(Converting Browsers into Buyers)提高电子商务网站的交叉销售能力提高电子商务网站的交叉销售能力(Cross-Sell)提高客户对电子商务网站的忠诚度提高客户对电子商务网站的忠诚度(Building Loyalty)2023-5-1l电子商务
3、推荐系统的界面表现形式分类：电子商务推荐系统的界面表现形式分类：Browsing：客户提出对特定商品的查询要求，推荐客户提出对特定商品的查询要求，推荐系统根据查询要求返回高质量的推荐系统根据查询要求返回高质量的推荐 Similar Item：推荐系统根据客户购物篮中的商品推荐系统根据客户购物篮中的商品和客户可能感兴趣的商品推荐类似的商品和客户可能感兴趣的商品推荐类似的商品 Email：推荐系统通过电子邮件的方式通知客户可推荐系统通过电子邮件的方式通知客户可能感兴趣的商品信息能感兴趣的商品信息 Text Comments：推荐系统向客户提供其他客户对推荐系统向客户提供其他客户对相应产品的评论信息
4、相应产品的评论信息2023-5-1l电子商务推荐系统的界面表现形式分类电子商务推荐系统的界面表现形式分类(续续)：Average Rating：推荐系统向客户提供其他客户对推荐系统向客户提供其他客户对相应产品的等级评价相应产品的等级评价 Top-N：推荐系统根据客户的喜好向客户推荐最可推荐系统根据客户的喜好向客户推荐最可能吸引客户的能吸引客户的N件产品件产品 Ordered Search Results：推荐系统列出所有的搜索推荐系统列出所有的搜索结果，并将搜索结果按照客户的兴趣降序排列结果，并将搜索结果按照客户的兴趣降序排列 2023-5-1l电子商务推荐系统的输入：电子商务推荐系统的输入：
5、客户输入客户输入(Targeted Customer Inputs)隐式浏览输入隐式浏览输入(Implicit navigation)：客户的浏览行为作客户的浏览行为作为推荐系统的输入，但客户并不知道这一点为推荐系统的输入，但客户并不知道这一点显式浏览输入显式浏览输入(Explicit navigation)：客户的浏览行为是客户的浏览行为是有目的向推荐系统提供自己的喜好有目的向推荐系统提供自己的喜好关键词和项目属性输入关键词和项目属性输入(Keywords and Item attributes)：客户输入关键词或项目的有关属性以得到推荐系统有价客户输入关键词或项目的有关属性以得到推荐系统有
6、价值的推荐值的推荐用户购买历史用户购买历史(Purchase history)：用户过去的购买纪录用户过去的购买纪录2023-5-1l电子商务推荐系统的输入电子商务推荐系统的输入(续续)：社团输入社团输入(Community Inputs)项目属性项目属性(Item Attribute)：社团对商品风格和类社团对商品风格和类别的集体评判别的集体评判社团购买历史社团购买历史(Community Purchase History)：社团过去的购买纪录社团过去的购买纪录文本评价文本评价(Text Comments)：其他客户对商品的其他客户对商品的文本评价，计算机并不知道评价是好是坏文本评价，计算机
7、并不知道评价是好是坏评分评分(Rating)：其他客户对商品的评分，计算机其他客户对商品的评分，计算机可以对评分进行处理可以对评分进行处理2023-5-1l电子商务推荐系统的输出：电子商务推荐系统的输出：建议建议(Suggestion)单个建议单个建议(Single Item)未排序建议列表未排序建议列表(Unordered List)排序建议列表排序建议列表(Ordered List)预言预言(Prediction)：系统对给定项目的总体评分系统对给定项目的总体评分 个体评分个体评分(Individual Rating)：输出其他客户对商品输出其他客户对商品的个体评分的个体评分 评论评论(R
8、eview)：输出其他客户对商品的文本评价输出其他客户对商品的文本评价2023-5-1l推荐技术分类标准：推荐技术分类标准：自动化程度自动化程度(Degree of Automation)：客户为了得到客户为了得到推荐系统的推荐是否需要显式的输入信息推荐系统的推荐是否需要显式的输入信息 持久性程度持久性程度(Degree of Persistence)：推荐系统产生推荐系统产生推荐是基于客户当前的单个会话推荐是基于客户当前的单个会话(Session)还是基于还是基于客户的多个会话客户的多个会话2023-5-1l推荐技术分类推荐技术分类 Non-Personalized Recommendati
9、on：推荐系统的推推荐系统的推荐主要基于其他客户对该产品的平均评价，这种推荐主要基于其他客户对该产品的平均评价，这种推荐系统独立于客户，所有的客户得到的推荐都是相荐系统独立于客户，所有的客户得到的推荐都是相同的同的 (自动，瞬时自动，瞬时)Attributed-Based Recommendation：推荐系统的推：推荐系统的推荐主要基于产品的属性特征荐主要基于产品的属性特征 (手工手工)Item-to-Item Correlation：推荐系统根据客户感兴：推荐系统根据客户感兴趣的产品推荐相关的产品趣的产品推荐相关的产品 (瞬时瞬时)People-to-People Correlation：
10、，又称协同过滤，推：，又称协同过滤，推荐系统根据客户与其他已经购买了商品的客户之间荐系统根据客户与其他已经购买了商品的客户之间的相关性进行推荐的相关性进行推荐 (自动，持久自动，持久)2023-5-1l电子商务推荐系统研究热点与方向：电子商务推荐系统研究热点与方向：对当前的电子商务推荐系统进行改进，以使得推荐对当前的电子商务推荐系统进行改进，以使得推荐系统能产生更加精确的推荐系统能产生更加精确的推荐 将数据挖掘技术及将数据挖掘技术及Web挖掘技术应用到电子商务推挖掘技术应用到电子商务推荐系统中，产生完全自动化的推荐，使用户感受到荐系统中，产生完全自动化的推荐，使用户感受到完全个性化的购物体验完
11、全个性化的购物体验 将电子商务推荐系统由虚拟的销售人员转变为市场将电子商务推荐系统由虚拟的销售人员转变为市场分析工具分析工具 开发销售方的电子商务推荐系统，为商家的产品定开发销售方的电子商务推荐系统，为商家的产品定价、促销活动及交叉销售等提供推荐价、促销活动及交叉销售等提供推荐 2023-5-1l电子商务推荐系统使用的技术主要有：电子商务推荐系统使用的技术主要有：Bayesian网络网络(Bayesian Network)关联规则关联规则(Association Rules)聚类聚类(Clustering)Horting图图(Horting Graph)协同过滤技术协同过滤技术(Collabo
12、rative Filtering)2023-5-1l电子商务推荐系统中的电子商务推荐系统中的Bayesian网络技术利用训练集网络技术利用训练集创建相应的模型，模型用决策树表示，节点和边表示创建相应的模型，模型用决策树表示，节点和边表示客户信息。客户信息。l模型的建立可以离线进行，一般需要数小时或数天，模型的建立可以离线进行，一般需要数小时或数天，得到的模型非常小，对模型的使用非常快得到的模型非常小，对模型的使用非常快l这种方法适合客户的兴趣爱好变化比较慢的场合这种方法适合客户的兴趣爱好变化比较慢的场合l推荐精度和最近邻技术差不多推荐精度和最近邻技术差不多2023-5-1l电子商务推荐系统中的
13、关联规则技术根据关联规则发电子商务推荐系统中的关联规则技术根据关联规则发现算法和客户当前的购买行为向用户产生推荐现算法和客户当前的购买行为向用户产生推荐l关联规则的发现也可以离线进行关联规则的发现也可以离线进行l推荐精度比最近邻技术略差推荐精度比最近邻技术略差l具体介绍见第三节具体介绍见第三节2023-5-1l电子商务推荐系统中的聚类技术将具有相似爱好的客电子商务推荐系统中的聚类技术将具有相似爱好的客户分配到相同的族中，聚类产生之后，根据族中其他户分配到相同的族中，聚类产生之后，根据族中其他客户对某商品的评价就可以得到系统对该商品的评价客户对某商品的评价就可以得到系统对该商品的评价l聚类过程可
14、以离线进行聚类过程可以离线进行l聚类产生之后，性能比较好聚类产生之后，性能比较好l如果某客户处于一个聚类的边缘，则对该客户的推荐如果某客户处于一个聚类的边缘，则对该客户的推荐精度比较低精度比较低l推荐精度比最近邻技术略差推荐精度比最近邻技术略差2023-5-1l电子商务推荐系统中的电子商务推荐系统中的Horting图技术是一种基于图的图技术是一种基于图的方法，节点代表客户，边代表两个客户之间的相似度。方法，节点代表客户，边代表两个客户之间的相似度。在图中寻找近邻节点，然后综合近邻节点的观点形成在图中寻找近邻节点，然后综合近邻节点的观点形成最后的推荐最后的推荐lHorting图技术可以跳过中间节
15、点寻找最近邻居，考虑图技术可以跳过中间节点寻找最近邻居，考虑了节点之间的传递相似关系了节点之间的传递相似关系l推荐精度优于最近邻技术推荐精度优于最近邻技术2023-5-1l电子商务推荐系统中的协同过滤技术一般采用最近邻电子商务推荐系统中的协同过滤技术一般采用最近邻技术，利用客户的历史喜好信息计算客户之间的距离，技术，利用客户的历史喜好信息计算客户之间的距离，目标客户对特定商品的喜好程度由其最近邻居对商品目标客户对特定商品的喜好程度由其最近邻居对商品评价的加权平均值来计算评价的加权平均值来计算l可以处理客户数据变化比较快的情况可以处理客户数据变化比较快的情况l在大型数据库中搜索最近邻居非常耗时，
16、实时性不好在大型数据库中搜索最近邻居非常耗时，实时性不好2023-5-1l协同过滤算法的主要挑战：协同过滤算法的主要挑战：算法的适应能力：处理大规模的数据算法的适应能力：处理大规模的数据 推荐精度，使用如下两个指标来度量：推荐精度，使用如下两个指标来度量：False negatives：客户喜欢但推荐系统并没有推客户喜欢但推荐系统并没有推荐的商品荐的商品False positive：推荐系统推荐但客户并不喜欢的推荐系统推荐但客户并不喜欢的商品商品2023-5-1l关联规则的意义，支持度置信度等概念大家都很熟悉，关联规则的意义，支持度置信度等概念大家都很熟悉，简单介绍一下简单介绍一下l关联规则就
17、是在一个交易数据库中统计购买了商品集关联规则就是在一个交易数据库中统计购买了商品集X的交易中有多大比例的交易同时购买了商品集的交易中有多大比例的交易同时购买了商品集Y，得，得到的关联规则表示为：到的关联规则表示为：X=Ys%,c%ls表示关联规则的支持度，表示关联规则的支持度，c表示关联规则的置信度表示关联规则的置信度l关联规则的发现算法很多，如关联规则的发现算法很多，如Apriori，AprioriTid，DHP，FP-tree等等2023-5-1l算法过程：算法过程：使用关联规则发现算法找出所有满足最小支持度和使用关联规则发现算法找出所有满足最小支持度和最小置信度的关联规则最小置信度的关联
18、规则R 找出找出R中所有被客户支持的关联规则中所有被客户支持的关联规则R1，即关联规，即关联规则左边的所有商品都被客户购买则左边的所有商品都被客户购买 找出被关联规则找出被关联规则R1所预测并且没有被客户所购买的所预测并且没有被客户所购买的所有商品所有商品P 根据根据P中商品在关联规则中商品在关联规则R1中的置信度排序，如果中的置信度排序，如果某商品被多个规则预测，则取置信度最大者作为排某商品被多个规则预测，则取置信度最大者作为排序依据，挑选前序依据，挑选前N个商品作为算法输出个商品作为算法输出2023-5-1l算法分析：算法分析：第一步关联规则的发现最耗时，是算法的瓶颈，但第一步关联规则的发
19、现最耗时，是算法的瓶颈，但可以离线进行可以离线进行 实时性比较好，因为后三步不会太耗时实时性比较好，因为后三步不会太耗时2023-5-1l基本思想：使用统计技术寻找与目标客户有相同喜好基本思想：使用统计技术寻找与目标客户有相同喜好的邻居；然后根据目标客户多个邻居的观点产生向目的邻居；然后根据目标客户多个邻居的观点产生向目标客户的推荐标客户的推荐2023-5-1l算法分为三个主要的阶段：算法分为三个主要的阶段：表示表示(Representation)：对客户已经购买的商品进行对客户已经购买的商品进行建模建模 邻居形成邻居形成(Neighborhood Formation)：寻找目标客寻找目标客户
20、所对应的邻居户所对应的邻居 推荐产生推荐产生(Recommendation Generation)：从目标客从目标客户的邻居中产生户的邻居中产生N项产品推荐项产品推荐2023-5-1l表示阶段：用表示阶段：用m*n阶客户阶客户-商品矩阵表示商品矩阵表示lRi,j=1，如果第，如果第i个客户购买了第个客户购买了第j件商品件商品lRi,j=0，如果第，如果第i个客户没有购买第个客户没有购买第j件商品件商品2023-5-1l上述表示称为上述表示称为原始表示原始表示(Original Representation)，这，这种表示的主要问题有：种表示的主要问题有：稀疏性稀疏性(Sparsity)：大部分
21、的客户购买的商品不到全大部分的客户购买的商品不到全部商品的部商品的1%，从而使得推荐精度很低，从而使得推荐精度很低 适应性适应性(Scalability)：计算代价随着客户数目和商品计算代价随着客户数目和商品数目的增加而增加，很难满足实时性要求数目的增加而增加，很难满足实时性要求 同义词问题同义词问题(Synonymy)：同一类商品的名字不一样同一类商品的名字不一样2023-5-1l通过通过奇异值分解奇异值分解(Singular Value Decomposition)将将m*n阶客户阶客户-商品矩阵变换为商品矩阵变换为m*k阶矩阵，这种表示称为阶矩阵，这种表示称为降降维表示维表示(Reduc
22、ed Dimensional Representation)，可以部，可以部分解决原始表示存在的稀疏性、缩放性和同义词问题分解决原始表示存在的稀疏性、缩放性和同义词问题2023-5-1l邻居形成阶段：关键在于计算客户之间的相似性。邻居形成阶段：关键在于计算客户之间的相似性。l目标：对于每个客户目标：对于每个客户u，找到它的，找到它的l个邻居个邻居N=N1,N2,Nl，使得，使得sim(u,N1)最大，最大，sim(u,N2)次次之，之，。2023-5-1l相似性度量方法：相似性度量方法：相关性相关性(Correlation)：使用使用Pearson相关系数表示相关系数表示 余弦相似性余弦相似性
23、(Cosine)：将客户将客户a和客户和客户b看作两个向量，看作两个向量，客户之间的相似性通过向量之间的于弦夹角来表示客户之间的相似性通过向量之间的于弦夹角来表示2023-5-1l推荐产生阶段：由目标客户的邻居产生推荐产生阶段：由目标客户的邻居产生N件商品推荐，可以件商品推荐，可以采用如下两种不同方法产生推荐采用如下两种不同方法产生推荐 最频繁项目推荐最频繁项目推荐(Most-frequent Item Recommendation)：扫描目标客户每一个邻居的购买数据，对其购买的商品进扫描目标客户每一个邻居的购买数据，对其购买的商品进行计数，选择出现频率最高且目标客户没有购买的前行计数，选择出
24、现频率最高且目标客户没有购买的前N件件商品最为推荐结果商品最为推荐结果 基于关联的推荐基于关联的推荐(Association Rule-based Recommendation)：类似于前面介绍的基于关联规则的推荐算法，只是将目标类似于前面介绍的基于关联规则的推荐算法，只是将目标客户的邻居作为算法的输入客户的邻居作为算法的输入2023-5-1l基本思路：基本思路：根据目标客户已经评价过的项目与目标项根据目标客户已经评价过的项目与目标项目的相似性，选择目的相似性，选择k个最相似的项目个最相似的项目i1,i2,ik，同，同时得到时得到k个最相似的项目与目标项目的相似度，记为个最相似的项目与目标项目
25、的相似度，记为si1,si2,sik，然后将目标客户对这，然后将目标客户对这k个最相似的项个最相似的项目的评分及这目的评分及这k个最相似的项目与目标项目的相似度的个最相似的项目与目标项目的相似度的加权平均值作为对目标项目的评分加权平均值作为对目标项目的评分2023-5-1l本算法主要分两步：本算法主要分两步：项目相似性计算项目相似性计算 产生推荐产生推荐2023-5-1l计算项目计算项目i和和j之间的相似性：之间的相似性：从所有的用户中分离出同时对项目从所有的用户中分离出同时对项目i和项目和项目j进行评进行评价的用户价的用户 根据上面得到的数据计算项目根据上面得到的数据计算项目i和项目和项目j
26、的相似性的相似性2023-5-1l相似性度量跟基于最近邻技术的协同推荐系统类似：相似性度量跟基于最近邻技术的协同推荐系统类似：基于相关性的相似性基于相关性的相似性(Correlation-based Similarity)：Pearson相关系数相关系数 基于余弦的相似性基于余弦的相似性(Cosine-based Similarity)2023-5-1l产生推荐的方法很简单，根据目标客户对最相似项目产生推荐的方法很简单，根据目标客户对最相似项目的评分及最相似项目与目标项目的相似度产生推荐的评分及最相似项目与目标项目的相似度产生推荐2023-5-1l性能分析：性能分析：在基于最近邻技术的协同过滤
27、推荐算法中，邻居生在基于最近邻技术的协同过滤推荐算法中，邻居生成阶段，特别是客户相似性计算是算法提高性能的成阶段，特别是客户相似性计算是算法提高性能的瓶颈，使得大规模电子商务网站的实时推荐不能实瓶颈，使得大规模电子商务网站的实时推荐不能实现现 本算法将邻居生成阶段和推荐产生阶段分离，使得本算法将邻居生成阶段和推荐产生阶段分离，使得邻居生成阶段可以离线进行，从而使得电子商务网邻居生成阶段可以离线进行，从而使得电子商务网站的实时推荐得以实现站的实时推荐得以实现2023-5-12023-5-12023-5-12023-5-12023-5-12023-5-1graduation thesis defense report graduation thesis defense report defense report graduation开题报告论文答辩graduation thesis defense report graduation thesis defense report defense report graduation演示完毕感谢观看
