1、个性化购物推荐系统设计与实现CONTENTS目录推荐算法分析 与 结合多信息的推荐算法研究基于M-PMF的购物推荐系统设计与实现124课题研究背景与意义RESEARCH BACKGROUND AND SIGNIFICANCETHE REVIEW AND THE RESEARCH OF THE RECOMMENDATION ALGORITHMS DETAIL DESIGN AND IMPLEMENTATION测试结果与工作总结TEST RESULT AND FUTURE WORK3Part1课题研究背景与意义第 4 页研究背景与意义研究背景p 互联网快速发展p 海量而多样化信息p 难题:快速寻找
2、需要信息p 推荐系统应运而生0102研究和发展现状p 广泛应用于各领域p 当前主流的推荐技术:基于内容的推荐协同过滤混合推荐算法03存在问题p 数据稀疏p 冷启动p 用户兴趣变化p 电商网站数量增大,商品种类多样化,选择困难04研究意义p 推荐算法研究:缓解推荐系统冷启动和数据稀疏问题p 个性化购物推荐系统设计与实现:购物高效化、个性化Part 2推荐算法分析与结合多信息的推荐算法研究第 6 页推荐算法分析01 推荐算法分析推荐方法优点缺点基于内容的推荐推荐结果易解释不需要领域知识数据稀疏问题新用户问题协同过滤推荐推荐多样化、个性化随时间推移,推荐性能提高能处理复杂对象数据稀疏问题新用户问题推
3、荐质量取决于历史数据矩阵分解方法预测精度较高扩展性好推荐结果不具有很好的可解释性 将评分数量少且高维的用户-物品评分矩阵 分解 两个低维的矩阵 求取两低维矩阵行列的内积 预测 用户对物品的评分,Ti jijRU V02 改进的协同过滤算法基于关系挖掘的方法基于时序的方法显式 和 隐式 方式 获取用户或物品之间的关系p 用户自身的偏好p 社交网络关系p 用户标签信息 p 社交网络中提取信息u 用户的兴趣随着时间、季节等因素发生变化u 用户的行为在时序上存在一定的关联概率矩阵分解模型用户属性物品关系时序行为结合多信息的推荐算法第 7 页结合多信息的推荐算法研究02 M-PMF推荐算法框架 推荐系统
4、由以下三部分组成:p 输入模块p 推荐方法模块p 输出模块用户属性物品关系时序行为第 8 页结合多信息的推荐算法研究03 模型建立p 考虑用户属性的PMF,iii ttt QUK U用户的潜在特征,受到相似用户的影响,iTTi jiji ttjt QRU VK U V,(U,U)(U,U)(U,U)(U,U)i tgitoitaitzitSSimSimSimSim性别职位年龄邮编p 考虑物品关系的PMF物品的潜在特征,受到相似物品的影响,jjj kkk FVP V,()(),22,()()()()()()()()i jii kii U jU kj ki jii kii U jU ki U jU
5、 kRRRRSRRRR,j,kjTTi jijikk FRU VP U V第 9 页结合多信息的推荐算法研究03 模型建立p 考虑时序行为的PMF用户和物品的潜在特征,受到相似用户和物品的影响:iiinnn NUTUjjjmmm NVSV(,)inininWTf U U,iijTTi jijnjmnmn N m NRU VTSU V 第 10 页结合多信息的推荐算法研究04 模型融合2222,012112211(U,V|R,K P,T S,)(R|R+,)(U|0,)(V|0,)ijUVINMi jijNMiUjVijpNRRNINI,三种模型融合成一个模型第 11 页结合多信息的推荐算法研究
6、05 模型求解2222,012112211(U,V|R,K P,T S,)(R|R+,)(U|0,)(V|0,)ijUVINMi jijNMiUjVijpNRRNINI,对数处理为得到用户和物品潜在特征矩阵,即求解当后验概率最大时的用户和物品的潜在特征矩阵最大化(1)式 等同于 最小化(2)利用梯度下降法,求取每个用户(物品)的特征向量,即:iLUjLV2222,012211221122211ln(,|,)1 ()211 221 ()lnlnln)2UVNMiji jijNMTTiijjijUVNMijUVijp U V R K P T SIRRRRU UV VINDMDC(1)2,01211
7、22111(,)()2 22NMiji jijNMUVijijL R K P T S U VIRRRRUV(2)第 12 页结合多信息的推荐算法研究04 实验分析实验数据集:Movielens-100k 和 Movielens-1m数据集用户个数电影个数评分条数稀疏度ml-100k9431682100,0006.3%ml-1m604039521,000,2094.22%实验结果度量标准:RMSE(均方根误差,Root Mean Squared Error)对比算法:User_based、Item_based、PMF、timeSVD+第 13 页结合多信息的推荐算法研究04 实验分析p M-PM
8、F与其他算法对比训练集80%90%隐特征向量维度D=5D=10D=5D=10User_based1.03351.03351.02541.0254Item_based0.94100.94100.92940.9294TimeSVD+1.02280.99881.01720.9943PMF0.93150.92740.91790.9178M-PMF0.88560.88120.87250.8678在ml-100k数据集下的RMSE值在ml-1m数据集下的RMSE值训练集80%90%隐特征向量维度D=5D=10D=5D=10User_based0.93270.93270.92720.9272Item_bas
9、ed0.86550.86550.83400.8340TimeSVD+0.89590.88710.89480.8843PMF0.89390.88150.89340.8812M-PMF0.83940.82170.83510.8208 训练集 推荐的准确度RMSE值 1.34%D 推荐的准确度 与对比算法相比,本算法推荐精度 推荐精度与数据集本身有着密切的联系第 14 页结合多信息的推荐算法研究04 实验分析实验数据集:Movielens-100k 隐特征向量维度:10 训练集占比:90%第 15 页结合多信息的推荐算法研究04 实验分析实验数据集:Movielens-100k 隐特征向量维度:10
10、测试集用户评分置0不断增大训练集所占比例Part 3基于M-PMF的购物推荐系统设计与实现第 17 页系统需求分析一个完整的推荐系统:p 前台网站p 后台管理账号管理推荐结果浏览商品搜索商品评分及标记信息管理功能需求非功能需求用户网站管理员账号管理用户信息管理商品信息管理用户行为统计性能需求容量实时性准确性需求系统的准确度用户体验感冷启动需求热门推荐基于内容的推荐方法其他改进的推荐算法第 18 页系统总体方案设计01 总体结构设计B/S架构ApacheMySQLLibrec表示层:提供与用户交互的界面和采集用户行为数据。业务逻辑层:商品推荐模块 用户行为采集模块 前/后台模块数据访问层:对数据
11、库的操作第 19 页系统总体方案设计02 功能模块设计第 20 页智能推荐模块设计与实现智能推荐模块与其他模块之间关系个性化推荐热门推荐第 21 页智能推荐模块设计与实现01 热门推荐热门推荐意义:p 克服系统冷启动问题p 新物品推荐给用户p 为用户提供更为多样化的推荐热门推荐模块流程图第 22 页智能推荐模块设计与实现02 个性化推荐M-PMF算法实现购物推荐的思路第 23 页智能推荐模块设计与实现02 个性化推荐基于用户属性的用户相似度计算流程基于时序行为的用户相似度计算流程基于物品关系的物品相似度计算流程第 24 页智能推荐模块设计与实现02 个性化推荐离线计算流程图基于M-PMF的购物
12、推荐业务框图第 25 页其他功能模块设计与实现01 数据库模块编号数据库表名数据库表描述 1rs_users用户的基本信息(包括管理员)2rs_items商品的基本信息3rs_ratings用户商品评分(包括评分时间)4rs_usermark用户的商品标记5rs_usersim_attr用户之间的相似度(用户属性)6rs_usersim_seq用户之间的影响力(时序行为)7rs_itemsim_seq商品之间的影响力(时序行为)8rs_itemsim_rt商品之间的相似度(物品关系)系统数据库表汇总个性化购物推荐系统E-R图Part 4测试结果与工作总结第 27 页测试结果与工作总结01 功能
13、测试测试目标描述用户相似度计算功能(用户属性)测试用户在用户属性方面的相似度计算功能物品相似度计算功能(物品关系)测试物品在物品关系方面的相似度计算功能用户影响力计算功能(时间因素)测试用户对另一用户的影响力计算功能物品影响力计算功能(时间因素)测试物品对另一物品的影响力计算功能个性化推荐功能测试在M-PMF算法下的个性化推荐功能用户属性物品关系时序行为(用户)时序行为(物品)个性化推荐列表第 28 页测试结果与工作总结02 推荐算法测试 RMSE本系统指标值0.9156传统系统指标值1.0724p 推荐指标测试结果M-PMF推荐算法User-based CF推荐算法03 性能测试AB测试:用
14、户数吞吐率服务器平均请求时间用户平均等待时间并发用户数1到200并发用户数用户平均等待时间并发用户数=200用户平均等待时间=0.27s第 29 页测试结果与工作总结04 系统运行效果登录注册前台网站首页热门推荐页面个性化推荐页面商品标记/评分界面第 30 页测试结果与工作总结04 系统运行效果后台用户管理界面商品信息管理界面用户行为统计第 31 页测试结果与工作总结05 工作总结与展望p 完成个性化购物推荐系统的需求分析及总体设计p 完成推荐系统主要功能模块的详细设计与实现p 完成结合多信息的推荐算法研究p 测试验证了系统设计方案的可行性已完成工作p研究如何降低本文算法的时间开销p研究将文本
15、内容数据信息融合到矩阵分解方法p利用时间和位置信息之间的关系,来计算用户在特定时间段和地点对某物感兴趣p个性化购物推荐系统中的功能继续完善,提升用户体验感未来工作展望第 32 页科研工作及取得成果p“智能夜灯安防系统”,横向,2016.11-2017.09p“消防宣传大数据平台”,横向,2017.02-2017.06参与项目情况p 古来,黄俊,张若凡,等.结合多信息的概率矩阵分解模型J.软件导刊,2018(10)录用论文情况p 黄俊,古来,刘科征.一种基于隐语义模型的个性化推荐方法.中国,2017105196040P.2017申请专利p 获2016年全国“大学生智能互联创新大赛”西南赛区三等奖p 获2017年全国“大学生智能互联创新大赛”西南赛区三等奖p 获第十一届“中国研究生电子设计大赛”西南赛区三等奖p 获第十二届“中国研究生电子设计大赛”西南赛区三等奖获奖情况个性化购物推荐系统设计与实现导师:黄俊 教授答辩人:古 来感谢各位答辩老师和评审专家!