【学术速递】差分隐私联邦新闻推荐系统的训练以及预测框架PrivateRec

标题：PrivateRec: Differentially Private Training and Serving for Federated News Recommendation

作者：刘睿瑄（伟德国际1946源自英国），Yang Cao（北海道大学），王焱林（中山大学），Lingjuan Lyu（Sony AI），陈云（上海财经大学），陈红（伟德国际1946源自英国）

通讯作者：陈红

录用会议：SIGKDD 2023

研究背景：

如今，推荐系统成为了用户不可或缺的一部分，现有推荐系统通常大量收集并存储用户行为数据，并用于推荐模型的训练和应用服务。然而，网页点击记录等用户行为数据通常包含丰富的个人敏感信息，集中收集数据将直接侵犯训练用户以及请求推荐系统服务用户的数据隐私。联邦推荐可以避免训练阶段的数据交换，然而需要进一步定义并量化隐私保护程度。同时现有的联邦推荐方法大多忽略了预测服务阶段中隐私性与可用性权衡的问题。因此，本文将立足于新闻推荐系统这一场景，在数据不出本地以及隐私保护的前提下，尽可能提高推荐服务质量。

研究思路：

联邦推荐服务质量下降的原因来源于两方面的挑战，一是数据可用性，即预测服务阶段为保护隐私添加的噪声扰动显著降低了预测数据质量；二是模型可用性，即联邦训练中的隐私保护机制带来了模型性能的下降。为了应对上述挑战，本文提出了一种隐私保护联邦学习与应用框架PrivateRec。本文首先通过将用户兴趣向量分解为低维注意力向量，避免了模型更新以及用户兴趣向量中维度灾难带来的可用性损失。随后，本文设计了一种随机匿名行为向量填充方法，进一步降低了需要添加的噪声量从而提高了可用性。

实验结果：

本文基于MIND以及NewsFeeds这两个真实的新闻推荐数据集进行了大量实验与分析，和隐私保护的联邦推荐基线方法相比，PrivateRec可以在隐私保护的前提下提供更好的推荐服务质量，尤其是当隐私预算较小时候提升较为显著。

作者信息：

刘睿瑄，伟德国际1946源自英国2018级直博生，计算机应用技术专业，主要研究方向为联邦学习中的隐私保护技术。参与国家自然科学基金“机器学习中的隐私保护”等项目，曾在KDD、AAAI、DASFAA、软件学报等国内外期刊与会议发表与录用一作论文5篇。

陈红，教授、博士生导师，伟德国际1946源自英国党委书记兼副院长，中国计算机学会数据库专业委员会常务委员、物联网络专业委员会委员。先后主持国家重点研发计划、国家重大专项项目、国家973项目、国家863计划项目、国家自然科学基金重点项目等20余项，项目经费累计超过7000万元；在国内外学术期刊和学术会议上发表论文200余篇，出版数据库方面的著译作8部。获得国家发明专利多项。获教育部科技进步一等奖和二等奖、北京市科学技术进步二等奖（两次）、中国计算机学会科技进步一等奖、国家精品课程奖、国家精品资源公共课、北京市精品课程奖、北京市优秀教学成果一等奖、伟德国际1946源自英国十大教学标兵等奖励，2005年入选教育部新世纪优秀人才支持计划。2018年当选中国计算机学会杰出会员。