算法究竟是什么？我们为什么需要算法？

算法是否能服务人在获取信息时对效率提升、公正生长的诉求？

今年，在菠菜平台高瓴人工智能学院举办的“推荐算法社会价值与可连续生长”研讨会上，我们宣布了《算法向善与个性化推荐生长研究陈诉》（下称《陈诉》）。

在这份算法科普性陈诉中，课题组围绕这些热点问题进行了探讨。

1、算法是什么？我们为何需要算法？

互联网数据中心宣布的《数据时代2025》陈诉显示，全球每年发生的数据将从2018年的33ZB（十万亿亿字节）增长到175ZB，相当于每天发生491EB（百亿亿字节）的数据。

在本质上，算法是“以数学方式或者盘算机代码表达的意见”。其中，推荐系统就是一个信息过滤系统，资助用户淘汰因浏览大量无效数据而造成的时间、精力浪费。

图1 ：用数学公式解决“鸡兔同笼”问题体现了算法思维

图2：推荐算法资助“宝妈”节省信息搜索时间

2、推荐技术生长历史上的要害事件有哪些？

“信息过载（Information Overload）”是在上个世纪80、90年代就已经存在的看法。随着信息技术和互联网的快速生长，人类从信息匮乏时代走向了信息过载时代。

《陈诉》研究指出，早期的研究提出了通过信息检索和过滤的方式来解决这个问题。

到了上世纪90年代中期，研究者开始通过预测用户对推荐的物品、内容或服务的评分，试图解决信息过载问题。推荐系统由此也作为独立研究领域泛起了。

图3：推荐系统生长历史

3、推荐系统有哪几个类型？

在《陈诉》看来，推荐系统生长至今，其焦点技术可大致分为“基于协同过滤的推荐要领”、“基于内容的推荐要领”，以及“混淆推荐要领”。

基于协同过滤的推荐要领，本质是凭据相似的用户具有相似的喜好，推荐给他们喜欢的物品、内容或者服务。

图4：基于协同过滤的推荐要领

基于内容的推荐要领：凭据项的相关信息（描述信息、标签等）、用户相关信息及用户对项的操作行为（评论、收藏、点赞、寓目、浏览、点击等），来构建推荐算法模型。

图5：基于内容的推荐要领

混淆推荐要领：权衡各推荐要领的利弊，扬长避短，通过加权、切换、混杂、特征组合等方式制止或弥补各推荐技术弱点，进一步提升推荐要领性能。

图6：融合知识图谱的混淆推荐要领

4、什么是个性化推荐算法？

纵观推荐系统的生长历史，可将其大致分为非个性化推荐系统和个性化推荐系统。

其中，个性化推荐系统，就是为每一个特定用户提供特定的服务，实现“千人千面”，服务个性化诉求。

图7：在个性化推荐算法下，差异人搜索“京剧”一词结果差异

5、推荐算法，会导致信息窄化吗？

在外界的印象里，个性化推荐就像漏斗一样，会将推荐内容与用户相匹配，倾向于向用户推荐高度切合其偏好的内容，致使推荐的内容越来越窄化。

但与外界的固有认知相反，《陈诉》认为在行业实践中，互联网应用（特别是位于头部的大型平台）有追求算法多样性的内在动力。

在对行业内代表性应用的数据分析后，《陈诉》发现，阅读内容的类型数量是否够多、所阅读内容类型的疏散水平是否够高，与用户是否能恒久留存关联密切，呈正相关。上述两项指标对用户恒久留存的作用，可以与信息的展现总量、用户的停留时长、用户阅读量等指标的影响相媲美。

推荐技术并不是单纯地“投其所好”。在一些专家看来，在推荐已知的用户感兴趣内容基础上，如果能深入引发、满足用户的潜在需求，那么算法就能更好地满足人对信息的多维度诉求。

图8：贵州返乡创业青年丁浪用抖音号@黔东农仓 纪录腌蒜苔制作历程。在推荐系统的资助下：1）视频能被准确推荐给对乡村美食、农特产物感兴趣的用户；2）用户能顺势在同屏搜索框中搜索、了解蒜苔烹饪相关内容，扩展相关知识。

6、算法如何服务人对宁静的诉求？

在人工智能技术快速生长的今天，内容宁静一直是民众关注的重点。

《陈诉》视察发现，当前许多内容创作与分发平台，从建设之初就将用户和内容宁静视为最高优先级问题。

以今日头条为例，在内容宁静技术方面接纳了鉴黄模型、谩骂模型以及低俗模型等内容识别技术。抖音宁静中心则自主研发反欺诈模型、风控战略，结合抖音产物功效、内容属性、用户行为特征，对欺诈行为进行主动拦截。

图9：抖音宁静中心通过算法技术主动拦截欺诈行为

7、推荐技术如何服务人对公正的诉求？

《陈诉》认为，推荐系统中的“公正”是站在差异角度界说问题。

好比在招聘网站上，求职者方可能将公正界说为“相同的学历和能力可以被推荐类似的事情，而不受国籍、种族和性别等偏见”；对于招聘方，“公正”可能为“系统可以将他们的招聘信息推给优质的求职者，而不会因为公司的配景等因素，只将招聘信息推给不太合适的求职者”。

从关注的角度出发，《陈诉》认为公正性可分为“用户角度”、“物品角度”这两种公正性。

用户偏好放大是针对用户方（user）的公正性问题，体现为用户搜索了一样工具后，接下来一段时间的推荐都与该物品相关。流行度偏差，则通常是针对物品方（items）的公正性问题，体现为推荐系统更多推荐较为流行的物品，而不流行的物品有较少的时机被推荐或展示，造成推荐系统中的“马太效应”。

当前，学界对算法公正性的研究与探讨正不停深入。

麻省理工学院（MIT）在2021年宣布的十大突破技术（10 Breakthrough Technologies）中指出，TikTok推荐算法能够使普通人发的内容有时机受到名人般的关注并流行起来，这是内容公正性的体现；而需求较为小众、细分的用户，也能看到切合自己兴趣的内容，则是用户角度公正性的体现。

图10： 在抖音等海内短视频直播平台上，也能看到更多推荐系统服务“用户”、“物品”公正的案例

附件：算法向善与个性化推荐生长研究陈诉