<span id="r1dp9"></span>
<span id="r1dp9"><video id="r1dp9"><ruby id="r1dp9"></ruby></video></span><ruby id="r1dp9"><video id="r1dp9"><del id="r1dp9"></del></video></ruby>
<strike id="r1dp9"></strike>
<ruby id="r1dp9"></ruby>
<th id="r1dp9"><video id="r1dp9"></video></th><strike id="r1dp9"></strike><strike id="r1dp9"><dl id="r1dp9"><ruby id="r1dp9"></ruby></dl></strike>
<span id="r1dp9"></span>
<strike id="r1dp9"><dl id="r1dp9"><ruby id="r1dp9"></ruby></dl></strike>
您當前的位置:首頁 > 電腦百科 > 程序開發 > 編程百科

手把手教你解決推薦系統中的位置偏差問題

時間:2024-03-11 11:39:49  來源:51CTO  作者:

作者 | 汪昊

審校 | 重樓

推薦系統最早的算法是1992 年發明的協同過濾。自協同過濾算法誕生之日起,人們便與推薦系統中的各種不公平現象作斗爭。雖然推薦系統中的不公平現象廣泛存在,并且嚴重影響了推薦系統的生態健康發展,這些現象真正引起人們關注卻要等到2017年之后。2017 年,在人類的人工智能發展歷程中有個里程碑事件,就是國際學術會議 FacCT 的創建。這個會議專門針對人工智能倫理,可以說把人工智能中的道德問題,包括推薦系統中的不公平性問題,暴露給了全世界的研究者。

那么問題來了,什么是推薦系統的不公平性?推薦系統作為一種算法,主要為用戶推薦它可能感興趣的物品。該算法會出現過度推銷熱門產品、在推薦列表頂部推薦的物品過熱等等一系列不公平問題。其中在推薦列表頂部推薦的物品過熱的問題,被稱為位置偏差問題(Position Bias Problem),引起了學者的廣泛關注。

我們利用正則化的方式來處理位置偏差問題。首先,我們把矩陣分解算法作為原生算法。矩陣分解算法的損失函數定義如下:

矩陣分解的本質就是利用降維手段修復原始矩陣中的缺失值。在損失函數的定義里,R 就是原始矩陣中已知的評分數據,U 是用戶特征向量,而 V 是物品特征向量。在實際的使用過程中,損失函數需要進行處理才能使用。處理之后的損失函數如下:

經過處理之后,算法可以避免數據出現異常值。我們可以從另外一個角度去看這個問題,我們可以認為其實矩陣分解是保角降維運算(Angle-preserving Dimensionality Reduction)。而 U 和 V 就是從高維空間降維處理過之后的向量空間。

我們假設在推薦系統中,系統給每個用戶都推薦了一個物品列表。這個物品列表中所有的物品都被排列上了。因此,最差的曝光情況就是一個物品被排在了列表最低端。所以,我們可以利用這一點,設計出一個正則化項,用來懲罰損失函數 L :

其中position 是物品在推薦列表中的位置,而 m 是所有物品的數量。因為推薦列表中存在冪律效應,也就是越熱門的物品越容易出現在列表的上方,而這類物品用戶評分往往很高。因此我們把損失函數 L 修正成如下的形式:

下面我們用隨機梯度下降方法來對損失函數 L 進行求解,得到了如下公式:

以及:

以上就是整個算法的流程。該算法由Ratidar Technologies LLC (北京達評奇智網絡科技有限責任公司) 發表于國際學術會議CE.NET 2023。論文標題為Mitigating Position Bias with

Regularization for Recommender Systems。論文可以在arXiv.org 上進行下載:https://arxiv.org/ftp/arxiv/papers/2401/2401.16427.pdf 。

下面我們討論一下該算法在不同的數據集合上的表現:作者采用了兩個不同的數據集合進行算法測評:MovieLens 1 Million Dataset (6040 名用戶,3706 部電影) 和LDOS-CoMoDa Dataset (121 名用戶,1232 部電影)。算法測試結果如下面6張圖所示:

圖1 至圖 3 分別是該算法和另外幾種算法在MovieLens 數據集上的測評效果,可以看到,不管是在準確率(測評指標為 Mean Absolute Error),熱度偏差指標還是位置偏差指標的測評上,該算法均表現優異。

圖4 到圖6 展示的是算法在 LDOS-CoMoDal 數據集合上的表現。與上一組數據相似,該算法的性能表現出眾,能夠很好的解決位置偏差問題。

推薦系統中的不公平現象由來已久,隨著近些年來人們對于推薦系統的關注度不斷地提升。推薦系統公平性問題也引起了越來越多人的關注。推薦系統中關注最多的不公平性問題其實是流行度偏差(Popularity Bias)。早在2017 年,Alex Beutel 等人就提出了 Focused Learning, 用于解決該問題。

后期大多數跟進工作主要采用正則化項的方式進行。2020 年,國際學術會議 ICBDT 2020 的最佳論文報告獎MatRec 另辟蹊徑,利用了類似SVDFeature 的方式將用戶和物品排名作為變量,嵌入到矩陣分解算法中,取得了不俗的成績。本文所介紹的算法,沿用了傳統的正則化項的思路,利用了推薦系統中的冪律現象,成功對推薦系統中的位置偏差進行建模,較為令人滿意的解決了該問題。

隨著商品化大潮愈演愈烈,以及最近幾年的全球經濟不景氣。越來越多的企業主開始關注自己的短期利益,而忽略所謂人工智能倫理等短期收益似乎不如傳統方法,但是長期收益卻能使公司建立起完善的生態體系和卓越的品牌效應的技術方向。如果我們不解決推薦系統的馬太效應,我們會發現推薦系統的生態會變差:比如在游戲中,我們給用戶推薦玩家聯盟。最有效的方式其實可能是推薦人數最多的前3 個聯盟,但如果我們為了追求點擊率就這么做,毫無疑問會把剩下的聯盟全部搞死,整個產品的生態也就完了。所以有的時候,我們就算是犧牲了由點擊率提升帶來的經濟效益,也應該把產品的口碑和生態搞好。而本文介紹的算法,就提供了這樣一種思路。

作者簡介

汪昊,前 Funplus 人工智能實驗室負責人。曾在 ThoughtWorks、豆瓣、百度、新浪等公司擔任技術和技術高管職務。擔任過創業公司CTO 和技術VP。在互聯網公司金融科技、游戲等公司任職 13 年,對于人工智能、計算機圖形學和區塊鏈等領域有著深刻的見解和豐富的經驗。在國際學術會議和期刊發表論文 42 篇,獲得IEEE SMI 2008 最佳論文獎、ICBDT 2020 / IEEE ICISCAE 2021 / AIBT 2023 / ICSIM 2024最佳論文報告獎。



Tags:推薦系統   點擊:()  評論:()
聲明:本站部分內容及圖片來自互聯網,轉載是出于傳遞更多信息之目的,內容觀點僅代表作者本人,不構成投資建議。投資者據此操作,風險自擔。如有任何標注錯誤或版權侵犯請與我們聯系,我們將及時更正、刪除。
▌相關推薦
手把手教你解決推薦系統中的位置偏差問題
作者 | 汪昊審校 | 重樓推薦系統最早的算法是1992 年發明的協同過濾。自協同過濾算法誕生之日起,人們便與推薦系統中的各種不公平現象作斗爭。雖然推薦系統中的不公平現象廣...【詳細內容】
2024-03-11  Search: 推薦系統  點擊:(14)  評論:(0)  加入收藏
面向推薦系統的深度強化學習算法研究與應用
隨著互聯網的快速發展,推薦系統在各個領域中扮演著重要的角色。傳統的推薦算法在面對大規模、復雜的數據時存在一定的局限性。為了解決這一問題,深度強化學習算法應運而生。本...【詳細內容】
2024-01-04  Search: 推薦系統  點擊:(87)  評論:(0)  加入收藏
如何打造一個直播商城開發中個性化推薦系統
在直播商城開發中,個性化推薦系統是一個非常重要的工具。通過了解用戶行為和興趣,直播商城可以向他們提供更加精準和符合他們需要的商品推薦。本文將為您介紹如何打造一個高效...【詳細內容】
2023-05-04  Search: 推薦系統  點擊:(130)  評論:(0)  加入收藏
微信基于 PyTorch 的大規模推薦系統訓練實踐
本文將介紹微信基于 PyTorch 進行的大規模推薦系統訓練。推薦系統和其它一些深度學習領域不同,仍在使用 Tensorflow 作為訓練框架,被廣大開發者詬病。雖然也有使用 PyTorch 進...【詳細內容】
2023-04-04  Search: 推薦系統  點擊:(236)  評論:(0)  加入收藏
揭秘短視頻推薦系統的技術架構及四大模塊
作者:張哲來源:華章科技 01 推薦系統技術架構下面來看下短視頻社區平臺的推薦系統架構是如何劃分的,由底層往上分別是日志信息層、模型策略層、數據計算層、數據結果層與用戶交...【詳細內容】
2022-08-07  Search: 推薦系統  點擊:(640)  評論:(0)  加入收藏
從算法到工程,推薦系統全面總結
最近讀了本好書-《深度學習推薦系統》,讀完不覺全身通暢,于是就有了寫這篇文章的想法,把自己的理解和總結分享給大家。 本文將按照從算法到工程的順序,先介紹一下推薦系統整體...【詳細內容】
2022-07-05  Search: 推薦系統  點擊:(258)  評論:(0)  加入收藏
推薦系統整體架構與算法流程詳解
推薦算法的理解如果說互聯網的目標就是連接一切,那么推薦系統的作用就是建立更加有效率的連接,推薦系統可以更有效率的連接用戶與內容和服務,節約了大量的時間和成本。如果把推...【詳細內容】
2022-05-12  Search: 推薦系統  點擊:(470)  評論:(0)  加入收藏
5年迭代5次,抖音推薦系統演進歷程
2021 年,字節跳動旗下產品總 MAU 已超過 19 億。在以抖音、今日頭條、西瓜視頻等為代表的產品業務背景下,強大的推薦系統顯得尤為重要。Flink 提供了非常強大的 SQL 模塊和有狀態計算模塊。目前在字節推薦場景,實時簡單...【詳細內容】
2021-10-25  Search: 推薦系統  點擊:(345)  評論:(0)  加入收藏
推薦一個國人開源的推薦系統
今天,要和大家推薦一個Go 編寫的開源推薦系統&mdash;&mdash;Gorse。 Gorse 旨在成為一個通用的開源推薦系統,可以快速引入各種在線服務。通過將商品、用戶和交互數據導入 Gors...【詳細內容】
2021-08-02  Search: 推薦系統  點擊:(806)  評論:(0)  加入收藏
推薦系統概述和主流模型介紹
Hello,大家好,歡迎來到“自由技藝”的知識小館,今天我們來聊一聊推薦算法。在廣告、電商、信息流分發等業務場景中,推薦算法發揮著至關重要的作用,好的推薦算法能夠把用戶牢牢抓...【詳細內容】
2021-06-08  Search: 推薦系統  點擊:(392)  評論:(0)  加入收藏
▌簡易百科推薦
即將過時的 5 種軟件開發技能!
作者 | Eran Yahav編譯 | 言征出品 | 51CTO技術棧(微信號:blog51cto) 時至今日,AI編碼工具已經進化到足夠強大了嗎?這未必好回答,但從2023 年 Stack Overflow 上的調查數據來看,44%...【詳細內容】
2024-04-03    51CTO  Tags:軟件開發   點擊:(5)  評論:(0)  加入收藏
跳轉鏈接代碼怎么寫?
在網頁開發中,跳轉鏈接是一項常見的功能。然而,對于非技術人員來說,編寫跳轉鏈接代碼可能會顯得有些困難。不用擔心!我們可以借助外鏈平臺來簡化操作,即使沒有編程經驗,也能輕松實...【詳細內容】
2024-03-27  藍色天紀    Tags:跳轉鏈接   點擊:(12)  評論:(0)  加入收藏
中臺亡了,問題到底出在哪里?
曾幾何時,中臺一度被當做“變革靈藥”,嫁接在“前臺作戰單元”和“后臺資源部門”之間,實現企業各業務線的“打通”和全域業務能力集成,提高開發和服務效率。但在中臺如火如荼之...【詳細內容】
2024-03-27  dbaplus社群    Tags:中臺   點擊:(8)  評論:(0)  加入收藏
員工寫了個比刪庫更可怕的Bug!
想必大家都聽說過刪庫跑路吧,我之前一直把它當一個段子來看??扇f萬沒想到,就在昨天,我們公司的某位員工,竟然寫了一個比刪庫更可怕的 Bug!給大家分享一下(不是公開處刑),希望朋友們...【詳細內容】
2024-03-26  dbaplus社群    Tags:Bug   點擊:(5)  評論:(0)  加入收藏
我們一起聊聊什么是正向代理和反向代理
從字面意思上看,代理就是代替處理的意思,一個對象有能力代替另一個對象處理某一件事。代理,這個詞在我們的日常生活中也不陌生,比如在購物、旅游等場景中,我們經常會委托別人代替...【詳細內容】
2024-03-26  螢火架構  微信公眾號  Tags:正向代理   點擊:(10)  評論:(0)  加入收藏
看一遍就理解:IO模型詳解
前言大家好,我是程序員田螺。今天我們一起來學習IO模型。在本文開始前呢,先問問大家幾個問題哈~什么是IO呢?什么是阻塞非阻塞IO?什么是同步異步IO?什么是IO多路復用?select/epoll...【詳細內容】
2024-03-26  撿田螺的小男孩  微信公眾號  Tags:IO模型   點擊:(8)  評論:(0)  加入收藏
為什么都說 HashMap 是線程不安全的?
做Java開發的人,應該都用過 HashMap 這種集合。今天就和大家來聊聊,為什么 HashMap 是線程不安全的。1.HashMap 數據結構簡單來說,HashMap 基于哈希表實現。它使用鍵的哈希碼來...【詳細內容】
2024-03-22  Java技術指北  微信公眾號  Tags:HashMap   點擊:(11)  評論:(0)  加入收藏
如何從頭開始編寫LoRA代碼,這有一份教程
選自 lightning.ai作者:Sebastian Raschka機器之心編譯編輯:陳萍作者表示:在各種有效的 LLM 微調方法中,LoRA 仍然是他的首選。LoRA(Low-Rank Adaptation)作為一種用于微調 LLM(大...【詳細內容】
2024-03-21  機器之心Pro    Tags:LoRA   點擊:(12)  評論:(0)  加入收藏
這樣搭建日志中心,傳統的ELK就扔了吧!
最近客戶有個新需求,就是想查看網站的訪問情況。由于網站沒有做google的統計和百度的統計,所以訪問情況,只能通過日志查看,通過腳本的形式給客戶導出也不太實際,給客戶寫個簡單的...【詳細內容】
2024-03-20  dbaplus社群    Tags:日志   點擊:(4)  評論:(0)  加入收藏
Kubernetes 究竟有沒有 LTS?
從一個有趣的問題引出很多人都在關注的 Kubernetes LTS 的問題。有趣的問題2019 年,一個名為 apiserver LoopbackClient Server cert expired after 1 year[1] 的 issue 中提...【詳細內容】
2024-03-15  云原生散修  微信公眾號  Tags:Kubernetes   點擊:(5)  評論:(0)  加入收藏
站內最新
站內熱門
站內頭條
日无码在线观看