NeurIPS2021読み会 Fairness in Ranking under Uncertainty
0 likes151 views
NeurIPS2021読み会の発表スライドです 論文: Fairness in Ranking under Uncertainty ランキング対象の価値が完全に把握出来ない状況でのランキングにおけるFairnessを定義し、そこで定義されたFairnessを実現するランキングの構成方法を提案した論文です。
![6
問題設定
Agent 1
Agent 2
Agent N
merit
post. dist.
utility 1.73
Meritの事後分布が与えられたもとでランキングポリシー（ランキングの分布）の
Fairnessを定義し、Fairなランキングポリシーとはどんなものか解析したい
Principal ランキングエンジン
(ランキング分布にしたがいランキングを生成）
Agent ランキング対象
Merit （Agentの）価値
Utility （ランキングの）効用
仮定: factability
ランキングσ、価値vの効用は価値のランクごとの重み
和の形式
utility
of
ranking σ
merit
of k-th agent
〜 post. dist.
non-increasingな重み
DCG: w_k = 1 / log_2(1 + k)
Average Reciprocal Rank: w_k = 1/k,
Precision@k = w_k = 1[1<=K] / K
所与
#13
0.56
#21
0.42
#4
0.75
#18
0.51
#34
0.27
#7
0.72
#20
0.44
#17
0.50
#2
0.92
…
2.48 1.97
Principal /
ランキングポリシー
π
…](https://image.slidesharecdn.com/2022-01-25neurips2021fairnessinrankingunderuncertainty-220125011202/85/NeurIPS2021-Fairness-in-Ranking-under-Uncertainty-6-320.jpg)
NeurIPS2021読み会 Fairness in Ranking under Uncertainty
- 1. UCPhrase: Unsupervised Context-aware Quality Phrase Tagging Fairness in Ranking under Uncertainty A. Singh (Cornell Univ.), D. Kempe (USC), T. Joachims (Cornell Univ.) 2022-01-25 Reader: Tatsuya Shirakawa LINE Developer Meetup: NeurIPS2021 論文読み会
- 2. 2 Beatrustにおける、データの利活用にまつわるすべて。 人と組織のdynamicsを理解して、データ駆動の社会科学を実現したい。ついでに社会貢献したい。 Interview https://note.com/beatrust/n/ne63297b9c546 最近のお仕事 ● ローンチ前の Tag Suggestion 機能を機械学習で作る ● 日本語辞書ありキーワード抽出器からの多言語辞書なしキーワード抽出器の Distillation 昔のお仕事 ● 機は熟した！グラフ構造に対するDeep Learning、Graph Convolutionのご紹介 ● 異空間への埋め込み！Poincare Embeddingsが拓く表現学習の新展開 ● Retail Face Analysis Inside-Out Beatrust Ex ABEJA Ex NTT Data 数理システム ML Data Science NLP Steve Reich J. S. Bach 犬飼いたい カジュアル面談お待ちしています Data Scientist募集中 We are hiring! https://careers.beatrust.com/ s_tat1204 数理最適化
- 3. 3 Ranking under Uncertainty Movie a Movie b … Movie z User 1 ★★★☆ ☆ ★★★★ ☆ User 2 ★☆☆☆ ☆ ★★☆☆ ☆ User N ★★☆☆ ☆ ★★★★ ★ post. dist. or merit 真の価値は、間接的な観測から事後分布 として推定される estimation of merit 0.31 0.22 0.42 optimal ranking #3944 #284 #7502 真の価値の期待値 真の価値の期待値に基づくランキング（ソート） … 対象の価値（merit, e.g. レーティング）は 間接的・不完全に観測される …
- 4. 4 Fairness in Ranking under Uncertainty Movie a Movie b … Movie z User 1 ★★★☆ ☆ ★★★★ ☆ User 2 ★☆☆☆ ☆ ★★☆☆ ☆ User N ★★☆☆ ☆ ★★★★ ★ post. dist. or merit 真の価値は、間接的な観測から事後分布として 推定される 対象の価値（merit, e.g. レーティング）は間接的・ 不完全に観測される fair ranking ？ …
- 5. 5 Fairness in Ranking under Uncertainty Movie a Movie b … Movie z User 1 ★★★☆ ☆ ★★★★ ☆ User 2 ★☆☆☆ ☆ ★★☆☆ ☆ User N ★★☆☆ ☆ ★★★★ ★ post. dist. or merit fair ranking ？ 本論文では所与 （ここはドメインエキスパートが頑張る） 本論文で定義・解析 …
- 6. 6 問題設定 Agent 1 Agent 2 Agent N merit post. dist. utility 1.73 Meritの事後分布が与えられたもとでランキングポリシー（ランキングの分布）の Fairnessを定義し、Fairなランキングポリシーとはどんなものか解析したい Principal ランキングエンジン (ランキング分布にしたがいランキングを生成） Agent ランキング対象 Merit （Agentの）価値 Utility （ランキングの）効用 仮定: factability ランキングσ、価値vの効用は価値のランクごとの重み 和の形式 utility of ranking σ merit of k-th agent 〜 post. dist. non-increasingな重み DCG: w_k = 1 / log_2(1 + k) Average Reciprocal Rank: w_k = 1/k, Precision@k = w_k = 1[1<=K] / K 所与 #13 0.56 #21 0.42 #4 0.75 #18 0.51 #34 0.27 #7 0.72 #20 0.44 #17 0.50 #2 0.92 … 2.48 1.97 Principal / ランキングポリシー π …
- 7. 7 ランキングポリシー π^* Agent 1 Agent 2 Agent N merit post. dist. つねに期待価値が大きい順にagentをソートしてかえすポリシー 所与 #13 #21 #4 #18 #34 #7 #20 #17 #2 … Principal / ランキングポリシー π^* est. merit 0.47 0.32 0.58 #18 #34 #7 ranking Fact π^*は期待効用 を最大化する …
- 8. 8 ランキングポリシーπ^TS Agent 1 Agent 2 Agent N merit post. dist. utility 1.73 所与 #13 0.56 #21 0.42 #4 0.75 #18 0.51 #34 0.27 #7 0.72 #20 0.44 #17 0.50 #2 0.92 … 2.48 1.97 Principal / ランキングポリシー π Agentごとに価値をサンプリングし、それの値が大きい順にソートして返す（Thompson Sampling）ポリシー 価値は事後分布から 都度サンプリングされる …
- 9. 9 Fairなポリシーとは？ Def (φ-fair) ランキングポリシーπがφ-fairであるとは、すべての自然数 kとエージェントAに対して、 (Aがπでtop-kに入る確率) >= φ * (価値を事後分布からサンプリングするとき Aの価値がtop-kに入る確率) が成り立つこと Fact (1) π^TS は 1-fair (2) 1-fairなポリシーの期待効用は π^TSと同じ (3) α-fair, β-fairなポリシーπ, π’を確率φ, 1-φで選択するMixポリシーは(φα + φ(1-q))-fair したがってとくに、π^*とπ^TSを確率φ, 1-φで選択するMixポリシー π^MIX はφ-fair
- 10. 10 期待効用とFairnessのトレードオフ Fair 期待効用 Max Max π^TS（1-fair） π^*（期待効用最大） φ ミックスポリシー π^MIX (φ-fair) 最適トレードオフポリシー π^LP (φ-fair) 1 - φ ※ The Birkhoff-von Neumann Theoremにより、周辺分布p が与えられると、ランキングポリシーの存在が保証される ※ 確率φでπ^*、1-φでπ^TSをとるポリシー Gap Gap
- 11. 11 実験1: MovieLens ① π^*とπ^TSのギャップは？ → NDCGのギャップがそもそも 1%未満で驚くほど小さかった 設定 結果 値はNDCG ② π^LPとπ^MIXのギャップは？ → LP最適化すると多少改善する
- 12. 12 実験2: Paper Recommendation System @KDD2020 Figure 2 → π^*よりもfairなポリシーπ^TSのほうが露出の配分が均等になっている？ Table 1 → 論文の閲覧や聴講スケジュールのカレンダーへの登録などの行動に有意な差はない （fairなポリシーを採用してもシステムの効用を大きく損なうことはない） 設定 結果 KDD2020の参加者の最近の論文や共著者 情報情報と論文の類似度に基づく Paper Recommendation Systemを提供 - ユーザーに対する論文の価値 = 類似度 - ユーザーは無作為に π^*, π^TSへ振り分け - レコメンドされた論文をスクロール して表示したか、読んだかなどを計測
- 13. 13 感想 - φ-fair の定義がとにかくエレガントだった。教科書に載りそう。 - 理論部分はとにかくシンプルだったが、何を知りたいのかが明確な論文だった。 （注釈なく経済学由来っぽい用語を出してくるあたりが不親切だったけど） - 実験は頑張ってるけど、実験結果の説得力は弱そうなので今後に期待。結局各種ポリシー間の ギャップは小さいとおもっていいのかイマイチわからなかった。 - 現実的には π^MIX をつかっておけばそんなに悪くなさそう？ 事後分布さえあれば実装はすごく簡単。価値をサンプリングするか期待価値を使うかを確率 φで 決め、それで得られた価値の順にソートするだけ。 - 複雑な問題を綺麗に整理して、「とりあえずこれでいいや」と思わせてくれた。
- 14. 14 この論文を実践するためのレシピ？（φ-fair, π^MIX ） 下準備 1. ランキング対象の価値の事後分布をがんばってつくっておく（ w/ ドメインエキスパート） 2. 1の事後分布から期待価値を求めておく 3. 期待するフェア度φ （0〜1）を決める ランキングの作り方 1. 確率φで表がでるコインをフリップする a. 表が出たら全ランキング対象にたいして価値を事後分布からサンプリングしてスコアとする b. 裏が出たら期待価値をスコアとする 2. スコアの大きい順に並び替えて出力