RecSys 2021 Abstract を眺める .... Wed Sept 29

3日目です。多い。

Session 7: Scalable Performance

Local Factor Models for Large-Scale Inductive Recommendation

多くのドメインでは、ユーザの嗜好は似た性格のユーザのサブグループで類似、性格が違うサブグループと大きく嗜好が異なる場合が多い。局所的な推薦モデルは、上記のような状況ではよいパフォーマンスを得られる。ただし、ローカルモデルはスケールしないし、新規のユーザに対しては脆弱。これはサブグループの検知がモデルとは別に実装されていることに起因する。ここでは、 End-to-end Local Factor Model (Elfm) を提案する。これは、両ステップを組み合わせ、ローカル構造を inductive bias で協調させることにより実現する。われわれのモデルはサブグループ→ 推薦のend-to-end で最適化され、インクリメンタルに推論が可能で、計算コストが小さい。検証の結果、大量データの場合の推薦パフォーマンスが上昇した。また、ユーザのサブグループに対応するアイテムのサブグループの検出にも成功した。これは推薦の説明に活用できる。

cDLRM: Look Ahead Caching for Scalable Training of Recommendation Models

DL の推薦モデルには、2種類のパラメータがある。スパースなカテゴリカルデータの埋め込み表現を得るためのパラメータと密なデータを処理するNN のパラメータ。これは、embedding table のサイズが大きくなると、GPU メモリを非常に多く利用するという課題があった。ここで、cDLRM を提案する。これは、すべてのembedding tables をCPU メモリ内に格納することにより、GPU 1つのみで学習することを可能にする。(推薦モデルの民主化)。CPU ベースの プリプロセッサはembedding テーブルの一部をprefetch し、GPU メモリにjust-in-time でキャッシュする。GPU のキャッシングプロトコルは、embedding table parameters を効率的に更新する。cDLRM により、embedding table のサイズによってGPU 数を増やさなければいけない、ということはなくなる。ここでは、GPU 1こで学習できること、また、cDLRMにより並行学習が可能であることを示す。

Reverse Maximum Inner Product Search: How to efficiently find users who would like to buy my item?

MIPS ( ユーザに対してもっとも内積が高いアイテムをみつける問題)は推薦の問題の一つ。これを解くためにはふたつの課題がある。誰がアイテムに興味をもっているか?と、どうやってそのアイテムを探すか?この論文では reverse MIPS を解決する。クエリーベクターと2つのベクターの集合があたえられたとき、reverse MIPS は user とitem の内積で、クエリとitemのうち最高のものを探す。これは計算の負荷が高いため、Simpfer アルゴリズムを提案する。Simfer のオフラインフェーズでは、内積の下限を保持するシンプルなインデックスを構築する。Simpfer はクエリーベクターが最高の内積をを保持するかを判定する。さらに、このインデックスにより、ユーザをフィルタリング可能。Simpfer の論理を説明後、従来のMIPS より性能がよく、計3時間も500 - 8000倍速いことを示す。

Session 8: Algorithmic Advances

Next-item Recommendations in Short Sessions

世のセッションベースの推薦システムのほとんどは長期セッションを扱っているが、現実には短期セッションの場合が多い。短期セッションは推薦に利用できる情報が少ない、という課題がある。この論文では、FSL を取り入れ、次のアイテムの推薦を FSL 問題として定義する。メタラーニングなどFSLの手法をとりいれた INter-SEssion collaborativeRecommender neTwork (INSERT) を提案する。INSERT により少ない情報から今のユーザ表現を学習することが可能。特に、グローバルモジュールにおいて、SSRN が過去のデータや他のユーザより対象ユーザセッションに近いものを探す手助けをしている。グローバルモジュールから得た「似たセッション」はローカルモジュールにより最適な嗜好表現になり、これをもとに次のアイテムを推薦する。検証では、良い結果が得られた。

Burst-induced Multi-Armed Bandit for Learning Recommendation

non-stationaryでコンテキストフリーなMulti-Armed Bandit の問題とそれを解くアルゴリズム(BMAB)を紹介する。context-free とは、ユーザやアイテムに関するside information が必要ないことを指す。アルゴリズムの新規性は、Reward の分布を Activityのintensity のバリエーションの結果としてモデリングしたことで、そのため exploration/exploitation のジレンマをオーディエンスの一時的なダイナミクスを探索することによりassistする。これを達成するために、推薦の手続きは2つのStates (loyal とcurious)に分けられると仮定する。現在のState は2つの混合ポワソンプロセスとしてイベントをモデリングすることにより特定する。さらに、loyalな観客はひとつのstationary なreward の分布が付随するが、それそれのbursty 期間はそれぞれのreward 分布に従ってくる。アルゴリズムを検証、比較した結果、BMABはSOTA だった。

Hierarchical Latent Relation Modeling for Collaborative Metric Learning

Collaborative Metric Learning (CML) は強力なパラダイムだが、標準的なCML は固定のユーザ、アイテム表現より学習するため、ユーザの複雑な関心を捉えることができない。この論文では階層的なCMML モデルを示す。このモデルは、潜在的な user-item または item-item の関係をimplicit なデータから同時に捉える。我々のアプローチはknowledge graph 埋め込みの translation の機構から着想を得たものであり、メモリベースのattention network を活用した。検証の結果、他のCML モデルよりも良い結果がでた。また、従来のCMLはスパースなデータセットが苦手だったが、提案手法は問題ない。

Case Study on Sampling Strategies for Evaluating Neural Sequential Item Recommendation Models

(検証系の論文)。現状、sequential item recommendation モデルは、少ないアイテムで比較されることが多い。ターゲット群は、関連するアイテムと全く異なるアイテムを完全なアイテム群からピックアップしてつくる。ネガティブなアイテムをサンプリングするストラテジーとして、uniform random sampling と 人気順でのsampling が考えられる。昨今のほとんどの論文は 人気によるサンプリングを採用している。しかし、uniform random sampling はフルランキングと同等ではない、つまり全てのアイテムを利用した場合に得られるものと一致しないことが、先行研究よりわかり、そのため人気によるランキングが全てのアイテム... と一致するのか?という疑問があがった。ここでは、いくつかのSTOA な sequential recommender モデルにおいて、サンプリング戦略が最終的なモデルのランキングにどのくらいインパクトがあるか検証する。完全なアイテム群とサンプル群で検証した結果、サンプルでは完全なアイテム群とは違うランキングを示すことがわかった。また、サンプルサイズを変えた場合も状況が変わる。

Top-K Contextual Bandits with Equity of Exposure

contextual bandit paradigm は 不確実な中の意思決定の一般的なフレームワークを提供する。単純にクリックなどの行動を増やすことだけを追う時代は終わり、現状はequity of exposure に配慮する推薦システムの方が好ましいと言われている。 この研究では、top-K contextual bandit problem と disparate exposureというissue との関係、およびどのようにしたらこの disparity を最小化できるかということを議論する。top-K アイテムを愚直に表示する代わりに、パーソナライズされた 露出を意識したarm selection algorithmを提案する。これはユーザレベルで 関連度合いと公平さのトレードオフを扱うものである。これは、global populace によりランダムを許容するかどうかが大きく変わるという最近の研究にしたがった。カルーセルの音楽推薦で確かめて結果、露出によるdisparity(不均衡)は顕著に現象した。

Learning to Match Job Candidates Using Multilingual Bi-Encoder BERT

サイトにAbstact がなかった。BERT。

Session 9: Privacy, Fairness, Bias

Challenges Experienced in Public Service Media Recommendation Systems

ドイツの公共サービスメディアであるZDF に推薦アルゴリズムを数年適用し、システムや推薦結果の最適化においていくつかのチャレンジをした。設計や最適化はいろいろな競合する目的、多様な要素から影響をうける。オンデマンドサービスのCMにおいても、ZDF はパーソナライズされた推薦を提供している。けれども、公共サービスの提供者として、我々は編集ガイドラインや厳密なプライバシー規定にのっとった多様で、ユニバーサルで、バイアスがなく、透明性の高い推薦にコミットする必要がある。さらに、環境にやさしい推薦を提供する必要もある。オープンに議論をスタートするために、公共メディアの推薦システムについて紹介する。

Debiased Explainable Pairwise Ranking from Implicit Feedback

昨今の推薦システムでは、推論の精度だけでなく、公平性、バイアス、透明性も重要性である。ここでは BPR モデルにフォーカスする。特にわれわれはBPR のふたつの制約について言及する。(1) BPR はブラックボックスモデルであり、ユーザの信頼に上限がある (2) BPR はバイアスに対して脆弱。特にMNAR なデータにおいて。これによりあまり人気でないアイテムが露出されないという不公平性が生まれる可能性がある。このワークでは、最初にわれわれは新しい説明可能なloss function と対応するMFベースのモデル EBPR を提案する。EBPR はアイテムベースの推薦を同時に生成する。露出バイアスを説明可能性から定量化し、調整する。これによりバイアスなく説明可能なユーザの嗜好モデルを得ることができる。検証もしたけど良い結果。

Privacy Preserving Collaborative Filtering by Distributed Mediation

推薦システムにおいて、データを共有すればより複雑なユーザの嗜好をモデリングすることが可能だが、プライバシーの懸念がある。ここでは、セキュア multi-party protocols を紹介する。これによりCollaborative Filtering (CF)の精度を高めることができる。. 先行研究であるprivacy-preserving CF protocols は仲介者を利用するものだったが、我々は複数の独立した仲介者を利用することによりこれを次のレベルまでおしあげる。さらに、我々はより現実に近い条件のデータを生成し、先行研究より優れていることを検証で確かめた。

Fairness in Reviewer Recommendations at Elsevier

ElsevierのIndustrial Talk

Stronger Privacy for Federated Collaborative Filtering With Implicit Feedback

Brave Software(Privatcy を重視したブラウザの会社) の発表。推薦システムは中央集権で集めたインタラクションデータをもとに学習するのが一般的。でもこれはプライバシー的に課題がある。いくつかのプライバシーに配慮した推薦システムが提案されているが、システムがimplicit な行動やプライバシーを中抜きすることはあまり注目されていない。われわれは 実運用可能なfederated な推薦システムを提案する。これはユーザレベルの local differential privacy (LDP)のためのものである。 privacy-utility trade-off はパラメータ ϵ と kでコントロールし、privacy予算と ϵ-LDPの更新により制御される。また、推薦システムに情報を送る前にユーザを匿名化/shuffleする。MovieLens データセットで検証した結果、プライバシーに配慮しても精度がそれほど落ちないことを確認した。

Mitigating Confounding Bias in Recommendation via Information Bottleneck

推薦システムでどのようにフィードバックのバイアスを除去するかは、重要なresearch topicである。この論文では、バイアスがある / ないフィードバックがどのように生成されるか、2つの因果ダイアグラムで示す。このふたつのダイアグラムの違いはバイアスのソースである。さらに、この差をconfounding bias と定義する。この状況で、バイアスがあるフィードバックからないものを因果ダイアグラムから取得するための debiased information bottleneck (DIB)を提案する。これにより学習次にバイアスがないコンポーネントのみ利用することが可能で、検証して良い結果が得られた。