視聴したものだけ。

Sep 19

Session 2 Sequential Recommendation

Aspect Re-distribution for Learning Better Item Embeddings in Sequential Recommendation

Sequential な推薦では、アイテムのembeddings が重要だが、バイアスがある。例えば、共起アイテムは購入する人にとっての類似を意味するが、カテゴリーや色などとは独立しており、推薦に寄与する特徴を抽出できていない可能性がある。そこで、ARD ( aspect re-distribution ) を提案。まず、aspect embeddings を同じ重要度で表現したあと、一連のアイテムでそれぞれのaspect の重要度を再計算する。最後にそれらを集約したaspect-aware embedding を得る。これは次のモデルの入力になるので、重要な側面は常に重視されるようになる。これによりSTOA よりよかったよ。ここに公開している。https://anonymous.4open.science/r/anonymity-C082.

Defending Substitution-based Profile Pollution Attacks on Sequential Recommenders

sequential recommender は substitution-based profile pollution attacks(代替型プロファイル汚染攻撃) に脆弱。仮説をデモするために、代替敵対型攻撃アルゴリズムを提案する。これは、特定の脆弱な要素を選択し、敵対アイテムで代替するものである。ターゲットを推薦しやすくするもの、しにくくするもの、いずれもパフォーマンスの劣化が観測された。この観測から、われわれはディリクレ近傍サンプリングという防御メソッドを提案する。複数ホップの近傍アイテムをサンプリングしたものでオリジナルのアイテムを置き換える方法。サンプリングでは、確率分布を適切に保つために、ディリクレ分布を利用することにより、局所的な混乱から学習しないようにする。また、Sequential RS のための攻撃的学習を設計した。特に、選択したアイテムを one-hot encoding で表現し、Gradient ascend を実施することにより、最悪のケースの学習を検知する。これにより、embedding function は堅牢な表現を学習し、攻撃に対抗することができた。実験したら、よかったよ。

Context and Attribute-Aware Sequential Recommendation via Cross-Attention

スパースな推薦の設定では、ユーザのコンテキストとアイテムの属性、両方とも重要な役割を担う。それにも関わらず、Sequential な推薦では、これらの特徴の一方のみ、あるいは両方を考慮に入れない場合がある。この論文では、ユーザのプロファイルとアイテム属性を神したCARCA モデルを提案する。ここでは、multi-head self-attention ブロックでプロファイルの特徴とアイテムのスコアを抽出している。また、CARCA はアイテム間のスコアを算出するのに、単純なドットプロダクトではなく、 cross-attentionを利用している。cross-attention により、CARCA 古いアイテムも新しいアイテムも考慮した上で、推薦ができるようになった。実験により、STOAより改善したよ。

Effective and Efficient Training for Sequential Recommendation using Recency Sampling

昨今の sequential recommender systems は DNN ベースだが、推論や学習に時間がかかる。時間がかかるとモデルの更新頻度が下がる。学習では、過去のユーザのインタラクションをサンプリングするが、制約がある。例えば、次のアイテムの予想はsequenceの最初のアイテムをターゲットにしないため、潜在的に価値あるデータを無視している。一方、BERT4Rec で利用しているアイテムマスキングは、sequential 推薦のゴールにあまり影響がない。効率的なモデルを得るには時間がかかる。そこで、 Recency-based Sampling of Sequences training objective を提案する。実験したら良い結果だったよ。

A Systematic Review and Replicability Study of BERT4Rec for Sequential Recommendation

BERT4Rec は Transformer ベースのよいモデル。オリジナルの論文では、SASRecなどよりBert4Rec の方が優れているとされ、STOA のベースラインとして利用されることが多い。けれども、効率性はどうか。この論文では、BERT4Rec と他のTransformer-based のものを比較する。この非一貫性の理由を解明するために、われわれは利用可能な BERT4Rec 実装を解析し、デフォルトのパラメータを利用した場合は論文の実験を再現できないことを確認した。けれども、多くの回数学習した場合は再現できた。さらに、Hugging Face Transformer で実装した場合、STOA に匹敵するくらい効率がよかった。

Denoising Self-Attentive Sequential Recommendation

(Best Paper)

Transformerベースのsequential recommenders は、短期・長期のアイテムの依存関係を捕捉できる。これは、self-attention ネットワークという構造からくるもの。しかし、現実ではアイテムの列にノイズが含まれることがあり、特に implicit なフィードバックにおいては顕著である。例えば、クリックのほとんどはユーザの嗜好にそったものではなく、多くのプロダクトがネガティブなレビューを受けたり返品されたりする。次のユーザのアクションは、アイテムの部分集合にのみ依存するのだ。多くの Transformer ベースのモデルは、attention 分布の全てを利用するため、関係のないアイテムをも重要にあつかっており、結果推薦システムのパフォーマンスが下がっている可能性がある。

そこで、Rec-denoiser モデルを提案する。Rec-denoiser では、ノイズとなっているアイテムをprune する。これは、noisy attention をprune するための学習可能なバイナリのマスクを適用することにより実現する。これにより、スパースかつクリーンなattention の分布を得る。これにより、アイテム - アイテムの依存関係を純粋化し、モデルの説明力が向上する。さらに、self-attention network は Lipschitz 連続ではないため、小さな混乱に脆弱である。 Jacobian 正規化を Transformer blocksに適用することにより、ロバストになる。 Rec-denoiserは汎用的に適用可能なプラグインであり、多くのTransfomerと交換可能。検証でもRec-denoiser はよいパフォーマンスだった。

Session 3 Domain-Specific Recommendation

Modeling Two-Way Selection Preference for Person-Job Fit

（求人サイトみたいな話）人と仕事のマッチングは、オンライン採用プラットフォームのコア技術。既存のものは、マッチングの精度にフォーカスしているが、採用は両方向の選択プロセスのため、候補者と雇用者、双方のインタラクションがそれぞれに対する期待と合致した場合に限り、採用が完了する。

この論文では、両面のグラフ表現からの学習手法を提案する。これにより、候補者と仕事間のインタラクションをより直接的にモデルに反映させることができる。これを実現するために、候補者（仕事）ごとに成功したマッチングと失敗したマッチングを表現する二つのノードを用意し、同じグラフ内でそれを表現する。このグラフを効率的に学習するために、最適なアルゴリズムを設計した。これにはクアドラプルベースロスとデュアルパースペクティブ対照ロスを含む。実験結果は上々。

Learning Recommendations from User Actions in the Item-poor Insurance Domain

小売業での推薦システムのパーソナライズはかなり成功しているが、これは特定のアイテムに関するフィードバックを大量に得られるからである。保険などスパースなドメインでは、推薦システムを生成するのは難しい。保険は種類が少なく、購買頻度も少ないため、データがスパースになる。また、Webよりも電話での購入を好む人が多いため、Web上の行動も記録されていない。この課題を解消するため、過去のユーザのセッションを活用するRNN モデルを提案する。過去のユーザセッションを利用することにより、保険領域での scarcity に対応することができる。特に、さまざまなアイテムによらないさまざまな行動から、購買というターゲット行動との関係性を学習する。実際のデータセットで評価した結果、ベースラインよりもよかった。また、セッション間の依存関係から学習していることが効果的だということもわかった。

Reusable Self-Attention Recommender Systems in Fashion Industry Applications

(Zalando) 多くの論文がSelf-attention モデルを紹介しているが、ほとんど標準化した整備されたデータセットで学習されたもの。また、ほとんどがアイテムや顧客のメタデータを考慮していない。DL は多くのヘテロな特徴から学習できる潜在能力がある。また、ほとんどの場合、モデルは一つのユースケースにのみ利用される。そのため、関連がある場合でも、事前の検証が実際のアプリケーションで活用できない場合がある。ここでは、ギャップを埋めるために、検証の結果を活用することにより、ユーザのリテンションを改善した例を示す。さらに、再利用可能かつ設定可能な推薦システムの構築にチャレンジしていることを共有する。特に、我々はコーディネートランキング、コーディネート推薦など、ファッションに特化した例を示す。

マルチモーダルでインタラクティブな推薦とは、ユーザがビジュアル推薦を受け取り、自然言語でフィードバックを表明することができる推薦システムのことである。けれども、このような対話シーケンスで、正しくユーザの嗜好に対応することは難しい。実際、RNN-base のモデルや Transformer baseのモデルはうまく扱えなかった。この問題を解決するために、新しい multi-modal recurrent attention network を提案する。特に gated recurrent network により、テキストとビジュアル表現を別々に処理する。さらに、multi-head attention network を適用することにより、GRN より生成されたhidden states を整え、動的な状況のトラッキングを可能にした。vision-language transfomer-based ユーザーシミュレーターをもちいて、学習と評価をおこなった。MMRAN はよかったよ。

Rethinking Personalized Ranking at Pinterest: An End-to-End Approach

(Pinterest)

革命的な推薦システムのランキングエンジンを紹介。ユーザの生アクションをエンド2エンドで学習したもの。ユーザの長期的関心をPinnerFormer でエンコードする。ユーザembedding は新しく密な all-action loss による最適化する。短期的な関心は、リアルタイムのアクションの列から直接学習する。オフライン・オンライン両方の検証をおこない、新しいモデルのパフォーマンスを評価した。また、CPU/GPU setup で実行する挑戦もおこなった。提案するシステムは、Pinterest の本番環境にデプロイされ、アプリケーション上で良い結果をもたらしている。

Identifying New Podcasts with High General Appeal Using a Pure Exploration Infinitely-Armed Bandit Strategy

(Spotify)

ポッドキャストは、世界で人気のあるメディアになりつつあり、月に多くの新しいポッドキャストがリリースされている。この新しいポッドキャストをどうやってオーディエンスに推薦したらいいのか。まず、教師あり学習のアプローチを試したが、代わりにfixed-budget infinitely-armed pure-exploration 設定のnon-contextual bandit algorithm を提案する。検証の結果、このアルゴリズムは、bestのarm を特定するタスクが得意だということがわかった。次にこのアルゴリズムをポッドキャストの特定に適用し、教師ありのアプローチから継承したポピュラリティバイアスを回避しアピールを増やすことができるようになった。

（難しい、わからない）

Translating the Public Service Media Remit into Metrics and Algorithms

ZDF

ZDFmediathekにおける自動の動画推薦を通じて、ZDFは推薦システムの利用に確固たる土台を築いた。公共サービスメディア（PSM) 提供者にとって、PSMR が重要。われわれは、新鮮で関連の深いコンテンツを提供するのと同時に、PSM values ( diversity, fairness, transparency ) を守る必要がある。そのため、推薦システムはビジネスKPI を満たすだけではだめで、PSM values も達成する必要がある。ただし、PSM values は簡単に定量的に測定できない。そのため、public value metrics を定義する必要がある。また、PSMR の最終結果のみが重要なわけではない。推薦システムの透明性も重要。ここでは、われわれがどうやって PSM Values と透明性に向き合ったか、どのような指標を定義したか、紹介する。

Sep 20

Session 5 Diversity and Novelty

Seuential な推薦システムは「次のアイテム」をユーザに推薦するもの、最もユーザが次にアクションする可能性が高いアイテムを示す。が、このまま適用すると、多くの人に人気のアイテムが頻出することになる。人気のアイテムが、特定のユーザの嗜好にあわないものであれば、確率が高くても表示しない方がいい。この論文では、人気度のサンプル指標示す。これは、Point-wise Mutal Information( PMI ) の推測に強く関係する。PMI を適用する２つのテクニックを比較し、人気度のサンプル指標を改善することを示す。

Recommending for a Multi-Sided Marketplace with Heterogeneous Contents

(Uber)

(Uberのような）複数の関係者がいるようなマーケットプレイスには、二つの課題がある。1. 双方の利益は異なり、潜在的には衝突している点。そのため、複数のObjective をトレードオフ加味しながら最適化していくことになる。2. off-the-shelf の推薦アルゴリズムを適用することができない。なぜなら、一方の推薦候補が他方の推薦アイテムの集合になるから。この論文では、multi-sided でヘテロな階層コンテンツに適応できる一般的な推薦システムフレームワークを提案する。ここでは、コンフリクトするobjective を入力として学習するモデルでの制約最適化フレームワークと、ヘテロなコンテンツ上のユーザのエンゲージメントパターンの確率モデルを紹介する。我々が提案するモデルでは、透明性を提供する。また、リアルタイムで推薦のランキングを出す方法も示す。オンラインでの検証では、提案モデルの効果を示した。このアルゴリズムは、ホームページに利用されている。

Solving Diversity-Aware Maximum Inner Product Search Efficiently and Effectively

（阪大）

MIPS (最大の内積探索）は、推薦システムでは基本的なオペレーション。規模が大きいRecSys では、既知のアルゴリズムを利用するが、このアルゴリズムは Diversity を考慮していない。そこで、われわれは Diversity-Aware k-MIPS の算出を試みる。ここでは、ユーザがDiversity の度合いを設定することができる。けれども、直接これを計算するのは NP-hard のため、効率のよいアルゴリズムを見つけることが必要。この論文では、IP-Greedy を提案する。IP-Greedy では、早期の停止とスキップをGreedy アルゴリズムに適用する。検証の結果、良い感じ。実際にdiverseにもできた。

RADio – Rank-Aware Divergence Metrics to Measure Normative Diversity in News Recommendations

伝統的な推薦システムでは、Diversity を「ターゲットのトピックと類似していないもの」を推薦することにより実現していた。ただ、ニュースのDiversity においては、適切に表現していない。ここでは、RADio を提案する。これは、推薦を評価するための指標。RADio は、ランクを考慮した Jensen Shannon divergence を示す。この組み合わせにより (i) ユーザが見る傾向にあるアイテムを減らし、(ii) 分散したリストを提供することができる。我々は、RADioの能力を、５つの規範的なコンセプトに適用、6つの推薦アルゴリズムで測定した。RADio は、ニュースの推薦システムの設計に役立つ情報を提供することがわかった。

Reducing Cross-Topic Political Homogenization in Content-Based News Recommendation

Content-baseのニュース推薦システムは、単語から学習する。これは、ニュースのdiversity を実現する場合の課題となる。例えば、ユーザはあるトピックでは保守的に、他のトピックではリベラルなものの見方を好む場合に、その特徴を捕捉できない。そのため、記事が政治的に極端な単語を含む場合は特に、均質な記事を推薦しがちになる。ここでは、attentionベースの NN モデルを提案する。このモデルでは、トピックを特定するような単語のattention を増加させ、政治的なものやトピックに関連のない一般的な単語のattention を減らすことにより、一様な推薦を減らす。検証ではよい感じ。

Exploiting Negative Preference in Content-based Music Recommendation with Contrastive Learning

音楽の推薦システムは複雑になって、説明可能性と透明性が失われている。説明のためには、ユーザ嗜好の理解が必要。一方、ネガティブな嗜好（=苦手）の活用例もあり、パフォーマンスをあげているが、説明はよりいっそう難しくなる。ここでは、ネガティブな嗜好の情報が、音楽の推薦システムにどのような役割を担おうのか、モデルを比較し分析してみた。我々は、ネガティブな嗜好の効果を評価し、音楽の推薦システムに適用する手法を提案する。実験したら、いい感じ。さらに、提案する学習戦略は音楽の特徴量抽出によらず一貫性のある傾向を示した。

Session 6 Models and Learning Ⅰ

BRUCE – Bundle Recommendation Using Contextualized item Embeddings

バンドルは　アイテムのセット売り（あるいはおまけ）。販売戦略上重要だが、通常の推薦システムとは別の難しさがある。アイテムとユーザの特徴だけでなく、セット内アイテムの関係も把握しないといけないから。

Transfomer は NLP などで周辺の単語の関連性を捕捉する能力があることがわかっている。これをセット売りのアイテム間の関係をモデリングするのに使う。

そこで、Transfomer を利用したBRUCE を提案する。バンドル内のアイテムの潜在的な関係や、ユーザのアイテムの嗜好、バンドルの嗜好をTransformer でモデリングする。

さらに、試行錯誤の末、データの特徴によって選択する構造を変えた方がいいというインサイトを得た。実験したらいい感じ。

ProtoMF: Prototype-based Matrix Factorization for Effective and Explainable Recommendations

最近の研究では、一般的なMLモデルを「プロトタイプ」で再計算するとよいことが示されている。このようなプロトタイプベースの計算は、パフォーマンスを維持するだけでなく、モデルの説明力をあげることも可能。なぜなら、プロトタイプに分解できるから。そこで、ProtoMFを提案する。ProtoMFではまず最初に user/itemのプロトタイプを学習する。プロトタイプは、ユーザ / アイテムの一般的な特徴を表現している。プロトタイプを利用し、ProtoMF はユーザ・アイテムの類似度を対応するプロトタイプで表現する。このユーザ・アイテム表現により、推薦システムは効果があるものになり、プロトタイプの貢献具合により説明可能となる。3つのデータセットで実験したら良い感じ。また、最後のデータセットでは、どのような説明が得られるか定性的に評価した。

TinyKG: Memory-Efficient Training Framework for Knowledge Graph Neural Recommender Systems

巨大なグラフ上の、KGNN の学習は、メモリを多くつかって大変。activation にメモリを利用するが、他のNN で適用されている圧縮系の手法がうまく効かない。そこで、新しい TinyKG という手法を、GPU 実装とともに提案する。

Global and Personalized Graphs for Heterogeneous Sequential Recommendation by Learning Behavior Transitions and User Intentions

ヘテロなsequential recommendation は重要な推薦の問題。既存の手法でも結構よいパフォーマンスを得られているが、依然として２つの欠点がある。ひとつは、振る舞いの関連を考慮せずに別々に学習していること。アイテムからアイテムの背には、ユーザの潜在的な行動傾向を反映している可能性がある。ふたつめは、局所的なコンテキストを考慮しないことによりユーザの意図を把握しきれていない点。このインタラクションを利用すれば、予測は改善するはず。この二つのイシューに対応するため、新しいGPG4HSR を提案する。新手法は２つのグラフからなる。アイテムの遷移を補足するグローバルグラフと、コンテキストに関係あるユーザの意図を捕捉するためのパーソナライズグラフ。実験をしたら良い感じ。

CAEN: A Hierarchically Attentive Evolution Network for Item-Attribute-Change-Aware Recommendation in the Growing E-commerce Environment

古典的な推薦システムは、商品の価格の変更などの属性値の変更に対応することができない。最近の研究では、属性の変化は考慮されているが、一時的な依存関係を無視しているし、商品の属性を考慮していない場合もある。ここでは、CAEN を提案する。これは商品の属性値によりユーザのsequence をパーティショニングした上で、アイテムの変化をモデリングする。このフレームワークを利用すれば、階層的なattention のメカニズムを適用することができる。実験したらいい感じ。

TorchRec: a PyTorch domain library for recommendation systems

(Meta )

NL ベースのRecSys は、スパースで高次元なデータを扱わなければいけない点が、(NLPなどの）他のNL と異なる。そのため、巨大なembedding テーブルを学習する必要がある。ここでは、 Meta のProduction 環境で利用している TorchRec ライブラリを紹介。あらゆるところで利用可能なやつ。

Bundle MCR: Towards Conversational Bundle Recommendation

Budle RecSys はスパースさと無限な組み合わせ、という課題がつきまとう。MCRでは、ユーザの嗜好を訪ね、フィードバックをもらうことにより、アウトプットのスペースを狭めていく手法だが、Bundle のための Bundle MCR を新たに提案する。Bundle MCR ではユーザのフィードバックをどうエンコードするか、次に何を質問するかが関心ごと。Bundle MCR はアイテムの組み合わせを探索しているので、複雑。multi-agent の MDP を利用。モデルの構造は Bundle Bert。また、Bundle Bert を学習するために、２段階の学習戦略を採用。オフラインで会話のインタラクションを習得し、オンラインでチューニング。実験したらyい感じ。

Recommendation as Language Processing (RLP): A Unified Pretrain, Personalized Prompt & Predict Paradigm (P5)

推薦システムはタスクごとに別々に設計、学習するのが通例だが、これによりある特定の推薦に関する知識や表現を別の推薦システムに移行することは非常に難しかった。この課題を克服するために、アイテムも人も自然言語で表現し、統一したtext-to-text paradigm を適用することにより、汎用的で柔軟性がある推薦モデルを提案する。名前は P5。

すべての自然言語で表現することにより、特徴の意味の深い理解を獲得することができる。とくにP5 は異なるタスクを同じ言語モデルで学習する。そのため、基盤モデルとするポテンシャルがあり、他の推薦システムに対しても簡単に実装することができる。プロンプトを利用することにより、P5はzero-shot または few-shot な手法で推論することが可能で、ファインチューニングがほとんどいらない。実験したら良い感じ。

Sep 21

Session 9 Large-Scale Recommendation

Optimizing product recommendations for millions of merchants

Shopify では、多くのオンラインストアに推薦システムを提供している。全ての異なる商品に対して最適に推薦するのは難しい。あるモデルが全体の改善に寄与したとしても、一部のストアではパフォーマンスが下がっている可能性はある。すべての商品セグメントに高品質な推薦システムを提供するために、複数のモデルを作成し、オフライン評価により最適なものを提供している。どのセグメントにどの戦略がよいのか、理解したことにより、新しいストアにも最初からよい推薦システムを適用すすることが可能になった。実際には、最初は商品によるベストな戦略が適用され、次にmulti-armed bandits によりアジャストしていく。

An Incremental Learning framework for large-scale CTR prediction

ここでは、CTR 予測をするための学習フレームワークを紹介し、大規模推薦システムでの効果を披露する。われわれの手法で、デプロイ済みモデルと「新」データ上のファインチューニングにより、今発生しそうなトレンドをすばやく捕捉する。過去の知識は、「教師と生徒のパラダイム」により保守する。教師は、蒸留技術のようにふるまい、忘れ去られる状況を軽減する。われわれのインクリメンタルな学習フレームワークにより、学習とデプロイのサイクルが速くなった（12倍）。また、RPM が継続的に向上すること、新しいアイテムのCTR が上昇することを示す。

A GPU-specialized Inference Parameter Server for Large-Scale Deep Recommendation Models

推薦システムは、ニュースフィード、ソーシャルネットワーク、EC、検索などさまざまなアプリケーションで重要。精度を高めるために、モダンな推薦モデルは、DL とテラバイト急のembedding テーブルを組み合わせ、データからよい状態の表現を獲得する。伝統的な推論サーバアーキテクチャはすべてのモデルをひとつのサーバにデプロイしたが、大規模システムではうまく動作しない。この論文では、推論システムに対して新しいインサイトを提供する。われわれは、HugeCTR 階層パラメーターサーバを提案する。これは、分散推薦推論フレームワークであり、ハイパフォーマンスなGPU embedding cache と階層ストレージアーキテクチャを組み合わせ、オンラインモデル推論タスクでのembedding の抽出を低レイテンシーで実現する。その他にも 1. HSS の冗長化 2. CPU の並列 embedding lookup を加速する高帯域キャッシュ 3. オンライン学習サポート 4. 既存の大規模推薦ワークフローを実装するための軽量API などの機能を持つ。HPS のケイパビリティを示すため、我々は二種類のデータセットで検証した。HPS では、E2E のレイテンシーを削減、 5-62x の速度改善を実現した。マルチGPUでは、HPSは推論QPS を改善した.

Evaluation Framework for Cold-Start Techniques in Large-Scale Production Settings

コールドスタートな状況を軽減するのは、推薦システムでは基本的な課題。実際、大規模な商業システムでは、コールドスタート戦略の最適化の難易度は高まっている。

異なるシステムのコールドスタート戦略を比較するための E2E フレームワークを提案する。このフレームワークをOutbrain の推薦システムに適用することにより、コールドスタートのコストを半分に減らすことができた。われわれのフレームワークは、オフラインデータセットのサロゲート精度指標を利用する他のコールドスタート技術が抱える課題を、コスト管理されたオンラインA/Bテストを実施することにより解決する。

まず、コールドスタートに対する課題を解説したあと、コールドスタートフレームワーク開発の動機について説明する。その後、exploration data サイズを最大50%した方法について説明する。

Timely Personalization at Peloton: A System and Algorithm for Boosting Time-Relevant Content

Peloton はサブスクリプションベースのサービスで、高品質なフィットネスクラスの立地なカタログを提供している。フィットネスは、多様性があり、在庫は常に変化する。在庫が変化することにより、推薦システムの難易度は増す。関連がつよいコンテンツだけでなく、時間要素も非常に重要になる。しばしば特定の時間のみ強くおしだしたいクラスがある。例えば、祝日がテーマのクラスなど。この期間は、ビジネスゴールをみたすために、エンゲージメントを下げることなく必要なオーディエンスにアピールする必要がある。けれども単純にクラスの露出を増やすと、エンゲージメントが損なわれる。そこで、いつ誰を選んでいるか、顧客の興味を慎重に分析し、この時間制限コンテンツを誰に表示するか判断する必要がある。我々の推薦システムは、ユーザの興味を理解しており、よいバランスでそれにあわせたコンテンツを占めすことができる。

ここでは、このような「特定のコンテンツ群の露出をふやる」システムとアルゴリズムを紹介する。ブースティングと呼んでいる。ブーストがどのようなものか、説明する。検証したら、よかった。

EANA: Reducing Privacy Risk on Large-scale Recommendation Models

埋め込みベースのDNN はひろく大規模推薦システムで利用されている。DP-SGD は、プライバシーを守った上でパーソナライズれた経験を提供可能にするもので、学習プロセス上のモデルパラメータにノイズをいれるものである。けれども、学習スピードが遅く、大規模システムに適用するのは困難。これは、DP-SGD により追加されるノイズが、スパースなgradients と密に変化させ、分散学習フレームワーク内のワーカーとパラメータサーバ間の通信オーバーヘッドを増大させるからである。この論文では、EANA を提案する。 EANA は通信のオーバーヘッドを削減し、大規模embeddingベースのDNN の学習を可能にする。EANA のプライバシーベネフィットを、secret sharer 技術をつかって検証した。良い結果。（プライバシーもパフォーマンスも）。EANA は DP-SGD より速く、privacy risk も軽減していた。