RecSys 2022 Day2

Session6: Diversity and Novelty

Don’t recommend the obvious: estimate probability ratios

  • PMI に合わせて学習した話
  • 聞けなかった

Recommending for a Multi-Sided Marketplace with Heterogeneous Contents

  • Uber の話
  • Challenge 1 : Multi-sided trade-off
    • Restraunt - User - Delivery Partner
    • defferent objective
  • Challenge 2: heterogeneous & hierarchical products
    • レストラン / レストラン群 ( 一部、和食特集とかある）
  • MOHR
  • MO-step : 3つのML Model
    • ユーザ、会社、公平性
  • H-step : Hirechical modeling
    • state based user browsing model
    • カルーセルのレコメンデーション
  • R-step: Multi-objective optiomization for ranking
    • 我慢できる犠牲（tolerable sacrifice ) をmulti-objectiveに適用
    • 計算の工夫をした
  • 検証
    • MOR / H / MOHR で比較
    • MOHR がやっぱりよかった
    • 階層モデルで、ユーザは早く探し物ができるようになった

Solving Diversity-Aware Maximum Inner Product Search Efficiently and Effectively

  • Matrix Fatcotrization : 古えにはめちゃくちゃよく使われていた手法
  • k-MIPS
    • 推薦アイテムのlistがとれる
    • diversity は考慮されていない
  • diverse 具合を ラムダで調整できる
    • min 距離を、最大化関数に足す
  • 計算の大変さは、IP Greedy で克服
    • 全組み合わせ、計算しない
  • がんばってみたら理解できそうな気がする
  • IP-Greedy の方が早いし、diversity もあるよ
  • 質問に答えられなかったときの答え（オフラインでやるよ）を用意しておくとよさそう

RADio – Rank-Aware Divergence Metrics to Measure Normative Diversity in News Recommendations

  • news editorial teams are gatekeepers
  • news recsys is not same as product
  • diversity をどう表現するか
    • discreptive diversity の課題を克服するものを提案
  • 特定の分野では効果的な Diversity metrics になっているとおもう
  • 距離の概念を満たすことが必要
    • Symmetric Divergense
    • Rank-aware Divergence
  • 検証した → もっと最適化が必要

Reducing Cross-Topic Political Homogenization in Content-Based News Recommendation

  • Cross-Topic Political Homogenization
  • トピックごとに政治的な立場が異なるユーザになにを推薦したらいいのか？
  • おなじみの Attention : STANPP で解決
  • political stance はどうやってラベリングした?
    • provider で 区別
  • ニュースのクラスタリングは k-means

Exploiting Negative Preference in Content-based Music Recommendation with Contrastive Learning

  • 好きな音楽と好きじゃない音楽、好きじゃない方が説明しやすい
  • 「嫌い」を反映させるとどうなる？
  • content-based recommendation / パフォーマンスじゃなくて影響を
  • method
      1. feature extraction ( CLMR / MEE / Jukebox)
      1. CLEP (Contrastive Learning Exploting Preference)
      2. CLEP-PN / CLEP-P / CLEP-N
      3. pos とneg を別々に置く方法はメジャーなんだろうか
      1. Preference Prediction (ML)
  • 実験
    • 24 人に200曲きいてもらって、好き嫌い
    • モデルの評価 → Precision / False Positive Rate
      • 嫌いな曲を推薦 = FP
      • 好きな曲を推薦しない = FN
  • 結果
    • negative preference have more distinct characteristics : セレンディピティティ
    • low false positive rate / high precision
  • 実際にどうやってネガティブをあつめたらいい？
    • いっぱいやらなきゃいけないけど、この研究の焦点ではない
  • 時期的なものをどう考慮する？
    • コンテキストとか、影響あるけど、この研究の焦点ではない
  • 20人、すくなくない？どうやって一般化する？
    • 人は、結構ランダムに選んだので、そんなにバイアスかかってないと思うよ

# Session6: Models and Learning Ⅰ

起きてきた

## BRUCE – Bundle Recommendation Using Contextualized item Embeddings

  • Bundle Recommendation というジャンル
  • Contributions
    • item間の関係を考慮
    • Transformer をつかう
    • ...
  • Method
    • pretrain user and item embeddings : BPR(CF) → user とitem representation
    • Bundle representation : Transformer で
    • User Information : Early fusion = Concat/ Late fusion = User token,ユーザをもうひとつのアイテムとしてつかう 、User Oblivious
    • Aggregation Methods : Mean, Global CLS , Bundle CLS , User CLS
      • CLS = Classification
  • 実験

ProtoMF: Prototype-based Matrix Factorization for Effective and Explainable Recommendations

  • プロトタイプとは
  • paper は MF に prototype を適用する
    • ユーザのプロトタイプをつくる（XXが好き ... )
    • ニルバーナ
    • explainable
  • ProtoMF
    • User Prototype Matrix Factorization : ユーザだけプロトタイプに
    • Item Prototype Matrix Factorization : アイテムだけ
    • User-Item Prototype Matrix Factorization : 両方
  • 実験した、パフォーマンスよかった
  • 説明可能性 : contribution を

  • BCS とやっていること、やりたいことが近いのかな

  • プロトタイプをどうやってつくる？

    • 学習する、clustering みたいな方法で
  • interoperability と explainability

TinyKG: Memory-Efficient Training Framework for Knowledge Graph Neural Recommender Systems

  • Best Paper の人と一緒かな
  • Knowledge Graph
    • 複雑なグラフを扱うのはむずかしい
  • Performance vs Memory
  • Compress the GPU memory for KGNN : TinyKG
  • メモリーには
    • relation matrix
    • model parameters
    • intermediate activations = ここがやばい
  • 中間の計算結果を Float → Integer にして、メモリをへらそう
    • Forward Quantization : Float → Integer / Backward Dequantization Integer → Float
  • 実験した

Global and Personalized Graphs for Heterogeneous Sequential Recommendation by Learning Behavior Transitions and User Intentions

  • GPG4HSR
  • モデル
    • Input and Embedding Layer
    • Global Graph Layer
    • Personalized Graph Layer
    • Global Personalized Fusion Layer
    • Attention Layer
    • Prediction Layer
  • モデルでかい

CAEN: A Hierarchically Attentive Evolution Network for Item-Attribute-Change-Aware Recommendation in the Growing E-commerce Environment

  • きいてなかったw
  • 課題はおもしろいやつだった
  • ごついAttention、Multi-Head なモデルをつくっていた
  • いろんなモデルを比較することにより、各Layer がどこに効いているのか確認してた

TorchRec: a PyTorch domain library for recommendation systems

  • We all love PyTorch!
  • Meta の人
  • TorchRec & Production Learnings in Meta
  • Recommender models are deep and wide
  • DL は　wide and sparse なデータが苦手
  • TorchRec の機能と特徴

Bundle MCR: Towards Conversational Bundle Recommendation

  • Adobe の人
  • Bundle の課題
    • Interaction sparsity
    • Ouput space complexity : セットのアイテム数とか、組み合わせとか複雑
  • Conversational RecSys
    • ユーザに質問しながら、推薦するアイテムを決める
    • Acquire user FB actively / Complete recommendation progressively
    • これを Bundle に適用
  • MCR ScenarioをBundle に拡張
  • Markov Decision Process
    • How to encode State? update State?
      • BUNT - Bundle BERT
  • BUNT
  • BERT の特徴は、マスクするところだった (穴埋め問題解かせてエンコーディング）
  • 会話を通して良い感じでよいBundle を推薦している
  • 資料がきれい

Recommendation as Language Processing (RLP): A Unified Pretrain, Personalized Prompt & Predict Paradigm (P5)

  • Text - Image なPrompt っぽいやつを Recommendation に適用するやつ
  • Motivation
    • unified framework
    • language をすると、unified framework を作れない？
    • どうやったら 全てのデータ / different task を Natural Langugage Sequence に変えられる？
  • Multitask Prompt-based Training with LLM
  • P5
    • language は表現力が豊かなので、feature-specific encoders を発明する必要ない
    • item も user も同じ空間に
  • P5 がカバーする範囲
    • rating prediction/ seq recommendation / explanation generation ...
    • 他のやつもできそう
  • Prompt は- personalized prompts
  • Personalized Prompt の設計 : Task Template
  • Architecture of PG
    [id:ayakobaba:20221001133143p:plain:w400]
  • Pretraining & Inference
  • zero-shot generalization ability ?
    • prompt だから
  • Natural Language Sequence をどうやって生成したのだろうか

感想

集中力すぐきれてしまう