RecSys 2019 にいってきた 2019/09/18 Day 3

Paper Session 5:Applications of Recommenders in Personal Needs

Collective Embedding for neural context aware Recommender System

f:id:ayakobaba:20191208212739p:plain

人とアイテムのembedding だけじゃなくて、時間コンテキストのItem. User のEmbedding も

◆A Recommender System for Heterogeneous and Time Sensitive Environment

ゲーム提供会社、中華?
www.ea.com
Challenge : Heterogeneous ( Createive / Diverse player bases ) , Time Sensitive 
→ 先行事例役に立たず、考えなおす
最初 Wide And Depp Model
次、最後のレイヤーを強化学習 Contextual Multi-armed bandit
その後、提案手法 : Naive linear contextual multi-armed bandit 
ゲームの推薦
  MAB vs CF
  Trend vs Seasonality
  CTR をみるか? DAU をみるか?
気にしてること:How can you make your  system easy? <- いい!!

◆Latent Factor Models and Aggregation Operators for Collaborative Filtering in Reciprocal Recommender Systems

f:id:ayakobaba:20191208212819p:plain

bristol 大学の人、 pairs の人
Reciprocal RS : マッチングアプリの推薦システム
User A->User B  のスコア  + B->A スコア -> aggregate -.> 推薦
Contribution
LFM base の Reciprocal rs
Search -> Like -> Match -> Message -> Meet ( LikeとMatchがEvaluation Criteria)
Preference Aggregation : Arithmetic Mean/ Geometric Mean/Harmonic Mean / Cross-Ratio Uniform  双方向のスコアをどう集約するか
上のaggregation 関数を比較
   AUC : RFC だと Cross-Ratio Uniform がすごい /LFRR だと悪い
   F-score とか Efficiency もしらべた
Conclusion :LFM はexecution time を減らしつつ性能は変わらなかった / aggregation function で変わるよ

pairs : https://www.pairs.lv/

日本の女の子と知り合いたかったらぜひpairs にアクセスしてね ( pairs 調べてたらQ&A がもりあがってた

CB2CF: A Neural Multiview Content-to-Collaborative Filtering Model for Completely Cold Item Recommendations

f:id:ayakobaba:20191208213024p:plain

Microsoft のひと
CF  vs CB : CF の方が利用実績を元にしているのでユーザの好みをもとにするが、coldstart problem
Proposed CB2CF:deep multi-viewed neural network : CFスペースにContent base でnew Item を埋め込む
Textual description / Tags / Numeric description
評価 :  Movies , MS store apps で MES/MPR/Recall@K/NDCG/Content ablation study あと Embeddings similarity/Content semantic relations をチェック

◆Online Learning to Rank for Sequential Music Recommendation

Sequential music recommendation : manual vs automatic
play と skip をオンラインで学習
Problem : 音楽聞いているうちにききたいもの変わる→ contextual banditsで解決
Problem 2: dimensionality (報酬がなにかきめられない)→ continuous-armed bandits
Problem 3: model update  → dueling bandits   / how to estimate model reward? : interleaving
  いくつかモデルつくってランキングして、交互に/A1,B1,A2,B2 みたいに最終のランキングみつける
Problem 4: exposure risk → multi-dueling-bandits   上が2つじゃなくていっぱいに!もうわけわからん
Problem 5 : feedback scarcity → counterfactual dueling bandits 
Problem 6 : binary feedback → weighted ensembling ( 音楽がスキプされたらわるいのでペナルティ)
検証:Spotify で現実的な時間で次の曲を推薦できる工夫をして、実験の設計したよ。
  CDBの学習ははやい、payoff もearlier / 性能もいい/ "duel" も効いてる

Pace My Race: Recommendations for Marathon Running

https://www.insight-centre.org/
マラソン・ランニングのRS
スマートウォッチ:トレーニングやペースの推薦をして、自己最高記録をだせるように補助したい
Training : E-coaching / Goal Setting: Goal Time Prediction/ Race Strategy
Aims : レース中に完走タイムを推定
データ:STRAVA ペース、心拍(BPM ) 、ケーデンス→ XGBoost で推定
Replanning due to Race Slowdown  : スローダウンした人としない人を比較した
Explainability : タイミング大事(エイドステーションとかでおしえてほしい)/ Simply Explained / Demonstrate Benefit
上をみたすようにUI をモックをつくった

↑ Best Short Paper 「マラソンのリタイアを減らしたい!」て丁寧に何をいつどうやって推薦するか紐解いてる研究が好き

Panel :Responsible Recommendation

f:id:ayakobaba:20191208213112p:plainf:id:ayakobaba:20191208213118p:plain 右から * 司会のマイケル。たぶんアメリカの人 * spotify の人 * TwitterのLuca. Background in pure math.

What should a recommendation system optimize for?

  • 次は Computer Vision でPrivacy Mask をしているアカデミアの人。会期中に私が言葉をかわしたonly 3人のうちの一人
  • EBU のひと. Interested in ethics/diversity/filter bubble concept

All media are fighting to grab a finite users' resource: time

twitter 
 測るのは「人」だというのは明確なんだけど、それをLoss Function にどうtranslate するの?
 僕は人なのでなんとなくなにを知るべきかはわかるんだけど、それがどんな式になるかがわからない
spotify
  recsys コミュニティにいて、中の考え方に触れられるのはたのしい

e: diversity をたもつようにいろんなコミュニティの意見を意識的にいれるべき
t:賛成なんだけど、好みにそってfiltering されるのはうれしいし、それとbubble を区別するのって難しいよね

s: spotify で働いてて面白いのは、editorial の人と一緒に働けて意見をきけるから。recsys は カスタマージャーニーの中のひとつでしかない
e: でもeditorの役割って儲かる音楽を勧めたりするよね

Q: RecSys のPositive Aspect?
m: recsysはdigital- physical のbridge. でも技術的なことはtwitter のrecsys 、今のホテルは booking.com のrecsys. 

Q: RecSys がシステムの内外、社会と影響を与え合いながら変化することについて
A: 
RecSys はコンピュータシステムだけじゃない。Spotify ではステークホルダーも含めたsocio-system だとおもってる
RecSys は 明らかにbi-directional。例えばgoogle は顧客のFB を取り入れることで recsysをre-invent した。socio -impact 

Q: 会社はデータを公開するべきでは? 
A: Privacy でだせないけど... 本当にデータを共有することが社会・ユーザのためになるかは考える必要がある

Q: Privacy  欧米でも全然違いし、diversity も地域で意味が全然違う。どうやって設計して可視化したらいい?
A: (spotifyのひと) 現実的には(商売をするのに) Localize が必須、その過程でなんとかやってる

Q: (聞き取れなかった)
A: 社会的な責任があることを間違いないが、社内外への発信の仕方は工夫が必要。「やるの当たり前でしょ!」て声高にいうだけならうざいひとになっちゃう。

wrap-up : favorite paper / advice 
m: nature のpaper , read and really stand your ground
e : アムステルダム大学のUI 改善した論文
t : 広告のdelivery を分析したやつ
s: 私も(どれだ)/ 論文だけじゃ動かないけど、1スライドでインパクトやきっかけになることがあるよ

Paper Session 6:Algorithms: Large-Scale, Constraints and Evaluation

◆Efficient Similarity Computation for Collaborative Filtering in Dynamic Environments

アントワープ大学の人
問題: CF データ増えると学習に時間がかかる
Previous work : approximation/ Parallelization / でもSuper Sparse なので、Incrimental Similarity Computation できる
Dynamic Index → online learning できる
Parrelllisation もできる 
Recommendability :在庫がないやつとか計算しなくていい → もっと速く
検証:Movielens / Netflix でみたよ
結論:スパースで高次元なら超速くなるよ。incremental & parallel に計算できるし

◆Personalized Diffusions for Top-N Recommendation

f:id:ayakobaba:20191208213153p:plain

ミネソタ大学の人
(アルゴリズムはアカデミアの人が多いかも
( 講義みたいにしゃべる
Item models で Top-N Recommendation した場合、超スパースなのででない → Random walks can help
(item-item はグラフにいきがち
item-item グラフ → personalizing : item exploration stochastic processをパーソナライズする
ランダムウォーク、次にどっちいくかをpersonalized する。 
K-step occupancy distribution of a time-inhomogeneous Markov chain
teleportation  probabilities の学習 : 式  解くコスト高いけど、変形して効率的に解く方法があるよ( my recent work)
PerDif algorithm
検証したら、計算も早いし、精度もよかった

◆Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations

f:id:ayakobaba:20191208213240p:plainf:id:ayakobaba:20191208213245p:plain

Googleのひと
Challenges : アイテム多い、スパース、Dynamic item set
( 中国の人。今回めずらしい
Retrieval - Ranking と別れているのは実運用では一般的
ここでは Retrieval に着目
User/Item Embeddings: MF / DNN multi-class classification/ Two-tower DNNs <- NLP のmodern な手法
今回の提案手法:Two-tower DNNs for large-scale recommenders 
Two-tower DNN 
Multi-class batch softmax
Handling sampling bias 
  ポジティブはスパースかつそれしかデータがないので、結果的にポジティブじゃない=ネガティブが強く影響しがち
  sampled softmax[Bengio & Senecal'03]  より estimate item frequency for dynamic set
検証:A/B テスト live experiments YouTube のNext 

Leveraging Post-click Feedback for Content Recommendations

f:id:ayakobaba:20191208213317p:plain

cornel tech カレッジかな
Implicit fb in recommender systems : click / purchase
でもクリックしたからって気にいるとは限らない。スキップしたとしたらnegative
クリック後のFB( 完奏 or スキップ)をみるのだ
データ: Spotify / ByteDance (TikTok )
クリックの50%がスキップされている / スキップと人気の曲は逆相関
AUC が post-click を反映させるとおちちゃう → <フレームワークの写真>
このフレームワークをPoint-wise model   (WRMF/WRMF-BL/WRMF-NR)/ Pair-wise model (BPR/BPR-BL/BPR-NR) に分解して、よく知られている手法で解いた

◆When Actions Speak Louder than Clicks: A Combined Model of Purchase Probability and Long-term Customer Satisfaction

マイクロソフトの人
Our Approach: minimize buyer's remorse and maximize users satisfaction / 購買確率と顧客満足のバランスってとることできる?
購買後の満足度スコア?→ ゲームならプレイ頻度、プレイ時間、そこからなんかできないか?
Likelihood   (式) ベルヌーイ分布とか正規分布とか..
Variational Bayes <- パラメータ推定につかったよ
検証:( といっても顧客満足度スコアのベースラインってなに...

Uplift-based Evaluation and Optimization of Recommenders

富士ゼロックスの人
バナナと牛乳を勧められて買った。精度100% / でも勧められなくてもかったかも
チョコとビール を勧められて、チョコとバナナと牛乳かったら、このrecommend の方が売り上げあげてる。でも精度は50%
なので、RecSys を精度じゃなくて、追加で買わせた度 = Uplift で評価しようぜ
Uplift-based Evaluation <- 因果推論
Uplift-based optimization<- なんだっけ
Evaluation : Potential Outcomes and Item Classes でも観測できない → オフラインログから頑張ってestimate する
Optimization: 観測できるもの(True Uplift ..) とできないもの(False Uplift / Flase Drop )がある → Conventional Optimization を改善したのが提案手法
検証: よくなった

Uplift 、去年のCriteo のBest Short Paper の発表きいたときは「これこそ広告でおうべき指標!」って思ったけど、今となってはCVR 悪かった時の広告屋さんのいいわけに見えるので、心が汚れたのかもしれない

最後のPaper Session

◆Deep Social Collaborative Filtering

f:id:ayakobaba:20191208213430p:plain

香港の大学の人
( 自分のwork じゃないらしい... よく話せるよなー
Social Recommendation : ソーシャル関係をもとに推薦する。友達のすきなものはすき
友達の友達のすきなものもすき → social の距離を反映させたい
ともだちでも、ジャンルにより好みが似ているかどうか
そこで Deep Social Collaborative Filtering
ランダムウォーク層:social の関係を表現している : item-aware social sequences を生成している
Embedding 層: user-item 作用をembedding
Sequence Learing 層
Output : rating prediction
検証:Ciao で

◆Attribute-Aware Non-Linear Co-Embeddings of Graph Features

Hildesheim 大学の人
Proposed Model : GraphRec
 Phase 1: Attribute Aware Non-Linear Embeddings
 Phase 2: Scoring Function → latent feature をutilize するやつー
 Phase 3: Graph Features : weighted interaction graph → proposed graph features ( normalize) → concatenate
 Phase 4: Loss Function
検証:( RMSE ってなんだっけ... = Root Mean Square Error 低い方がよかった
結論:Graph features はdense でrichなデータならHigh Impact があるよ
QA: RMSEをつかったのはBaseline ペーパーがそれをつかってたから
課題を聞き逃したので役ただずでした
↑コールドスタート時に属性情報使おうって話だったか 

◆Adversarial Attacks on an Oblivious Recommender

Google の人... かな
なぜ攻撃を気にしなくちゃいけないか? → mislead するから
どれくらい既存のRS が脆弱なのか?
攻撃のパターン:Fake User Profiles
Prior Work : Shilling Attacks (手でいれた嘘プロファイル) ,Adversarial Examples (他のML で学習した嘘)
Challenges : CF に与える影響は? / 攻撃に気づける?/ Poisoning attacks / No access to gradient 
Adversary's  goal : 1. indistinguishable 2. adversarial intent 
1と2を指標定義してみてみる
結果:あるItem をtop 10から落とすのは簡単だけど、特定のItem のスコアをあげるのはむずかしい(自信ない
QA: DL みたいにアルゴリズム内にRandom なところがあるやつの方がRobust .
攻撃をどう検知するか、とか...
いろんなかしこいひとがいる 

◆HybridSVD: When Collaborative Information is Not Enough

Best Paper へのアンサーからはじまる
Tuning is an Art 
Quick recap on SVD : simple tuning via  rank truncation! 
Improving SVD  further : Hybridization of PureSVD 
  replace scalar products with a bilinear form.  = Similarity matrix を導入してsparse を克服
 Similarity matrix でコールドスタート問題もとけるかも

◆Variational Low Rank Multinomials for Collaborative Filtering with Side-Information

f:id:ayakobaba:20191208213510p:plain

Netflixのひと
( グーグルさんといい、スライドがかっこいい
User-Item matrix つくる→Sparse → multinominal distributions 上の分布を学ぶ。ベイズ推定
拡張性:コールドスタート →  Incoporate Metadata, Tags of Movie / Still do ベイス瑞亭
アイディア:ユーザの嗜好がわかんないときー
(早口ww  インド映画きいてるみたい
みんな大好きVariational Approximation でとく... KL divergence かな?
Insights : Does it work?  Does it handle Sparsity ? Does it handle item cold start?
( スライドの左下の小さな文字が NETFLIX TEXT とか NETFLIX BULLETS とかなってるなー 
( BULLETS= 箇条書き 、 スライドのテンプレート名がでてるw
Empirical Evaluation : non-Bayesian version より改善

◆Quick and Accurate Attack Detection in Recommender Systems through User Attributes

サウスフロリダ大学
( 大学とかはスライドの縦横比が古い、富士ゼロックスも
( このでかいスライドなのに読めないほど小さな文字ww
Research Questions
 exploit mixed data-type user attributes for detection?
 extract joint features
 detect persistent attacks
前提条件
 Attackers はユーザ属性にアクセスできない/ ランダム属性 /
Proposed Framework 
  Latent variable model : プレート図だよ。(もう写真とる元気がないよ。たぶんスライドがださいから。この分野に興味ないからか
  推論は EMアルゴリズムで
(きいてなかった

最後の途中できけなかったやつ、Best Short Paper の次点だった

ラップアップ

下の写真の左のほうに写ってる f:id:ayakobaba:20191208213555p:plainf:id:ayakobaba:20191208213559p:plainf:id:ayakobaba:20191208213607p:plain 800人くらい、1トラックで規模がちょうどよく、とてもたのしかったー 来年は2500人くらいの会場みたいなのでアットホームさなくなるかもしれないけど。