Paper Session 5:Applications of Recommenders in Personal Needs
Collective Embedding for neural context aware Recommender System
人とアイテムのembedding だけじゃなくて、時間コンテキストのItem. User のEmbedding も
◆A Recommender System for Heterogeneous and Time Sensitive Environment
ゲーム提供会社、中華? www.ea.com Challenge : Heterogeneous ( Createive / Diverse player bases ) , Time Sensitive → 先行事例役に立たず、考えなおす 最初 Wide And Depp Model 次、最後のレイヤーを強化学習 Contextual Multi-armed bandit その後、提案手法 : Naive linear contextual multi-armed bandit ゲームの推薦 MAB vs CF Trend vs Seasonality CTR をみるか? DAU をみるか? 気にしてること:How can you make your system easy? <- いい!!
◆Latent Factor Models and Aggregation Operators for Collaborative Filtering in Reciprocal Recommender Systems
bristol 大学の人、 pairs の人 Reciprocal RS : マッチングアプリの推薦システム User A->User B のスコア + B->A スコア -> aggregate -.> 推薦 Contribution LFM base の Reciprocal rs Search -> Like -> Match -> Message -> Meet ( LikeとMatchがEvaluation Criteria) Preference Aggregation : Arithmetic Mean/ Geometric Mean/Harmonic Mean / Cross-Ratio Uniform 双方向のスコアをどう集約するか 上のaggregation 関数を比較 AUC : RFC だと Cross-Ratio Uniform がすごい /LFRR だと悪い F-score とか Efficiency もしらべた Conclusion :LFM はexecution time を減らしつつ性能は変わらなかった / aggregation function で変わるよ
pairs : https://www.pairs.lv/
日本の女の子と知り合いたかったらぜひpairs にアクセスしてね ( pairs 調べてたらQ&A がもりあがってた
CB2CF: A Neural Multiview Content-to-Collaborative Filtering Model for Completely Cold Item Recommendations
Microsoft のひと CF vs CB : CF の方が利用実績を元にしているのでユーザの好みをもとにするが、coldstart problem Proposed CB2CF:deep multi-viewed neural network : CFスペースにContent base でnew Item を埋め込む Textual description / Tags / Numeric description 評価 : Movies , MS store apps で MES/MPR/Recall@K/NDCG/Content ablation study あと Embeddings similarity/Content semantic relations をチェック
◆Online Learning to Rank for Sequential Music Recommendation
Sequential music recommendation : manual vs automatic play と skip をオンラインで学習 Problem : 音楽聞いているうちにききたいもの変わる→ contextual banditsで解決 Problem 2: dimensionality (報酬がなにかきめられない)→ continuous-armed bandits Problem 3: model update → dueling bandits / how to estimate model reward? : interleaving いくつかモデルつくってランキングして、交互に/A1,B1,A2,B2 みたいに最終のランキングみつける Problem 4: exposure risk → multi-dueling-bandits 上が2つじゃなくていっぱいに!もうわけわからん Problem 5 : feedback scarcity → counterfactual dueling bandits Problem 6 : binary feedback → weighted ensembling ( 音楽がスキプされたらわるいのでペナルティ) 検証:Spotify で現実的な時間で次の曲を推薦できる工夫をして、実験の設計したよ。 CDBの学習ははやい、payoff もearlier / 性能もいい/ "duel" も効いてる
Pace My Race: Recommendations for Marathon Running
https://www.insight-centre.org/ マラソン・ランニングのRS スマートウォッチ:トレーニングやペースの推薦をして、自己最高記録をだせるように補助したい Training : E-coaching / Goal Setting: Goal Time Prediction/ Race Strategy Aims : レース中に完走タイムを推定 データ:STRAVA ペース、心拍(BPM ) 、ケーデンス→ XGBoost で推定 Replanning due to Race Slowdown : スローダウンした人としない人を比較した Explainability : タイミング大事(エイドステーションとかでおしえてほしい)/ Simply Explained / Demonstrate Benefit 上をみたすようにUI をモックをつくった
↑ Best Short Paper 「マラソンのリタイアを減らしたい!」て丁寧に何をいつどうやって推薦するか紐解いてる研究が好き
Panel :Responsible Recommendation
右から * 司会のマイケル。たぶんアメリカの人 * spotify の人 * TwitterのLuca. Background in pure math.
What should a recommendation system optimize for?
- 次は Computer Vision でPrivacy Mask をしているアカデミアの人。会期中に私が言葉をかわしたonly 3人のうちの一人
- EBU のひと. Interested in ethics/diversity/filter bubble concept
All media are fighting to grab a finite users' resource: time
twitter 測るのは「人」だというのは明確なんだけど、それをLoss Function にどうtranslate するの? 僕は人なのでなんとなくなにを知るべきかはわかるんだけど、それがどんな式になるかがわからない spotify recsys コミュニティにいて、中の考え方に触れられるのはたのしい e: diversity をたもつようにいろんなコミュニティの意見を意識的にいれるべき t:賛成なんだけど、好みにそってfiltering されるのはうれしいし、それとbubble を区別するのって難しいよね s: spotify で働いてて面白いのは、editorial の人と一緒に働けて意見をきけるから。recsys は カスタマージャーニーの中のひとつでしかない e: でもeditorの役割って儲かる音楽を勧めたりするよね Q: RecSys のPositive Aspect? m: recsysはdigital- physical のbridge. でも技術的なことはtwitter のrecsys 、今のホテルは booking.com のrecsys. Q: RecSys がシステムの内外、社会と影響を与え合いながら変化することについて A: RecSys はコンピュータシステムだけじゃない。Spotify ではステークホルダーも含めたsocio-system だとおもってる RecSys は 明らかにbi-directional。例えばgoogle は顧客のFB を取り入れることで recsysをre-invent した。socio -impact Q: 会社はデータを公開するべきでは? A: Privacy でだせないけど... 本当にデータを共有することが社会・ユーザのためになるかは考える必要がある Q: Privacy 欧米でも全然違いし、diversity も地域で意味が全然違う。どうやって設計して可視化したらいい? A: (spotifyのひと) 現実的には(商売をするのに) Localize が必須、その過程でなんとかやってる Q: (聞き取れなかった) A: 社会的な責任があることを間違いないが、社内外への発信の仕方は工夫が必要。「やるの当たり前でしょ!」て声高にいうだけならうざいひとになっちゃう。 wrap-up : favorite paper / advice m: nature のpaper , read and really stand your ground e : アムステルダム大学のUI 改善した論文 t : 広告のdelivery を分析したやつ s: 私も(どれだ)/ 論文だけじゃ動かないけど、1スライドでインパクトやきっかけになることがあるよ
Paper Session 6:Algorithms: Large-Scale, Constraints and Evaluation
◆Efficient Similarity Computation for Collaborative Filtering in Dynamic Environments
アントワープ大学の人 問題: CF データ増えると学習に時間がかかる Previous work : approximation/ Parallelization / でもSuper Sparse なので、Incrimental Similarity Computation できる Dynamic Index → online learning できる Parrelllisation もできる Recommendability :在庫がないやつとか計算しなくていい → もっと速く 検証:Movielens / Netflix でみたよ 結論:スパースで高次元なら超速くなるよ。incremental & parallel に計算できるし
◆Personalized Diffusions for Top-N Recommendation
ミネソタ大学の人 (アルゴリズムはアカデミアの人が多いかも ( 講義みたいにしゃべる Item models で Top-N Recommendation した場合、超スパースなのででない → Random walks can help (item-item はグラフにいきがち item-item グラフ → personalizing : item exploration stochastic processをパーソナライズする ランダムウォーク、次にどっちいくかをpersonalized する。 K-step occupancy distribution of a time-inhomogeneous Markov chain teleportation probabilities の学習 : 式 解くコスト高いけど、変形して効率的に解く方法があるよ( my recent work) PerDif algorithm 検証したら、計算も早いし、精度もよかった
◆Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations
Googleのひと Challenges : アイテム多い、スパース、Dynamic item set ( 中国の人。今回めずらしい Retrieval - Ranking と別れているのは実運用では一般的 ここでは Retrieval に着目 User/Item Embeddings: MF / DNN multi-class classification/ Two-tower DNNs <- NLP のmodern な手法 今回の提案手法:Two-tower DNNs for large-scale recommenders Two-tower DNN Multi-class batch softmax Handling sampling bias ポジティブはスパースかつそれしかデータがないので、結果的にポジティブじゃない=ネガティブが強く影響しがち sampled softmax[Bengio & Senecal'03] より estimate item frequency for dynamic set 検証:A/B テスト live experiments YouTube のNext
Leveraging Post-click Feedback for Content Recommendations
cornel tech カレッジかな Implicit fb in recommender systems : click / purchase でもクリックしたからって気にいるとは限らない。スキップしたとしたらnegative クリック後のFB( 完奏 or スキップ)をみるのだ データ: Spotify / ByteDance (TikTok ) クリックの50%がスキップされている / スキップと人気の曲は逆相関 AUC が post-click を反映させるとおちちゃう → <フレームワークの写真> このフレームワークをPoint-wise model (WRMF/WRMF-BL/WRMF-NR)/ Pair-wise model (BPR/BPR-BL/BPR-NR) に分解して、よく知られている手法で解いた
◆When Actions Speak Louder than Clicks: A Combined Model of Purchase Probability and Long-term Customer Satisfaction
マイクロソフトの人 Our Approach: minimize buyer's remorse and maximize users satisfaction / 購買確率と顧客満足のバランスってとることできる? 購買後の満足度スコア?→ ゲームならプレイ頻度、プレイ時間、そこからなんかできないか? Likelihood (式) ベルヌーイ分布とか正規分布とか.. Variational Bayes <- パラメータ推定につかったよ 検証:( といっても顧客満足度スコアのベースラインってなに...
◆Uplift-based Evaluation and Optimization of Recommenders
富士ゼロックスの人 バナナと牛乳を勧められて買った。精度100% / でも勧められなくてもかったかも チョコとビール を勧められて、チョコとバナナと牛乳かったら、このrecommend の方が売り上げあげてる。でも精度は50% なので、RecSys を精度じゃなくて、追加で買わせた度 = Uplift で評価しようぜ Uplift-based Evaluation <- 因果推論 Uplift-based optimization<- なんだっけ Evaluation : Potential Outcomes and Item Classes でも観測できない → オフラインログから頑張ってestimate する Optimization: 観測できるもの(True Uplift ..) とできないもの(False Uplift / Flase Drop )がある → Conventional Optimization を改善したのが提案手法 検証: よくなった
Uplift 、去年のCriteo のBest Short Paper の発表きいたときは「これこそ広告でおうべき指標!」って思ったけど、今となってはCVR 悪かった時の広告屋さんのいいわけに見えるので、心が汚れたのかもしれない
最後のPaper Session
◆Deep Social Collaborative Filtering
香港の大学の人 ( 自分のwork じゃないらしい... よく話せるよなー Social Recommendation : ソーシャル関係をもとに推薦する。友達のすきなものはすき 友達の友達のすきなものもすき → social の距離を反映させたい ともだちでも、ジャンルにより好みが似ているかどうか そこで Deep Social Collaborative Filtering ランダムウォーク層:social の関係を表現している : item-aware social sequences を生成している Embedding 層: user-item 作用をembedding Sequence Learing 層 Output : rating prediction 検証:Ciao で
◆Attribute-Aware Non-Linear Co-Embeddings of Graph Features
Hildesheim 大学の人 Proposed Model : GraphRec Phase 1: Attribute Aware Non-Linear Embeddings Phase 2: Scoring Function → latent feature をutilize するやつー Phase 3: Graph Features : weighted interaction graph → proposed graph features ( normalize) → concatenate Phase 4: Loss Function 検証:( RMSE ってなんだっけ... = Root Mean Square Error 低い方がよかった 結論:Graph features はdense でrichなデータならHigh Impact があるよ QA: RMSEをつかったのはBaseline ペーパーがそれをつかってたから 課題を聞き逃したので役ただずでした ↑コールドスタート時に属性情報使おうって話だったか
◆Adversarial Attacks on an Oblivious Recommender
Google の人... かな なぜ攻撃を気にしなくちゃいけないか? → mislead するから どれくらい既存のRS が脆弱なのか? 攻撃のパターン:Fake User Profiles Prior Work : Shilling Attacks (手でいれた嘘プロファイル) ,Adversarial Examples (他のML で学習した嘘) Challenges : CF に与える影響は? / 攻撃に気づける?/ Poisoning attacks / No access to gradient Adversary's goal : 1. indistinguishable 2. adversarial intent 1と2を指標定義してみてみる 結果:あるItem をtop 10から落とすのは簡単だけど、特定のItem のスコアをあげるのはむずかしい(自信ない QA: DL みたいにアルゴリズム内にRandom なところがあるやつの方がRobust . 攻撃をどう検知するか、とか... いろんなかしこいひとがいる
◆HybridSVD: When Collaborative Information is Not Enough
Best Paper へのアンサーからはじまる Tuning is an Art Quick recap on SVD : simple tuning via rank truncation! Improving SVD further : Hybridization of PureSVD replace scalar products with a bilinear form. = Similarity matrix を導入してsparse を克服 Similarity matrix でコールドスタート問題もとけるかも
◆Variational Low Rank Multinomials for Collaborative Filtering with Side-Information
Netflixのひと ( グーグルさんといい、スライドがかっこいい User-Item matrix つくる→Sparse → multinominal distributions 上の分布を学ぶ。ベイズ推定 拡張性:コールドスタート → Incoporate Metadata, Tags of Movie / Still do ベイス瑞亭 アイディア:ユーザの嗜好がわかんないときー (早口ww インド映画きいてるみたい みんな大好きVariational Approximation でとく... KL divergence かな? Insights : Does it work? Does it handle Sparsity ? Does it handle item cold start? ( スライドの左下の小さな文字が NETFLIX TEXT とか NETFLIX BULLETS とかなってるなー ( BULLETS= 箇条書き 、 スライドのテンプレート名がでてるw Empirical Evaluation : non-Bayesian version より改善
◆Quick and Accurate Attack Detection in Recommender Systems through User Attributes
サウスフロリダ大学 ( 大学とかはスライドの縦横比が古い、富士ゼロックスも ( このでかいスライドなのに読めないほど小さな文字ww Research Questions exploit mixed data-type user attributes for detection? extract joint features detect persistent attacks 前提条件 Attackers はユーザ属性にアクセスできない/ ランダム属性 / Proposed Framework Latent variable model : プレート図だよ。(もう写真とる元気がないよ。たぶんスライドがださいから。この分野に興味ないからか 推論は EMアルゴリズムで (きいてなかった
最後の途中できけなかったやつ、Best Short Paper の次点だった
ラップアップ
下の写真の左のほうに写ってる 800人くらい、1トラックで規模がちょうどよく、とてもたのしかったー 来年は2500人くらいの会場みたいなのでアットホームさなくなるかもしれないけど。