RecSys 2021 Abstract を眺める .... Mon Sept 27
さて、ざっとみていきます。意訳です。
Session1 : Echo Chambers and Filter Bubbles
エコーチェンバー現象とは
閉鎖的空間内でのコミュニケーションが繰り返されることにより、特定の信念が増幅または強化されてしまう状況の比喩
An Audit of Misinformation Filter Bubbles on YouTube: Bubble Bursting and Recent Behavior Changes
推薦システムで誤った選択をすると、嗜好と異なるフィルターバブルにのっかてしまうことがある。これを意図的に壊すことができるのか、YouTube ユーザのように振る舞うプログラムを作成し実験をし、「フィルターバブルは壊せる」ことがわかった
The Dual Echo Chamber: Modeling Social Media Polarization for Interventional Recommending
認知的なエコーチェンバーは構造に根付いているのに対し、イデオロギー的なエコーチェンバーは意図的にそれ以外の情報を排除する。 エコーチェンバーを防ぐために、推薦に多様性を持たせるという対策をとる。これらをモデリングしてみたところ、エコーチェンバーのタイプにより有効な多様性アプローチが異なることがわかった
I Want to Break Free! Recommending Friends from Outside the Echo Chamber
推薦システムが既に好きなもの、知っている人しか推薦せず、多様性がもたらされないという課題は、推薦システムの構造に根付くものである。ここで、ユーザとそのエコーチェンバーをモデリングすることにより、エコチェンバーの外の友人を推薦するシステムを構築した
Monday Poster & Coffee Break Session
いっぱいあるけど一個だけ
Generic Automated Lead Ranking in Dynamics CRM
Microsoft Israel の Lead Scoring システムについての発表。異なる組織やデータへリードスコアを付与した場合でのロバストになるような取り組みを紹介。"Human in the Loop" （人間を介在させる）な手法でもある。
Session 2: Theory and Practice
Negative Interactions for Improved Collaborative Filtering: Don’t go Deeper, go Higher
Netflix. Deep Learning をつかわずに、高次元な相互作用（higher-order interactions ) を協調フィルタリングに使うことにより精度がよくなった話。
Exploration in Recommender Systems
GoogleのIndustrial Session. 推薦システムが長期のユーザー体験の向上を目指すようになってきたため、強化学習、特に「探索」フェーズは重要になっている。ここでは３つの観点 1) システム探索 2) ユーザ嗜好の探索 3) オンライン探索（フィードバックをもらう） で探索を論じる
Black-Box Attacks on Sequential Recommenders via Data-Free Model Extraction
画像分類などの機械学習モデルに対する攻撃と同様、シーケンシャルな推薦システムも攻撃にさらされる危険性がある。そのような脆弱性に対抗するための"Data-Free Model 抽出" を提案する
Matrix Factorization for Collaborative Filtering Is Just Solving an Adjoint Latent Dirichlet Allocation Model After All
Matrix Factorization は強力だが、作成されるユーザ - アイテムの 潜在表現の解釈がしづらいという課題がある。これを LDA から想起した手法により解決したので紹介
Jointly Optimize Capacity, Latency and Engagement in Large-scale Recommendation Systems
FacebookのIndustrial Session. 実世界の推薦ではパフォーマンスも重要。システムではキャッシュを使うのが定石だが、単純に使うと顧客の心が離れる。良いバランスでキャッシュを更新しつつ、コンピューターリソースを節約し、レイテンシーを下げる方法を紹介する。
Pessimistic Reward Models for Off-Policy Learning in Recommendation
推薦システムで、例えば「クリックされたものがよいアイテム」とした場合、推薦システムが表示するアイテムに影響をうけるためサンプルバイアスが発生し、適切に検証できていない可能性がある。そのため「ポリシーを変更した場合のモデルを、ポリシー変更前のシステムで学習する」 = Off-Policy Learning が難しい。これを解消するための"Pessimistic Reward Models” を提案する。
Session 3: Metrics and Evaluation
Towards Unified Metrics for Accuracy and Diversity for Recommender Systems
昨今の推薦システムでは、精度も多様性も大事。両方の性能を同時に測定可能なメトリクスを定義し、オフラインのデータで検証してみた。
Values of User Exploration in Recommender Systems
Google. ユーザが新しい好きなものに出会うための「探索」体験の提供について検証する。 探索体験を増やし、accuracy, diversity, novelty,serendipity の４つの観点で推薦システムを評価、オフライン検証やユーザインタビューを通し、UX全体における探索の影響を測定した
Online Evaluation Methods for the Causal Effect of Recommendations
毎年 Causal Effect で論文を出している 佐藤さん。ハイコストなA/B テストをせずに、inverse propensity scoresによりCausal Effect のオフライン検証を行った話
Reenvisioning the comparison between Neural Collaborative Filtering and Matrix Factorization
ANN と MF を、accuracy だけでなく、diversity やnovelty などさまざまな観点で比較した論文。それぞれの特徴があった。 Github で公開中：GitHub - sisinflab/Reenvisioning-the-comparison-between-Neural-Collaborative-Filtering-and-Matrix-Factorization
Accordion: A Trainable Simulator forLong-Term Interactive Systems
Netflix. 複雑化する推薦システムを開発する上で、シミュレーションするのは有効。Accordion という ユーザの複雑なインタラクションをシミュレートするシステムを開発し、検証の結果よいパフォーマンスが得られた。
Evaluating the Robustness of Off-Policy Evaluation
半熟仮想とソニーの共著。モデルを真の意味で評価するにはオンラインで検証するしかないが、事業的には評価時に機会損失になる。そのため、オフライン評価が有効だが、その評価手法が本当にオンライン評価に近いものかどうか、判断できない。ここでは、採用したオフライン評価がロバストかどうか判断するための指標を提案する。
感想
いまさらですが、強化学習あたりの基礎知識、ベースの学力をあげないといけない。
RecSys 2021 Abstract - Keynotes
今年も
ことしもRecSys 2021 の季節がやってきました。私にとってinput の時期。少し世界のエネルギーにふれたいと思います。 今年は時差に勝てるのかがポイント。
少し慣れないとできないので、Abstract を読みながらメモします。まずは Keynotes
Graph Neural Networks for Knowledge Representation and Recommendation
グラフニューラルネットワークは、近年特に人気を獲得し、物理や化学、CV、シミュレーション、ヘルスケア、無線通信、物流、NLP、因果推論、知識表現などあらゆる分野に応用されている。そして、推薦システムも例外ではない。この講演では、グラフニューラルネットワークとDeep Learning との関係について簡単に紹介します。また、GNNにおける対称性や応用例について議論したあと、KR ( Knowledge Representation) やIR ( Information Representation) 、推薦システムにどう応用するか紹介したいと思います。
Regulating Recommenders
推薦はデジタル社会におけるパワーエンジン。オンライン上の情報は、我々の注意を惹き、ビジネスを創造・破壊し、真偽とわず情報の流れをコントロールする。市場や社会における影響は強いため、当局の規制からは免れられない。近年欧州会議は推薦システムの潜在的なリスクや機会を取り扱う野心的な基準を表明している。Digital Services Act （ドラフト版）と Digital Markets Act は特に巨大なオンラインプラットフォームが運営する推薦システムに焦点をしぼるが、AI規制やData Governance Act など推薦システムの運用に関わるものは広範囲に存在する。このプレゼンでは、規制や規則を俯瞰し、推薦システムのデザインをどう形作ろうとしているか、振り返る。
Key notes from keys and notes: pianist perspectives on recommendation
推薦システムを、昔は技術屋さん、今はアーティストである立場から、クラシックの推薦・プロモーションをテーマに論じる。テーマは "What is worth promoting"
感想
オランダ、いきたかったなあ
【読書記録】エンジニアリング組織論への招待
目的
以前読んだ「エンジニアリング組織論への招待」。ただ、読んだときより立場が大きくかわったためか、今読むと「あれ、この本、本当に読んだことあるのだろうか？」と感じるくらい、ひとつひとつのフレーズにはっとしたり考えさせられたり心がざわざわしたり。なので、しっかり向き合ってみようと思う。
感想
ふんわりと感じていた違和感やネガティブな状態に、過去の偉人は既に名前をつけ、かつ、いろいろな対策も提案してくれていた。ただ、重要なことは行動し、観察し、変えていくこと。もう少し課題を明晰化し、行動したい。
要約
メモより要約する
1. 思考のリファクタリング
1-1 すべてのバグは、思考の中にある
エンジニアリングを行う組織では、「思考のリファクタリング」により不確実性に向き合えるようにする。
1-2 不確実性とエンジニアリング
エンジニアリング とは 「実現する」こと。実現するには、不確実性を減少させなければいけないが、そのためには情報が必要。 不確実性は「未来」と「他人」に潜む。未来の不安は行動・実験・観察して得た情報により、他人の不安はコミュニケーションを通じて削減する。
1-3 情報を生み出す考え方
エンジニアリング で 不確実性を減少して実現していくためには、「情報を生み出していく」ことが必要である。 情報は、チームで、決まっていない答えを、探しながらといていくことにより生み出される。経験主義 と仮説思考で情報を収集し、何が正解なのか自分で設定する。
1-4 論理的思考の盲点
問題を認知するために「人は感情に囚われずに判断することは難しい」という論理的思考の盲点を理解する。
1-5 経験主義と仮説思考
問題を明晰化するために、経験主義( = わからなければ行動する）と仮説思考（= 少ない情報で大胆に考える）を実践する。
1-6 全体論とシステム思考
問題発見のために全体論とシステム思考の視点を持つ。全体 とはビジネス全体のフィードバックサイクルをもったシステムであり、「秩序だった複数要素の組み合わせ」「要素に分けても見られない性質をもつ関係性」に注目することにより、真の問題を発見する。
1-7 人間の不完全さを受け入れる
人間は不完全な思考をしてしまいがち（人は正しく認知できない / 情報がないのに行動せず考えつづけてしまう / 局所最適な思考をしてしまう) 人の傾向を理解したうえで、コミュニケーションにより不確実性を減少させ、秩序を作ろう。
2. メンタリングの技術
2-1 メンタリングで相手の思考をリファクタリング
メンタリングの目的は「相手の思考をリファクタリング」することであるが、実際は行動を変えることにほかならない。 変更するために大前提として、メンターとメンティーにHRT の関係を築かなくてはいけない
2-2 傾聴・可視化・リフレーミング
メンターは、傾聴・可視化・リフレーミングにより、「モヤモヤしていない問題に変換する」= 「明確に次にすべき行動がわかる」状態に変えていく。
2-3 心理的安全性の作り方
メンティを「ラーニングゾーン」= 「責任も高く、心理的安全性も高い」状態にもっていくために、アクノレッジメントとストーリーテリングを実施する
2-4 内心でなく行動に注目する
課題がある行動を可視化し、行動をどう変えたらいいか考える。SMART を意識して行動を言語化し合意、フィードバックと承認で行動を促進しつつ、環境や構造を変えて阻害する要因を減らす。
まとめ
メンタリングにより、問題発見、感情と分離し、行動できるようにする。具体的で高い目標を自分で設定し自ら行動できるようにすることがメンタリングのゴール。
3. アジャイルなチームの原理
3-1 アジャイルはチームをメンタリングする技術
アジャイルの考え方のベースは「チームをどのように構築していくか？」。 今事業が立ち向かう不安はスケジュールではなくマーケット。チームをゴール意識の高い状態にするにはどうしたらよいのか？
3-2 アジャイルの歴史
品質管理、生産管理、生命科学、ハッカーカルチャーなどから軽量ソフトウェア開発プロセスやアジャイルが生まれた。
3-3 アジャイルをめぐる誤解
アジャイルには5つの誤解がある。決まった開発手法をささないための誤解。
- 誤解1 : アジャイル開発は決まったプロセスである
- 誤解2: アジャイル開発では設計しない
- 誤解3 : アジャイル開発は優秀なメンバーでないとできない
- 誤解4：アジャイル開発では中長期計画がない
- 誤解5：アジャイル開発は開発者に決定権がある方法だ
3-4 アジャイルの格率
アジャイルは理想状態。チームが環境に適応して、不確実性を最も効率よく削減できている状態にするために、経験学習を取り入れたこと、実現のためにコミュニケーションや感情に向き合い、価値の流れを最適化する 。
アジャイル開発は「脱構築」される
アジャイルになるには、自分たち自身のやり方や役割を変えていく「脱構築」が必要。そのために観察 と対話 を繰り返す。
4. 学習するチームと不確実性マネジメント
4-1. いかにして不確実性を管理するか
不確実性を可視化し、マネジメントする ( 方法・目的・通信 )
4-2 スケジュール予測と不確実性
方法不確実性へどう対応するか？ 納期 = 理想工期 ( 工数人月 / 人数 ）+ 制約スラック + プロジェクトバッファにより決定するが、スケジュールマネージメント （制約スラックを削減する / 見積もりの予測可能性を上げる /プロジェクトバッファの消費を可視化し改善する) により予測可能。予測できれば事業を推進できる。
ただし、本当によめないのは、「何をつくるのか」の過程。エピック、テーマ、ストーリー、タスクと分解され、詳細化していく過程で不確実性がさがるため、ボトルネックを探してスループットを上げる ( 仮説検証戦略 → 開発要求 →開発→ テスト→リリース→ 効果検証）。
いずれにしろ、スケジュール不安はコントロールできるため、 ビジネス - 開発の不信を排除し、全員が「何をつくるのか」「それはマーケットに受け入れられるのか」に目を向けられるようにする。
4-3 要求の作り方とマーケット不安
何をつくるか 、という目的不確実性にどう対応するか。リリースポイントをまめにつくる / ユーザーストーリーをつくる など、価値が高くリスクも高いところから仮説検証し、少しずつマーケット不安を削減する。
4-4 スクラムと不安に向き合う振り返り
スクラムは不安に向き合うフレームワーク。WHAT / HOW / DAILY の不安を発見し仮説をたて検証していく。
不安を知りチームマスタリーを得る
不安はなくならないが、チームのゴール認識のレベルが高くなると、チームが自分たちで不安をみつけ、検証することができるようになる
5.技術組織の力学とアーキテクチャ
5-1 何が技術組織の"生産性"を下げるのか？
技術組織の”生産性" は情報処理能力 = 方法不確実性と通信不確実性への対処方法 で測る。 エンジニア組織の情報処理能力を向上させるには、権限の委譲と期待値調整、 適切な組織・コミュニケーション・外部リソース調達の設計、全体感のあるゴール設定と透明性の確保、技術的負債の見える化を実施する。
5-2 権限委譲とアカウンタビリティ
権限と責任は表裏一体/責任と権限の不一致は往々にして発生し、委譲具合は伝わっていない。権限委譲と責任を果たすことができる組織構造、不断のコミュニケーションによる期待値調整 が情報処理能力の高い組織を生む。
5-3 技術的負債の正体
技術的負債は「見えない」「マイナスの価値」。経営者にとっては「負債」=「返済すべき」ではない場合もある。見える化 = 理想システムの追加工数との差や将来要件の不確実性 などで、事業に与えうるインパクトを言語化し、情報の非対称性をなくす取り組みが必要。
5-4 取引コストと技術組織
取引コストは「探索のコスト」「交渉のコスト」「監督のコスト」に大別される。組織が大きくなると組織内外で限定合理性が高くなり、全体最適に向かわない。機能横断組織がひとつの解。
5-5 目標管理と透明性
チームのゴール認識を高め、限定合理性によらない目標を設定するために、目標管理の仕組みをデザインすることと情報の透明性を保つことが重要である。
5-6 組織設計とアーキテクチャ
ビジネスモデルにあわせて組織とアーキテクチャをデザインする。
エンジニアリングカンパニー
企業活動は、エンジニアリング。根本的な問題が「構造上の問題」であることに気づけば、対立は消える
続きを読む2020年を振り返る
年末に書きたかったけど、1/2 に書いてます。
仕事
CTOになりました。 仕事の振り返りはTECHSCORE ブログでしたので書ききれなかったことをここには書きます。
こまごまといろいろなことに取り組んだものの、大きく仕組みを整えるようなことができなかった。自信がないのと、軸がないのと、両方ですね。 シンプルに各所でインプットが足りないので、あきらめて、しっかり入力していきつつ、環境と習慣を変えていきたい。
結局ここができていないのですよね。
最初からうまくいくとは思わずに、数をこなす・時間とエネルギーをかけることによって、足りないところを見極めて、克服していきたい。
技術力をあげるために足りない知識ってなんなんだろうな。というか、去年と同じことを書いているということはスモールゴールを設定したり成長したりができていないのかもしれない。
- Python ： 家にある本をことごとく実装する
- Kaggle : 1回出す
- データ指向の本を読む
- Docker に慣れる
来年したいことが毎年変わらない。来年は本当に必要になるかもしれない。
- 記録する
- アウトプットする
- 美しく可視化する
ただ、技術的なことは統計・AI・ML （の小難しいこと）と英語に的をしぼろうと思う
家
家族にはしんどい一年だった。本当に。よくがんばっていると思う。 来年はもうすこし心穏やかにくらせますように。
遊び
結局技術的なインプットと（一人）旅が私の心から楽しいことだと再確認したので、来年は日帰り一人旅を増やして行こうかな。行きたいのは豊田美術館と松山、佐賀。
去年と変わらないなあ。今年は小笠原にちゃんといきたいなあ。
RecSys 2020 (12) 終わりの会とTutorial
Farewell
2021年はアムステルダムかー
いきたい
Conversational Recommender Systems (Tutorial)
導入
会話ベースでの推薦システムは増えている
最初の会話推薦システム。20年前。
この3年できている。２つの理由。 技術的に AI きてる + commercialy 使えるようになってきている
Problem Formalization
- SAUP : システムが質問し、回答によって、さらに質問するか、推薦をする。質問する方が楽そう
- SAUE : システムは質問もするが、おしゃべりもする。
- SAUA : ユーザも質問する。システムは回答しなければならない
先行研究はいっぱいあるよ
Datasets and Evaluation
結構あるよ。英語かな。
パラダイム1 SAUP レビューの最初のほうにでてくることは、会話の最初の方にきいたらいいんじゃないかな？
パラダイム2 ConvRec Dataset
RecSys 2020 (11) Day3, Novel Machine Learning Approaches II
最後のセッションですね。
番外編 : Expo: Netflix Research
Netflix の研究所があらゆることをやっているよ、という話。話している人、去年Spotify にいたようないなかったような。
Designing good exploration is an art
他、「metrics に設定したものしか改善しない」みたいな金言がいろいろきけたので、スライドが公開されたらもう一回みます。
Exploiting Performance Estimates for Augmenting Recommendation Ensembles
Abstract
Ensemble をどうするかが、職人技すぎるので、そうではなく、パフォーマンスを計測する方法を提案する。Best Long Paper の次点。
感想
使えそうな感じがするのだが、寝ぼけていたのか理解できなかった。
Cascading Hybrid Bandits: Online Learning to Rank for Relevance and Diversity
Abstract
topics のdiversification のために、topic coverage をたもって推薦アイテムのリストをつくることを考える。
提案手法。relevance と diversity のバランスをとる。
感想
どのあたりがcascadeなのか。これをみたらわかるのか。ML 用語なのだろう。勉強が足りない。
MultiRec: A Multi-Relational Approach for Unique Item Recommendation in Auction Systems
Abstract
Auction System は1点ものなので、過去の実績で推薦するCF は使えない。なので、ある情報すべてつかってどうにかする。
どうにか。
感想
オフラインテストでかなり良い結果がえられていた。
Contextual and Sequential User Embeddings for Large-Scale Music Recommendation
Abstract
Spotify。音楽の推薦では今日の今までで何聞いたかとか、どのデバイスで聞いているかとかのsession が大事。
なので、sessionを考慮したモデルを考える。
LSTM なつかしさ感じる。さて、評価。
感想
base line のOracle ってなんだろう。
ImRec: Learning Reciprocal Preferences Using Images ⭐️
Abstract
pairs の推薦をプロフィール画像を中心につくってみた。
検証したら、特にImRec はcold start （まだLIKE を一個もしていない、など）のときにいい感じになった。
感想
QA がめちゃくちゃもりあがった。「全身写真と顔写真と、どっちがもてるの？」とか。 あと、Siamese Networkを初めて知った。
RecSys 2020(10) Day3, Understanding and Modeling Preferences
Day3 も架橋。でも日本時間昼一はねむいです。
TAFA: Two-headed Attention Fused Autoencoder for Context-Aware Recommendations
Abstract
推薦システムでuser-itemのpreference と review を同時にモデリングする手法を提案。
左下のautoencoder でレビューを、右下のautoencoderでuser-itemの嗜好をエンコードし、early fusion / late fusion を実行した上で、decodeする。
実験した場合、reviewの情報が利くことがわかった。
感想
Attention(fusion でつかってる） は weight を可視化できるからreview のどこが推薦に効いているかがわかって面白い。
A Ranking Optimization Approach to Latent Linear Critiquing for Conversational Recommender Systems
Abstract
会話しながらニュース記事を推薦するシステム。ユーザは「スポーツのニュースある？」「もっとご機嫌なやつがいい」など批判(critique)的な応答を欲しい記事を手に入れるまで繰り返す。この批判とユーザのpreference をどう組み合わせるのか？
- Linearly Embedding Everything
- Critique based reranking
- LP Optimization
感想
去年もきいたなあ。英語が聞きやすいのとトピックが理解しやすいのでおぼえている。
Content-Collaborative Disentanglement Representation Learning for Enhanced Recommendation
Abstract
CF と Content Features、両方のよいところを推薦システムに取り組みたいが、課題はHigh Feature Correlation とFeature Duplication。
そこで、これらをdisentangled representation( = ときほぐす）で解決したい。
ちなみに disentangle とは 以下のようなことをいうらしい。
潜在空間中の各次元が観測データ中の因子や性状ごとに分かれているような状態を disentangled な表現
提案手法はこんな感じ。
モデルをvisualize すると、解きほぐされている様子がわかる？
感想
disentangled representation。またひとつかしこくなりました。ありがとうPFN。
“Who Doesn’t Like Dinosaurs?” Finding and Eliciting Richer Preferences for Recommendation
Abstract
推薦に使う情報はうすいクリックなどのフィードバックしかないが、絵を描いてもらったり文を描いてもらったりすることで、推薦に必要な嗜好を抽出することができるのではないか？調査の手法（TeLLY)を提案する
感想
昨日に続き、MSの人の発表、二回目。複数発表する人がおおいのだなあ。応募が少なかったのだろうか。
Neural Collaborative Filtering vs. Matrix Factorization Revisited
Abstract
Googleの発表。類似度をMLP などNeural で計算するのはやっているが、本当にDot Product ではだめなのか？
実験結果をみると、Dot Product でもちゃんとチューニングするといい感じになる。さらにdot product は MLP で学習するのがむずかしい。dot product ありだよ。
感想
それはなにより。ただタスクによるような気もする。
[Industrial Talks ] Query as Context for Item-to-Item Recommendation
Etsy というオークションサイトの発表。
似たもの、というだけではなく、「ハロウィンの時期に検索された赤い帽子ならハロウィンにふさわしいやつを推薦したい」
時期などを考慮した推薦をする仕組みを構築
システムの評価にいろいろな指標をつくった。オフラインテスト・オンラインテストそれぞれにmetrics がある。
A/B テストの指標には $ マークがw
