プログラム
https://recsys.acm.org/recsys24/program/
Day2
Session 6: Multi-Task Learning
Touch the Core: Exploring Task Dependence Among Hybrid Targets for Recommendation
Web上の行動が複雑化する中、ひとつのConversion を増やすために、そこに至るアクションなどを収集し分析していては、直接関与しない重要な行動・嗜好を見逃す。そこで、Multi-task Learning の一種であるHTLnet を紹介。それぞれのタスクにラベルを導入することでタスクの関連性も同時に学習。検証したら良い結果。
Bridging Search and Recommendation in Generative Retrieval: Does One Task Help the Other?
検索や推薦において LLMがブレークスルーになったが、マルチタスクモデルを統一して検索し推薦する場合にもLLMがパフォーマンスを上げるのか、検証した。LLM は アイテムの検索においては潜在情報の獲得に利用されるが 人気度バイアスが発生するが、CFで改善することがわかっている。これを応用し、LLM と CF を同時に学習することにより人気度とアイテムの潜在表現が正規化されるか確認した。実験によるといい感じ。
(... unified は Search と Recommend なのかな... 英語読めてないかも）
Utilizing Non-click Samples via Semi-supervised Learning for Conversion Rate Prediction
CVR 予測モデルのデータスパース問題を解決するために、CTRも同時に予測するマルチタスクモデルを構築する手法がある。改善はあるが、クリックされていないものをネガティブサンプルとして扱う。これを解消する Non-click samples Improved Semi-supErvised 手法を紹介。クリックされた場合のCVR を予測し仮のラベルをつける方法。他のMulti Task 問題にも応用可能。検証したら良い感じ。ソースもある。https://github.com/Hjh233/NISE
Ranking-Aware Unbiased Post-Click Conversion Rate Estimation via AUC Optimization on Entire Exposure Space
CVR予測では、データのスパース性とセレクションバイアスが課題になる。従来はさまざまなデータをすべて学習しつつ、バイアスの問題は独立して検討していた。この論文では Entire-space Weighted AUC フレームワークを利用することによって、バイアスをハンドリングしながらクリック情報を学習する方法を提案する。
(Selection Bias の問題か）
Session 7: Cold Start
コールドスタート問題の肝は、アイテムの特徴をどれだけ抽出できるか。いままでは商品情報といえども写真やテキストしかなかったが、ショート動画そのものがアイテムになったので、「コールドスタート」とは異質な問題になった気がする。今後このような商品群に関しては、とった動画なんかで推薦とかが決まるようになるのだろうか（服など）
Scene-wise Adaptive Network for Dynamic Cold-start Scenes Optimization in CTR Prediction
Location-based のオンラインサービスでの推薦も増えてきている。シーンに応じた推薦は、状況が多様なためコールドスタート問題を引き起こしやすい。この問題を解決するために、Scene-wise Adaptive Network (SwAN ) を提案する。これは、シーンの類似度を学習したり、今シーンのどの状況にいるのか認識したりする機能をもつ。実際の状況に適用し、改善がみられた
A multimodal single-branch embedding network for recommendation in cold-start and missing modality scenarios
コールドスタート問題にはユーザーやアイテムの埋め込み表現を使うのが定石。これをマルチモーダルなものに適用した Single-Branch embedding network for Recommendation を提案する。マルチモーダルの情報を一つのブランチに埋め込むことによりコールドスタートに対応。この手法は違うモーダルを共通の空間に埋め込むことができる。
A Multi-modal Modeling Framework for Cold-start Short-video Recommendation
ショート動画はユーザーがどんどん投稿するからコールドスタート問題が発生しやすい。この場合、アイテムのstatic な特徴を用いるのがいままでの方法で、マルチモーダルなアイテムからカテゴリを抽出し、ユーザーとアイテムをカテゴリでマッチングするフレームワークが今回の提案手法。
MARec: Metadata Alignment for cold-start Recommendation
コンテンツのメタデータによりコールドスタート問題を解決する方法を提案。コールドスタート時でもワームアップ後でもよい結果。
Prompt Tuning for Item Cold-start Recommendation
アイテムの情報だけでなく、ポジティブフィードバックをプロンプトに取り入れることにより、コールドスタート時の推薦を改善する。
Session 8: Sequential Recommendation 1
CALRec: Contrastive Alignment of Generative LLMs For Sequential Recommendation (Google)
Matrix Factorization から RNN や Transoformer になって、今は LLM を事前学習したモデルとして扱うようになった。この論文では、LLM を二段階でfine-tuning して 連続推薦モデルをつくる方法（CALRec) を提案。まずいろんなドメインのデータでfine-tuning したあと、ターゲットドメインでファインチューニングする。検証したらいい感じ。
A Pre-trained Zero-shot Sequential Recommendation Framework via Popularity Dynamics
商品情報を推薦に使うのは一般的だが、クロスドメインの連続推薦に適用するのはチャレンジング。ただ、ユーザーのインタラクションの変遷はユーザの嗜好を明らかにする、というインサイトを根拠に、PrepRec というTransformer 構造の推薦モデルを提案する。これはzero-shot で適用しても良いパフォーマンスを得ることができた。
Scaling Law of Large Sequential Recommendation Models
巨大な連続推薦モデルにもスケールの法則が適用されるのか？item id のみ（アイテムのテキストなどを利用しない）の推薦モデルは法則が適用されること、他の特徴もスケールすることによりパフォーマンスが向上することを確認した。
ReChorus2.0: A Modular and Task-Flexible Recommendation Library
推薦システム開発用の柔軟なライブラリを提供。入力フォーマット、モデル、学習と評価戦略を柔軟に選択できるようになった。主な追加機能は 1) リランクや CTR 予測など複雑で実践的なタスク、2) いろいろな 推薦システム 3) 同じモデルで違うタスクをできるようにするための拡張、4) 入力のカスタマイズ性の強化。https://github.com/THUwangcy/ReChorus
Dynamic Stage-aware User Interest Learning for Heterogeneous Sequential Recommendation
連続推薦ではユーザーの一連の行動から次のアイテムを推薦するが、ユーザー行動は1) ステージにより変わる (購買したら別のステージになる） 2) 混線している という特徴がある。提案手法（DSUIL ) は 1) 動的にユーザー行動のグラフをサブグラフに分割する 2) サブグラフの特徴を読み取る 3) 振る舞いの依存をまなんでユーザの関心を抽出 4) 「今」の関心のパターンを見つける 。この推薦手法は検証したらいい感じ。
Session 9: Sequential Recommendation 2
Scalable Cross-Entropy Loss for Sequential Recommendations with Large Item Catalogs
SCE は効果的だが、アイテムが多いと高コスト。新しく効率的で精度も落ちないLoss Function を提案。
Transformers Meet ACT-R: Repeat-Aware and Sequential Listening Session Recommendation
音楽をきく場合は、同じ曲を何回も聴くことがある。それはいいときも悪いときもあるが、重要な特徴。そういう音楽特有の行動を推薦に反映させ良い感じで「同じ曲も」推薦させる手法がPISA。
Repeated Padding for Sequential Recommendation
Sequential 推薦ではアクションの長さをそろえるために 0でパディングすることがよくあるが、本当に 0 でよいのか？精度を高めるパディング方法ってないのか？提案手法（RepPad) では長さがMAXになるまでパディングを繰り返す。これはパラメータなしの拡張操作。実験ではよい精度。さらになぜRepPad が効果的なのか、いろいろな観点で分析した。
https://github.com/KingGugu/RepPad
Distillation Matters: Empowering Sequential Recommenders to Match the Performance of Large Language Models
LLM は便利だが推論に時間がかかるので、軽量なSequential 推薦のために、LLM 推薦モデルから知識の上流を試みているが、課題がいくつかある。この論文では、DLLM2Recを提案。1) 重要性にもとづいた蒸留、2) 協調の情報を埋め込み という工夫をしている。実験したら良い結果。
Short-form Video Needs Long-term Interests: An Industrial Solution for Serving Large User Sequence Models (Google)
ショート動画は獲得できる視聴履歴が長くなりがちなので推薦のためのコンテキストデータには困らない反面、データ量が多く提供し続けるのにコストがかかる問題がある。提案手法は、これを解決するモデルで、オフラインの学習と定期的な更新、モデルに依存しない構造のSequential 推薦手法である。検証したら、コスト微増でもとの推薦の精度を向上させた。
Keynote : A Collectivist Vision of AI: Collaborative Learning, Statistical Incentives, and Social Welfare
AI は「知性は単体の自律エージェントに内在する」というパラダイムにフォーカスしている。このパラダイムにおいては、社会課題は完全に副次的なものである。ただAI システムが社会のコンテキストに展開されている現状、このようなシステムの包括的なデザインは ものごとを単純に捉え過ぎている 。中央集権的なエンティティがエージェントを派遣するサービスを提供し、報酬を得る... といった状況であう。このようなパラダイムはITの支配的なパラダイムではない。もっと広くとらえると、エージェントはアクティブで、協調して動作し、学習ベースのシステムへの参加により価値を得ることを望んでいる。エージェントは 、関心があるときのみ、データやその他のリソースをシステムに供給する。批判的にみると、知性は個別のエージェントというより人やコンピュータを含むシステム全体に内在しているのではないか？社会科学的に馴染みのあるこのような視点により、私のキーテーマは経済にコンピューティングとデータサイエンスの基礎的な問いとの接点を持たせることである。この3者間のインターフェースにあるデザインチャレンジを紹介する。
Session 10: Graph Learning
A Unified Graph Transformer for Overcoming Isolations in Multi-modal Recommendation
マルチモーダルでは、特徴量抽出とモダリティのエンコーディングを独立して処理。なぜなら、マルチモーダルに重要な情報を見過ごしてしまう点、アイテムのモーダリティと完全に別の表現になってしまうから。ここで UGT を提案。GNN を構築し、マルチモーダルな ユーザ / アイテム表現を合成。検証したら、いい感じ。
Information-Controllable Graph Contrastive Learning for Recommendation
GCL はコールドスタート時の特徴量拡張に有効な手法だが、頼りすぎるとアイテム間の差分を打ち消してしまうことがある。そこで、ICGCL を提案する。これは共有する情報の最適化を行うことにより、より推薦に影響のある情報を強調する手法。実験してみたらいい感じ。
MMGCL: Meta Knowledge-Enhanced Multi-view Graph Contrastive Learning for Recommendations
Multi-view のGraph Learning は ノイズとデータのスパース性の課題がある。そこで MMGCL を提案。noise は 全部学習したあと修正することにより除去し、また意味のあるエッジを追加することによりスパースなデータに対抗する。実験をしたらいい感じ。
A Novel Evaluation Perspective on GNNs-based Recommender Systems through the Topology of the User-Item Graph
再現性の論文。GNN ベースの推薦において、グラフトポロジーがどれくらいインパクトがあるのか、比較評価する。検証の結果、グラフトポロジーと性能には強い相関があった
Country-diverted experiments for mitigation of network effects ( Google )
(Abstract なし）
Session 11: Optimisation and Evaluation 1
（みれないからあとまわし）
End-to-End Cost-Effective Incentive Recommendation under Budget Constraint with Uplift Modeling
Reproducibility and Analysis of Scientific Dataset Recommendation Methods
再現性
From Clicks to Carbon: The Environmental Toll of Recommender Systems
再現性
Why the Shooting in the Dark Method Dominates Recommender Systems Practice (Criteo)
Powerful A/B-Testing Metrics and Where to Find Them (ShareChat)
Bootstrapping Conditional Retrieval for User-to-Item Recommendations(Pinterest)
Self-Auxiliary Distillation for Sample Efficient Learning in Google-Scale Recommenders( Google )
Optimizing for Participation in Recommender System (Google)
(Abstract なし）
