2019/11/12 - 13 ProductManager Conference

今年はインプット多かったがアウトプットしないといけない

Day1

ORDINARY PEOPLE, EXTRAORDINARY RESULTS

Silicon Valley Product GroupPartner and Founder / Inspired著者 Marty Cagan

Product Discovery  
 discover valuable , usable, feasible and viable ... つまり お金儲かるやつ
　買ってくれるもの = valuable 、市場に届けられるもの、売れるもの = viable
 これを 定性・定量で何回も検証する
　このことについて300P の本を書いた
　けど、ほとんどの会社がこの通りにできない

Teams 
  In most organizations, tech teams exist "to serve the business"
  強いプロダクトをもつ企業は 顧客に貢献する。 in ways that meet the needs  of the business

Empowered Teams 
 本とかいっぱいあるけど、ほとんどの会社がチームをenpower しない。なぜ？ 
   → チームをTrust してないから(エンジニアにビジネスわからないし、任せられない）
  信頼してないから兵隊みたいにあつかう。でも強いチームはMissionary 
  ほとんどのProduct Manager は Product Manager の仕事をしていない
  どうしたら、真のProduct Manager に？ Project Manager ではなく ?
Amazon, Apple, Google-  What Do These Companies Have In Common ?
  ビジネスや文化、だいぶ違う、プロダクトも
  共通点: Coach Bill Campbell と仕事している。
　  "Leadership is about recognizing that there's a greatness in everyone, and your job is to create an environment where that greatness can emerge."

The Role Of Leadership
   リーダーシップ vs マネージメント
　　リーダ： inspire people to greater accomplishments / manager : motivate
1. Product Vision 
   Great Product はPeople からじゃなく、チームから生まれる →だからVision がとてもだいじ
2. Product Strategy
   プランが必要、だから Strategy
3. Product Principles
4. Product Priorities 
5. Product Evangelism 
(Product Manager に期待しすぎだろ... そんなスーパーマンいないよ...

The Role Of Management
 It doesnt make sense to hire smart people and then tell them what to do; we hire smart people so they can tell us what to do
 1. Staffing 
 2. Coaching
 3. Objectives
 4. （メモれなかった）
 
The Basis for Trust
 Competence : Trust is a funciton of two things : competence and character
 Character : No Assholes Rule (All blacks )

The True Test of Empowered Teams
1. The team is staffed with competent people with character,
2. チームはproblem にアサインされている
3. チームはaccountable for solving

Special Session

TransferWiseHead of Product : Kaarel Kuddu

Transferwise のPM のはなし
海外送金を簡単にできるサービス: (デーンマークに送金しなきゃいけなくて使いかけたけど結局VISA つくった
企業とサービスの紹介

How did we grow this big?
  Optimize for speed, customer focus

Autonomous teams  : 自治的なチーム( 写真 ) 
  * 素早く、動き続けるためのベストな方法
  * チーム内で、顧客に近いところで決断する
  * 承認のための委員会や会議は存在しない
  * 我々は、チームが正しい決断をすること あるいは 誤った決断から **学べる** ことを **信じている** 

Will that cause chaos? 
  複数のチームがばらばらの方向にいっていないか、どうやってみるの？
  → プロダクトが大事にしていることを掲げている ( Price / Speed / Convenience / Coverage ) : わかりやすい言葉で ex: Price = Fair , transparent and eventually free.

Autonomy = responsibility
  自由に決めていいってことだけではなく、「責任」
  Freedom to make decisions : けど customer insights , data で裏打ちされたものを！
  But also owning the outcomes ( 間違うのは全然OK!でも同じ間違いを繰り返すなよ）

How do we do this? → 写真2
 * 会社を経営できるプロダクトマネージャー雇う
 * その人がオンボーディングをサポートする
 （人のオンボーディング大事かもしれない
 * 行動して決断する裁量を与える
 * 成果に責任をもたせる
 
四半期ごとにPlanning session がある 、全てのチームが3ヶ月のpLan を全社い発表して実行する
We are hiring!

LINEにおけるお金とユーザーのジレンマ

LINE株式会社 二木 祥平

LINE ビジネスプロダクトのPMの話
Product Manager ってなんなんだろう
Product Manager は多様な人格を要求される（ビジョナリスト、プロジェクトマネージャー、テクノロジスト、UXデザイナー、スペックライター、グロースハッカー、ビジネスアナリスト)
フェーズによって人格の配分が変わる

LINE のPM とは　
 Mission = 成功に導く
 やること を決める

LINE で活躍するPMの特徴1
  フェーズに応じて必要なスキルを理解して、足りないところを把握、足りないところを補完して、協力を誘発する
  信頼ポイント を得ること 
特徴2 
　そととうちへの妄想力 : 売れそう + このひとこのひとと相性よさそう
　PM は一歩先、開発で開発だけ考えてちゃだめ、その先のQAとか
特徴3
 「早く画面をみせろ！」
 Detail までつめきる力が重視される会社。ユーザー目線で徹底的にさわってみる

PMってジレンマ多くない？
 お金 vs ユーザ
 PMはジレンマ回収役
 ステークホルダー大杉 いろんな人と話す
 PM機能していないと、、諦める / 短絡的選択 / 合議的結論 →誰のためのプロダクト？？
 PMの価値　= 何を作るかを[決める] そして、決めたものを市場に[届ける]
 複合的な情報をもっているのはPMだけ、持っていないなら集める必要があるし、決定する責任がある
 まずは一歩踏み出す、二律背反なのか？ → ステークホルダーの意図をうのみせずにhow を2回くりかえせば結局行き着く目的は同じ
 対立関係から共闘関係へ 
   ジレンマを解消するプロダクトビジョンを掲げる
   メッセージのリッチ化 / コミュニケーションの無償化、高度化 (ユーザへの返信は無料）/ Smart Channel
 ジレンマ敗北度（仕様をかくだけのひとになってないか、判断を誰かに任せてないか、他人のせいにしてないか、feature チームになっていないか）

Enjoy you dillenma! Dillenma makes your product stronger!!

PMにおけるストーリーテリング

freee株式会社 岡田 悠

free の人 
寿司屋のクーポン3年間記録して分析した記事書いた人 > 知ってる!
 https://note.mu/hyosasa/n/n29ef958991e0 

PMのストーリーテリング
なぜ重要か
 free は small buisiness 用 / 99%が中小企業、担当者いない、fax がいまだに活躍
 2014 マーケ担当で入社 最初はクラウド給与計算めずらしくて売れた　
 クラウドが当たり前 ,機能足りない
 要望リストを解消して機能超追加した　→　バックログの縮小均衡 写真
 → プロダクトビジョン をかかげた
 → 凪 : 理由 = ビジョンが機能せず、特になにもかわらなかった

ストーリーテリング！
　ストーリー : 動的な筋の展開、因果関係、主観性（切り口）
　ストーリは「話したくなる」  / ストーリーは「記憶に残る」 
  = 静的なビジョンを、動的なストーリーに深掘りすること

ビジョンをストーリーで話したら
1. ビジョンが周りに伝搬し、ムーブメント化した
2. バックログに意味が宿り、意思決定しやすくなった

どうするの？ 
 主人公→問題→解決
 主人公：誰の物語か？　自分の物語として語るのが最強。ドッグフーディング極めて重要
 問題：「あるある」共感をよぶ or 「そうなんだ」意外に思える内容
 解決：解決された世界は何が待っているのか？というオチ。　主人公は必ず変化をしている

ストーリーはどう語る？　
 手段を問わず、叫び続ける
 ストーリーがバズればOK の精神

ストーリーを計測し続ける 
　ビジネスOKRと分けたプロダクトOKRをおく
　目標にはストーリーのおちをおいて、それを計測する

最も大切なのは、自分が夢中になれる物語を描くこと pixar

テクニカルアドバイザー 及川卓也 × エン・ジャパン 公開トーク- PMの必須スキルと、自走する組織の裏側 -

エンジャパンの人と及川たくやさんセッション

Q. エンジャパンどうだった？
A. 内製化をめざして開発部隊立ち上げとしてはいった。PMいるとおもわなかった
なにをする人かわからなかったので、PM SkillChart HEX をつくった → 及川「すばらしい」
プロダクトマネジメントトライアングルが難しかった
→ 自分たちの組織に必要なものを作って使った
及川さん：僕にも難しく、使いづらい。使っている企業は知らない。

Q.スキルチャートどうつくった？
原型はつくったんだけど、運用するためにリーダーを巻き込んだ。
うえから一方的にいってもだめ、自分たちがつくったと思えるように協力してつくったのがポイント
広める能力 + 創る能力 : PM は広める能力も身につけていこう
（細かいリストもあってよくできている
リストアップで何を参考にしたのか　→ プロジェクトマネージメントなどは、いろいろな情報を集めて
余談：SQL からやってみよう！すぐ結果返ってくるから。

QA. 人事評価には使ってない。組織がそこまで成長してないから。(週次の）1on1のキャリア相談に使うっていうのはおすすめ

QA2. PMがプロダクトに責任があるっていうのは、自分でやらなくても、人にお願いして、ユーザーに真摯な人。売り上げなどに関しては営業さんとかにお願いしてもいい。人を動かす力が重要

https://note.mu/diskdusk/n/nfbefe8d9e762

企業が求めるプロダクトマネージャーとその人材戦略

企業が求めるプロダクトマネージャとその人材戦略（パネルディスカッション）
どんなPMを採用したらいいか？育成したらいいか？
NewPicks 杉浦さん / グッドパッチ（デザイン会社）　土屋さん / クライス＆カンパニー（人材紹介） 丸山さん

PM人材の需要
 N: mini CEO を求めているが、なんでもできるスーパーマンは存在しないので、
    何かひとつ強みがあり、プロダクトにコミットしてほしい。PMは10人くらい。
 G: デザイン会社なのでほとんどPJM. ただ、PDMのマインドを持ちていないとできないが、
      PDMはクライアントにいるので、右腕になる人
 需要と供給がマッチしていない? →　なりたいひとがこれだけいるのでだいぶ進歩
 
会社がPDM増やしたければどうしたらいい？
　G 失敗：外部から直接、雇用。うまくチームをまとめることができなかった。
                   WHATをリーダーシップをもって提示できなかった
        成功：新卒からむちゃぶりでお願いしてきた子の方がいいチームがつくれた。
　　       会社の文化をどれくらい理解しているか + 創業者と経営者との信頼関係、信頼貯金
   N ミッションに共感できるPDMを採用できるかどうかがキモ / プロダクト愛が必要 / 
     ひとり採用できたらリファラル->ブランドができてひろがった
 採用したい企業は増えているが、人はいない
 求人はPDM で100以上ある

PDMを採用したい企業の特徴 = 大企業はあんまりわかっていない
及川さん：PDMの認知が確実にあがった、ただ人事の認知はまだ変わらない

PDMのオンボーディング / 社内の別の部署からきた人をうまくPDMとして動けるように工夫したところ
 企業側わかってない。まるっとぶんなげてもうまくいかない。それぞれに強みがある。
 どういった課題を解決してほしいか明確にする。最初は責任範囲を絞るのがいい。
 信用、信頼残高 外様がいきなりつくれるわけじゃない。お膳立てが必要。
 半年から一年並走することになる
 創業者は自分のミラーコピーをつくりたい、価値観が近い人を採用して育てるのがいい。

オンボーディング
 継続して1on1 /  VISION だと抽象的すぎるので、それを実現するための段階の5W1Hのすり合わせ
 短期的にでもしてほしいこと、要望を企業側から伝える / 3週間フォローする 入社初日のランチとか / 入社した人は3ヶ月でなにか出す

Day2

今からはじめるデザインスプリント

平野レミ！

今からはじめるデザインスプリント
Agenda
1. デザインスプリントとは？
2. デザインスプリントの基本的な流れ
3. Google流のデザインスプリント
4. 落とし穴

1. デザインスプリントとは？
デザインスプリント = プロダクト開発、課題改善のためのデザイン手法
デザイン思考：観察・共感、問題定義、アイデア創出、プロトタイプ、検証 .. 実践すると難しいし、観察に3ヶ月かかる
デザインダイヤモンド
どのタイミングでやるといいか
　プロダクトの要件整理の時、キックスタート、リソースをアサインする前にプロダクトの機能要件の必要性の検証、新プロセスの導入、プロダクトの予測

2. デザインスプリントの基本的な流れ
平野レミ　＝　いい加減なようでいて時間内に結果が出ている料理
限られた時間内で状況を理解しつつ結果をだす
５ステップ：map sketch decide prototype test  5日ていわれるけど、2,3日で終わらせる
地図:
 現状の問題点、実際のユーザー、で課題を洗い出す、専門家に聞く、必ず全員が（自分で）メモを取る
 地図を創る（状況の図解、視覚化）
 ターゲットの選定
スケッチ（アイデアを整理する）
 ブレストとディスカッションは「全くもって時間の無駄」
 まずは個人で考える、個人でアイデアをスケッチする
 段階的にアイデアをしぼってく なんどもやる 抽象度をあげたままかく 発散と収束を繰り返す
決定
　個人の主観でアイデアを即決する　プレゼン・説明しない。
　アイデアの決定方法＝サイレント投票、もつ票数に傾斜はつけるが、多数決
プロトタイプ
 リアリティからこそ顧客や使うひとの考えを学べる
　ユーザーが体験できる形で、検証したいアイデアを形にする ... 1日かけて
　ただ実際プロトタイピングすることはまれ。スケッチまでして解散して
テスト
　ユーザインタビューは5人で十分
　ユーザーテスト、各自がメモする。課題や問題点が各人の中でも明確になるので、次のアクションが自然とわかりやすい
 ユーザーテストはアジャイルに　
同じ課題に対してリテレーションはしない！あともどりしないぞ、っていう崖っぷち感が重要

3. Google流のデザインスプリント
Google は6つのフェーズ 理解、定義、スケッチ、決定、プロトタイプ、検証 発散と収束を3回繰り返す（理解-発散、定義-収束）
https://designsprintkit.withgoogle.com/introduction/overview
ステップがめちゃくちゃ多いのにひとつひとつの時間が超短い 3分とか5分とか
「アイデアだせ！2分で絵にしろ」 ラフにしか書けない

4. 落とし穴
ポストイットが足りない
アイデア出しに使ったポストイットは資産ではない っていうけど、ほぼ二度と見ないので捨てましょう。覚えてないアイデアは忘れていい
スプリントマスターがいてもアイデアでない
アジェンダ通りすすむとおもうなよ　でも臨機応変に組み替えて時間通りにやるんだ！
フレームワーク軽視 も依存症もよくない
日本企業独特の文化 : フレームワークは欧米文化の思考（ディベート、独立性と協調性、ロールプレイ)で考えられているので、そのまま導入するとうまくいかない
(VP が出れない、権限がないので持ち帰る、会議の連続で連日開催が無理）

太平洋をまたいで手をつなごう：日本におけるグローバルプロダクト開発

Brad Ellis 株式会社メルカリ

Brad めっちゃきれいな日本語ww
前提 全世界に向けてプロダクトを作りたい/グローバルの協力なしではいけない/日本の話をする
Agenda
1. You are not the user
2. Diverse teams are powerful
3. Learning from Japan

1. You are not the user
アメリカの中でもいろんな人がいる、違いがある
日本にきて驚いたこと：ブックカバーつけるのなぜか　自分が読んでいる本を他の人に知られるのが恥ずかしい 
アメリカならGoogle の人はGoogle のTシャツきて、おれGoogle だぞーっていうけど、日本はいない
FedEx : 経費削減のために一番安くて遅いやつを使ってたんだけど、速いってイメージがあるので勘違いする人多発　→　FedExといわず、Economyっていう
現地に行く、ユーザインタビューする

2. Diverse teams are powerful
主張できる文化 僕自身も控えめな性格なので会議で手をあげる習慣をつけた
田舎パワー 日本　東京
Tips and tricks : 議事録をシェアする / 期待を明確にする / よい意味の「根回し」 → Internal PR
　アメリカでは埋もれるので、おぼえてもらうためにいつも同じヒゲ、同じメガネ、同じ髪型でブランディング

3. Learning from Japan
日本は未来に存在している
日本の高齢化、ユニバーサルデザイン
日本の課題を解決し、生まれた製品を、海外に展開していってほしい！

　Brad のB面

Brad / ハサン / メルカリの人
Q. PM の重要なマインドセット
B Google の研修 : 他の視点に絶対に立てないと理解して尊重する 違いがいっぱいある
H 日本をみたことないひとに「このproduct が必要」を説明するのはむずかしい。
　来てもらってコンビニ弁当や吉野家に言ってもらったりしないとわからない
　インドにいって、家にとめてもらう.データ解析は大事だけど、裏付けがある体験ももっと重要

Q. 大きな失敗と学び
H: ある企業の検索をつくるシステム。
検索結果課金だったのにログとってなくて、1日で億をうしなった。
失敗はドキュメントにしてシェア、議論する。
学びはひとつの検証にfeature を詰め込みすぎるのだめ
B: iGoogle のYouTubeガジェット、
日本語に翻訳したくて、USに頼んでたけど忙しくてやってくれないから、
自分でjavascript なおしたら、バグって全世界のiGoogle のYouTube ガジェットが動かなくなった。
レッスン=PMはコードを書くな。自分の時間を何に使うかは大事。
問題を理解すること、どう解決するか決める

Q:主張できる文化を日本企業で醸成するには？
心理的安全性 はある。
B. 今は人前にたっているので、プレゼンモードのBrad. あとはあらかじめ意見を書いてだす。
H. 話ても大丈夫、だけでなく、話さないと損するようにする、というのもある。
あとは、enpower する（やってくれ、じゃなくて、この問題をといてくれ、といって大きな責任を渡す）

Q. グローバルで　ビジョンの浸透や品質レベルの統一
B レビュー早くする、フィードバック早くする、ドッグフーディング ..フィードバックループを早くすれば自然と解決する。
H. 測れれば改善できる

Q. 失敗を恐すぎる日本人にアドバイスを
B 素直に謝る！ 自分ほど周りは気にしていない
H 人生短いので。やらずに大きな失敗をしないように

Q. 経営陣との信頼関係を築くには
 B Overcommunicate.細かくFBをもらうために、こまかく報告する

Q. リモートですすめる上で
B 復唱してもらう。小さなTips だけどすごいよく効く

KARTE

KARTE の会社の話

Day1 振り返り
  PMの役割、求められるスキルについて知りたい / よさげなフレームはありそう
  けれども.. 事業特性やステージによって多様、抽象高めなはなしにするとはまらなくなる　
  → 様々なケース（n=1) を知るのがいいのではないか？

KARTEの紹介
 スタートアップ、プロダクトアウト. BtoB の会社 
 棚橋さん、KARTE fo APP の立ち上げ
 KARTE のMISSION : データによって人の価値を最大化する
 KEY CONTEXTS :Humanization / 発想のクラウド化 / インターネットの構造的欠陥 / Action Graph
 KARTE CX platform
 GCP のヘビーユーザ SaaS パートナー

Case 1. Visual Tracking 
イベントに名前をつけて保存できる機能 
  今まで「ボタンを押したらなんか反応したい」の場合、
  開発にボタン押した時のログを教えてもらい、それをレポートで捕捉するような開発をして、、
  ださい。
　iPhoneになにか入れるとKARTEとiPhone が同期。アプリを操作するとそのイベントがKARTE管理画面にでてくるので対象のイベントに名前（like する,)をつけて保存できるようになる
  (すごかった..

どのように生まれたか 
　CPO のポエム。Poem Driven Development .
　技術を深く理解している、エンジニアの発想
　ミッションから、プロダクトアウトで生まれた機能

Case2. Retention Report
ユーザのリテンション率の差異をさまざまな切り口でみれる機能

どのようにうまれたか
　アプリでは継続率をKPIとしているケースは多い
　自分で分析するのは難しい
　要件整理 -> PRD -> プロドタイプ　... 
  マーケットインっぽくうまれた

プロダクトアウト or マーケットイン？ どっちがいいということではない

プロダクトアウトであり続けるために大事なことは？
　ミッションや思想レベルの目線を合わせる
　壊すことを恐ない
　失敗から学習する

プロダクトアウトが強いとプロダクトとビジネスとの間が広がるのでは？
　プロダクトアウトで生まれたものをビジネスとして価値化する（プロダクトとビジネスが紐づく部分をみつける） - PDM
  顧客課題をとらえ、本質的な解をみつけ、プロダクトに

BtoB と BtoC の違い
 BtoB = プロダクトとコンテンツと「ビジネスオペレーション」
    まーけ　せーるす　オンボーディング　カサス  - プロダクト
 掛け合わせて提供価値を最大化する　時間軸と順序を考え、提供価値を最大化する
 どのフェースで何に注力するか、そこまでひろげて考えられると
  1. プロダクト開発 / 2.Sales / 3. CS リクルーティング チームビルディング / 4. プロダクト開発 CSの

仕組みづくりとチームビルディング

Q. これってPDMの役割 A.わからない！

プロダクトマネージャーが知っておくべき、「OKR」を通じたこれからのチームマネジメント

ヒョードル

好奇心をもちましょう 
集中しましょう
私たちの仕事は「学習」
モルガンスタンレー と　グーグルにいた
OKR = みんなの意見が必要なのでボトムアップで決めましょう
3事業の連携により未来創造を促進
 pronoia/group , Motify , TimeLeap
本もだしてるよ
airbnb Hyatt の時価総額超えた
あたらしいビジネスの考え方、10億ドル規模に育つスタートアップ
 一見愚かなアイデア、まずマネタイズしない、新しい行動パターンをつくる、競争が激しい飽和市場に参入、経験がない創立者

0 → 1 はトップダウンのKPIでは生まれない / 新しいもの
Learn (新しいやり方をすばやく学習） x Unlearn
1. 経営する企業の形 old: ものづくり new : 仕組みづくり
2. 性質 old 強欲 new 利他
3. 仕事のありがた closed 自前主義 -> open 
4. KPI → okr
5. 社畜優遇（長時間労働優遇）、ピラミッドがた　→ employee experience
6. 計画主義 → 学習主義（走りながら考える） 5年後のプラン、もとめられるけど、そんなの嘘でしょ？？
7. playing manager → portfolio manager
8. 鵜飼 →　羊飼い

okrってなんでしょう
　Objective  Key Results
  目標設定は変えてもいい　ただ、なんで変える？どこまで変える？は1on1しないといけない
  ボトム発想だから、個人的な夢を目標にできる でも会社に繋げる
  OKRは公開！　　
　Oは定性的、KRは定量的な目標を設定する　
  OKR を人事考課につなげるかどうかは場合による
  会社 - OKR - 自己実現
  OKRはマネージメントツール

OKR 失敗談あるある
 導入の目的が曖昧、理解されていない/経営層の中で足並みがそろっていない/この上司と1:1するのはいや/マネージャーが組織OKRを理解できない/ 評価されないならやらない

良いOKR
 1. 戦略目標と具体的目標
 2. 野望
 3. 全員実践
 4. OKR は 評価ではない
 5. 情熱的な目標
 
どう運用する？
良いマネージャーじゃないといけない + チームの成功の鍵（心理的安全性）

自己認識 自己開示 自己表現 自己実現

イノベーションの文化
失敗への許容　学習への厳しさ
実験への意欲　厳しい規律
心理的安全性　残酷なフィードバック 

OKR とは

WingArc 1st

WingArc 1st
会社 : 帳票ビジネス / BIビジネス ： motion board の会社
シェアをとれるプロダクトを、開発の立場でどう実現するのか？

基本的にはプロダクトオーナー(兼プロダクトマネージャー）の仕事
 戦略・マーケティング / 開発 / 足で稼ぐ系（現場） / その他もろもろ
 = 顧客・社員が面白い！ワクワクする！と感じる  これを判断軸にする、そうすると成長する

人は理屈ではなく感情で動く。スキルは補えるが感性や熱量はごまかしがきかない
ユニーク戦略をとっている
ユニークの考え方は重要　自社のユニーク性を認識して、それを活かす。積み上げる。
強みにフォーカスしてのばす
ユニークは機能つくるだけじゃだめ。顧客にユニークだと認識させてはじめてユニークな製品 だから魅せ方重要
魅せ方をかえる
　リアルタイムデータの可視化の実現 それをどう魅せるか
　デモ1:消費電力量の可視化 (自宅のUPS、リモートでブレーカー落としてみて様子をみる、体をはったデモ）
　デモ２：一瞬
　デモ３：リアルタイムよめさん
プロダクトのブランディングが一気に進んだ
　利活用で、お客様が前向きなイメージをモテる / ウィングアーク面白い！
プロダクトマネージャーは大変ですが、ワクワクすることをやる！魅せる！を意識して楽しんでしまうのは成功の近道

2019/11/09 Agile Tour Osaka 2019 x miniPLoP

2019.11.09 Agile Tour Osaka 2019 × miniPLoP

https://www.kokuchpro.com/event/2588deb7811111547e835490dc66b1fd/

もう少しまとまった記事はこちらに書きました。ここは私のメモなのでメモを

www.techscore.com

オープニング

• 遅刻
• 道に迷った

ソフトウェアシステム設計におけるアレグザンダー理論の活用。数理的システム設計手法の提案。 -15の幾何学的特性とパタンランゲージ-

（ネイチャーオブオーダー） kyon-mmさん

○ 本を読んで使ってみようと思ったことを話す/ 経験を話す
× パタンランゲージ論をくわしく網羅的に解説する

アジャイルとクラウドの普及 → 分散システムの採用がふえる
よくみる負債　( やりたいことの可能性との乖離、プランBの不足、技術の変化に追従できない）
よくきく解決方法（リファクタリング？MVP ? DDD? クラウドアーキテクチャ？）
リファクタリング→大きな変更に耐えられない、システムレベルの変更をカバーしない、リストラクチャのナレッジがない
MVP →　 全体像からの予測によって得られる、精神的な準備・技術的な準備ができなくなる
DDD →  システム全体への提供手法がない、
クラウドアーキテクチャ　→　現状の技術に依存・技術変化への追従を想定していない

プロセス
1. 仮説 <- DDD
2. (クラウド）アーキテクチャ　<- クラウドアーキテクチャ
3. アプリケーションアーキテクチャ
4. 実装  <- リファクタリング   
5. 運用

1 - 5 をうすくMVPがやる

1と2を繋ぐ重要性が増しているが、既存手法ではカバーしていない
システムアーキテクチャに寄り添う設計行為、設計図が解決するかも
＝ 1と2の間に「数理的システムアーキテクチャ」をしよう

メリット
1. 理想と現状のGAP がわかる
2. 数理的なアーキテクチャのため機能を配置する場所が限定されない
3. 技術に依存しない、追従しやすい関係性を

数理的システムアーキテクチャ設計の方法
step 1 : 定量化できる普遍的ななにかを軸にして、要件やシステムを表現し、
step 2: それらの特性や関係性を15の幾何学的特性によって表現する

軸は？ ... 気合いで！
例：IoT システムなら、横 : 情報の合成度 / 縦: 情報間の地理的距離→ セミラティス構造をつくっていく

軸をどうやっておもいつく？
 ビジネスの間に絶対に変化しない & 重要かつ定量化できそうな軸をみいだす
 アイディアの源泉はシステム開発をとおした全ての活動
 でも最初は仮説からなる

だめな軸
　技術進歩で変化するものはだめ（例：DB爆速になったらだめ、とか）
　いわゆる「主観的」なもの ( 親密度、仲良しみたいな多様なのでなにを置くか定まりにくい）

15の幾何学的特性
* センター : 生き生きとしている部分

軸は「10.段階的変容」によってシステムの全体の形をつくる
縦と横に「段階的変容」があるはずだ！
どこが「力強いセンター？」
境界は？
粗っぽさ　
シンメトリー

これを繰り返して、部分や全体をみつけていく

機能ではなく、幾何学的特性として必要な全体と部分をみつけていく
→　機能は変わる！機能をデザインするのではなく、普遍的なものをデザインすることによりrobust で柔軟なシステムになるはず

ある程度形がきまったら、ユースケースを利用して情報やアクションの流れをウォークスルー
ウォークスルーで、部分や特性の過不足を修正する

井庭せんせの「全体性のたまご」
　全体 - 部分をいったりきたり

課題：事例が少ない、他手法との比較、システム開発のどのフェーズで有効な手法？

要件 とシステムアーキテクチャの間に抽象的・普遍な構造を設計するステップを1個いれる、という話。 ただし、この汎化・言語化の能力って相当難しいよね。という話が質疑応答にもでてきていた 既存システムがある派生開発の場合、あらためて全体のTo Be な数理的システムアーキテクチャを設計できれば、、現在とのGAP をみつつどこをせめていくか（あるいは変更しないのか）議論ができるのではないか

余談で、軸は3か4軸になることが多いそうで、kyon-mm さんはCAD で設計図つくってぐるぐる回しながら特性やセンターを発見していくそうです。 全体観をみたいときにポンチ絵を描くのは岡崎先生の教えですが、3次元でぐるぐるまわしながら考えるのはその先をいってて変態的でいいですね。４軸はみれないけど。

The Power of Patterns and Pattern Languages

Joseph Yoder

Patterns 
 The Origins of Patterns, 1977 -　ボトムアップ
パターン　課題 / core solution / 何万回もつかわれているけど同じものはひとつもない事例
Software Patterns → 今はいっぱいある

パターンの実践、repeatable / useful / adds QOL / 結果 
"名前のない品質"
パターン　proven solutions to repeating problems / proven practices to repeating situation ...

context / problem /solution 

solution は path も示さないとだめ -> pos/neg 両方はなす
例：microservices.io  マイクロサービスにはコストがかかるそれもきちんと喋る
パターンを絵に描く、名前をつける
FORCES ：　足をひっぱり合う、別の方向に　
Known uses : 事例、3つはないと

パターンを書いてみよう！

名前 / コンテキスト / （フォース） / 問題　/ 解決　
→ このフォーマットでpractices をまとめることによりつっこみをいれやすい/名前をつけるとそれがつらなって「language」になる

パターンは自分がいなくてもうまくいくもの
人にみせることで発展する
このスプリントでうまくいったことをパターンで書いてみよう

Pattern Languages
 Collections vs Languages
 Language ( Intent / Maps / Context / patterns / Sequences ) 
 リストとネットワーク

Teams That Finish Early Accelerate Faster
https://hillside.net/

成功したことにラベルをつけて、コンテキスト/(フォース) / 問題/解決 を記録する のはやってみる Kent Beck が普通にでてきてえらいひとなんだなーと思った 「エキスパートがパターンプラクティスの記述に長けているとは限らない。むしろ当たり前に実行しすぎてエキスパート自体は記述できないことはよくある。なので分析して書き下す人は別にいてもいい」

アジャイル品質パターンのワークショップ

なぜパターンなのか？
 "Quality is not an act, it is a habit." -- Aristotle
 アジャイルの源流 パタン  + 品質
QA と　AQ( Agile Quality)
24+のパターン （中核 / 品質上アジャイルのやり方 / 特定 /可視化）
https://qiita.com/kenjihiranabe/items/a0795dbdab4c58e746a1

戦略　ーリリース ーイテレーション　ー日々　ー 継続的

中核パターン
  障壁の解体（物理的な障壁、文化的相違...)
品質上アジャイルなあり方 
   "チーム全体"で  / 外からみるのではなく、中から見る　→　品質保証プロダクトチャンピオン/アジャイル品質の専門家/Agile QA Tester
 品質上アジャイルな展開
　品質に関する作業負荷の展開　/ Shadow The Quality Expert / 品質主導者とのペア

これをプロセスへの品質の組み入れ例
　ロードマップ   - 本質的品質発見 / アジャイル品質シナリオ
       ↓
　PBL - 品質ストーリー / 折り込み品質 - 基準がある
       ↓
    スプリント - 品質に焦点をあてたスプリント/ 品質のモニタリング
       ↓
     品質テスト

品質の特定 : 品質シナリオ
   やわらかく、読める、わかるように品質をかく
　刺激、環境、測定可能な応答が明白なこと
　measurable ,   アジャイルな着地点 ,着地点の再調整、品質目標の合意
    着地点の再調整の例

進むにつれ（必要に応じ）自動化 : Automate As You Go 
　品質ダッシュボードと品質ラジエーター
　（ヤフーと一緒につくって、マネージャーさんにみてもらった
   
可視化：バックログ上の品質検討 

可視化：ロードマップ
　機能 / プラットフォーム に「品質」をつんでおく
    アーキテクチャ ロードマップ
 
シェアする

 definition of done
  (ポシャる基準さっさと決めようぜ。日本の企業、苦手）

昨日アメリカから帰ってきて、今日大阪について、明日アムステルダムに行くという早稲田の先生。 品質を言語化する/測定可能な基準を設定すること → それではじめてダッシュボードやラジエーターで監視可能に コードの品質のうちの拡張性・変更容易性を測るために、「用もないのに変更してみる」プラクティスをkyon-mm さんが紹介していた。「いろいろなプラクティスがあるけど、実際はやってみないと設計がいいかわからないことも多い。でもやんなきゃいけないときにやってすっごい変更できない設計だったーじゃ遅いので、やってみる」と。

RecSys 2019 にいってきた 2019/09/19 Day 4

チュートリアル: Recommendations in a Marketplace

本会議は昨日で終わり。 9/19 からの二日間は部屋に別れて チュートリアルやワークショップが行われた。 この Marketplace のチュートリアルのみ参加。

チュートリアルは、サーベイ論文みたいな位置付け。 この分野の対象、問題、それをとく様々な手法などをまとめて伝えてくれるもの。ハンズオンとかはない。ワークショップとの違いはわからない。

参加者はindustrial が7割、3割くらいの人がいま実際にMarketplace のRecSys に携わってる。ということで、スピーカーがびびってた（.. 学生が少なく、ガチ勢ばかりなので）

https://recsys.acm.org/recsys19/tutorials/#content-tab-1-4-tab Material: https://rishabhmehrotra.github.io/recs-in-marketplace/

全体的に課題や姿勢には共感しかなく、2. の最適化あたりまでとても楽しめた。近道はないんだなーと思いました。 あと、オフライン検証って実際のところどうやるのよ、というのは気になっていたので、4. もpracticalで参考になった（というかなりそう。理解が追いついていない）

Bandit がメインでMethodology など途中で気を失ってしまったので、資料公開されたら読み返したい。

1. Introduction

Traditional RecSys Approaches
  CF -> TF
  Latent variable models
  Neural Embeddings -> NCF
  Variants ( short vs long , cold start & cohort based, multi-view & multi-interest , multi-task )
いっぱいあるけど、共通なのは UserCentric (model / evaluation for user satisfaction)
十分にユーザのことケアしてる？
   multiple stakeholders → ユーザだけみてちゃだめ
Marketplace : 複数のエージェントによる経済的相互作用
    marketplace is everywhere
    modern marketplace : udemy/indeed/aibnb/amazon/uber いーーぱいある
    marketplaces の進化:walmart->amazon->uber ->...
Marketplace の例
   participants (b2bとかC2C とか) / horizontal vs vertical / Offerings (情報、もの、サービス、お金..)/
   機能（中央集権 vs 分散) / 管理形態（無法, ちょっと管理, 超管理)/ 1回か繰り返しか
Marketplace の成功 ~ 消費者と供給者のマッチング
   User centric の推薦だとstakeholderのニーズを満たせない → strategy を変えないといけない
Marketplace powered Recommendations
   Stakeholders & Objectives / Methods for Multi-Objective  Recommendation / Experimentation & Evaluation

2. Optimization Objectives in a Marketplace

Stakeholders + Objectives
  UberEats 
     Eaters / Restaurant-partners/Delivery-partners (Q プラットフォームもステークホルダーじゃない？A. YES！)
     需要と供給をみたすよう全てがアクティブじゃないと市場が衰退しちゃう
     目的：eater CVR / diversity/ レストランの露出 / デリバリーパートナーの収入 / ピックアップとデリバリーの時間... いーーっぱいある
  On-Demand Delivery Solutions
  Etsy : Buyers / Sellers / Platform (しらん
  AirBnb Hosts/Guests 
  Spotify : Artists / Fans 、レーベルもある
  P2P Lending : Funding Circle : お金の貸し借り
  Crowdfunding : Fancy tech vs health vs art / Time sensitivity　クラウドファンディングと一括りにしても時間とか額とかばらんばらん  
Families of Objectives
  User Centric / Supplier Centric / Content aspects / Business centric
  いっぱいあるのをどうバランスとったらいいの？
目的どうしの関係 : 相関ある、ニュートラル、逆相関
　残念ながら 逆相関がほとんどだったりする
この場合、、どうする？
   例えば、airbnb で new hits にoptimize したら、どっちもLift した！
   " What a system optimizes is very very important."
Q : long term のdiversity をどうおもう ?  違うカテゴリの音楽を聞かせたらその人が好きになってくれる、とか
A: Netflix にいたときのテーマだった! platform にとって、short term ではCVさがるかもだけど、long term ではinsentive になるはず。だけど、測定するのは難しいよね
QA : ホームページはPFがコントロールできる余地が多いが検索はそんなにない（だってクエリにマッチしないとだめだから）。だからステークホルダーの目的だけじゃなくて、パーソナライズもPF の制約もある。

3. Methods for Multi-Objective Ranking & Recommendations

パレート最適化
  他人がわるくなるような改善はしない
  "allocated in most economically efficient manner"
パレート フロンティア　: パレート効率性をみたすもの
Multi-Objective Methods
  Balancing Two Objectives ( 例えば relevance と fairness)
  relevance / fairness / probabilistic policy / trade-off relevance & fairness  <- これに注目！
  Scalarization : aggregation 関数, non-decreasing /  optimized 
  sum / weighted sum / min max/ weighted Cyebyshev norm / ordered ... とかいろいろあるよ
Multi-Task Learning
  共通のパラメータ → タスクSpecific なLayer で推定 → 線形結合
  Soft parameter training (共通のパラメータのshare のしかたがちょっとちがう
  Sluice network :  AAAI 2019 - Latent muti-task architecture learning   ( ごちゃごちゃのやつ、きた
 いろんなやり方がある
  Cross-Stitch Network / Joint Many-Task Model / Weighting losses with uncertainty (2018 CVPR のPaper) /
  Hierarchical Multi-task Learning ( Layer の中間でmulti-task を反映させてる
Multi-Task Learning as Multi-Objective Optimization
  balancing the losses → Karush-Kuhn-Tucker conditions をつかうのだ　NeurIPS 2018 の論文
  multi-objective でのパフォーマンスを可視化するのに、雲の図
Multi-objective Contextual Bandits
  MA bandits : how to choose a policy to minimize regret?
  Contextual bandits : context を観察、それにあわせて次を選ぶ
  Multi-object にするにはどしたら？
  ステークホルダーいっぱい  → Generalized Gini Index ( ジニ)
Proposed: MO Contextual Bandits via GGI 
    strategy を知りたい！
    ( バンティットとか... 無理... 式は簡単なんだけど
   論文でよくみるしきー
Multi-Objective RL
  2つの戦略:  Scalarized approach/ Pareto approach
  いろんなやりかたがあるんだよ（それをまとめたサーベイ論文があるんだよ）
  Pareto Following Algorithm : 1. 1つのobjective からスタート 2. Exploration (Improve -> Correct)
  Dynamic Weight in Deep RL :  outputs coniditioned on relative importance of objectives(w) <- Q-networkのoutput 
      → Weights change across states → Hot-start learning 
  Resources : あとで共有される資料をみてね
Application
  Recommendation with Capacity Constraints : 在庫ぎれにならないように推薦するのだ！
  LinkedIn : Email Volume Optimization : メール送信数をしぼって成果をあげるのだ！
  他にもいっぱいあるよʕ´•ᴥ•`ʔ

4. Experimentation & Evaluation

スピーカー交代
A/B Testing
  control vs variation : random assignment is very important!
  A/A Testing :  metrics のvariance がおおきかったら？ほんとにrandomized でちゃんとできるの？
  Metrics : シンプソンのパラドックスに注意
  Significance Testing : Null hypothesis significance testing : 帰無仮説、それほんとに意味あるの？？
  他にも、A/B テスト大事だけど、結構難しいよ
Contextual Bandits
  Contextual Bandits  にはアクションを選ぶステップがある
 Natural Experiments  
 User "Uncertainty" : ユーザとかアイテムのスコアって結構動くよね
 Opportunity from Uncertainity : 
Offline evaluation バンディットのオフライン評価（ログとかから仮説を確かめる）方法を具体的に説明
  Counterfactual analysis : 安全な方法だけど、exploration data を使うことができない : でも強力なツール
    Key concepts ： counterfactual analysis をどうやるか、の図。仮説検証だよ
    Estimating reward :  Idea:  " hallucinate " outcome of h by replicating impressions from π → reward を比較する（全然わからん... 
    Estimating reward in context :  さらにこれにContext をいれて検証する
    最後、IPS をみて、仮説が正しいかどうかみる

まとめ

訳してない

Summary
1. Important to consider objectives& metrics from different stake holders
2. Different ML methods for multi-stakeholder modeling
3. Need for multi-sided evaluation

Take-aways
* Trading off{ Relevance <- SAT -> Fairness} is better than blindly optimizing for relevance
* Optimizing for multiple interaction metrics performs better for each metric than directly optimizing that metric
* Not Necessarily a Zero -Sum Game. perhaps we "can" get tains in business objectives without loss in user centric objectives

RecSys 2019 にいってきた 2019/09/18 Day 3

Paper Session 5：Applications of Recommenders in Personal Needs

Collective Embedding for neural context aware Recommender System

人とアイテムのembedding だけじゃなくて、時間コンテキストのItem. User のEmbedding も

◆A Recommender System for Heterogeneous and Time Sensitive Environment

ゲーム提供会社、中華？
www.ea.com
Challenge : Heterogeneous ( Createive / Diverse player bases ) , Time Sensitive 
→ 先行事例役に立たず、考えなおす
最初 Wide And Depp Model
次、最後のレイヤーを強化学習　Contextual Multi-armed bandit
その後、提案手法 : Naive linear contextual multi-armed bandit 
ゲームの推薦
  MAB vs CF
  Trend vs Seasonality
  CTR をみるか？ DAU をみるか？
気にしてること：How can you make your  system easy？ <- いい！！

◆Latent Factor Models and Aggregation Operators for Collaborative Filtering in Reciprocal Recommender Systems

bristol 大学の人、 pairs の人
Reciprocal RS : マッチングアプリの推薦システム
User A->User B  のスコア  + B->A スコア -> aggregate -.> 推薦
Contribution
LFM base の Reciprocal rs
Search -> Like -> Match -> Message -> Meet　( LikeとMatchがEvaluation Criteria)
Preference Aggregation : Arithmetic Mean/ Geometric Mean/Harmonic Mean / Cross-Ratio Uniform  双方向のスコアをどう集約するか
上のaggregation 関数を比較
   AUC : RFC だと Cross-Ratio Uniform がすごい /LFRR だと悪い
   F-score とか Efficiency もしらべた
Conclusion :LFM はexecution time を減らしつつ性能は変わらなかった / aggregation function で変わるよ

pairs : https://www.pairs.lv/

日本の女の子と知り合いたかったらぜひpairs にアクセスしてね ( pairs 調べてたらQ&A がもりあがってた

CB2CF: A Neural Multiview Content-to-Collaborative Filtering Model for Completely Cold Item Recommendations

Microsoft のひと
CF  vs CB : CF の方が利用実績を元にしているのでユーザの好みをもとにするが、coldstart problem
Proposed CB2CF:deep multi-viewed neural network : CFスペースにContent base でnew Item を埋め込む
Textual description / Tags / Numeric description
評価 :  Movies , MS store apps で MES/MPR/Recall@K/NDCG/Content ablation study あと Embeddings similarity/Content semantic relations をチェック

◆Online Learning to Rank for Sequential Music Recommendation

Sequential music recommendation : manual vs automatic
play と skip をオンラインで学習
Problem : 音楽聞いているうちにききたいもの変わる→ contextual banditsで解決
Problem 2: dimensionality (報酬がなにかきめられない）→ continuous-armed bandits
Problem 3: model update 　→ dueling bandits   / how to estimate model reward? : interleaving
  いくつかモデルつくってランキングして、交互に/A1,B1,A2,B2 みたいに最終のランキングみつける
Problem 4: exposure risk → multi-dueling-bandits   上が２つじゃなくていっぱいに！もうわけわからん
Problem 5 : feedback scarcity → counterfactual dueling bandits 
Problem 6 : binary feedback → weighted ensembling ( 音楽がスキプされたらわるいのでペナルティ）
検証：Spotify で現実的な時間で次の曲を推薦できる工夫をして、実験の設計したよ。
  CDBの学習ははやい、payoff もearlier / 性能もいい/ "duel" も効いてる

Pace My Race: Recommendations for Marathon Running

https://www.insight-centre.org/
マラソン・ランニングのRS
スマートウォッチ：トレーニングやペースの推薦をして、自己最高記録をだせるように補助したい
Training : E-coaching / Goal Setting: Goal Time Prediction/ Race Strategy
Aims : レース中に完走タイムを推定
データ：STRAVA ペース、心拍（BPM ) 、ケーデンス→ XGBoost で推定
Replanning due to Race Slowdown  : スローダウンした人としない人を比較した
Explainability :　タイミング大事（エイドステーションとかでおしえてほしい）/ Simply Explained / Demonstrate Benefit
上をみたすようにUI をモックをつくった

↑ Best Short Paper 「マラソンのリタイアを減らしたい！」て丁寧に何をいつどうやって推薦するか紐解いてる研究が好き

Panel :Responsible Recommendation

右から * 司会のマイケル。たぶんアメリカの人 * spotify の人 * TwitterのLuca. Background in pure math.

What should a recommendation system optimize for?

• 次は Computer Vision でPrivacy Mask をしているアカデミアの人。会期中に私が言葉をかわしたonly 3人のうちの一人
• EBU のひと. Interested in ethics/diversity/filter bubble concept

All media are fighting to grab a finite users' resource: time

twitter 
 測るのは「人」だというのは明確なんだけど、それをLoss Function にどうtranslate するの？
 僕は人なのでなんとなくなにを知るべきかはわかるんだけど、それがどんな式になるかがわからない
spotify
  recsys コミュニティにいて、中の考え方に触れられるのはたのしい

e: diversity をたもつようにいろんなコミュニティの意見を意識的にいれるべき
t:賛成なんだけど、好みにそってfiltering されるのはうれしいし、それとbubble を区別するのって難しいよね

s: spotify で働いてて面白いのは、editorial の人と一緒に働けて意見をきけるから。recsys は カスタマージャーニーの中のひとつでしかない
e: でもeditorの役割って儲かる音楽を勧めたりするよね

Q: RecSys のPositive Aspect？
m: recsysはdigital- physical のbridge. でも技術的なことはtwitter のrecsys 、今のホテルは booking.com のrecsys. 

Q: RecSys がシステムの内外、社会と影響を与え合いながら変化することについて
A: 
RecSys はコンピュータシステムだけじゃない。Spotify ではステークホルダーも含めたsocio-system だとおもってる
RecSys は 明らかにbi-directional。例えばgoogle は顧客のFB を取り入れることで recsysをre-invent した。socio -impact 

Q: 会社はデータを公開するべきでは？ 
A: Privacy でだせないけど... 本当にデータを共有することが社会・ユーザのためになるかは考える必要がある

Q: Privacy  欧米でも全然違いし、diversity も地域で意味が全然違う。どうやって設計して可視化したらいい？
A: (spotifyのひと) 現実的には(商売をするのに) Localize が必須、その過程でなんとかやってる

Q: (聞き取れなかった）
A: 社会的な責任があることを間違いないが、社内外への発信の仕方は工夫が必要。「やるの当たり前でしょ！」て声高にいうだけならうざいひとになっちゃう。

wrap-up : favorite paper / advice 
m: nature のpaper , read and really stand your ground
e : アムステルダム大学のUI 改善した論文
t : 広告のdelivery を分析したやつ
s: 私も（どれだ）/ 論文だけじゃ動かないけど、1スライドでインパクトやきっかけになることがあるよ

Paper Session 6:Algorithms: Large-Scale, Constraints and Evaluation

◆Efficient Similarity Computation for Collaborative Filtering in Dynamic Environments

アントワープ大学の人
問題： CF データ増えると学習に時間がかかる
Previous work : approximation/ Parallelization / でもSuper Sparse なので、Incrimental Similarity Computation できる
Dynamic Index → online learning できる
Parrelllisation もできる　
Recommendability ：在庫がないやつとか計算しなくていい　→　もっと速く
検証：Movielens / Netflix でみたよ
結論：スパースで高次元なら超速くなるよ。incremental & parallel に計算できるし

◆Personalized Diffusions for Top-N Recommendation

ミネソタ大学の人
(アルゴリズムはアカデミアの人が多いかも
( 講義みたいにしゃべる
Item models で　Top-N Recommendation した場合、超スパースなのででない → Random walks can help
(item-item はグラフにいきがち
item-item グラフ → personalizing : item exploration stochastic processをパーソナライズする
ランダムウォーク、次にどっちいくかをpersonalized する。　
K-step occupancy distribution of a time-inhomogeneous Markov chain
teleportation  probabilities の学習 : 式  解くコスト高いけど、変形して効率的に解く方法があるよ( my recent work）
PerDif algorithm
検証したら、計算も早いし、精度もよかった

◆Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations

Googleのひと
Challenges : アイテム多い、スパース、Dynamic item set
( 中国の人。今回めずらしい
Retrieval - Ranking と別れているのは実運用では一般的
ここでは Retrieval に着目
User/Item Embeddings: MF / DNN multi-class classification/ Two-tower DNNs <- NLP のmodern な手法
今回の提案手法：Two-tower DNNs for large-scale recommenders 
Two-tower DNN 
Multi-class batch softmax
Handling sampling bias 
  ポジティブはスパースかつそれしかデータがないので、結果的にポジティブじゃない=ネガティブが強く影響しがち
  sampled softmax[Bengio & Senecal'03]  より estimate item frequency for dynamic set
検証：A/B テスト live experiments YouTube のNext 

Leveraging Post-click Feedback for Content Recommendations

cornel tech カレッジかな
Implicit fb in recommender systems : click / purchase
でもクリックしたからって気にいるとは限らない。スキップしたとしたらnegative
クリック後のFB( 完奏 or スキップ）をみるのだ
データ： Spotify / ByteDance (TikTok )
クリックの50%がスキップされている　/ スキップと人気の曲は逆相関
AUC が post-click を反映させるとおちちゃう → <フレームワークの写真>
このフレームワークをPoint-wise model   (WRMF/WRMF-BL/WRMF-NR)/ Pair-wise model　(BPR/BPR-BL/BPR-NR) に分解して、よく知られている手法で解いた

◆When Actions Speak Louder than Clicks: A Combined Model of Purchase Probability and Long-term Customer Satisfaction

マイクロソフトの人
Our Approach: minimize buyer's remorse and maximize users satisfaction / 購買確率と顧客満足のバランスってとることできる？
購買後の満足度スコア？→　ゲームならプレイ頻度、プレイ時間、そこからなんかできないか？
Likelihood   （式）　ベルヌーイ分布とか正規分布とか..
Variational Bayes <- パラメータ推定につかったよ
検証：( といっても顧客満足度スコアのベースラインってなに...

◆Uplift-based Evaluation and Optimization of Recommenders

富士ゼロックスの人
バナナと牛乳を勧められて買った。精度100% / でも勧められなくてもかったかも
チョコとビール を勧められて、チョコとバナナと牛乳かったら、このrecommend の方が売り上げあげてる。でも精度は50%
なので、RecSys を精度じゃなくて、追加で買わせた度 = Uplift で評価しようぜ
Uplift-based Evaluation <- 因果推論
Uplift-based optimization<- なんだっけ
Evaluation : Potential Outcomes and Item Classes でも観測できない → オフラインログから頑張ってestimate する
Optimization: 観測できるもの(True Uplift ..) とできないもの(False Uplift / Flase Drop )がある → Conventional Optimization を改善したのが提案手法
検証: よくなった

Uplift 、去年のCriteo のBest Short Paper の発表きいたときは「これこそ広告でおうべき指標！」って思ったけど、今となってはCVR 悪かった時の広告屋さんのいいわけに見えるので、心が汚れたのかもしれない

最後のPaper Session

◆Deep Social Collaborative Filtering

香港の大学の人
( 自分のwork じゃないらしい... よく話せるよなー
Social Recommendation : ソーシャル関係をもとに推薦する。友達のすきなものはすき
友達の友達のすきなものもすき → social の距離を反映させたい
ともだちでも、ジャンルにより好みが似ているかどうか
そこで Deep Social Collaborative Filtering
ランダムウォーク層：social の関係を表現している : item-aware social sequences を生成している
Embedding 層: user-item 作用をembedding
Sequence Learing 層
Output : rating prediction
検証：Ciao で

◆Attribute-Aware Non-Linear Co-Embeddings of Graph Features

Hildesheim 大学の人
Proposed Model : GraphRec
 Phase 1: Attribute Aware Non-Linear Embeddings
 Phase 2: Scoring Function →　latent feature をutilize するやつー
 Phase 3: Graph Features : weighted interaction graph →　proposed graph features ( normalize) → concatenate
 Phase 4: Loss Function
検証：( RMSE ってなんだっけ... = Root Mean Square Error 低い方がよかった
結論：Graph features はdense でrichなデータならHigh Impact があるよ
QA: RMSEをつかったのはBaseline ペーパーがそれをつかってたから
課題を聞き逃したので役ただずでした
↑コールドスタート時に属性情報使おうって話だったか 

◆Adversarial Attacks on an Oblivious Recommender

Google の人... かな
なぜ攻撃を気にしなくちゃいけないか？ → mislead するから
どれくらい既存のRS が脆弱なのか？
攻撃のパターン：Fake User Profiles
Prior Work : Shilling Attacks （手でいれた嘘プロファイル） ,Adversarial Examples （他のML で学習した嘘）
Challenges : CF に与える影響は？ / 攻撃に気づける？/ Poisoning attacks / No access to gradient 
Adversary's  goal : 1. indistinguishable 2. adversarial intent 
1と2を指標定義してみてみる
結果：あるItem をtop 10から落とすのは簡単だけど、特定のItem のスコアをあげるのはむずかしい(自信ない
QA: DL みたいにアルゴリズム内にRandom なところがあるやつの方がRobust .
攻撃をどう検知するか、とか...
いろんなかしこいひとがいる 

◆HybridSVD: When Collaborative Information is Not Enough

Best Paper へのアンサーからはじまる
Tuning is an Art 
Quick recap on SVD : simple tuning via  rank truncation! 
Improving SVD  further : Hybridization of PureSVD 
  replace scalar products with a bilinear form.  = Similarity matrix を導入してsparse を克服
 Similarity matrix でコールドスタート問題もとけるかも

◆Variational Low Rank Multinomials for Collaborative Filtering with Side-Information

Netflixのひと
( グーグルさんといい、スライドがかっこいい
User-Item matrix つくる→Sparse → multinominal distributions 上の分布を学ぶ。ベイズ推定
拡張性：コールドスタート → 　Incoporate Metadata, Tags of Movie / Still do ベイス瑞亭
アイディア：ユーザの嗜好がわかんないときー
(早口ww 　インド映画きいてるみたい
みんな大好きVariational Approximation でとく... KL divergence かな？
Insights : Does it work?  Does it handle Sparsity ? Does it handle item cold start?
( スライドの左下の小さな文字が NETFLIX TEXT とか　NETFLIX BULLETS とかなってるなー 
( BULLETS= 箇条書き 、 スライドのテンプレート名がでてるw
Empirical Evaluation : non-Bayesian version より改善

◆Quick and Accurate Attack Detection in Recommender Systems through User Attributes

サウスフロリダ大学
( 大学とかはスライドの縦横比が古い、富士ゼロックスも
( このでかいスライドなのに読めないほど小さな文字ww
Research Questions
 exploit mixed data-type user attributes for detection?
 extract joint features
 detect persistent attacks
前提条件
 Attackers はユーザ属性にアクセスできない/ ランダム属性 /
Proposed Framework 
  Latent variable model : プレート図だよ。（もう写真とる元気がないよ。たぶんスライドがださいから。この分野に興味ないからか
  推論は EMアルゴリズムで
（きいてなかった

最後の途中できけなかったやつ、Best Short Paper の次点だった

ラップアップ

下の写真の左のほうに写ってる 800人くらい、1トラックで規模がちょうどよく、とてもたのしかったー 来年は2500人くらいの会場みたいなのでアットホームさなくなるかもしれないけど。

RecSys 2019 にいってきた 2019/09/17 Day 2

Women in Breakfast

朝ごはん食べながらネットワーキングするイベントに出席。コミュ障的にはもう1日終わった感じ。

• 自己紹介は用意しておく
  • シナジーマーケティングという日本の会社でエンジニアしてる
  • Salesforce みたいなCRM システムつくってる
  • 今は推薦システムもってないけど今後つくりたいからきた
• 先に質問してしまう（聞き役ならできる、はなせないけど）

というプラクティスを得た。日本の開発コミュニティとかでも使えるかもしれない。

Keynote : Whose Data Traces, Whose Voices? Inequality in Online Participation and Why it Matters for Recommendation Systems Research

スピーカーはSociologist./データはよくわからない
Social mobility vs Social reproduction?
Is bigger( Data)  always better?
Digital divide mere connectivity  not equals effective, efficient uses 

Internet skills : 
   Awareness of what is possible / The ability to create and share content 
   survey  measures of actual skill → survey instruments
   若者の調査をした →偏りがある。利用するアプリとか、「URL」がわからないとか
   年寄りの方がスキル低い？→ そんなことなかった ！no correlation
   Socioeconomic status とは相関あり、年を経るごとに格差拡大
   SNS High edu はLinkedIn/ Twitter を使いがち,Skill でみたらHigh / Low でもっと差がある
   Amazon Mechanical Turkers vs AmeriTalk Speakers → 全然ちがう

→ SNS 使っている人はスキルがある人。スキルがない人のデータがとれていない

スキルがあるひとが、積極的に参加している
   Who edits Wikipedia ?   ：gender gap がある
    The pipeline of online participation : 知ってる→ 見たことある→書き込めることを知っている→書き込んだことある  でどんどんへってく
    gender x skill で上を調査：見たことある人だけ女性が多い、書き込めることを知って、書き込んだことある人は男性が多く、スキルが高い方がActive


インターネットサービスの利用度とスキル・gender・status などは強い相関があるので、データバイアスに気をつけような！
（というのを、Survey とグラフでいっぱいみせてくれた。面白かった）

スピーカーが超早口、チューリッヒ大学の人。

二つのキーノートから。 昨日のキーノートのGDPR の中でも「その人を知るのにデータ使おう」がいつしか「データでわかることがその人のすべて」になっちゃってるのがいや、っていう話もあって、根底にあるのはそういう気持ちなんだと思った。この人も社会学者だし、昨日の人は法律家だし。 ただヨーロッパの人が自分を強くもっていて、私のことを決めつけないで、って思うのに対して、日本ってわりと「正直自分のこと、よくわからないから決めてほしい」って思っている人、多いんじゃないかな、とも感じた。「あなたはこういう行動してるから潜在的にこういうの好きだよ！」とかいわれると、そうそうってなりそうな気がする。説明の仕方かと思いました。

Paper Session 3 : Deep Learning

◆Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches

オーストリアの大学の人
DL の検証と再現性をみてみる
RecSys, WWW,KDD,SIGIR / Long Paper 2015- 2018 
Source code available and runnable / Public dataset → ask author
再現できたか : RecSys は1/7 = 14% 低い
  公開してない理由 Source code  Lost/NDA/Not working ... 
評価
  Hyper parameter DL は論文のまま、Baseline はベイズでさがした
  Baseline にかてなかった : Baseline が弱すぎ、tuning してない 
どうしたらいい？
  Simple baselines / Improve reproducibility  / Improve motivation of experimental design

論文ちゃんと読んだ人の日本語のメモ
https://qiita.com/smochi/items/98dbd9429c15898c5dc7

◆A Deep Learning System for Predicting Size and Fit in Fashion E-Commerce

zalando の人
タスク：ファッションで、size があってfit するものをpersonalize しておすすめしたい
課題：
商品がおおい/サイズの表記方法が多様
/ブランドもサイズそのものを変えていったりする（昔のM と今のMだと大きさが違う） 
/ sparsity/ ユーザがきにするところもいっぱい / コールドスタート
→ 通常のrecsys とサイズのrecsys は全然違う
モデリング : size と商品記事のペアをpredict 
検証：よかった 
( 前の論文が論文だから Baseline の説明が丁寧w
( コールドスタート問題をなんか克服したらしいけどわからなかった

◆Relaxed Softmax for learning from Positive and Unlabeled data

Criteo の人
Problem : NLP 文しかみえない, Recommendation クリックとかしか観察できない
PU Learning :
  w2v architecture
  MLE / contextual sampling , dynamical sampling , discriminative loss
  提案手法：Boltzmann Negative Sampling, Relaxed Softmax loss
  Boltzmann Sampling では温度が大事
検証：Movielens , Netflix and Text8 でやった

ボルツマン、わからない。 ぶつりー

◆Style Conditioned Recommendations

overstock の人
Filter Bubble 問題、diversification ：みたことないものに出会いたい
家具で、クリックしたものに対して、違うスタイルのものを勧めたい
どうやって好きそうなものをみつけるか？　アンケート？履歴？
多様性をPersonalized する
CVA つかった　Conditional Variational AutoEncoder
Style Injection 
learning user style profiles 
( いきなりおわった

Deep Language-based Critiquing for Recommender Systems

トロント大学の人
記事推薦の話 : Well known scenario of critiquing
空想のシナリオ：声で操作するもの
  me : なんかホットニュースない？
  computer: サッカーの結果、あるよ
  m : 他の地域の話題は？
  c : 別のチームの試合結果もある
  m : もうちょっと視野広く世界のニュースない？
  c : アメリカの経済制裁みたいな固い記事がおすすめ
  m : もうちょっと軽い笑えるやつを...
  c : トランプがグリーンランドは俺のもの、って行った話 (笑い
こんな感じで推薦されたものに対する批判(=critique ) を取り入れながら軌道修正していきたい
critique meets embedding-based recommendation
 latent interpretation of critiques / personalized recommendation
Deep Critiquing Architecture
   批評のfeedback loop  をつくる
Latent Critiquing の新しいMetric = Falling (M)AP ,Befor critiquing - After critiquing  Average Precision つくって評価した
（話なれてる

◆Predictability Limits in Session-based Next Item Recommendation

学生っぽい
ユーザがログインしてない場合、いまのsession だけの振る舞いしかわからない
 →だれかわからなくてrandom にした場合どれくらい推定がぶれるのか？
検証したアルゴリズム：マルコフchain , association rules , sequential rules, Item-based KNN, Session-based KNN 
いろんなデータセットで検証してみた
( KNN ってなんだ →  K近傍法
( ゆっくりで助かる
( DL 関係ない
SKNN はそんなにパフォーマンス落ちなかった / 他はだめだった
Shannon entropy でpredictability を評価 した

Industry Session 2:Novel Approaches

◆Groupon : Groupon Finally Explains Why We Showed Those Offers

緑のアディダスきたマリオみたいな人でてきた
超頑張って技術つかってがんばってつくったけどまったくユーザに評価されなかった! Nothing!
トップページがごちゃごちゃしてみにくかったから （スーパーのチラシ感）→ 整理してかっこよくした
ユーザ調査でadditional contents が効くことがわかった 
さらに、なぜそれをみせたか=説明を示す（Insipired by ... )ことにチャレンジ
どうやって説明文=Qualifier をつくるのか、の流れが↑の写真
説明文に必要なFeatures  : Diversification, relevant, No inundation , no valid qualifier type
課題：Normalization : 違う種類の特徴の近さを統合するときにどう比較したらいいか　→ 式
説明つけたら、結果がよくなった

◆Spotify : Homepage Personalization at Spotify

ホームページ超重要
1. More on Spotify Homepage
2. Ranking Alogorithm
3. Sanity checks 
Homepage はカードが並ぶ構成
自動でキュレーション/ 人がキュレーションしている場所がある
ランキングアルゴリズム :  FB→ ホーム変更
FBをRandomized しないとどんどん偏る→  Bandit でexploration を意識していれる
epsilon-greedy policy 
改善するために、integration tests をどうするか？→ Sanity Checks for policy debiasing
ホームページにいろんなステークホルダーが違う期待をしている → いろんなmetrics をつくったよ
例：Favorite Shelf Position Sanity Check, Daily & Hourly Patterns Sanity Check

◆Home Depot : Recommendation in Home Improvement Industry, Challenges and Opportunities

世界一のホームセンター
お客さんが、何買ったらいいかわからないDIY/まとまった量がほしいPro → EC が難しい
Interconnected Experience : まず店からはじめてオンラインで完結するのも、オンラインからはじめて店で完結するのもあり！
オンラインは物を見つけやすい、でもオフラインで試してみてから買いたい
そのためのひとつ：Collection Recommendations 
   automatically discover relevant products 
   付属品（水道の蛇口とそれに規格があったものとか、関係するもの、とか) の組み合わせを自動で作ってセットで推薦
   Category Adjacency Matrix をつくった
   組み合わせをどうつくるか？ : text features <写真> , visual features (color histogramなど) 
     →  combining with weights ( weight はカテゴリーごとに異なる。インテリアならvisualが重要、電化製品なら互換性だからtext だよね、みたいな)
   Expert Validation でもよいけっか
ふたつめ：Project-based Recs
  Project Graph をつくった
  ホームセンターに来る人は「壁を塗り替えたい」みたいなプロジェクトを完遂したい
  その目的を達成するために必要なTool や Materialsはなに？
  Project Intend Prediction
  買っているツールから「このプロジェクトだろ？」ってPredict する

オフライン店舗の業務とお客さんが求めているものを分析して、オンラインの得意なタスクにしたてあげて、技術駆使して解いていって。まじめにこつこつ、でもすごいことやっている感じがすごかった

◆BBC : Recommendation Systems Compliant with Legal and Editorial Policies: The BBC+ App Journey

Science と Editorial がチームにいる
BBC+ アプリケーション  : Recommendation →プロダクトにするために
アプリが記事をだすにしても、editorial guidlines を遵守する必要がある
   Legal Policies  : ラベルやだめな言葉を決めて除く。人海戦術だがもっと洗練させたい
   Editorial Policies : R18 コンテンツみえせない、とか
自動curationと一緒に編集者によるcuration もつかっている
GDPR : Explainability / Agency
Evaluation : BBC は編集方針として「教育」をあげていて、ここを自動で実現すること・評価することがむずかしい quantitative offline evaluation : diversity や surprisalなど注意深くみてる
Up next: Hybrid recommendations & other products

Salesforce : Incorporating Intent Propensities in Personalized Next Best Action Recommendation

いーーっぱいデータもってるよ
Automation Next Best Action 
touch points 
taking action リアルタイムで顧客を理解し、次なにするか推薦する
どうやって次のベストなtouch point をみつけるか？
　人がPDCA 回すんじゃ遅い
   Incomplete Data / Sampling Bias 
  exploit - learn - explore - context : bandit だ！
  User + current context → Action | Rewards Maximized 
Next Best Action - Contextual MAB  ( MAB ってなんだ = Multi-armed Bandit Model
Challenge 1: 目的が複数 : One mixed Goal? How ???
Challenge 2 : how to minimize counterfactual  regret? 
Advanced Approach :Propensity Scorer   + Hybrid MAB
QA : こんなの本当に動くの？ →　確かにリリースしてないけど、やる価値はあると思う 

paper がなかったんだけどこのあたりの話を著者名で検索していたら、youtube 動画がでてきた。 https://www.youtube.com/watch?v=4uq6v69E9ck

◆Chegg : Driving Content Recommendations by Building a Knowledge Base Using Weak Supervision and Transfer Learning

A Smarter Way to Student.
   improve education : question answering , tutoring , ...
NLP Goal : Create a Knowledge Base  これは Graph
グラフはContent Recommendation につかう
Building a Machine Learning Pipeline for NLP 
  ML ではいっぱいデータが必要
    →  Weak supervision generation training data/Snorkel つかった　データつくるツール
    →  転移学習をした　あと、ELMo / BERT / GPT-2 とか
Open Source vs In house Embeddings
  Open Source はプロジェクトの「バリア」になる、はじめるのは簡単 / In house なら自分のビジネスに最適化できる

Paper Session 4:Advertising, Promotions,Intent & Search

最後のPaper Session は人少ない。

A Comparison of Calibrated and Intent-Aware Recommendations

2018にNetflix が Calibrated recommendations を紹介（推薦される音楽のジャンルのバランスを整える)
Intent-Aware Diversification
  式はにているけど、divergense を確保するためre-rank するから割合が保たれるわけではない
User Interests : subprofiles と定義、ユーザがにてるか？ratingなどではかる。 item feature は使わない
( 超British English. " It is quite surprising." ってよく言ってて、風刺っぽいギャグがいっぱい... イギリスの人だったけ
Paper に precision vs diversity のグラフなどいろいろある

LORE: A Large-Scale Offer Recommendation Engine with Eligibility and Capacity Constraint

Facebook と Amazon の共著
Offer allocation Problem : クーポンとか割引を誰にどうだしたら一番いいか？予算もあるし。
既存手法：Greedy Approaches / Bandits for constrained online resource allocation 
提案手法：線形計画法みたいな式 っていうか LP problem
Min Cost Flow （グラフみたいなやつ）でとく
XGBoost で確率をクリックする確率を推定 して Optimizationを実施
Optimization outperformed the greedy approaches.

◆FiBiNET: Combining Feature Importance and Bilinear feature Interaction for Click-Through Rate Prediction

こなかった

◆Domain Adaptation in Display Advertising: An Application for Partner Cold-Start

Criteo の人
リタゲはProspecting campaignsにいいけど、cold start 問題をどうするよ
Background ちょっとずつ問題が
 Domain Adaption: 1) Re-training 2) Joint training  
 DANN : Domain Adversarial Neural Network  : joint training をつかった Unsupervised domain adaption technique
 CCSA:Classification and Contrasitive Semantic Alignmet
Proposed : Supervised DANN 
 SDA-Ranking ：Ranking Loss based domain transfer  ( やっぱ転移学習？
検証：Cold start での検証 / metrics = Mean AUC, Median AUC, Mean Precision @K
(広告クリックさせることにすがすがしいほど集中してていい

◆Addressing Delayed Feedback for Continuous Training with Neural Networks in CTR prediction

Twitter のひと
Continuous Training してる。なぜなら New campaign Ids + non-stationary features 
Challenge : Delayed feed back →みてからクリックするまで遅延がある
    待つべきか？またざるべきか？  (学習を）
Solution accept "fake negative"
モデル つくった
 Importance sampling 
 LR / Wide & Deep Model
 Delayed feedback loss : assume exponential distribution for time delay
 Fake negative weighted & calibration : 学習ではweightしないが、最後でcalibrate 
検証：
 オフライン：Criteo data でやってみた / metrics = RCE normalized version of cross-entropy (higher is better)
 Online : Pooled RCE とか Revenue per thousand requests でいい結果
(オンラインテストでRevenue までみるのはさすがに斬新
Conclusions : FN weighted / FN calibration は新規性あるよ

◆Ghosting: Contextualized Inline Query Completion in Large Scale Retail Search

Amazon のひと ( 今年Industryの人多い、あとインド
Query Auto-Completion  : harr でharry potter books を推薦するAmazon Search
   売り上げの結構がここからくる / Strict latency requirements
Goal of QAC : purchase
Challenges : relevant, misspelled,単語の組み合わせを推薦
Ghosting : サーチボックスの中にベストをいれるけど、下に候補もだす
Identifying best recommendation : ベストを特定して、精度をたかめる
  Behavior-based relevance : Optimize for query behavior
  Base Model : Historic model, Predictive machine learned model (GBT)
  improving : use session-based context 直前にどんなものを探してたか？は重要なヒントになる。
デモ：bluetooth speaker  検索、さがしてそのあとbose 検索すると、bose b あたりで bose bluetooth speaker までゴースティングしてくれる
検証
   A/B テスト　140万の検索セッション、3週間 、UX あがるはず
   nik  frequency based : nike socks men / session-context : nikon dslr camera
   結果： improved acceptance , average prefix length ↓ ,misspelled もなおせたよ
Future Work : どこでくぎったらいいかわからない言語とかのGhosting
QA : 3文字くらいタイプしてない途中ですごい細かい商品名までGhosting しようとしたmotivation は？ 
　　それがうれしいひともいるから。どれくらい文字を入力してどれくらいの情報をGhosting するか、はわりと難しい問題だけど
 ( latency の質問でたじたじになったのはなぜだろう

終わった。また明日。バンケットには行かない（予約してないのでいけない）

おされ会場の高級ホテル

RecSys 2019 にいってきた 2019/09/16 Day 1

RecSys 2018 の論文を読み終えることなく 2019 に行ってしまいました。 社内のqiita においたメモを自分の記録としておいておきます。

プログラム → https://recsys.acm.org/recsys19/program/

Welcome Session

場所がら北米、ヨーロッパが多い

日本からは4/10、Accept。キーワード。やっぱりCFつよい。

だいたいalgorithm系。はじめてUX research が2番目に

Best Paper Award : Are We Really Making Much Progress ? DL の論文の検証したら全然再現できなかった、ってやつ

Keynote : Rude Awakenings from behaviouris dreams methodological integrity and th GDPR

スピーカー：lawyer 、 CS の人に法律を教えてる人。皮肉な感じ

* 行動ターゲティングはうまくいかなくなっている
    *  moving out of RTB at youtube
* Problem of Behaviourism 
    * ResSys では Filtering is a must.  Content filtering / Collaborativ filtering /callibration
    * ただ、Behavioural search , advertising ... はOpening the pandora's box= promoting addiction
    * Recsys が  userのためになる とは限らない。基本的には "economic incentive structure"
    * GDPR change the incentive structure
    * Political economy of recsys : Mining / Inferring / Creating ( = 機械がそういったらそうなる） preferences  
*  behaviourism and micro-targeting
      * 行動データですべてを判断してしまう。内面とか個性とかも （編集済み） 
      * behaviourism パブロフ、ワトソン、チューリング...   nudge theory
      * What can be controlled matters / What mattters can be controlled
         * → 行動データを使うと、fundamentally unreliable  results に　 (コンピュータが過去のimplicit なデータに基づくので修正できない）
* GDPR
  * データの対象もすごくひろい、対象者は"natural person"。
  * Controller Is Liable. ( Publisher / Adviteser / Webshop/ Google / Facebook ) 
  * どんなデータ処理も legal ground (明瞭なInformed Consent とか)が必要
  * principle( purpose limitation , accuracy, transparency, accountability ) 
  * GDPR Pricnciple = PURPOSE ( 誰に責任があって、データを処理するにはとてつもない責任が伴うということを明確にしている)
  * Transparency in ML Hofman,Sharma , Watts (2017)  
 
（結論）GDPR はincentive structure を変えた

質問が 哲学の経験主義とかになってわからなかった ... quantification / qualification の比較とか。 ヨーロッパだなーと思いました。

Paper Session 1

◆ Personailized Re-ranking for Recommendation

Alibaba の人
ランキング大事。オークションをとりあげる
ランキング、score つけて スコア順に並べる
mutal influence がむしできない（redundancy  , supplement) し、個々に違いがある
モデル : 最初のlist のitem をpersonalized vector  でrerank
personalized vector はあらかじめ学習

◆Online Ranking Combination

goal:optimize convex combination of ranking models
objective : choosing combination weights 
一般的な方法：サロゲート関数を使う 
ExpW :can't scale
SPSA : 一歩ずついくのでlocal maximum に
RSPSA : SPSA with RProp( RProp : step size is updated based on the sign of)
RFDSA+ : Switch to finite differences 
 (なんで組み合わせようとしたんだろう

◆Pareto-Efficient Algorithm for Multiple Objective Optimization in E-Commerce Recommendation

このひともAlibaba 
目的がいっぱいある( Accuracy vs Diversity , Fairness, Popularity and Longtail)
パレート効率性は最低限みたしたい！
遺伝的アルゴリズム ？ Scalarizaton technique
ベースは Scalarization 、Gradient Descent 
全ての損失関数に対してよいdirection を探す

◆From Preference into Decision Making: Modeling User Interactions in Recommender Systems

Bloomberg のひと
inaction からも学習するよ
同じページで見たけど虫したやつを反映させたい / このページを3回みたいとしたら
youtube みて2つきにいった、１こ見て戻ったらもうひとつがきえてる
Decision Field Theory attention contrast valence prefrence
Page-Level RNN Model
SVD SVD++ RNN と比較したら MAP@8 でこれらを上回るよいけっか
Independent binary , Competitive , Relative , Negative sampling , Displayed but inaction
inaction をいれるならpairwise ranking がrobust

◆Deep Generative Ranking for Personalized Recommendation

北京大学のひと
DN つかいたいけど、high bias / sparse では難しい / rank 学習の機構をもたない
Deep Generative Ranking
Pointwise feedback data generation : Beta-Bernoulli non linear latent factor model <-Wassetstein auto-encoder /Beta-ベルヌーイはスパースに適切
Pairwise ranking list creation : Deep Bayesian personalized ranking model
上の２つを組み合わせたよ
( Generative 感がわからなかった implict feedback data をgenerate したらしいが

◆Recommending What Video to Watch Next: A Multitask Ranking System

google のひと
人の好み = user utility は多様だし、いろんなサイン（like / click / response ）がある→ここからみつけるのたいへん
ranking part のことを話す
youtube Up next
    different and sometimes conflicting objectives
   selection biases in the system
Multi-gate Mixture-of-Expert : Representaion Learning → Task Specific Performance 
Adding Shallow Tower to Model SelectionBias : Factorize selection bias to relevance 
Tradeoff between Effectiveness and Efficiency
( プレゼンがとても笑いとっててグーグルさんすげー

Industry Session 1

◆Using AI to Build Communities Around Interests on LinkedIn

Mission:共通の興味とアクティブな会話のあるコミュニティをつくること
Hashtag, Company, Group, Region, Skill -> Interests
Discover → Engage → Contribute
Beyond Response Prediction
→ Downstream Utilities
→ Creator Objective Formulation
  Incentivizing Creators through Follows Recommendations クリエイターにもっとつくってもらうためにはFeedbackを増やすこと

◆The Trinity of Luxury Fashion Recommendations : Farfetch

ハイファッションのECサイト。おしゃれおねえさんData Scientist
特異：変化が早く、芸術を買うみたいに買う: unique、emotion、高価
Fashion Experts / Data / Experimentation
Data  :  すべてを経験することができない : Why をつうりだせない
Fashion meets Data : Fashion Experts → Data Model 
デザイナーの重要性：people consume fashion the same way they consume music .
89% search query including designer 82 designers only
How to boost the designer? <写真> Cost effective solution
実験実験 →　同じデザイナーの服ばかりレコメンド → +30%
教訓　"Collaboration is key !" ：ドメインエキスパートと一緒に / 分析を自動化しろ / チームと同期しろ

◆Pandora : Just Play Something Awesome: The Personalization Powering Voice Interactions at

Pandora
声UI のRecSys
Known-item queries / Thematic queries / Open-ended queries
知ってるあれを検索
  聴きたい曲がはっきりしてる。聞き取れないとき 、Robust Retrieval/ 履歴よりその人が検索しそうなもの
  UX Consideration → 聞き返す！
今のシチュエーションにあったあれを聞かせて
  relaxing driving or active driving ？ :
     Intent prediction/ Slots filling →　Content tagging / Shared taxonomy Tag based search →　User Item affinity / Query-Result relevance
     State Tracker
  Broad Queries 「やばいやつかけて」
     Bandit Solution 
  評価方法が全然違う / Implicit feedback / Selection bias 

◆Bosch : Future of In-Vehicle Recommendation Systems

車のRecSys
Personalized / Automated / Connected / Electrified
POI / Fueling / SNS ,   Music のInfotainment , Navigation , Vehicle control (シートベルトとか）
他と違うところ：
 Context Aware Recommendation : Driver and Occupant / Vehicle Context
Connected Recommendation : Location based / Connected buildings / Location Based Social Network
Human Machine Interface : 運転中だからできることが限られる
Privacy & Security : どこにいくかとか究極の個人情報
自動運転：どこまで自動にするか？？
Our vision : understands me before ,during and after my trip
例：convenience charging 
1. access management 2 range projection 3 route planning 4 location-based services
Architecture:写真
QA: この推薦システムって必要あるの？ (... ひどい)

◆IKEA : Designer-Driven Add-to-Cart Algorithms

IKEA の読み方はアイキア
Designer-driven recommendations
なぜこれをつくろうとしたか？　：店と同じ体験をオンラインで
What is style ?  :部屋全体のコーディネート
どうやって？　<写真>→似たテイストのものをおすすめ
商品のイメージ　をCNN  → Dense → Distance → Sigmoid 
違う色・素材・シリースのものは一緒に購入されない
 (embedded space をみせてくれた、おもしろかった）
What is gram matrix ? 商品のイメージ　をCNN  → Gram matrices ー　Dense → Distance → Sigmoid  ってすると「色やスタイルが一緒のものがいっしょに」
( 超早口 ）
QA : 学習データはリアル店舗のデータしかつかってないよ

Industry Session は話す人が慣れてて聴きやすい。ねたも面白い あとどうしてもインド人の英語が聞き取れない

Paper Session 2

◆Users in the Loop: A Psychologically-Informed Approach to Similar Item Retrieval :star:

truefit.com

item-item similarity は心理学的ものを虫しがち　→ これをとりいれたい
How do humans judge similarity?  ジェーン はチータのように走る Xチータはジェーンのように走る  つまり非対称
Tversky similarity  (vs Jacard similarity)
目的：どうやってつくる？　
　　forced -choice desings for human choice → どっちの方が似てる？ でtraining data
評価：Tversky similarity のパラメータを学習　
　　いくつかのルールをビジネスからきめて評価する
　　Fashion でやったよ
結論 : できるよ
( Deep じゃなくておもしろかった
QA : 特徴はどうやってつくったの→人海戦術。超大変なので自動でつけるのがFuture Work

◆Explaining and Exploring Job Recommendations: a User-driven Approach for Interacting with Knowledge-based Job Recommender Systems

説明もの「なぜこのjob を推薦したか？」
Interactive & Job Recommender Systems
Labor Market  、UCD Process 、Focus Groups 、Visualization 超工夫した
Exploration/Control 、Explanations、Actionable Insights 
アンケートで評価　→ いい感じ
( 会社の場所が地図ででるUI、いい
( ドメイン、kuleuven.be とは = ベルギーの大学
QA ：雇用が増えたとかそこまでみた？ってchairman からの質問

◆Designing for the Better by Taking Users into Account: A Qualitative Evaluation of User Control Mechanisms in (News) Recommender Systems

Curse or Blessing? 
情報は民主化にcrucial
Fair News Project 
 ethnographic research
 simulation model
 news reader research <-これ
特にUser Control に注目
Recsys のプロトタイプをつくって、Qualitative research
自分の好みとか入れられる。
リーディング履歴 効果的、ニュースのカテゴリを見せるのも自覚できるので
divergence
順番を変えるだけでは不十分
自分でコントロールすると、個人の目的も達成しやすくなるし、活性化する
QA: ユーザコントロールが多様性を導くと思えない→ ある面では。でもフェアで透明性が保たれてexplainableになることは、フィルターバブルされてることを認識して多様性を求めることにつながると思う

◆Efficient Privacy-Preserving Recommendations based on Social Graphs

この辺からスマホでメモとってるのでうすい

Association rule mining 
Privacy 興味で人がわかっちゃう
distributed privacy preserving ARM
ユーザー サンプリング
homophily インフルエンサー
グラフ理論でランダムウォーク 
プライバシーとは？
anonymous user sampling
(苦手なグラフ理論でわからん/というか、課題がわからん

◆PrivateJobMatch: A Privacy-Oriented Deferred Multi-Match Recommender System for Stable Employment

Job recommender system
Both side recommend candidate job description
DAA 1to1 only
Mixed mmdaa mmda で空いたところをlmf mmdaa で埋める
Minimize vacancy！
privatejobmatch github

◆User-Centered Evaluation of Strategies for Recommending Sequences of Points of Interest to Groups

ttdp をどう解くか？ <- ttdp ってなんだろう、最適化問題？
  how to generate group
  グループ推薦の戦略
  旅行会社のグループツアーで人数が多くていきたいところがばらけている場合、
  temporary でグループにわけて別々のルート行ってもらった方が満足度あがるよね
  という問題にチャレンジ
相互推薦システムを、つくって、グラフで解く
検証 ：3つのコースを作成し、アンケートで定性評価（旅の途中でいったん別れるのもいいか？/推薦されたコースの評価)
だけどいろいろある 
  食事は一緒に食べたい、とか。
  小さい子どもがいるグループは別れたくない、とか。
  そーいう自明な要求をどう組み込んでどうコースとグループを組み立てるか？

RecSys 2018のペーパーを読んでいく(26)... ASD の人向けのゲームのRecSys をつくった話

2019年、RecSys 2018の論文をひたすら読みます。ルール。

• 1日ひとつ
• 読み終わらなくてもOK
• 理解と疑問点を毎日まとめる

今日から新しいsession "Towards RecSys that Care"。今回は、Recommending Social-Interactive Games for Adults with Autism Spectrum Disorders (ASD)。

Abstract:

• コミュニケーションが困難なASD という症状がある
• ASD の人向けに協調性を育むゲームを開発中
• あわせてゲームを推薦するシステムを開発している

ざっくり

• ASD の人は大人になるとサポートされなくなってしまう
• ゲームにより長期的にサポートすることができないか？
• ゲームは開発中
• あわせて、ゲームの推薦システムを開発している
• RecSysは1. その人のゲームレベルや関心にあったものを推薦するもの、2. 飽きないように別のジャンルのゲームを推薦するもの、の2種類
• 評価をしたがまあまあよかった
• どっちにしろ開発中なのでこのまますすめていこうと思う

感想

• ほとんどASDの説明
• この領域とCSは相性よさそう
• ゲームの開発と同時にRecSys の開発をはじめたこと / そこを重要視する理由がよくわからなかった