Netflix賞

Netflix Prize は、ユーザーや映画に関するその他の情報を 使用せず、つまりコンテスト用に割り当てられた番号以外でユーザーが特定されることなく、過去の評価に基づいて映画のユーザー評価を予測する、最も優れた協調フィルタリング アルゴリズムを競う公開コンテストでした。

このコンテストは動画配信サービスのNetflixが主催し、Netflixと関係のない人（現従業員、元従業員、代理人、Netflix従業員の近親者など）や、特定のブロック国（キューバや北朝鮮など）の居住者でない人であれば誰でも参加可能だった。^{[1] 2009年9月21日、Netflix独自の視聴率予測アルゴリズムを10.06%上回ったBellKorのPragmatic Chaosチームに}100万ドルの優勝賞金が贈られた。^[2]

Netflixは、 480,189人のユーザーが17,770本の映画に付けた100,480,507件の評価からなるトレーニングデータセットを提供した。各トレーニング評価は、形式の4つ組である<user, movie, date of grade, grade>。ユーザーフィールドと映画フィールドは整数IDで、グレードは1から5（整数）の星である。^[3]

予選データセットには、 形式の 3 つ組が 2,817,131 個以上含まれており、成績は<user, movie, date of grade>審査員のみが把握しています。参加チームのアルゴリズムは、予選セット全体の成績を予測する必要がありますが、アルゴリズムに通知されるのはデータの半分、つまり1,408,342 件の評価のクイズセットのスコアのみです。もう半分は1,408,789 件のテストセットで、これに対するパフォーマンスが審査員によって使用され、潜在的な受賞者を決定します。どの評価がクイズ セットに含まれ、どの評価がテスト セットに含まれるかを知っているのは審査員のみです。この仕組みは、テスト セットでのヒル クライミングを困難にすることを目的としています。提出された予測は、実際の成績に対して二乗平均平方根誤差(RMSE)の形で採点され、この誤差を可能な限り減らすことが目標です。実際の成績は 1 ～ 5 の範囲の整数ですが、提出された予測はそうである必要はないことに注意してください。 Netflix は、トレーニングデータ セット内で 1,408,395 件の評価のプローブサブセットも特定しました。プローブ、クイズ、テストデータ セットは、同様の統計特性を持つように選択されました。

要約すると、Netflix Prize で使用されるデータは次のようになります。

• トレーニング セット (プローブ セットを含まない評価 99,072,112 件、プローブ セットを含む評価 100,480,507 件)
  • プローブセット (評価数 1,408,395)
• 予選セット（評価数 2,817,131）は次のものから構成されます:
  • 勝者を決定するために使用されたテストセット（1,408,789 件の評価）
  • クイズ セット (評価数 1,408,342)、リーダーボード スコアの計算に使用

各映画のタイトルと公開年は別のデータセットで提供されます。ユーザーに関する情報は一切提供されません。顧客のプライバシーを保護するために、「トレーニング セットと適格セットの一部の顧客の評価データの一部は、評価の削除、代替の評価と日付の挿入、評価日付の変更など、次の 1 つ以上の方法で意図的に変更されています。」^[2]

トレーニング セットは、平均的なユーザーが 200 本以上の映画を評価し、平均的な映画が 5,000 人以上のユーザーによって評価されるように構築されています。ただし、データには大きなばらつきがあり、トレーニング セット内の映画の中には評価が 3 件しかないものもあれば、^[4] 1 人のユーザーが 17,000 本以上の映画を評価したものもあります。^[5]

RMSEを定義指標として選択することについては議論がありました。1% RMSE のような小さな改善でも、ユーザーに最も推奨される「トップ 10」映画のランキングに大きな違いが生じると主張されています。^[6]

賞品は、Netflix 独自のアルゴリズムであるCinematchに対する改善度、またはチームが一定のしきい値を超えて改善した場合は前年のスコアに基づいて決定されました。クイズ セット内の各映画の平均評価をトレーニング データから予測する単純なアルゴリズムは、1.0540 の RMSE を生成します。Cinematch は、「多くのデータ調整を伴う単純な統計線形モデル」を使用します。 ^[7]

トレーニングデータのみを使用した場合、Cinematch はクイズデータで RMSE 0.9514 を記録し、これは単純なアルゴリズムに比べて約 10% の改善です。Cinematch はテストセットでも同様の 0.9525 というパフォーマンスを示しています。優勝賞金 100 万ドルを獲得するために、参加チームはこれをさらに 10% 改善し、テストセットで 0.8572 を達成する必要がありました。^[2]クイズセットでのこのような改善は、RMSE 0.8563 に相当します。

グランプリを獲得したチームがいない限り、その年までの最高の結果に対して毎年 50,000 ドルの進歩賞が授与されました。ただし、この賞を獲得するには、アルゴリズムがクイズ セットの RMSE を前回の進歩賞受賞者 (または初年度の Cinematch) より少なくとも 1% 向上させる必要がありました。どの応募も成功しなかった場合、その年の進歩賞は授与されませんでした。

優秀賞または最優秀賞を獲得するには、参加者は審査員から連絡を受けてから 1 週間以内にソース コードとアルゴリズムの説明を提出する必要がありました。検証後、受賞者は Netflix に非独占的ライセンスも提供する必要がありました。Netflix はシステムの説明のみを公開し、ソース コードは公開しませんでした (アルゴリズムとソース コードを秘密にしておくために、チームは賞を請求しないことも選択できました)。また、審査員は他の参加者に対して予測を秘密にしていました。チームは成績を予測する試みを好きなだけ送信できました。当初、提出は週 1 回に制限されていましたが、間隔はすぐに 1 日 1 回に変更されました。チームのこれまでの最高の提出が、現在の提出としてカウントされました。

いずれかのチームが RMSE を 10% 以上改善することに成功すると、審査員は最終決定を下し、すべてのチームに 30 日以内に提出物を提出するよう求めます。その後、最も優れた提出物を提出したチームにアルゴリズムの説明、ソース コード、非独占ライセンスが求められ、検証に成功した後、最優秀賞受賞者が発表されます。

コンテストはグランプリ受賞者が発表されるまで続きます。グランプリ受賞者がいなかった場合、コンテストは少なくとも 5 年間 (2011 年 10 月 2 日まで) 続きます。その日以降、コンテストは Netflix の独自の裁量でいつでも終了できます。

コンテストは2006年10月2日に始まった。10月8日までに、WXYZConsultingというチームがすでにCinematchの成績を上回っていた。^[8]

10月15日までに、シネマッチに勝ったチームは3つあり、そのうち1つは1.06%の差で勝利し、年間進歩賞の資格を得ました。^[9] 2007年6月までに、150か国以上から20,000を超えるチームがこのコンテストに登録しました。2,000チームが13,000を超える予測セットを提出しました。^[3]

コンテストの初年度では、数人の有力候補が1位を争った。その中でも特に目立ったのは次のような人たちだった。^[10]

• WXYZConsulting、Wei Xu と Yi Zhang のチーム。(2006 年 11 月から 12 月にかけてのトップランナーでした。)
• ML@UToronto A、ジェフリー・ヒントン教授が率いるトロント大学のチーム。(2006 年 10 月から 12 月にかけては最有力候補でした。)
• Gravity、ブダペスト工科大学の 4 人の科学者のチーム(2007 年 1 月から 5 月までの最有力候補)
• BellKor、 AT&T 研究所の科学者グループ。(2007 年 5 月以来の先頭ランナー。)
• ダイナソー プラネットは、プリンストン大学の 3 人の学部生からなるチームです。(2007 年 9 月 3 日に 1 時間トップを走っていましたが、ベルコールに再びリードを奪われました。)

2007年8月12日、カリフォルニア州サンノゼで開催されたKDDカップ＆ワークショップ2007に多くの参加者が集まりました。^[11]ワークショップでは、当時のリーダーボードの上位4チームすべてが技術を発表しました。IBMリサーチのチーム、Yan Liu、Saharon Rosset、Claudia Perlich、Zhenzhen Kouは、タスク1で3位、タスク2で1位を獲得しました。

大会の2年目では、3チームのみがトップの座を獲得しました。

• BellKor、 AT&T 研究所の科学者グループ(2007 年 5 月から 2008 年 9 月までのトップランナー)
• BigChaos、Commendo Research & Consulting のオーストリアの科学者チーム (2008 年 10 月以来、単一チームのトップランナー)
• BigChaos の BellKor は、2 つのトップ シングル チームの合同チームです (2008 年 9 月以来のトップ ランナー)

2007 年 9 月 2 日、コンテストは 2007 年 Progress Prize の「最終募集」期間に入りました。186 か国から 40,000 を超えるチームがコンテストに参加しました。応募者は 30 日以内に作品を審査し、審査を受けることができました。この期間の初めにトップだったのは BellKor で、RMSE は 0.8728 (8.26% の改善) でした。続いて Dinosaur Planet (RMSE = 0.8769、7.83% の改善)、^[12]、Gravity (RMSE = 0.8785、7.66% の改善) でした。最終募集期間の最後の 1 時間で、「KorBell」の作品が 1 位になりました。これは、Team BellKor の別名であることが判明しました。^[13]

2007年11月13日、チームKorBell（旧称BellKor）は、RMSE 0.8712（8.43%の改善）で5万ドルの進歩賞の受賞者に選ばれました。^[14]チームは、 AT&T Labsの研究者3人、Yehuda Koren、Robert Bell、Chris Volinskyで構成されていました。^[15]必要に応じて、彼らはアルゴリズムの説明を公開しました。^[16]

2008年の進歩賞はチームBellKorに授与されました。彼らの提出物は別のチームと組み合わされ、BigChaosは207の予測子セットでRMSE 0.8616を達成しました。^[17] 共同チームは、 Commendo Research & Consulting GmbHの研究者2名、Andreas TöscherとMichael Jahrer（元チームBigChaos）とAT&T Labsの研究者3名、Yehuda Koren、Robert Bell、Chris Volinsky（元チームBellKor）で構成されていました。^[18]要求に応じて、彼らはアルゴリズムの説明を公開しました。^{[19] [20]}

これは、2008 年の Progress Prize より 1% の改善を達成すれば Grand Prize の資格を得るのに十分であったため、最後の Progress Prize となりました。賞金は受賞者が選んだ慈善団体に寄付されました。

2009年7月25日、「Grand Prize Team」と「Opera Solutions and Vandelay United」のチームが合併した「The Ensemble」チームは、Cinematch（クイズRMSE 0.8554）に対して10.09%の改善を達成しました。^{[21] [22]}

2009年6月26日、チーム「Bellkor in BigChaos」と「Pragmatic Theory」の合併チーム「BellKor's Pragmatic Chaos」は、Cinematch（クイズRMSE 0.8558）より10.05%の改善を達成した。その後、Netflix Prizeコンテストはグランプリの「最終募集」期間に入った。規則に従い、チームは2009年7月26日18:42:37 UTCまでの30日間、この賞の対象となる作品を提出することができた。^[23]

2009年7月26日、NetflixはNetflix Prizeコンテストへの応募作品の募集を停止した。^[24]

当時のリーダーボードの最終順位では、2つのチームがグランプリの最低要件を満たしていたことが示されました。「The Ensemble」は予選セットでCinematchchより10.10%向上し（クイズRMSEは0.8553）、もう1つの「BellKor's Pragmatic Chaos」は予選セットでCinematchchより10.09%向上しました（クイズRMSEは0.8554）。^{[25] [26]}グランプリ受賞者はテストセットでより良いパフォーマンスを示したチームとなることになっていた。

2009年9月18日、Netflixは「BellKor's Pragmatic Chaos」チームを受賞者（テストRMSE 0.8567）として発表し、2009年9月21日の式典でチームに賞が授与されました。^[27]「The Ensemble」チームはBellKorの結果と一致しましたが、BellKorが20分早く結果を提出したため、規則によりBellKorに賞が授与されました。^{[22] [28]}

共同チーム「BellKor's Pragmatic Chaos」は、Commendo Research & Consulting GmbHのオーストリア人研究者2名、Andreas TöscherとMichael Jahrer（元BigChaosチーム）、AT&T Labsの研究者2名、Robert BellとChris Volinsky、Yahoo!のYehuda Koren （元BellKorチーム）、Pragmatic Theoryの研究者2名、Martin PiotteとMartin Chabbertから構成されていました。^[29]要求に応じて、彼らはアルゴリズムの説明を公開しました。^[30]

5,169 チームによる 44,014 件の応募作品の中から、クイズとテストのデータセットで最悪の RMSE という「不名誉な栄誉」( Netflixによる) を獲得したと報告されたチームは、「The Ensemble」チームのメンバーでもあった JM Linacre が率いる「Lanterne Rouge」でした。

2010年3月12日、Netflixは前年8月に発表した第2回プライズコンペティションを実施しないことを発表した。この決定は訴訟と連邦取引委員会のプライバシーに関する懸念に対応したものであった。^[31]

このデータセットは顧客のプライバシーを保護するために作成されたが、プライバシー擁護者からは批判されている。2007年にテキサス大学オースティン校の2人の研究者（ヴィタリー・シュマティコフとアルヴィンド・ナラヤナン）は、データセットをインターネット映画データベースの映画評価と照合することで、個々のユーザーを特定することに成功した。^{[32] [33]}

2009年12月17日、Netflixユーザー4人がNetflixに対して集団訴訟を起こし、Netflixがデータセットを公開したことで米国公正取引法とビデオプライバシー保護法に違反したと主張した。 ^[34]研究参加者のプライバシーについて公開討論が行われた。2010年3月19日、Netflixは原告と和解に達し、その後自主的に訴訟を取り下げた。

• クラウドソーシング
• オープンイノベーション
• イノベーション競争
• 誘致賞品コンテスト
• カグル
• コンピュータサイエンスの賞一覧

• 公式サイト
• RecSysWiki の Netflix Prize
• Kate Greene (2006-10-06)。「100万ドルのNetflixチャレンジ」。テクノロジーレビュー。
• Robert M. Bell、Jim Bennett、Yehuda Koren、Chris Volinsky (2009 年 5 月)。「The Million Dollar Programming Prize」。IEEE Spectrum。2009年 5 月 11 日時点のオリジナルよりアーカイブ。2009 年 5 月 8 日閲覧。
• 大規模スパースデータセットの堅牢な匿名化 (Arvind Narayanan と Vitaly Shmatikov 著)
• ロバート・M・ベル、イェフダ・コーレン、クリス・ボリンスキー（2010）「みんなで一緒に：NETFLIX PRIZEの展望」チャンス、23（1）：24、doi：10.1007/s00144-010-0005-2
• Andrey Feuerverger、Yu He、Shashi Khatri (2012)、「Netflix Challenge の統計的意義」、Statistical Science、27 (2): 202–231、arXiv : 1207.5649、doi :10.1214/11-STS368、S2CID  43556443
• Netflix 100万ドル賞金 - Netflix はエンジニアリングコストのため、100万ドルのアルゴリズムを一度も使用しませんでした (2009) - Saint