データサイエンス

データサイエンスは、統計、科学計算、科学的手法、処理、科学的視覚化、アルゴリズム、システムを使用して、潜在的にノイズ^{の多い、構造化された、または}非構造化されたデータから知識と洞察を抽出または推定する学際的な学術分野です。^[1]

データサイエンスは、基礎となるアプリケーションドメイン（自然科学、情報技術、医学など）のドメイン知識も統合します。^[3]データサイエンスは多面的であり、科学、研究パラダイム、研究方法、分野、ワークフロー、専門職として説明できます。^[4]

データサイエンスとは、「統計、データ分析、情報科学、およびそれらに関連する方法を統合し、データを使用して「実際の現象を理解し、分析する」という概念です。^{[5]データサイエンスは、}数学、統計、コンピューターサイエンス、情報科学、およびドメイン知識のコンテキスト内の多くの分野から引き出された技術と理論を使用します。^{[6]ただし、データサイエンスは}コンピューターサイエンスや情報科学とは異なります。チューリング賞受賞者のジム・グレイは、データサイエンスを科学の「第4のパラダイム」（経験的、理論的、計算的、そして現在はデータ駆動型）と想定し、「情報技術の影響」とデータの氾濫により、「科学に関するすべてが変化している」と主張しました。^{[7] [8]}

データサイエンティストは、プログラミングコードを作成し、それを統計知識と組み合わせてデータから洞察を生み出す専門家です。^[9]

データサイエンスは、通常大規模なデータセットから知識を抽出し、そのデータから得た知識と洞察を幅広いアプリケーションドメインの問題の解決に応用することに焦点を当てた学際的な 分野です^{[10] 。この分野には、分析用のデータの準備、データサイエンスの問題の定式化、データ}の分析、データ駆動型ソリューションの開発、幅広いアプリケーションドメインでの高レベルの意思決定に役立つ調査結果の提示が含まれます。そのため、コンピューターサイエンス、統計、情報科学、数学、データ視覚化、情報視覚化、データソニフィケーション、データ統合、グラフィックデザイン、複雑系、コミュニケーション、ビジネスのスキルが組み込まれています。^{[11] [12]}統計学者のネイサン・ヤウは、ベン・フライを参考にして、データサイエンスを人間とコンピューターの相互作用に結び付けています。ユーザーはデータを直感的に制御および探索できる必要があります。 ^{[13] [14]} 2015年、アメリカ統計協会は、データベース管理、統計と機械学習、分散システムと並列システムを、3つの新興の基礎的な専門家コミュニティとして特定しました。 ^[15]

ネイト・シルバーを含む多くの統計学者は、データサイエンスは新しい分野ではなく、統計学の別名であると主張している。^[16]また、データサイエンスはデジタルデータに特有の問題や技術に焦点を当てているため、統計学とは異なると主張する人もいる。 ^[17] ヴァサント・ダールは、統計学は定量的なデータと記述を重視すると書いている。対照的に、データサイエンスは定量的および定性的なデータ（画像、テキスト、センサー、取引、顧客情報など）を扱い、予測と行動を重視する。^[18] コロンビア大学のアンドリュー・ゲルマンは、統計学はデータサイエンスの必須ではないと述べている。^[19]

スタンフォード大学の教授であるデイビッド・ドノホは、データサイエンスはデータセットのサイズやコンピューティングの使用によって統計学と区別されておらず、多くの大学院プログラムが分析と統計のトレーニングをデータサイエンスプログラムの本質として誤解を招くような宣伝をしていると書いている。彼はデータサイエンスを伝統的な統計学から生まれた応用分野であると説明している。^[20]

1962年、ジョン・テューキーは現代のデータサイエンスに似た「データ分析」と名付けた分野について述べた。 ^[20] 1985年、北京の中国科学院で行われた講演で、C・F・ジェフ・ウーは初めて統計学の別名として「データサイエンス」という用語を使用した。^{[21]その後、1992年に}モンペリエ第2大学で開催された統計学シンポジウムの参加者は、統計学とデータ分析の確立された概念と原則をコンピューティングと組み合わせた、さまざまな起源と形式のデータに焦点を当てた新しい分野の出現を認めた。^{[22] [23]}

「データサイエンス」という用語は、ピーター・ナウアがコンピューターサイエンスの別名として提案した1974年に遡ります。 ^[6] 1996年、国際分類学会連合は、データサイエンスを特にトピックとして取り上げた最初の会議となりました。^[6]しかし、定義はまだ流動的でした。1985年に北京の中国科学院で講演した後、1997年にC. F. ジェフ・ウーは、統計学をデータサイエンスに改名すべきだと再度提案しました。彼は、新しい名前は、会計学と同義であるとか、データの説明に限定されているといった統計学の不正確な固定観念を捨て去るのに役立つと論じました。^[24] 1998年、林千喜雄は、データサイエンスを、データ設計、収集、分析の3つの側面を持つ新しい学際的な概念であると主張しました。^[23]

1990年代には、データセット（規模が拡大するにつれて増加）内のパターンを見つけるプロセスを表す一般的な用語として、「知識発見」や「データマイニング」などがありました。^{[6] [25]}

2012年、技術者のトーマス・H・ダベンポートとDJ・パティルは「データサイエンティスト：21世紀で最もセクシーな仕事」と宣言しました。^{[ 26]このキャッチフレーズは、}ニューヨークタイムズ^[27]やボストングローブ[28]などの大都市の新聞にも取り上げられました。10年後、彼らはそれを再確認し、「雇用主の間でこの仕事はかつてないほど需要がある」と述べました。^[29]

データサイエンスを独立した学問分野として現代的に捉えたのは、ウィリアム・S・クリーブランドであるとされることもある。^[30] 2001年の論文で、彼は統計学を理論を超えて技術分野にまで拡張することを提唱した。これはこの分野を大きく変えることになるため、新しい名前が必要だった。^[25]「データサイエンス」はその後数年間でより広く使われるようになった。2002年には、科学技術のためのデータに関する委員会がデータサイエンスジャーナルを創刊した。2003年には、コロンビア大学がデータサイエンスジャーナルを創刊した。^[25] 2014年には、アメリカ統計学会の統計学習およびデータマイニング部門が、データサイエンスの人気の高まりを反映して、統計学習およびデータサイエンス部門に名称を変更した。^[31]

「データサイエンティスト」という専門職の称号は、2008年にDJパティルとジェフ・ハマーバッハによって提唱されました。 ^{[32]この用語は、2005年の報告書「長期にわたるデジタルデータ収集：21世紀の研究と教育を可能にする」の中で米}国立科学委員会によって使用されましたが、デジタルデータ収集の管理におけるあらゆる重要な役割を広く指していました。^[33]

データサイエンスの定義についてはまだコンセンサスが得られておらず、流行語だと考える人もいます。^[34] ビッグデータは関連するマーケティング用語です。^[35]データサイエンティストは、ビッグデータを使用可能な情報に分解し、企業や組織が最適な運用を決定するのに役立つソフトウェアとアルゴリズムを作成する責任があります。^[36]

データサイエンスとデータ分析はどちらもデータ管理と分析の分野で重要な分野ですが、いくつかの重要な点で異なります。どちらの分野もデータの取り扱いを伴いますが、データサイエンスは統計、計算、機械学習の手法を適用してデータから洞察を抽出し予測を行う学際的な分野であり、データ分析はパターンや傾向を特定するためのデータの調査と解釈に重点を置いています。^{[37] [38]}

データ分析では通常、特定の質問に答えたり、特定の問題を解決したりするために、より小規模で構造化されたデータセットを扱います。これには、データクリーニング、データの視覚化、探索的データ分析などのタスクが含まれ、データに関する洞察を得て、変数間の関係についての仮説を立てます。データアナリストは通常​​、統計的手法を使用してこれらの仮説をテストし、データから結論を導き出します。たとえば、データアナリストは販売データを分析して顧客行動の傾向を特定し、マーケティング戦略の推奨事項を作成します。^[37]

一方、データサイエンスはより複雑で反復的なプロセスであり、分析には高度な計算および統計的手法が必要となることが多い、より大規模で複雑なデータセットを扱います。データサイエンティストは、テキストや画像などの非構造化データを扱い、機械学習アルゴリズムを使用して予測モデルを構築し、データ駆動型の意思決定を行うことがよくあります。統計分析に加えて、データサイエンスには、データの前処理、特徴量エンジニアリング、モデル選択などのタスクが含まれることがよくあります。たとえば、データサイエンティストは、ユーザーの行動パターンを分析し、機械学習アルゴリズムを使用してユーザーの好みを予測することで、eコマースプラットフォームの推奨システムを開発する場合があります。^{[38] [39]}

データ分析は既存のデータから洞察を抽出することに重点を置いていますが、データサイエンスはそれを超えて、情報に基づいた意思決定を行うための予測モデルの開発と実装を取り入れています。データサイエンティストは、データの収集とクリーニング、適切な分析手法の選択、実際のシナリオでのモデルの展開を担当することがよくあります。彼らは、数学、コンピューターサイエンス、およびドメイン専門知識の交差点で働き、複雑な問題を解決し、大規模なデータセットに隠されたパターンを発見します。^[38]

これらの違いにもかかわらず、データサイエンスとデータ分析は密接に関連した分野であり、多くの場合、同様のスキルセットが必要です。どちらの分野も、統計、プログラミング、データ視覚化の確固たる基礎と、技術者と非技術者の両方の聴衆に調査結果を効果的に伝える能力が必要です。どちらの分野も批判的思考とドメイン知識の恩恵を受けます。データのコンテキストとニュアンスを理解することは、正確な分析とモデリングに不可欠だからです。^{[37] [38]}

要約すると、データ分析とデータサイエンスは、データ管理と分析という幅広い分野の中で、別個でありながら相互に関連した分野です。データ分析は、構造化データから洞察を抽出し結論を導き出すことに重点を置いていますが、データサイエンスは、統計分析、計算方法、機械学習を組み合わせたより包括的なアプローチで洞察を抽出し、予測モデルを構築し、データ主導の意思決定を推進します。どちらの分野も、データを使用してパターンを理解し、情報に基づいた意思決定を行い、さまざまなドメインにわたる複雑な問題を解決します。

前のセクションで説明したように、データサイエンス、データ分析、統計の間には、実質的にかなりの違いがあります。その結果、統計が応用数学から独立した分野に成長したのと同様に、データサイエンスも独立した分野として登場し、近年注目を集めています。さまざまな独立したソースから発生するデータ量の増加により、コンピューターによるデータ分析スキルに関する専門的なスキルに対する独自の需要が爆発的に増加しました。これらの非常に求められているスキルの一部は統計学者によって提供できますが、高度なアルゴリズムの記述スキルがないため、NoSQL、Apache Hadoop、クラウドコンピューティングプラットフォーム、複雑なネットワークの使用などのスキルに関する独自の専門知識を提供する訓練を受けたデータサイエンティストよりも好まれません。このパラダイムシフトにより、さまざまな機関が、熟練した労働者を市場に送り出すための学術プログラムを作成しています。データサイエンスの学位プログラムを提供している機関には、スタンフォード大学、ハーバード大学、オックスフォード大学、チューリッヒ工科大学、メルー大学[1]などがあります。

クラウドコンピューティングは、大量の計算能力とストレージへのアクセスを提供することができます。^{[40]大量の情報が継続的に生成され処理される}ビッグデータでは、これらのプラットフォームを使用して、複雑でリソースを大量に消費する分析タスクを処理できます。^[41]

いくつかの分散コンピューティングフレームワークは、ビッグデータのワークロードを処理するように設計されています。これらのフレームワークにより、データサイエンティストは大規模なデータセットを並列に処理および分析できるようになり、処理時間を短縮できます。^[42]

データサイエンスには、多くの場合個人情報や機密情報を含むデータの収集、処理、分析が含まれます。倫理的な懸念としては、潜在的なプライバシー侵害、偏見の永続化、社会への悪影響などがあります^{[43] [44]}

機械学習モデルはトレーニングデータに存在する既存のバイアスを増幅し、差別的または不公平な結果につながる可能性があります。^{[45] [46]}

• Python (プログラミング言語)
• R (プログラミング言語)
• データエンジニアリング
• ビッグデータ
• 機械学習