データブリックス

データブリックス株式会社

会社種別	プライベート
業界	コンピュータソフトウェア
設立	2013年; 11年前 （2013年）
創設者	アリ・ゴドシ アンディ・コンウィンスキー イオン・ストイカ パトリック・ウェンデル レイノルド・シン マテイ・ザハリア アルサラン・タバコリ
本部	カリフォルニア州サンフランシスコ 、 アメリカ合衆国
主要人物	アリ・ゴドシ （最高経営責任者（CEO） イオン・ストイカ （会長）
収益	16億ドル（2023年）[1]
従業員数	約 5,500人（2023年）[2]
Webサイト	出典:

Databricks, Inc.は、Apache Sparkのオリジナル開発者によって設立された、データ、分析、人工知能を扱うグローバル企業です。^[3]

同社は、企業が生成AIやその他の機械学習モデルを含むデータとAIを構築、拡張、管理するのを支援するクラウドベースのプラットフォームを提供しています。^[4]

Databricksは、データウェアハウスとデータレイクの機能を組み合わせたデータおよびAIプラットフォームであるデータレイクハウスの先駆者であり、組織が従来のビジネス分析とAIワークロードに構造化データと非構造化データの両方を管理および使用できるようにします。^[5]

2023年11月、Databricksは、レイクハウスの統合の利点とMosaicMLのGenerative AIテクノロジーを組み合わせた新しいサービスであるDatabricks Data Intelligence Platformを発表しました。これにより、顧客は独自のデータをよりよく理解して使用できるようになります。^[6]

同社は、機械学習やその他のデータサイエンスのユースケースのためのデータレイクに信頼性をもたらすオープンソースプロジェクトであるDelta Lakeを開発しています。 ^[7]

Databricksは、Scala上に構築されたオープンソースの分散コンピューティングフレームワークであるApache Sparkの開発に携わったカリフォルニア大学バークレー校のAMPLabプロジェクトから生まれました。同社は、 Ali Ghodsi、Andy Konwinski、Arsalan Tavakoli-Shiraji、Ion Stoica、Matei Zaharia、^[8] Patrick Wendell、Reynold Xinによって設立されました。

2017年11月、同社はAzure Databricksとの統合を通じてMicrosoft Azure上のファーストパーティサービスとして発表されました。 ^{[9] 2021年2月、Databricksは}Google Cloudと共同で、Google Kubernetes EngineおよびGoogleのBigQueryプラットフォームとの統合を提供しました。^[10]同社によると、この時点で5,000を超える組織が同社の製品を使用していました。^[11]

フォーチュン誌は、2021年にデータブリックスを「ミレニアル世代にとっての職場」のベスト大規模企業の1つにランク付けした。^[12]

同社の拡大の多くは買収を通じて実現した。2020年6月には、データの視覚化とインタラクティブなダッシュボードの構築のためのオープンソースツールであるRedashを買収した。^[13] 2021年には、コーディングなしでデータ探索を可能にする製品であるbamboolibを提供するドイツのノーコード企業8080 Labsを買収した。 ^[14] 2023年5月には、データセキュリティグループOkeraを買収し、Databricksのデータガバナンス機能を拡張した。^[15] 6月には、オープンソースの生成AIスタートアップであるMosaicMLを14 億ドルで買収した。^{[16] [17]} 10月には、データ複製スタートアップのArcionを1億ドルで買収した。^[18] 6回目の買収と思われる買収では、オープンソースAIで使用されるデータ管理システムであるTabularを10億ドル以上で買収した。^[19]

OpenAIのChatGPTの人気に応えて、同社は2023年3月に、開発者がチャットボットを作成できるオープンソースの言語モデルを導入しました。羊のドリーにちなんでDollyと名付けられました。DollyはChatGPTと同様の結果を生成するために使用するパラメータは少ないですが、Databricksは、そのボットが実際にChatGPTのパフォーマンスに匹敵するかどうかを示す正式なベンチマークテストをリリースしていませんでした。^{[20] [21] [22]}

データブリックスは2023年度の収益が16億ドルと報告しており、これは前年度比2倍以上となる。^[23]

2013年9月、データブリックスはアンドリーセン・ホロウィッツから1,390万ドルを調達したと発表し、グーグルのMapReduceシステムに代わるものを提供することを目指していると述べた。^{[24] [25]} マイクロソフトは2019年にデータブリックスの著名な投資家であり、同社のシリーズEに未特定の金額で参加した。^{[26] [27]}同社はこれまでに19億ドルの資金を調達しており、これにはフランクリン・テンプルトンが主導し、 2021年2月にポストマネー評価額280億ドルとなった10億ドルのシリーズGが含まれる。他の投資家には、アマゾンウェブサービス、キャピタルG （アルファベット傘下のグロースエクイティファーム）、セールスフォース・ベンチャーズなどがある。^[11] 2021年8月、データブリックスは8回目の資金調達ラウンドを終え、16億ドルを調達し、企業価値を380億ドルとした。^[28]

Databricksは、「データウェアハウス」と「データレイク」を組み合わせたマーケティング用語「レイクハウス」を使用してクラウドデータプラットフォームを開発・販売しています。^[37] Databricksのレイクハウスは、従来のデータベーススキーマなしで半構造化データに対する分析クエリを可能にするオープンソースのApache Sparkフレームワークに基づいています。^{[38] 2022年10月、レイクハウスは米国連邦政府および請負業者での使用のために}FedRAMP認定ステータスを取得しました。 ^[39]

同社はまた、データエンジニアリング、データサイエンス、機械学習にまたがるオープンソースプロジェクトであるDelta Lake、MLflow、Koalasも作成しました。^{[40] [41]}

2020年6月、DatabricksはDelta Lake用の高速クエリエンジンであるDelta Engineをリリースしました。^[42]これはApache SparkおよびMLflowと互換性があります。^[43]

2020年11月、Databricksはデータレイク上でビジネスインテリジェンスと分析レポートを実行するためのDatabricks SQL（旧称SQL Analytics）を導入しました。アナリストは標準SQLでデータセットをクエリしたり、コネクタを使用してHolistics、 Tableau、Qlik、SigmaComputing、Looker、ThoughtSpotなどのビジネスインテリジェンスツールと統合したりできます。^[44]

Databricksは、機械学習、データストレージと処理、ストリーミング分析、ビジネスインテリジェンスなどの他のワークロード向けのプラットフォームを提供しています。^[45]

2024年初頭、DatabricksはAIシステムのカスタマイズ、微調整、構築のためのツールセットMosaicをリリースしました。これには、RAGモデルを構築するためのAI Vector Search、Databricksによって微調整または事前展開されたモデルを展開、管理、クエリ、監視するためのサービスであるAI Model Serving、企業が独自のLLMを作成するためのプラットフォームであるAI Pretrainingが含まれています。^[46]

2024年3月、Databricksはオープンソースの基盤モデルであるDBRXをリリースしました。これは専門家混合アーキテクチャを持ち、MegaBlocksオープンソースプロジェクト上に構築されています。^[47] DBRXの作成には1,000万ドルかかりました。発売当時、これは業界で一般的に使用されているベンチマークに基づく最速のオープンソースLLMでした。論理パズルを解いたり、一般知識の質問に答えたりするタスクで、LlaMA2などの他のモデルを上回りました。また、1,360億のパラメータがありますが、出力を生成するのに使用するのは平均で360億だけです。^[48] DBRXは、企業が独自のAIモデルを構築またはカスタマイズするための基盤としても機能します。企業は独自のデータを使用して、特定のユースケース向けに高品質の出力を生成することもできます。^[49]

同社は、Databricksプラットフォームの構築に加えて、Sparkに関する大規模なオープンオンラインコース^[50]や、Sparkコミュニティ向けのカンファレンスであるData + AI Summit ^[51]（旧称Spark Summit）を共同開催しています。

データブリックスはサンフランシスコに本社を置いています。^{[52]また、}カナダ、イギリス、その他の地域でも事業を展開しています。 ^[53]