レイノルド・シン

レイノルド・シンは、ビッグデータ、分散システム、クラウドコンピューティングを専門とするコンピュータ科学者およびエンジニアです。彼は、 Databricksの共同設立者であり、チーフアーキテクトです。^[1]彼は、主要なオープンソースのビッグデータプロジェクトであるApache Sparkでの仕事で最もよく知られています。^[2]彼は、 GraphX、Project Tungsten、およびStructured Streamingコンポーネントの設計者および主任開発者であり、Apache Sparkディストリビューションのコアの一部であるDataFramesの共同設計者でした。また、Sparkの2.0リリースのリリースマネージャーも務めました。^[3]

Xinはカリフォルニア大学バークレー校のAMPLabで博士課程に在籍中にSparkオープンソースプロジェクトに取り組み始めました。彼はバークレーでコンピュータサイエンスの博士号を取得しました。指導教官はMichael J. FranklinとIon Stoicaでした。^[4]

最初の研究プロジェクトであるShark ^{[5] は、SQLと高度な分析ワークロードを大規模に効率的に実行できるシステムを作成しました。Sharkは、} SIGMOD 2012でベストデモ賞を受賞しました。^{[6] Sharkは、Hadoopシステム上の最初のオープンソースのインタラクティブSQLの1つであり、} Apache Hiveよりも10〜100倍高速であると主張しています。SharkはYahooなどのテクノロジー企業で使用されていましたが、^[7] 2014年にSpark SQLと呼ばれる新しいシステムに置き換えられました。^[8]

2番目の研究プロジェクトであるGraphX ^[9]は、汎用データ並列システムであるSpark上にグラフ処理システムを作成しました。GraphXは同時に、グラフ計算には特殊なシステムが必要であるという概念に挑戦しました。GraphXはオープンソースプロジェクトとしてリリースされ、2014年にSpark上のグラフ処理ライブラリとしてSparkに統合されました。

2013 年、Xin 氏はMatei Zaharia 氏や他の主要な Spark 貢献者とともに、 Spark をベースにしたデータ プラットフォームをサービスとして提供するサンフランシスコを拠点とするベンチャー支援企業 Databricks を共同設立しました。

2014年、Xin氏はDatabricksのエンジニアチームを率いてソートベンチマークに出場し、Sparkを使用したデイトナグレーソートで2014年の世界記録を獲得し、Apache Hadoopが保持していた以前の記録を30倍も上回りました。^[10] Xin氏は、Sparkがペタバイトのデータをソートする最速のオープンソースエンジンであると主張しました。^[11]

Databricks在籍中、彼はDataFramesプロジェクト^[12] 、 Project Tungsten ^[13]、Structured Streaming ^[14]も立ち上げました。DataFramesは基礎APIとなり、Tungstenは新しい実行エンジンとなりました。