コンピュータ言語ベンチマークゲーム

コンピュータ言語ベンチマークゲーム（以前はグレートコンピュータ言語シュートアウトと呼ばれていました）は、特定の単純なアルゴリズムのサブセットがさまざまな人気のあるプログラミング言語でどのように実装できるかを比較するための無料のソフトウェアプロジェクトです。

このプロジェクトは以下で構成されています。

• 非常に単純なアルゴリズム問題のセット（合計13個）^{[ 1 ]}
• 上記の問題に対する様々なプログラミング言語による様々な実装例
• 提出された実装が問題文を解決していることを検証するための単体テストのセット
• 実装の実行とタイミングを計測するためのフレームワーク
• 結果をインタラクティブに比較できるウェブサイト

各実装の以下の側面が測定されます: ^{[ 2 ]}

• 全体的なユーザー実行時間
• ピークメモリ割り当て
• ソリューションのソースコードのgzip圧縮後のサイズ
• 全スレッドにおけるCPU時間の合計
• 個々のCPU使用率

同じプログラミング言語で同じ問題に対して複数の解決策が存在することはよくある。これは、与えられた言語の制約の中で、抽象度が高い、メモリ効率が良い、高速である、あるいは並列化に適しているといった、様々な利点を持つ解決策が存在することを示している。

当初から、それぞれ異なる種類のプログラミング課題を提供する非常に単純なおもちゃの問題のみを含めるという設計上の選択がありました。^{[ 3 ]} これにより、ベンチマークゲームのユーザーはさまざまな実装を精査する機会を得ることができます。^{[ 4 ]}

• 二分木
• chameneos-redux
• ファンクッチ・リダックス
• ファスタ
• kヌクレオチド
• マンデルブロ
• 流星コンテスト
• n体
• πの桁数
• regex-redux
• 逆相補鎖
• スペクトルノルム
• ねじリング

このプロジェクトは2007年までは「グレート・コンピュータ・ランゲージ・シュートアウト」として知られていた^{。[ 5 ]}

Windows版は2002年から2003年にかけて別途メンテナンスされていた。^{[ 6 ]}

ソースコードはGitLabにアーカイブされています。^{[ 7 ]}

GitHubには古いフォークも存在します。^{[ 8 ]}

このプロジェクトは継続的に進化しています。サポートされているプログラミング言語のリストは、市場の動向に合わせて、およそ年に一度更新されます。ユーザーは、問題に対する改善されたソリューションを提出したり、テスト方法の改善を提案したりすることもできます。^{[ 9 ]}

開発者自身も、研究者はこのようなマイクロベンチマークを使用する際には注意を払うべきだと強調している。

JavaScriptベンチマークは、実行時間が短く、実際のアプリケーションとは大きく異なる動作を示します。私たちは動作の違いを数多く記録しており、これらの測定結果から、ベンチマークに基づく結果はJavaScriptエンジンの実装者を誤解させる可能性があると結論付けています。さらに、ベンチマークでは示されない興味深い動作が実際のJavaScriptアプリケーションで観察されており、これまで検討されてこなかった最適化戦略が実際に有効である可能性を示唆しています。

ベンチマークの結果、様々なコンパイラの問題点が明らかになった。特定のコンパイラが、文法的には正しいものの、通常とは異なる構文を処理できない場合があった。また、実行時のパフォーマンスが期待を下回る場合もあり、コンパイラ開発者は最適化機能の見直しを迫られた。

ベンチマーク、その結果、およびその方法論に基づいて、さまざまな研究論文が作成されています。^{[ 10 ] [ 11 ] [ 12 ] [ 13 ] [ 14 ] [ 15 ] [ 16 ] [ 17 ] [ 18 ] [ 19 ] [ 20 ] [ 21 ] [ 22 ]}

• ベンチマーク（コンピューティング）
• プログラミング言語の比較

• 公式サイト