パフォーマンスキットベンチマーカー

PerfKit Benchmarker は、クラウド オファリングの測定と比較に使用されるオープン ソースのベンチマーク ツールです。PerfKit Benchmarker は、Apache 2 ライセンス条項に基づいてライセンスされます。PerfKit Benchmarker は、発案者であるGoogleをはじめ、研究者、学術機関、企業など 500 人以上が参加するコミュニティの取り組みです。

PerfKit Benchmarker (PKB) は、クラウド パフォーマンスを測定するための反復可能で一貫性のあるオープンな方法を提供するためのコミュニティの取り組みです。Alibaba Cloud、Amazon Web Services、CloudStack、DigitalOcean、Google Cloud Platform、Kubernetes、Microsoft Azure、OpenStack、Rackspace、IBM Bluemix (Softlayer)など、増え続けるクラウド プロバイダーをサポートしています。クラウド プロバイダーに加えて、Kubernetes [1] やMesos [2] などのコンテナー オーケストレーションと、ローカルの「静的」ワークステーションおよびコンピューター クラスター [3] もサポートしています。

目標は、クラウド開発者がどのようにアプリケーションを構築し、クラウドの代替案を評価し、各クラウド向けにアプリケーションを設計する方法を学習しているかを表す、オープンソースの生きたベンチマーク [フレームワーク] を作成することです。生きたベンチマークとは、開発者の変化に合わせてすぐに変化し、変形するベンチマークです。

PerfKit Benchmarker は、クラウド内のリソースをプロビジョニングするエンドツーエンドの時間を測定し、さらに、レイテンシ、スループット、完了までの時間、IOPS などのピークパフォーマンスの最も標準的なメトリックをレポートします。PerfKit Benchmarker は、統一されたシンプルなコマンドによって、サポートされているクラウドプロバイダーでのベンチマーク実行の複雑さを軽減します。ベンダーが提供するコマンドラインツールを介して動作するように設計されています。

PerfKit Benchmarker には、公開ベンチマークの標準的なセットが含まれています。すべてのベンチマークは、デフォルト/初期状態と構成で実行されます (プロバイダーに有利になるように調整されていません)。これにより、アプリケーションのスループット、レイテンシ、差異、オーバーヘッドを透過的に把握しながら、クラウド プラットフォーム全体でベンチマークを実行する方法が提供されます。^[1]

PerfKit Benchmarker (PKB) は、2014 年に Google の Anthony F. Voellm、Alain Hamel、Eric Hankland によって開始されました。最初の「アルファ」が導入されると、Anthony F. Voellm と Ivan Santa Maria Filho は、ARM、Broadcom、Canonical、CenturyLink、Cisco、CloudHarmony、CloudSpectator、EcoCloud@EPFL、Intel、Mellanox、Microsoft、Qualcomm Technologies、Inc.、Rackspace、Red Hat、Tradeworx Inc.、Thesys Technologies LLC を含むコミュニティを構築しました。

このコミュニティは、プライベートな GitHub プロジェクトの舞台裏で協力し、クラウド パフォーマンスを測定するオープンな方法を作成しました。このコミュニティは、2015 年 2 月 11 日に最初のパブリック「ベータ」をリリースし、ブログ投稿で発表しました。その時点で、GitHub プロジェクトはすべての人に公開されました。ほぼ 1 年が経過し、大規模な適応 (GitHub の参加者 600 人以上) を経て、2015 年 12 月 10 日に詳細なアーキテクチャ設計とともに V1.0.0 がリリースされました。

PerfKitBenchmarkerから利用可能なベンチマークのリスト: (最新のベンチマークセットはGitHubのreadmeファイルにあります。^[2] )

Google がPerfKitBenchmarker をオープンソース化して以来、30 を超える一流研究者、大学、業界企業によるコミュニティの取り組みとなりました。これらの組織には、ARM、Broadcom、Canonical、CenturyLink、Cisco、CloudHarmony、Cloud Spectator、EcoCloud@ EPFL、Intel、Mellanox、Microsoft、Qualcomm Technologies、Rackspace、Red Hat、Thesys Technologies が含まれます。さらに、スタンフォード大学とMIT は、コミュニティによって提案されたデフォルトのベンチマークと設定に関する四半期ごとの議論を主導しています。EcoCloud@ EPFL は、CloudSuite を PerfKit Benchmarker に統合しています。

Google Cloud Platform で実行した例

$ ./pkb.py --cloud=GCP --project=<GCP プロジェクト ID> --benchmarks=iperf --machine_type=f1-micro

AWS での実行例

$ ./pkb.py --cloud=AWS --benchmarks=iperf --machine_type=t1.micro

Azure での実行例

$ ./pkb.py --cloud=Azure --machine_type=ExtraSmall --benchmarks=iperf

Rackspace で実行した例

$ ./pkb.py --cloud=Rackspace --machine_type=standard1 --benchmarks=iperf

ローカルマシンで実行した例

$ ./pkb.py --stack_vm_file=local_config.json --benchmarks=iperf