バッチパイプ

IBMメインフレームでは、BatchPipesはMVS/ESAオペレーティングシステムおよびそれ以降のバージョン（OS/390およびz/OS）で実行されるバッチジョブ処理ユーティリティです。^[1]

従来の処理では、データ レコードがディスクまたはテープ上の順次 ( QSAMおよびBSAM )データ セットに書き出されると、別のジョブで同時に読み取ることはできません。「書き込み」と「読み取り」は同時に実行できません。これは、ファイル レベルのインターロックまたはデータ セット レベルのインターロックと呼ばれます。

BatchPipes を使用すると、インストール時に 2 つのジョブ間でデータを「パイプ」するように設定できます。利点は、ジョブを同時に実行できることと、データを二次ストレージに書き込んで読み戻す時間を回避できることです (これは非常に一般的です)。これらの 2 つの特性の組み合わせを慎重に使用すると、書き込みジョブの開始から読み取りジョブの終了までを測定した 2 つのジョブの合計経過時間が短縮されます。

BatchPipes は、ライターとリーダーの間で渡されるレコードの短いキューを維持します。ライターはキューの後ろにレコードを追加し、リーダーはキューの先頭からレコードを取得します。これはレコード レベルのインターロックと見なされ、リーダーとライターの同時実行が可能になります。

ソートは特殊なケースです。最初の出力レコードを書き込む前に、すべての入力レコードを読み取る必要があります。したがって、ソートの入力フェーズと出力フェーズは重複できません。ただし、入力フェーズは、前のジョブの出力フェーズと重複できます。同様に、ソートの出力フェーズは、ソートされたデータを読み取る下流のジョブと重複できます。

「1 つのリーダーと 1 つのライター」よりも複雑なトポロジも可能です。

• 「2 つのリーダーと 1 つのライター」は、リーダーの速度とライターの速度のバランスを取ろうとする試みの良い例です。キューが短いため、より高速なライターは、より低速なリーダーがキューからレコードを取り出すまで待機しなければ、処理を続行できません。2 つのリーダーを使用すると、ライターの機能を最大限に活用できます。
• 「1 つのジョブが 1 つのパイプからの読み取りと別のパイプへの書き込みを行う」という状況は、このジョブがレコードを編集する場合によく見られます。従来のバッチ ストリームにはこのようなジョブが含まれることがよくありますが、この種の処理は、たとえばIBMのDFSORT製品や BatchPipeWorks (BatchPipes の一部) を使用して導入できます。

実装上の重要な考慮事項の 1 つは、リーダー ジョブとライター ジョブを同時に実行するようにスケジュールすることです。実際のバッチ スケジュールでは、これは実現できない可能性があります。さらに、パイプライン内のいずれかのジョブが失敗した場合、回復アクションは、この単一のジョブを回復するだけでなく、より広範囲になります。これらの理由により、一部のインストールでは、BatchPipes の実装が困難であることがわかりました。

BatchPipes は、BatchPipePlex 機能を使用して、 IBM メインフレームのCoupling Facilityを使用し、 Parallel Sysplexの異なるメンバー間でデータをパイプできます。

BatchPipes には、 VM/ESAオペレーティング システム用に開発されたIBMのCMS Pipelines製品に基づくパイプライン ステージのセットが含まれています。これらのステージは、パイプラインに追加のバッチ ジョブを必要とせずに、追加の処理を提供します。

BatchPipes バージョン 1 は、1980 年代後半から 1990 年代前半にかけて、 MVS/ESAバッチ処理を高速化する技術として開発されました。1997 年に、BatchPipes の機能は、より大規模な IBM 製品である SmartBatch ( BMC Corporation の2 つの製品機能である DataAccelerator と BatchAccelerator を組み込んだ) に統合されました。ただし、SmartBatch は 2000 年 4 月に廃止されました。

モナコに拠点を置くAPTインターナショナルは、WARPという商標を持つ競合製品を製造した。この製品の発売から数か月後、IBMはOS/2製品をOS/2 Warp 4と改名したが、これはBatchPipesの唯一の競合製品であるパフォーマンス製品のマーケティングと衝突した。この結果、パリ大法廷で7年間の訴訟が起こった^{[2] [3]。}

その後、BatchPipes バージョン 1 と SmartBatch のいくつかの追加機能 (BatchPipePlex および BatchPipeWorks) を組み込んだ BatchPipes バージョン 2 がリリースされました。BatchPipes バージョン 2 は現在でも IBM 製品として販売されています。

• パイプライン（Unix）、独自のコンセプト
• CMS パイプライン
• ESA/390、メインフレームアーキテクチャ