バッチ処理

コンピューティングにおいて、バッチ処理とは、ソフトウェアジョブを自動化された無人方式で実行することです。ユーザーはジョブの実行スケジュールを設定し、処理システムがジョブを実行するのを待ちます。通常、ジョブは設定された時刻、イベント発生時、またはコンピュータのリソースが利用可能になった時に実行されるようにスケジュールされます。

「バッチ処理」という用語は、従来、生産方法をジョブ生産（単発生産）、バッチ生産（複数の品目を一度に、1つの工程ずつ生産）、フロー生産（大量生産、すべての工程を同時に行う）に分類していたことに由来する。

その後の歴史

最初の汎用タイムシェアリングシステムである互換タイムシェアリングシステム（CTSS）は、バッチ処理と互換性がありました。これにより、バッチ処理から対話型コンピューティングへの移行が容易になりました。^{[ 5 ]}

1960年代後半以降、テキストベースのコンピュータ端末インターフェース（ Unixシェルやread-eval-printループなど）や、後にグラフィカルユーザーインターフェースを介した対話型コンピューティングが一般的になった。コンパイルなどの単発の作業や、複数の項目をバッチで処理する非対話型コンピューティングは、後からバッチ処理と呼ばれるようになり、バッチジョブ（初期には「バッチオブジョブ」と呼ばれることが多かった）という用語が一般的になった。初期の使用例は、ミシガン大学のミシガン端末システム（MTS）周辺で特に見られる。 ^{[ 6 ]}

タイムシェアリングは確かに存在したが、企業データ処理には十分な性能を備えていなかった。これは、以前の人間が操作していたユニットレコード機器とは全く関係がない。

バッチ処理は、多くの一般的な業務プロセスがバッチ処理に適しているため、依然として多くの組織にとって不可欠です。オンラインシステムも手動による介入が不要な場合には機能しますが、通常、大量の反復作業を実行するように最適化されていません。そのため、新しいシステムであっても、一日の終わりに情報を更新したり、レポートを作成したり、文書を印刷したり、その他特定の業務期限内に確実に完了する必要のある非対話型タスクを実行するためのバッチ処理アプリケーションが、通常1つ以上含まれています。

フロー処理に適したアプリケーションもあります。例えば、一度に単一の入力からのデータのみを必要とするアプリケーション（合計値などを必要としないアプリケーション）です。各入力に対して、前のステップが完了するたびに次のステップを開始します。この場合、フロー処理によって個々の入力のレイテンシが低減され、バッチ全体の完了を待たずに処理を完了できます。しかし、多くのアプリケーション、特に合計値などの計算では、すべてのレコードからのデータが必要です。この場合、使用可能な結果を​​得るにはバッチ全体が完了する必要があり、部分的な結果は使用できません。

最新のバッチアプリケーションは、大量処理に必要な耐障害性とスケーラビリティを実現するために、Jem The Bee、 Spring Batch ^{[ 8 ]} 、 Java用に記述されたJSR 352 ^{[ 9 ]}の実装、その他のプログラミング言語用のフレームワークなどの最新のバッチフレームワークを利用しています。高速処理を保証するために、バッチアプリケーションは、バッチジョブを多数のプロセッサに分割するために、グリッドコンピューティングソリューションと統合されることがよくありますが、これにはプログラミング上の大きな課題があります。大量バッチ処理は、システムおよびアプリケーションアーキテクチャにも特に大きな要求を課します。最新のメインフレームコンピュータなど、強力な入出力性能と垂直スケーラビリティを備えたアーキテクチャは、他のアーキテクチャよりも優れたバッチ性能を提供する傾向があります。

スクリプト言語はバッチ処理の発展とともに普及した。^{[ 10 ]}

バッチウィンドウとは、「オンライン活動が比較的少ない期間」^{[ 11 ]}であり、コンピュータシステムが対話型オンラインシステムからの干渉を受けずに、または対話型オンラインシステムと連携してバッチジョブを実行できる期間です。

銀行の終業時（EOD）業務には、カットオーバーという概念が必要です。これは、特定の日のバッチ処理活動における取引とデータの処理を締め切ることを意味します（「午後3時以降の預金は翌日に処理される」）。

オンラインシステムの稼働時間に対する要求がグローバル化、インターネット、その他のビジネスニーズをサポートするために拡大するにつれて、バッチウィンドウは縮小し^{[ 12 ] [ 13 ]}、オンラインデータが可能な限り長時間利用可能であることを必要とする技術にますます重点が置かれるようになりました。

バッチサイズとは、1回のバッチ処理で処理される作業単位の数を指します。例としては、以下のようなものがあります。

• トランザクションをコミットする前に、ファイルからデータベースに読み込む行数。
• キューから取り出すメッセージの数。
• 1つのペイロード内で送信するリクエストの数。

• 対話型オンライン取引処理（OLTP）アプリケーションとは対照的に、効率的な一括データベース更新と自動化された取引処理を実現します。データウェアハウスへのデータ投入における抽出、変換、ロード（ETL）ステップは、ほとんどの実装において本質的にバッチ処理となります。
• デジタル画像に対して、サイズ変更、変換、透かしの追加、その他画像ファイルのグループ編集など、一括操作を実行する。
• コンピュータファイルをある形式から別の形式に変換すること。例えば、バッチ処理によって、独自形式や旧式のファイルを、エンドユーザーが検索や表示を行うための一般的な標準形式に変換することが可能です。
• 機械学習モデルのトレーニング。たとえば、eコマースWebサイトでは、計算リソースを節約するために、関連商品の推奨を生成するモデルを更新するために、顧客の取引を1時間ごとにバッチ処理したい場合があります。^{[ 14 ]}

IBMメインフレームのz/OSオペレーティング システムまたはプラットフォームは、その起源、長い歴史、そして継続的な進化により、バッチ処理機能において最も高度に洗練され、進化を遂げたシステムと言えるでしょう。今日では、このようなシステムは、単一のオペレーティング システムイメージ内で、数百、あるいは数千もの同時実行されるオンライン タスクとバッチ タスクをサポートするのが一般的です。同時実行されるバッチ処理とオンライン処理を支援するテクノロジーには、ジョブ制御言語(JCL)、 REXXなどのスクリプト言語、ジョブ エントリ サブシステム ( JES2およびJES3 )、ワークロード マネージャ(WLM)、自動再起動マネージャ (ARM)、リソース リカバリ サービス (RRS)、IBM Db2データ共有、パラレル シスプレックス、 HiperDispatchなどの独自のパフォーマンス最適化、I/O チャネル アーキテクチャなど、数多くのものがあります。

Unix プログラムのcron、at、およびbatch(現在batchは の派生版at) は、複雑なジョブのスケジューリングを可能にします。Windows にはジョブ スケジューラがあります。ほとんどの高性能コンピューティングクラスタは、クラスタの使用率を最大化するためにバッチ処理を使用します。^{[ 15 ]}

• バックグラウンドプロセス
• バッチファイル
• 一括ファイル名変更– 時間と労力を節約するために、多数のファイルを人手を介さずに自動的に名前変更します。
• BatchPipes – バッチ処理のパフォーマンスを向上させるユーティリティ
• 処理モード
• 運用サポート– バッチジョブ/スケジュール/ストリームのサポート
• 高スループットコンピューティング