Pipeline (Unix)

In Unix-like computer operating systems, a pipeline is a mechanism for inter-process communication using message passing. A pipeline is a set of processes chained together by their standard streams, so that the output text of each process (stdout) is passed directly as input (stdin) to the next one. The second process is started as the first process is still executing, and they are executed concurrently.

The concept of pipelines was championed by Douglas McIlroy at Unix's ancestral home of Bell Labs, during the development of Unix, shaping its toolbox philosophy. It is named by analogy to a physical pipeline. A key feature of these pipelines is their "hiding of internals". This in turn allows for more clarity and simplicity in the system.

The pipes in the pipeline are anonymous pipes (as opposed to named pipes), where data written by one process is buffered by the operating system until it is read by the next process, and this uni-directional channel disappears when the processes are completed. The standard shell syntax for anonymous pipes is to list multiple commands, separated by vertical bars ("pipes" in common Unix verbiage).

The pipeline concept was invented by Douglas McIlroy^[1] and first described in the man pages of Version 3 Unix.^[2][3] McIlroy noticed that much of the time command shells passed the output file from one program as input to another. The concept of pipelines was championed by Douglas McIlroy at Unix's ancestral home of Bell Labs, during the development of Unix, shaping its toolbox philosophy.^[4][5]

彼のアイデアは1973年に実現され、（マッキルロイは「熱狂的な一夜にして」と書いている）ケン・トンプソンがUnixバージョン3のシェルpipe()といくつかのユーティリティにシステムコールとパイプを追加した。「翌日には」とマッキルロイは続けて、「誰もがパイプの興奮に加わり、忘れられないほどのワンライナーの乱交が見られた」。マッキルロイはまた、バージョン4でパイプ構文の説明を大幅に簡略化した表記法についてもトンプソンに功績を認めている。^{[ 6 ] [ 2 ]}|

Unix パイプは独立して開発されたものの、 1960 年代にダートマス タイムシェアリング システム^{[ 8 ]のためにケン ロックナー[ 7 ]}によって開発された「通信ファイル」と関連があり、またその前身となっている。

パイプライン機構は、メッセージパッシングを使用してプロセス間通信を行うために使用されます。パイプラインは、標準ストリームによって連結された一連のプロセスであり、各プロセスの出力テキスト（stdout ）が次のプロセスへの入力（ stdin ）として直接渡されます。2 番目のプロセスは、最初のプロセスがまだ実行されている間に開始され、それらは並行して実行されます。物理的なパイプラインになぞらえて名付けられています。これらのパイプラインの重要な特徴は、「内部構造の隠蔽」です。^{[ 10 ]}これにより、システムの明瞭性とシンプルさが向上します。

ほとんどの Unix ライクなシステムでは、パイプラインのすべてのプロセスが同時に起動され、ストリームが適切に接続され、マシン上で実行されている他のすべてのプロセスとともにスケジューラによって管理されます。Unix パイプを他のパイプ実装と区別する重要な側面は、バッファリング の概念です。たとえば、送信プログラムが毎秒5000バイトを生成し、受信プログラムが毎秒 100 バイトしか受け入れられない場合でも、データは失われません。代わりに、送信プログラムの出力はバッファに保持されます。受信プログラムがデータを読み取る準備ができたら、パイプライン内の次のプログラムがバッファから読み取ります。バッファがいっぱいになると、受信側がバッファから少なくとも一部のデータを取り出すまで、送信プログラムは停止 (ブロック) します。Linux では、バッファのサイズは 16ページであり、ほとんどのシステムで 65,536 バイト (64 KiB) に相当します。^{[ 11 ]} 

広く使われているUnixシェルはすべて、パイプラインを作成するための特別な構文構造を備えています。いずれの場合も、コマンドはASCIIの縦棒文字|（このため「パイプ文字」と呼ばれることが多い）で区切って順番に記述します。シェルはプロセスを開始し、それらの標準ストリーム間の必要な接続（バッファ領域の確保を含む）を設定します。

パイプラインは匿名パイプを使用します。匿名パイプの場合、あるプロセスによって書き込まれたデータは、次のプロセスによって読み取られるまでオペレーティングシステムによってバッファリングされ、この一方向チャネルはプロセスが完了すると消滅します。これは、名前付きパイプとは異なります。名前付きパイプでは、ファイルは名前付きパイプとして定義され、メッセージの送受信が行われ、プロセスが完了した後もそのパイプは残ります。匿名パイプの標準的なシェル構文は、縦棒（一般的なUnix用語では「パイプ」）で区切られた複数のコマンドを列挙することです。

コマンド1 |コマンド2 |コマンド3 

例えば、現在のディレクトリ内のファイル一覧を表示し（ls）、lsの出力から文字列「key」を含む行のみを抽出し（grep）、その結果をスクロール可能なページで表示する（less）には、ユーザーはターミナルのコマンドラインに次のように入力します。

ls -l | grep key | less 

このコマンドls -lはプロセスとして実行され、その出力 (stdout) は のプロセスの入力 (stdin) にパイプされgrep key、同様に のプロセスにもパイプされますless。各プロセスは前のプロセスから入力を受け取り、 標準ストリームを介して次のプロセスに出力を生成します。各 は、オペレーティングシステムに実装されている(匿名) パイプと呼ばれるプロセス間通信メカニズム|によって、左側のコマンドの標準出力を右側のコマンドの標準入力に接続するようにシェルに指示します。パイプは一方向であり、データはパイプラインを左から右に流れます。

curl 'https://en.wikipedia.org/wiki/Pipeline_(Unix)' |sed 's/[^a-zA-Z ]/ /g' |tr 'AZ ' 'az\n' |grep '[az]' |ソート-u |comm -23 - < ( sort /usr/share/dict/words ) |少ない 

command | while read -r var1 var2 ... ; do # var1、var2などに解析された変数を使用して各行を処理する# （これはサブシェルである可能性があることに注意してください。while ループが終了すると、var1、var2などは使用できなくなります。zsh や新しいバージョンの Korn シェルなど、一部のシェルでは、パイプ演算子の左側のコマンドをサブシェルで処理します）done

パイプラインはプログラム制御下で作成できます。Unixpipe()システムコールは、オペレーティングシステムに新しい匿名パイプオブジェクトの構築を要求します。これにより、プロセス内に2つの新しいファイルディスクリプタが作成されます。1つはパイプの読み取り専用側、もう1つは書き込み専用側です。パイプの両端は通常の匿名ファイルディスクリプタのように見えますが、シーク機能はありません。

デッドロックを回避し並列処理を活用するため、1つ以上の新しいパイプを持つUnixプロセスは、通常、fork()新しいプロセスを作成するための関数を呼び出します。各プロセスは、データを生成または消費する前に、使用しないパイプの端を閉じます。あるいは、プロセスは新しいスレッドを作成し、パイプを使用してスレッド間で通信を行うこともできます。

名前付きパイプはmkfifo()、または使用して作成することもできmknod()、プログラムが呼び出されるときに入力ファイルまたは出力ファイルとして提示されます。これにより、マルチパスパイプを作成でき、標準エラーリダイレクトまたはと組み合わせると特に効果的ですtee。

macOS Tahoeが登場するまで、繰り返し実行されるコマンドを連結するためにパイプラインの概念を用いるAppleのAutomatorのアイコンに描かれているロボットは、オリジナルのUnixの概念に敬意を表してパイプを持っていた。

パイプラインはC++で使用できます。C ++20operator|では(パイプ演算子)が導入され、名前空間を使用したLINQスタイルのチェーン操作が可能になりますstd::ranges。にはstd::views、 を介して呼び出されるいくつかのクラスが含まれていますoperator()。^{[ 15 ]}

using std :: vector ; using std :: ranges :: to ; using std :: views :: filter ; using std :: views :: transform ;vector < int > numbers = { 1 , 2 , 3 , 4 , 5 , 6 , 7 , 8 , 9 , 10 };// パイプライン: 偶数をフィルタリングし、2 倍にして、結果を合計します。vector < int > result = numbers | filter ([]( int n ) -> bool { return n % 2 == 0 ; }) | transform ([]( int n ) -> int { return n * 2 ; }) | to < vector > ();

• すべてはファイルである――これはUnixの決定的な特徴の一つを表している。パイプラインはUnixの意味での「ファイル」に対して作用する。
• 匿名パイプ– プロセス間通信に使用されるFIFO構造
• GStreamer – パイプラインベースのマルチメディアフレームワーク
• CMSパイプライン
• 反復対象
• 言語統合クエリ（LINQ）
• メソッドチェーン
• 名前付きパイプ– プロセス間通信に使用される永続的なパイプ
• プロセス置換— 複数のパイプをプロセスに接続するためのシェル構文
• GNUパラレル
• パイプライン（コンピューティング） – その他のコンピュータ関連のパイプライン
• リダイレクト（コンピューティング）
• Tee（コマンド） – パイプラインからデータを取り出すための一般的なコマンド
• XMLパイプライン– XMLファイルの処理用
• xargs

• Unixパイプ表記の歴史（ 2015年4月8日にWayback Machineにアーカイブ済み）
  • ダグ・マキロイが1964年に作成したオリジナルのメモには、パイプの概念が初めて提案されていた。
• pipe:プロセス間チャネルを作成する–システムインターフェースリファレンス、シングルUNIX仕様、バージョン5（The Open Group）   
• パイプ： Linux情報プロジェクト（LINFO）による簡単な入門
• Unixパイプ – 強力かつ洗練されたプログラミングパラダイム（Softpanorama）
• Wikibooksの「Unixコマンドラインからのアドホックデータ分析」では、シンプルなフィルタで構成されたパイプラインを使用して複雑なデータ分析を行う方法を紹介します。
• 音声データにおけるパイプの使用と悪用– netcat、nettee、fifos を使用したパイプの使用と悪用について紹介し、ネットワーク経由で音声を再生する方法を説明します。
• stackoverflow.com – bashパイプライン処理に関するQ&A。