パイプライン (Unix)

Unix 系コンピュータオペレーティング システムでは、パイプラインはメッセージ パッシングを使用したプロセス間通信のメカニズムです。パイプラインは、標準ストリームによって連結された一連のプロセスであり、各プロセスの出力テキスト ( stdout ) が次のプロセスの入力 ( stdin )として直接渡されます。最初のプロセスの実行中に 2 番目のプロセスが開始され、同時に実行されます。

パイプラインの概念は、 Unixの開発中に、Unixの発祥の地であるベル研究所のDouglas McIlroyによって提唱され、Unix のツールボックス哲学を形成しました。これは、物理的なパイプラインとの類似性から名付けられました。これらのパイプラインの主な特徴は、「内部を隠す」ことです。これにより、システムの明確さとシンプルさが向上します。

パイプライン内のパイプは匿名パイプ (名前付きパイプとは対照的) であり、1つのプロセスによって書き込まれたデータは、次のプロセスによって読み取られるまでオペレーティング システムによってバッファリングされ、この一方向チャネルはプロセスが完了すると消滅します。匿名パイプの標準的なシェル構文は、複数のコマンドを縦棒 (一般的な Unix 用語では「パイプ」) で区切ってリストすることです。

パイプラインの概念はダグラス・マキロイ^{[1]によって発明され、}バージョン 3 Unixのマニュアルページで初めて説明されました。^{[2] [3]マキロイは、}コマンドシェルが多くの場合、あるプログラムからの出力ファイルを別のプログラムへの入力として渡すことに気付きました。パイプラインの概念は、Unix の開発中に、Unixの発祥地であるベル研究所でダグラス・マキロイによって推進され、そのツールボックス哲学を形成しました。^{[4] [5]}

彼のアイデアは 1973 年に実装され、ケン・トンプソンが(「ある熱狂的な一夜にして」とマキロイは書いている)、バージョン 3 Unix のシェルpipe()といくつかのユーティリティにシステム コールとパイプを追加した。「翌日には、誰もが配管工事の興奮に加わり、忘れられないワンライナーの乱交が繰り広げられた」とマキロイは続けている。マキロイはまた、バージョン 4のパイプ構文の記述を大幅に簡素化した表記法をトンプソンが考案したとしている。^{[6] [2]}|

Unixパイプは独立して開発されたが、 1960年代にケン・ロクナー^[7]がダートマスタイムシェアリングシステム^[8]用に開発した「通信ファイル」と関連があり、その前に存在していた。

Unixのこの機能は、 MS-DOSやVM/CMSおよびMVS上のCMS Pipelinesパッケージなどの他のオペレーティング システムにも借用され、最終的にはソフトウェア エンジニアリングのパイプとフィルターの設計パターンと呼ばれるようになりました。

トニー・ホーアの 通信シーケンシャルプロセス（CSP）では、マキロイのパイプがさらに発展しています。^[9]

パイプライン機構は、メッセージパッシングを使用したプロセス間通信に使用されます。パイプラインは、標準ストリームによって連結された一連のプロセスであり、各プロセスの出力テキスト ( stdout ) が次のプロセスの入力 ( stdin )として直接渡されます。2 番目のプロセスは、最初のプロセスの実行中に開始され、同時に実行されます。これは、物理的なパイプラインに類似して名付けられています。これらのパイプラインの主な特徴は、「内部の隠蔽」です。^[10]これにより、システムの明確さとシンプルさが向上します。

ほとんどの Unix 系システムでは、パイプラインのすべてのプロセスが同時に開始され、それらのストリームが適切に接続され、マシンで実行されている他のすべてのプロセスとともにスケジューラによって管理されます。Unix パイプを他のパイプ実装と区別する重要な側面は、バッファリングの概念です。たとえば、送信プログラムは1 秒あたり5000バイトを生成し、受信プログラムは 1 秒あたり 100 バイトしか受け入れることができなくても、データが失われることはありません。代わりに、送信プログラムの出力はバッファーに保持されます。受信プログラムがデータを読み取る準備ができると、パイプラインの次のプログラムがバッファーから読み取ります。バッファーがいっぱいになると、受信側によって少なくとも一部のデータがバッファーから削除されるまで、送信プログラムは停止 (ブロック) されます。Linux では、バッファーのサイズは 65,536 バイト (64KiB) です。必要に応じて、より大きなバッファーを提供するために、bfr と呼ばれるオープンソースのサードパーティ フィルターを使用できます。

netcatやsocatなどのツールは、パイプを TCP/IPソケットに接続できます。

広く使用されているすべての Unix シェルには、パイプラインを作成するための特別な構文構造があります。すべての使用法では、コマンドをASCII の 縦棒文字(このため、しばしば「パイプ文字」と呼ばれます) で区切って順番に記述します。シェルはプロセスを開始し、標準ストリーム (一定量のバッファストレージを含む) |間の必要な接続を調整します。

パイプラインは匿名パイプを使用します。匿名パイプの場合、1 つのプロセスによって書き込まれたデータは、次のプロセスによって読み取られるまでオペレーティング システムによってバッファリングされ、この一方向チャネルはプロセスが完了すると消えます。これは、ファイルにすることで名前が付けられたパイプとの間でメッセージがやり取りされ、プロセスが完了した後も残る名前付きパイプとは異なります。匿名パイプの標準的なシェル構文は、複数のコマンドを縦棒(一般的な Unix 用語では「パイプ」)で区切ってリストすることです。

コマンド1 |コマンド2 |コマンド3
    

たとえば、現在のディレクトリ内のファイルを一覧表示し ( ls )、文字列「key」を含むls出力の行のみを保持し( grep )、結果をスクロール ページで表示する ( less ) には、ユーザーは端末のコマンド ラインに次のように入力します。

ls  -l | grepキー| less
     

コマンドはls -lプロセスとして実行され、その出力 (stdout) は の場合プロセスの入力 (stdin) にパイプされますgrep key。また、 の場合も同様ですless。各プロセスは前のプロセスから入力を受け取り、標準ストリームを介して次のプロセスの出力を生成します 。それぞれは、オペレーティングシステムに実装されている(匿名) パイプと呼ばれるプロセス間通信|メカニズムによって、左側のコマンドの標準出力を右側のコマンドの標準入力に接続するようにシェルに指示します。パイプは一方向です。データはパイプラインを左から右に流れます。

以下は、 URLで示されるWebリソースに対して一種のスペル チェッカーを実装するパイプラインの例です。次に、その機能について説明します。

curl "https://en.wikipedia.org/wiki/Pipeline_(Unix)" |  
's/[^a-zA-Z ]/ /g' を実行します|  
tr 'AZ' 'az\n' |   
grep '[az]' |  
ソート -u | 
comm  -23  -  < (  /usr/share/dict/words をソート) | 
少ない

1. curlWeb ページのHTMLコンテンツを取得します(wget一部のシステムで使用できます)。
2. sedスペースまたは文字以外のすべての文字 (Web ページのコンテンツから) をスペースに置き換えます (改行は保持されます) 。
3. trすべての大文字を小文字に変更し、テキスト行内のスペースを改行に変換します (各「単語」が別々の行になります)。
4. grep少なくとも 1 つの小文字のアルファベット文字を含む行のみが含まれます (空白行は削除されます)。
5. sort'単語' のリストをアルファベット順に並べ替え、-uスイッチによって重複を削除します。
6. commは、2 つのファイル間で共通する行を検索し、-232 番目のファイルに固有の行と両方に共通する行を抑制して、最初に指定したファイルにのみ存在する行のみを残します。-ファイル名の代わりにcommを使用すると、 は標準入力 (この場合はパイプラインから) を使用します。 は、期待どおりにファイルsort /usr/share/dict/wordsの内容をwordsアルファベット順に並べ替え、結果を一時ファイルに出力します (プロセス置換経由)。この一時ファイルは、次の内容を読み取ります。結果は、/usr/share/dict/words に存在しない単語 (行) のリストです。comm<( ... )comm
7. lessユーザーが結果をページ単位で閲覧できるようにします。

デフォルトでは、パイプライン内のプロセスの標準エラー ストリーム(" stderr ") はパイプを介して渡されず、代わりにマージされてコンソールに送られます。ただし、多くのシェルには、この動作を変更するための追加の構文があります。たとえば、 cshシェルでは、|&の代わりにを使用すると、|標準エラー ストリームも標準出力とマージされ、次のプロセスに送られることを意味します。Bashシェルは|&、バージョン 4.0 ^[11]以降では または を使用して標準エラーを とマージしたり2>&1、別のファイルにリダイレクトしたりすることもできます。

最も一般的に使用される単純なパイプラインでは、シェルはパイプを介して一連のサブプロセスを接続し、各サブプロセス内で外部コマンドを実行します。したがって、シェル自体はパイプラインを流れるデータを直接処理しません。

ただし、シェルは、いわゆるミルまたはパイプミルを使用して直接処理を実行することができます(whileコマンドを使用して、最初のコマンドの結果を「ミル」するため)。この構成は、通常、次のようになります。

command | while read -r var1 var2 ... ; do # var1、var2 などに解析された変数を使用して各行を処理します# (これはサブシェルである可能性があることに注意してください: var1、var2 などはwhile ループの終了後は使用できなくなります。zsh やKorn シェルの新しいバージョンなどの一部のシェルは、パイプ演算子の左側のコマンドをサブシェルで処理します) done        
    
    
    
    
    
    

このようなパイプミルは、ループ本体に やcatなどsshの から読み込むコマンドが含まれている場合、意図したとおりに動作しないことがありますstdin。^{[12]ループの最初の反復で、このようなプログラム (これを}ドレインと呼びます) は から残りの出力を読み取りcommand、その後ループが終了します (結果はドレインの詳細によって異なります)。この動作を回避する方法はいくつかあります。まず、一部のドレインは からの読み取りを無効にするオプションをサポートしていますstdin(例: )。あるいは、ドレインが何か有用なことを行うために から入力を読み取る必要ssh -nがない場合は、それを入力として与えることができます。 stdin< /dev/null

パイプのすべてのコンポーネントは並列に実行されるため、シェルは通常、その内容を処理するためにサブプロセス (サブシェル) をフォークし、変数の変更をシェルの外部環境に伝播させることができません。この問題を解決するには、代わりにコマンド置換を含むヒアドキュメントから「パイプミル」に入力し、パイプラインの実行が完了するまで待ってから内容をミルします。または、名前付きパイプまたはプロセス置換を使用して並列実行することもできます。GNU bash には、最後のパイプコンポーネントのフォークを無効にするオプションもあります。 ^[13]lastpipe

パイプラインは、プログラム制御で作成できます。Unixpipe() システム コールは、オペレーティング システムに新しい匿名パイプオブジェクトを作成するように要求します。これにより、プロセス内に 2 つの新しいオープン ファイル記述子 (パイプの読み取り専用端と書き込み専用端) が作成されます。パイプの端は、シーク機能がないことを除けば、通常の匿名ファイル記述子のように見えます。

デッドロックを回避し、並列処理を活用するために、1 つ以上の新しいパイプを持つ Unix プロセスは、通常、fork()新しいプロセスを作成するために呼び出します。各プロセスは、データを生成または消費する前に、使用しないパイプの端を閉じます。または、プロセスは新しいスレッドを作成し、パイプを使用してそれらの間で通信することもできます。

名前付きパイプは、mkfifo()またはを使用して作成しmknod()、呼び出されたプログラムへの入力ファイルまたは出力ファイルとして提示することもできます。名前付きパイプを使用すると、マルチパス パイプを作成でき、標準エラー リダイレクトや と組み合わせると特に効果的ですtee。

AppleのAutomatorのアイコンのロボットも、パイプラインの概念を使用して反復コマンドを連結しており、オリジナルの Unix の概念に敬意を表してパイプを持っています。

• すべてがファイルである- Unix の特徴の 1 つを表します。パイプラインは Unix の意味で「ファイル」に対して動作します。
• 匿名パイプ– プロセス間通信に使用される FIFO 構造
• GStreamer – パイプラインベースのマルチメディアフレームワーク
• CMS パイプライン
• 反復子
• 名前付きパイプ– プロセス間通信に使用される永続的なパイプ
• プロセス置換— 複数のパイプをプロセスに接続するためのシェル構文
• GNU パラレル
• パイプライン（コンピューティング） – その他のコンピュータ関連のパイプライン
• リダイレクト（コンピューティング）
• Tee（コマンド） – パイプラインからデータを取得するための一般的なコマンド
• XMLパイプライン– XMLファイルの処理用
• xargs

• Unix パイプ表記の歴史 2015-04-08 にWayback Machineでアーカイブ
  • ダグ・マキロイが1964年に書いたオリジナルのメモ。パイプの概念を初めて提案した。
• pipe: プロセス間チャネルを作成する – The Open Groupの System Interfaces Reference、 The Single UNIX Specificaion、バージョン 4
• パイプ: Linux 情報プロジェクト (LINFO) による簡単な紹介
• Unix パイプ – 強力でエレガントなプログラミング パラダイム (Softpanorama)
• Wikibooks の「Unix コマンドラインからのアドホック データ分析」 – 単純なフィルターで構成されたパイプラインを使用して複雑なデータ分析を行う方法を示します。
• オーディオ データでのパイプの使用と乱用 - ネットワーク経由でオーディオを再生するために、netcat、nettee、fifos でパイプを使用および乱用する方法を紹介します。
• stackoverflow.com – bash パイプライン処理に関する Q&A。