sed

sed

GNU sedのマニュアルページからの抜粋
パラダイム	スクリプト
デザイン：	リー・E・マクマホン
初登場	1974年; 50年前 （1974年）
実装言語	Ｃ
影響を受けた
エド
影響を受けた
Perl、AWK

sed (「ストリーム エディタ」) は、シンプルでコンパクトなプログラミング言語を使用してテキストを解析および変換するUnixユーティリティです。1973 年から 1974 年にかけて、ベル研究所のLee E. McMahonによって開発され、^[1] 現在ではほとんどのオペレーティング システムで使用できます。^{[2] sed は、対話型エディタ}ed (「エディタ」、1971 年) とそれ以前のqed (「クイック エディタ」、1965 ～ 1966 年)のスクリプト機能に基づいています。正規表現をサポートする最も初期のツールの 1 つであり、置換コマンドなど、テキスト処理に現在でも使用されています。プレーンテキスト文字列の操作と「ストリーム編集」の一般的な代替ツールには、AWKとPerlがあります。

バージョン 7 Unixで初めて登場した^[3] sed は、データ ファイルのコマンド ライン処理用に作成された初期の Unix コマンドの 1 つです。人気のgrepコマンドの自然な後継として進化しました。^[4]元々の動機は、置換用の grep (g/re/p) の類似物、つまり「g/re/s」でした。^[3] McMahon は、各コマンド用の g/re/d などの専用プログラムも登場することを予見して、汎用の行指向ストリーム エディターを書き、それが sed になりました。^[4] sed の構文、特にパターン マッチング/に、置換に を使用する構文は、当時一般的に使用されていた sed の前身であるedに由来しています。^[4]正規表現構文は、他の言語、特に ECMAScript や Perl に影響を与えています。sed と AWK は、Perl の先駆者およびインスピレーションとしてよく挙げられ、特にマッチング演算子と置換演算子において Perl の構文とセマンティクスに影響を与えました。 s///

GNU sed には、ファイルのインプレース編集など、いくつかの新機能が追加されました。super-sedは sed の拡張バージョンで、 Perlと互換性のある正規表現が含まれています。 sed の別のバリエーションはminisedで、もともとEric S. Raymondによって 4.1BSD sed からリバースエンジニアリングされ、現在はRené Rebeによってメンテナンスされています。 minised は、GNU プロジェクトが新しい GNU 正規表現ライブラリに基づいて sed の新しいバージョンを作成するまで、 GNU プロジェクトによって使用されていました。現在の minised には BSD sed の拡張機能がいくつか含まれていますが、GNU sed ほど機能が豊富ではありません。その利点は、非常に高速でメモリをほとんど使用しないことです。組み込みシステムで使用され、 Minixで提供される sed のバージョンです。^[5]

sed は行指向のテキスト処理ユーティリティです。入力ストリームまたはファイルからテキストを 1 行ずつ読み取り、パターン スペースと呼ばれる内部バッファに格納します。読み取られた各行はサイクルを開始します。パターン スペースに対して、 sed はsed スクリプトで指定された 1 つ以上の操作を適用します。sed は、テキストに対する操作を指定する約 25 個のコマンドを持つプログラミング言語を実装します。各入力行について、スクリプトの実行後、sed は通常パターン スペース (スクリプトによって変更された行) を出力し、次の行からサイクルを再開します。その他のスクリプト終了時の動作は、sed オプションおよびスクリプト コマンドで実行できます。たとえば、パターン スペースを削除する、終了する、パターン スペースに次の行を直ちに追加する、などです。したがって、sed スクリプトは、ストリームの行を反復処理するループの本体に相当します。ループ自体とループ変数 (現在の行番号) は暗黙的に定義され、sed によって管理されます。 dqN

sed スクリプトは、コマンドラインで指定するか(-eオプション)、別のファイルから読み込むことができます (-fオプション)。 sed スクリプト内のコマンドは、オプションで、行番号または正規表現の形でアドレスを取ることができます。 アドレスは、コマンドが実行されるタイミングを決定します。 たとえば、 は、 2 番目の入力行でのみ(delete) コマンドを実行します (2 番目の行以外のすべての行を印刷)。 一方、 は、スペースで始まるすべての行を削除します。 個別の特別なバッファであるhold space は、サイクル間でテキストを保持および蓄積するために、いくつかの sed コマンドで使用できます。 sed のコマンド言語には、2 つの変数 (「hold space」と「pattern space」) とGOTOのような分岐機能しかありません。 それにもかかわらず、この言語はチューリング完全であり^{[6] [7]}、倉庫番、アルカノイド^[8]、チェス[ ^9]、テトリス^[10]などのゲーム用の難解なsedスクリプトが存在します。2dd/^ /d

メイン ループは入力ストリームの各行に対して実行され、入力の各行に対して sed スクリプトを評価します。 sed スクリプトの各行はパターンとアクションのペアであり、どのパターンに一致し、どのアクションを実行するかを示します。これは条件文として書き直すことができます。 メイン ループ、作業変数 (パターン スペースとホールド スペース)、入力ストリームと出力ストリーム、および既定のアクション (行をパターン スペースにコピー、パターン スペースを印刷) は暗黙的であるため、簡潔な1 行のプログラムを書くことができます。 たとえば、次の sed プログラムでは、

10q

入力の最初の 10 行を印刷して停止します。

次の例は、sedの典型的で最も一般的な使用法を示しています。この使用法は、sedの元々の動機でした。^[4]

sed 's/regexp/replacement/g'入力ファイル名>出力ファイル名
    

sed の一部のバージョンでは、式の前に を付けて、-e式が続くことを示す必要があります。 はs置換を表し、 はgグローバルを表します。これは、行内の一致するすべての出現が置換されることを意味します。検索する正規表現/(つまりパターン) は、最初の区切り記号 (ここではスラッシュ) の後に配置され、置換は 2 番目の記号の後に配置されます。スラッシュ ( ) は、ed の「検索」の文字に由来する慣例的な記号ですが、パターンまたは置換に出現しない場合は、構文をより読みやすくするために他の任意の記号を使用できます。これは、「傾斜つまようじ症候群」を回避するのに役立ちます。

ed の検索と置換に由来する置換コマンドは、単純な解析とテンプレート化を実装します。 はregexp、パターン マッチングとサブ式によるテキストの保存の両方を提供しますが、 はreplacementリテラル テキスト、または「完全一致」の文字またはn番目に保存されたサブ式を表す&特殊エスケープ シーケンス \1からを含む書式文字列のいずれかになります。たとえば、 は、既存の「s」を重複させずに、すべての「cat」または「dog」を「cats」または「dogs」に置き換えます。は、正規表現内の最初の (そして唯一の) 保存されたサブ式であり、書式文字列では、これを出力に置き換えます。 \9sed -r "s/(cat|dog)s?/\1s/g"(cat|dog)\1

置換以外にも、約 25 個の sed コマンドを使用して、他の形式の簡単な処理が可能です。たとえば、次の例では、dコマンドを使用して、スペースのみを含む行、または行末文字のみを含む行をフィルター処理します。

sed '/^ *$/d'入力ファイル名
  

この例では、次の正規表現 メタ文字の一部を使用します(sed は正規表現の全範囲をサポートしています)。

• キャレット( )は行^の先頭と一致します。
• ドル記号( $) は行末に一致します。
• アスタリスク( )は*、前の文字の 0 回以上の出現に一致します。
• プラス記号( )+は、前の文字の 1 回以上の出現に一致します。
• 疑問符( )は?、前の文字の 0 回または 1 回の出現に一致します。
• ドット( )は.1 つの文字に一致します。

複雑な sed 構造が可能であるため、シンプルでありながら高度に専門化されたプログラミング言語として機能します。たとえば、制御フローは、ラベル(コロンの後に文字列が続く) と分岐命令b、および条件分岐を使用して管理できますt。有効なラベル名が後に続く命令はb、そのラベルに続くコマンドに処理を移します。命令は、前の命令(または最初に遭遇した場合はプログラムの開始)t以降に置換が成功した場合にのみ、これを行います。さらに、命令はコマンドのサブシーケンス(一致する まで)を開始します。ほとんどの場合、アドレス パターンによって条件付けされます。 tt{}

Unix では、 sed はパイプラインのフィルターとしてよく使用されます。

$ generateData | sed 's/x/y/g'   

つまり、「generateData」などのプログラムはデータを生成し、その後 sed はx をyに置き換えるという小さな変更を加えます。例:

$ echo  xyz  xyz | sed 's/x/y/g' yyz yyz   

^{[注 1]}

などのスクリプト ファイルに、1 行に 1 つのコマンドずつ複数の sed コマンドを記述しsubst.sed、オプションを使用してファイルから -fコマンド (など) を実行すると便利な場合があります。s/x/y/g

sed  -f  subst.sed 入力ファイル名 > 出力ファイル名

スクリプト ファイルには任意の数のコマンドを配置できます。また、スクリプト ファイルを使用すると、シェルのエスケープや置換に関する問題も回避できます。

このようなスクリプト ファイルは、sed コマンドを含む「シェバンライン」を先頭に追加し、ファイルに実行権限を割り当てることで、コマンド ラインから直接実行可能にすることができます。たとえば、次の内容のファイルをsubst.sed作成できます。

#!/bin/sed -f 
s / x / y / g

次のコマンドを使用して、現在のユーザーがファイルを実行可能にすることができますchmod。

chmod  u+x 置換

その後、このファイルはコマンドラインから直接実行できます。

subst.sed 入力ファイル名 > 出力ファイル名

GNU sed で導入されたこの-iオプションを使用すると、ファイルのインプレース編集が可能になります (実際には、バックグラウンドで一時出力ファイルが作成され、元のファイルが一時ファイルに置き換えられます)。例:

sed  -i 's/abc/def/'ファイル名
  

# 入力テキスト ストリームを "Hello, world!" に変換します
s / .* / Hello, world! / 
q

この「Hello, world!」スクリプトはファイル (例: script.txt) にあり、 で呼び出されますsed -f script.txt inputFileName。ここで、「inputFileName」は入力テキスト ファイルです。スクリプトは「inputFileName」の行番号 1 を「Hello, world!」に変更して終了し、sed が終了する前に結果を出力します。行番号 1 以降の入力行は読み込まれず、出力もされません。したがって、唯一の出力は「Hello, world!」です。

この例では、sed の多くの重要な特性が強調されています。

• 典型的な sed プログラムはかなり短くてシンプルです。
• sed スクリプトにはコメント (記号で始まる行#) を含めることができます。
• (substitute)コマンドsは、最も重要な sed コマンドです。
• qsed では、 (quit)などのコマンドを使用して簡単なプログラミングが可能です。
• .*sed は(0 個以上の任意の文字)などの正規表現を使用します。

以下にさまざまな sed スクリプトを示します。これらは、sed に引数として渡すことによって実行することも、別のファイルに入れて を介して実行すること-fも、スクリプト自体を実行可能にすることによって実行することもできます。

ファイル内の特定の単語（IRC パスワードなど）を「REDACTED」に置き換えて、結果を保存するには、次のようにします。

$ sed  -i "s/yourpassword/REDACTED/" ./status.chat.log
  

「yourword」という単語を含む行を削除するには（アドレスは「/yourword/」です）：

/あなたの言葉/ d 

「yourword」という単語のすべてのインスタンスを削除するには:

s /あなたの言葉// g

ファイルから 2 つの単語を同時に削除するには:

s /最初の単語// g 
s / 2 番目の単語// g

コマンドラインに入力する場合など、前述の例を 1 行で表現するには、セミコロンを使用して 2 つのコマンドを結合します。

$ sed "s/firstword//g; s/secondword//g"入力ファイル名
  

次の例では、通常は 1 行のみで動作する sed が、2 行目が 1 つのスペースで始まる文から改行を削除します。次のテキストを考えてみましょう。

これは私の犬です。
 彼の名前はフランクです。
これは私の魚です。
彼の名前はジョージです。
これは私のヤギです。
 彼の名前はアダムです。

以下の sed スクリプトは、上記のテキストを次のテキストに変換します。スクリプトは、スペースで始まる入力行にのみ影響することに注意してください。

これは私の犬です。名前はフランクです。
これは私の魚です。
彼の名前はジョージです。
これは私のヤギで、名前はアダムです。

スクリプトは次のとおりです。

 N 
s / \n / / P D  
 
 

これは次のように説明されます:

• ( N) 次の行をパターンスペースに追加します。
• ( s/\n / /) スペースが続く新しい行を検索し、スペース 1 つに置き換えます。
• ( P) パターンスペースの一番上の行を出力します。
• ( D) パターンスペースから一番上の行を削除し、スクリプトを再度実行します。

これはセミコロンを使用して 1 行で表現できます。

sed ' ' 入力ファイル名
N; s/\n / /; P; D

sed はシンプルで制限がありますが、多くの目的に十分対応できるほど強力です。より高度な処理には、代わりにAWKやPerlなどのより強力な言語が使用されます。これらは、正規表現の抽出やテンプレートの置換よりも複雑な方法で行を変換する場合に特に使用されますが、ホールド バッファを使用することで、任意の複雑な変換も原理的には可能です。

逆に、より単純な操作の場合は、grep (パターンに一致する行を印刷)、head (ファイルの最初の部分を印刷)、tail (ファイルの最後の部分を印刷)、tr (文字を変換または削除) などの特殊な Unix ユーティリティが適していることがよくあります。特定のタスクを実行するように設計されたこのような特殊なユーティリティは、通常、sed などのより一般的なソリューションよりも単純で、明確で、高速です。

ed/sed コマンドと構文は、テキスト エディタviやvimなどの後継プログラムでも引き続き使用されています。ed/sed に類似するものはsam /ssam です。ここで、sam はPlan 9エディタで、ssam はそれに対するストリーム インターフェイスであり、sed と同様の機能を提供します。

• Unixコマンドのリスト
• チューリングタールピット

• ベル研究所第8版（1985年頃）Unix sed(1)マニュアルページ
• GNU sedのドキュメントまたはマニュアルページ
• デール・ドハティとアーノルド・ロビンス（1997年3月）。 sed と awk (第 2 版)。オライリー。ISBN 1-56592-225-5。
• アーノルド・ロビンズ ( 2002年6月)。sed および awk ポケットリファレンス (第 2 版) 。O'Reilly。ISBN 0-596-00352-8。
• Peter Patsis (1998 年 12 月)。UNIX AWKおよびSED プログラマー向けインタラクティブ ワークブック (UNIX インタラクティブ ワークブック)。Prentice Hall。ISBN 0-13-082675-8。
• ダニエル・ゴールドマン（2013年2月）。SEDの決定版ガイド。EHDP Press。ISBN 978-1-939824-00-4。
• Sourceforge.net、sed FAQ (2003 年 3 月)

WikibooksにはSedに関する本があります

• sed – シェルおよびユーティリティ リファレンス、The Single UNIX 仕様、バージョン 4、The Open Group
• sed(1) –  Plan 9プログラマーズマニュアル、第 1 巻
• Sed - 入門とチュートリアル、ブルース・バーネット著
• 「GNU sed ホームページ」。（マニュアル付属）
• Eric Pement (2004)。「ストリーム エディターを sed する」。
• Eric S. Raymond . 「縮小された sed の実装」。ExactCODE。