awk コマンド

目的

ファイルでパターンに一致する行を検出し、検出された行に対して指定されたアクションを 実行します。

構文

awk [ -F Ere ] [ -v Assignment ] ... { -f ProgramFile | 'Program ' } [ [ File... | Assignment... ] ] ...

説明

awk コマンドは、ユーザー指定の一連の命令を使用し、ユーザー指定の拡張正規表現に照らして、一度に 1 行ずつ一組のファイルを比較します。次に、この拡張正規表現と一致する行に対してアクションが実行されます。

awk コマンドによるパターン検索は、grep コマンドの場合より汎用性があり、ユーザーは入力テキスト行に対して複数のアクションを実行できます。 awk コマンド・プログラミング言語はコンパイルの必要がないので、変数、数字関数、文字列関数、および論理演算子を使用できます。

awk コマンドは、LANG、LC_ALL、 LC_COLLATE、LC_CTYPE、LC_MESSAGES、 LC_NUMERIC、NLSPATH、および PATH 環境変数から影響を受けます。

この項目では、次のトピックについて説明します。

• awk コマンドの入力
• awk コマンドの出力
• レコードとフィールドによるファイル処理
• awk コマンド・プログラミング言語
  • パターン
  • アクション
  • 変数
  • 特殊変数
• フラグ
• 例

awk コマンドの入力

awk コマンドは、入力テキスト・ファイルとプログラム命令の 2 種類の入力を受け入れます。

入力テキスト・ファイル

検索とアクションは入力テキスト・ファイルに対して実行されます。ファイルは次のようにして指定されます。

• コマンド行で File 変数を指定する。
• 特殊変数 ARGV と ARGC を変更する。
• File 変数がない場合には標準入力を与える。

File 変数に複数のファイルが指定されている場合は、指定されている順にそれらのファイルが処理されます。

プログラム命令

ユーザーが指定した命令は、awk コマンドのアクションを制御します。命令は、コマンド行の `Program' 変数、または -f フラグと ProgramFile 変数で指定されたファイルの、どちらかから取り出されます。複数のプログラム・ファイルが指定された場合には、指定された順にファイルが連結され、その結果としての命令の順番が使用されます。

awk コマンドの出力

awk コマンドは、入力テキスト・ファイル内のデータから、次の 3 種類の出力を作成します。

• 入力ファイルに変更を加えないで、選択したデータを標準出力に出力できます。
• 入力ファイルの一部を選択して変更できます。
• 入力ファイルの内容に変更を加えるかまたは変更を加えないで、選択したデータを変更して標準出力に出力できます。

これらの 3 種類の出力のすべてを、同一のファイルに対して実行できます。 awk コマンドが認識するプログラミング言語を使用して、ユーザーは出力をリダイレクトすることができます。

レコードとフィールドによるファイル処理

ファイルは次の方法で処理されます。

1. awk は、指定された命令をスキャンし、入力ファイルを読み取る前に実行するように指定されたすべてのアクションを実行します。

   awk プログラミング言語の BEGIN ステートメントで、最初のレコードの読み取り前に実行する一連の命令を指定できます。これは、特殊変数を初期化するときに特に役立ちます。

2. 1 つのレコードが入力ファイルから読み取られます。

   レコードは、レコード分離文字で区切られたデータの集合です。レコード分離文字のデフォルト値は改行文字であり、この改行文字によってファイ ルの各行が別々のレコードになります。RS 特殊変数を設定することによって、レコード分離文字を変更することができます。

3. レコードが、awk コマンドの命令で指定された各パターンと比較されます。

   コマンド命令で、レコードの特定のフィールドを比較するよう指定することができます。デフォルトでは、フィールドは空白 (ブランクまたはタブ) で区切られます。各フィールドはフィールド変数によって参照されます。レコードの最初のフィールドには $1 変数、2 番目のフィールドには $2 変数というように、変数が割り当てられます。レコード全体には $0 変数が割り当てられます。コマンド行で -F フラグを使用するか、または FS 特殊変数を設定することにより、フィールド分離文字を変更できます。 FS 特殊変数は、ブランク、単一文字、または拡張正規表現 のいずれかの値に設定できます。

4. レコードがあるパターンと一致した場合には、そのパターンに関連付けられたアクションがレコードに対して実行されます。
5. レコードが各パターンと比較され、指定されたすべてのアクションが実行されたあとで、次のレコードが入力から読み取られます。この処理は、すべてのレコードが入力ファイルから読み取られるまで繰り返されます。
6. 複数の入力ファイルが指定された場合には、次のファイルがオープンされます。そして、すべての入力ファイルが読み取られるまで、これが繰り返されます。
7. 最後のファイルの最後のレコードが読み取られたあとで、awk コマンドは、入力処理後に実行するように指定された命令を実行します。

   awk プログラミング言語の END ステートメントで、最後のレコードを読み取ったあとで実行するアクションを指定できます。これは、awk コマンドにより実行された処理を示すメッセージを送信するために、特に役立ちます。

awk コマンド・プログラミング言語

awk コマンド・プログラミング言語は、次のフォーマットのステートメントで構成されています。

Pattern { Action }

レコードが指定された Pattern (パターン) と一致するか、またはそのパターンと一致するフィールドを持っている場合には、関連付けられた Action (アクション) が実行されます。アクションなしでパターンを指定することができます。その場合、そのパターンが入った行全体が標準出力に書き出されます。パターンなしで指定されたアクションは、すべての入力レコードに対して実行されます。

パターン

awk コマンド言語構文に使用されるパターンは次の 4 種類です。

• 正規表現
• 関係式
• パターンの組み合わせ
• .BEGIN パターンと END パターン

正規表現

awk コマンドが使用する拡張正規表現は grep コマンドが使用する拡張正規表現と似ています。拡張正規表現の最も単純なフォーマットは、スラッシュで囲まれた文字の文字列です。例えば、testfile という名前のファイルが次のような内容を持っているとします。

smawley, andy
smiley, allen
smith, alan
smithern, harry
smithhern, anne
smitters, alexis

ここで、次のコマンド行を入力するとします。

awk '/smi/' testfile

すると、文字列 smi が入っているすべてのレコードが標準出力に出力されます。この例では、awk コマンドのプログラム '/smi/' は、アクションを持たないパターンです。出力は次のようになります。

smiley, allen
smith, alan
smithern, harry
smithhern, anne
smitters, alexis

拡張正規表現は、次の特殊文字を使って形成します。

awk '/smith+ern/' testfile

smithern, harry
smithhern, anne

awk '/smith?/' testfile

smith, alan
smithern, harry
smithhern, anne
smitters, alexis

awk '/allen 
| 
alan /' testfile

smiley, allen
smith, alan

awk '/a(ll)?(nn)?e/' testfile

smiley, allen
smithhern, anne

awk '/l{2}/' testfile

smiley, allen

awk '/t{2,}/' testfile

smitters, alexis

awk '/er{1, 2}/' testfile

smithern, harry
smithern, anne
smitters, alexis

awk '/sm[a-h]/' testfile

smawley, andy

awk '/sm[^a-h]/' testfile

smiley, allen
smith, alan
smithern, harry
smithhern, anne
smitters, alexis

awk '$1 ~ /n/' testfile

smithern, harry
smithhern, anne

awk '$2 ~ /^h/' testfile

smithern, harry

awk '$2 ~ /y$/' testfile

smawley, andy
smithern, harry

awk '/a..e/' testfile

smawley, andy
smiley, allen
smithhern, anne

awk '/a.*e/' testfile

smawley, andy
smiley, allen
smithhern, anne
smitters, alexis

/a\/\//

認識されるエスケープ・シーケンス

awk コマンドは、awk コマンド自体が特殊文字として使用する幾つかのエスケープ・シーケンスの他に、C 言語規則で使われるほとんどのエスケープ・シーケンスを認識します。エスケープ・シーケンスは次のとおりです。

関係式

関係演算子 < (より小)、> (より大)、<= (より小か等しい)、>= (より大か等しい)、= = (等しい)、および ! = (等しくない) を使用して、パターンを 形成できます。例えば、次のパターンを見てください。

$1 < $4

これは、最初のフィールドが 4 番目のフィールドより小さいレコードに一致します。関係演算子は文字列値と共に使うこともできます。例えば次のとおりです。

$1 =! "q"

これは、最初のフィールドが q ではないすべてのレコードと一致します。文字列値を照合値に基づいて突き合わせることもできます。例えば次のとおりです。

$1 >= "d"

これは、最初のフィールドが a、b、c、または d で始まるすべてのレコードと一致します。これ以上の情報が与えられていなければ、フィールド変数は文字列値として比較されます。

パターンの組み合わせ

次の 3 つのオプションを使用して、パターンを組み合わせることができます。

• 範囲は , (コンマ) で区切った 2 つのパターンにより指定します。アクションは、最初のパターンと一致するレコードで始まるすべてのレコードに対して実行され、2 番目のパターンと一致するレコードまで (このレコードを含む) 続きます。例えば次のとおりです。

  /begin/,/end/

  これは、文字列 begin を含むレコード、およびそのレコードから文字列 end を含むレコードまでの間の各レコード (end が入ったレコードを含む) との突き合わせが行われます。

• 小括弧 ( ) は、パターンをまとめてグループ化します。
• ブール演算子 || (論理和)、&& (論理積)、および ! (論理否定) は、パターンを組み合わせて、真と評価する場合に一致し、それ以外の場合には一致しない式を形成します。例えば、次のパターンを見てください。

  $1 == "al" && $2 == "123"

  これは、最初のフィールドが al で 2 番目のフィールドが 123 のレコードと一致します。

BEGIN パターンと END パターン

BEGIN パターンで指定したアクションは、入力を読み取る前に実行されます。 END パターンで指定したアクションは、すべての入力を読み取ったあとで実行されます。複数の BEGIN パターンと END パターンを指定でき、指定した順序で処理されます。プログラムのステートメントの中では、END パターンを BEGIN パターンの前に置くことができます。プログラムが BEGIN ステートメントだけで構成されている場合は、アクションは実行されますが、入力は読み取られません。 プログラムが END ステートメントだけで構成されている場合は、すべてのアクションに先立って入力が読み取られます。

アクション

アクション・ステートメントには、次のように幾つかの種類があります。

• アクション・ステートメント
• 組み込み関数
• ユーザー定義関数
• 条件ステートメント
• 出力ステートメント

アクション・ステートメント

アクション・ステートメントは { } (中括弧) で囲みます。アクション・ステートメントをパターンなしで指定すると、すべてのレコードに対してアクションが実行されます。中括弧内に複数のアクションを指定できますが、改行文字または ; (セミコロン) で区切る必要があります。ステートメントは、指定された順に処理されます。アクション・ステートメントには次のものがあります。

算術ステートメント

算術演算子 + (加算)、- (減算)、/ (除算)、^ (指数)、* (乗算)、% (モジュラス) が、次のフォーマットで使用されます。

Expression Operator Expression

したがって、次のステートメントのようになります。

$2 = $1 ^ 3

これは、最初のフィールドの値の 3 乗を 2 番目のフィールドに割り当てます。

単項ステートメント

単項 - (減算) および単項 + (加算) の働きは、次のように、C プログラミング言語の場合と同様です。

+Expression or -Expression

増分ステートメントと減分ステートメント

前置増分ステートメントと前置減分ステートメントの働きは、次のように、C プログラミング言語の場合と同様です。

++Variable or --Variable

後置増分ステートメントと後置減分ステートメントの働きは、次のように、C プログラミング言語の場合と同様です。

Variable++ or Variable--

代入ステートメント

代入演算子 += (加算)、-= (減算)、/= (除算)、および *= (乗算) は、C プログラミング言語の場合と同様の働きをします。フォーマットは次のとおりです。

Variable += Expression

Variable -= Expression

Variable /= Expression

Variable *= Expression

例えば、次のステートメントがあるとします。

$1 *= $2

これは、フィールド変数 $1 にフィールド変数 $2 を掛けて、新しい値を $1 に割り当てます。

代入演算子 ^= (指数) と %= (モジュラス) は、次のフォーマットになります。

Variable1^=Expression1

かつ

Variable2%=Expression2

これはそれぞれ、C プログラミング言語の次のステートメントと同じです。

Variable1=pow(Variable1, Expression1)

かつ

Variable2=fmod(Variable2, Expression2)

ここで、pow は pow サブルーチンを示し、 fmod は fmod サブルーチンを示します。

文字列連結ステートメント

文字列を並べて書くことにより、文字列値を連結することができます。例えば次のとおりです。

$3 = $1 $2

これは、フィールド変数 $1 と $2 内の文字列を連結したものを、フィールド変数 $3 に割り当てます。

組み込み関数

awk コマンド言語は、算術関数、文字列関数、および汎用関数を使用します。ファイルに書き込んだあとでそのファイルを同じプログラムの中で読み取れるようにするには、close サブルーチン・ステートメントが必要です。

算術関数

次の算術関数は、同じ名前の C 言語のサブルーチンと同じアクションを実行します。

文字列関数

次のような文字列関数があります。

汎用関数

次のような汎用関数があります。

ユーザー定義関数

ユーザー定義関数は、次のフォーマットで宣言します。

function Name (Parameter, Parameter,...)  { Statements }

関数は、awk コマンド・プログラム内のどこからでも参照でき、関数定義の前でも使用できます。関数の有効範囲はグローバルです。

関数パラメーターは、スカラーまたは配列のどちらかにできます。パラメーター名だけは関数にとってローカルなものですが、その他のすべての変数名はグローバルです。異なるエンティティーに同じ名前を使用することはできません。例えば、パラメーター名を、関数名または特殊変数として重複使用することはできません。グローバルな有効範囲を持つ変数は、関数と同じ名前を共用することはできません。 スカラーと配列は、同じ有効範囲内で同じ名前を持つことはできません。

関数定義の中のパラメーターの数は、関数をコールするときに使用されるパラメーターの数と一致していなくても構いません。 余分な仮パラメーターはローカル変数として使用できます。余分なスカラー・パラメーターは、空文字列と等価の文字列値および数値 0 を使用して初期化されます。余分な配列パラメーターは空配列として初期化されます。

関数を呼び出す場合、関数名と左括弧の間にはホワイト・スペースを入れません。 関数呼び出しはネストでき、再帰的です。ネストされた関数呼び出しまたは再帰的関数呼び出しから戻ったとき、すべての呼び出し元関数のパラメーターの値は、参照により渡された配列パラメーターを除き、すべて元の状態のままでなければなりません。 return ステートメントを使用して値を戻すことができます。

関数定義内部では、改行文字は { (左中括弧) の前と、} (右中括弧) の後に、入れても入れなくても構いません。

関数定義の例を次に示します。

function average ( g,n)
  {
        for (i in g)
           sum=sum+g[i]
        avg=sum/n
        return avg
  } 

関数 average には、配列 g と変数 n が、配列内のエレメントの数と共に渡されます。次に、この関数は平均を取得し、その値を戻します。

条件ステートメント

awk コマンド・プログラミング言語のほとんどの条件ステートメントは、C プログラミング言語の条件ステートメントの構文および機能と同じです。どの条件ステートメントでも、{ } (中括弧) を使ってステートメントをグループ化できます。条件ステートメントの式の部分とステートメント部分の間には改行文字を入れても入れなくても構いません。また、{ } (中括弧) 内の複数のステートメントを区切るには、改行文字または ; (セミコロン) を使用します。 C 言語型の 6 つの条件ステートメントは次のとおりです。

awk コマンド・プログラミング言語には C 言語の規則に従わない、次の 5 つの条件ステートメントがあります。

for (i in g)
   delete g[i];

出力ステートメント

awk コマンド・プログラミング言語の 2 つの出力ステートメントは次のとおりです。

変数

変数は、スカラー、フィールド変数、配列、または特殊変数のどれかです。変数名の先頭に数字を使用することはできません。

変数は、変数を参照するだけで使用できます。関数パラメーターを除き、変数は明示的には宣言されません。 初期化されていないスカラー変数と配列エレメントは、数値 0 とヌル文字列 (" ") の文字列値の両方を持っています。

変数は、コンテキストに従って、数値または文字列値をとります。各変数は、数値、文字列値、またはこの両方を持つことができます。例えば次のとおりです。

x = "4" + "8"

これは、値 12 を変数 x に割り当てます。文字列定数の場合は、式を " " (二重引用符) で囲む必要があります。

数字と文字列の間の明示的な変換はありません。 強制的に式を数値として処理するには、式に 0 を追加します。式を文字列として処理するには、末尾にヌル文字列 (" ") を追加します。

フィールド変数

フィールド変数は、$ (ドル記号) とそれに続く数値または数値式で指定します。レコードの最初のフィールドに $1 変数、2 番目のフィールドに $2 変数というように、順に割り当てられます。 $0 フィールド変数はレコード全体に割り当てられます。値を割り当てることによって、新しいフィールド変数を作成できます。存在しないフィールド、つまり $NF フィールド変数の値より現行値が大きいフィールドに値を割り当てると、中間フィールドが (null 文字列に設定されて) 自動的に作成され、NF 特殊変数の値が増加し、$0 レコード変数の値が自動的に再計算されます。新規フィールドは、現行のフィールド分離文字 (つまり FS 特殊変数の値) で区切られます。デフォルトのフィールド分離文字はブランクおよびタブです。フィールド分離文字を変更するには、-F フラグを使用するか、または awk コマンド・プログラムの中で FS 特殊変数に別の値を割り当てます。

配列

配列は、最初は空であり、サイズが動的に変化します。配列は、[ ] (大括弧) で囲んだ添え字を持つ変数によって表されます。添え字つまりエレメント ID は、文字列の数字であり、結合配列の機能のタイプを示します。例えば、次のプログラムを見てください。

/red/  { x["red"]++ }
/green/ { y["green"]++ }

これは、red カウンターと green カウンターの両方のカウントを増分します。

配列は、幾つかのプログラミング言語の多次元配列と同様に、2 つ以上の添え字を使って索引付けできます。 awk コマンドのプログラミング配列は現実に 1 次元なので、コンマで区切られた添え字は、別の式の文字列値を連結し各式を SUBSEP 環境変数の値によって区切った、単一の文字列に変換されます。したがって、次の 2 つの索引操作は同じです。

x[expr1, expr2,...exprn]

かつ

x[expr1SUBSEPexpr2SUBSEP...SUBSEPexprn]

in 演算子を使用するときは、多次元の Index 値は括弧で囲む必要があります。 in 演算子の場合を除き、存在しない配列エレメントを参照すると、そのエレメントが自動的に作成されます。

特殊変数

次の変数は、awk コマンドの場合は特別な意味になります。

フラグ

終了状況

このコマンドは次の終了値を戻します。

例

1. ファイルの中にある 73 文字以上の行を表示するには、次のように入力します。

   awk  'length  >72'  chapter1

   これは、72 文字を超える長さの個々の行を chapter1 ファイルから選択し、Action が特に指定されていないので、それらの行を標準出力に書き出します。タブ文字は 1 バイトとして計算されます。

2. start と stop という単語の間にあるすべての行を、「start」と「stop」のある行も含めて表示するには、次のように入力します。

   awk  '/start/,/stop/'  chapter1

3. ファイル chapter1 を処理する awk コマンド・プログラム sum2.awk を実行するには、次のように入力します。

   awk  -f  sum2.awk  chapter1

   次のプログラム sum2.awk は、入力ファイル chapter1 の 2 列目の数値の合計と平均を計算します。

       {
          sum += $2
       }
   END {
          print "Sum: ", sum;
          print "Average:", sum/NR;
       }

   最初のアクションでは、各行の 2 番目のフィールドの値が加算され、変数 sum に入れられます。変数はすべて、最初に参照される時点で数値 0 に初期化されます。 2 番目のアクションの前にパターン END があるので、2 番目のアクションはすべての入力ファイルの読み取りが終わってから実行されます。 NR 特殊変数は、平均計算に使用されるもので、読み取られたレコード数を示します。

4. 最初の 2 つのフィールドを逆の順序で表示するには、次のように入力します。

   awk '{ print $2, $1 }' chapter1

5. awk プログラムを以下に示します。

   awk -f sum3.awk chapter2
   

   これは、ファイル chapter2 の最初の 2 つのフィールドを表示します。このとき、入力フィールドをコンマまたはブランク (あるいはその両方) とタブで区切り、最初の列の合計を出し、その合計と平均を表示します。

   BEGIN  {FS = ",|[ \t]+"}
          {print $1, $2}
          {s += $1}
   END    {print "sum is",s,"average is", s/NR }               

関連情報

grep コマンド および sed コマンド。