Mandato awk

Finalidad

Busca en archivos líneas coincidentes con un patrón y realiza acciones especificadas sobre dichas líneas.

Sintaxis

awk [ -FEre ] [ -v Asignación ] ... { -f ArchivoPrograma | 'Programa' } [ [ Archivo ... | Asignación ... ] ] ...

Descripción

El mandato awk utiliza un conjunto de instrucciones suministradas por usuario para comparar un conjunto de archivos, línea por línea, con expresiones regulares ampliadas suministradas por el usuario. A continuación, se realizan acciones sobre las líneas que coinciden con las expresiones regulares ampliadas.

La búsqueda de patrones del mandato awk es más genérica que la del mandato grep, y permite al usuario realizar varias acciones sobre las líneas de texto de entrada. El lenguaje de programación del mandato awk no requiere compilación y permite al usuario utilizar variables, funciones numéricas, funciones de tipo serie y operadores lógicos.

El mandato awk resulta afectado por las variables de entorno LANG, LC_ALL, LC_COLLATE, LC_CTYPE, LC_MESSAGES, LC_NUMERIC, NLSPATH y PATH.

En este artículo se describen los temas siguientes:

• Entrada del mandato awk
• Salida del mandato awk
• Proceso de archivos con registros y campos
• El lenguaje de programación del mandato awk
  • Patrones
  • Acciones
  • Variables
  • Variables especiales
• Distintivos
• Ejemplos

Entrada del mandato awk

El mandato awk toma dos tipos de entrada: archivos de texto de entrada e instrucciones de programa.

Archivos de texto de entrada

La búsqueda y las acciones se realizan en archivos de texto de entrada. Los archivos se especifican:

• Especificando la variable Archivo en la línea de mandatos.
• Modificando las variables especiales ARGV y ARGC.
• Suministrando entrada estándar en ausencia de la variable Archivo.

Si se especifican varios archivos con la variable Archivo, los archivos se procesan en el orden especificado.

Instrucciones de programa

Instrucciones suministradas por el usuario que controlan las acciones del mandato awk. Estas instrucciones proceden de la variable `Programa' de la línea de mandatos o de un archivo especificado por el distintivo -f junto con la variable ArchivoPrograma. Si se especifican varios archivos de programa, los archivos se concatenan en el orden especificado y se utiliza el orden de instrucciones resultante.

Salida del mandato awk

El mandato awk produce tres tipos de salida desde los datos del archivo de texto de entrada:

• Pueden imprimirse datos seleccionados en la salida estándar, sin alterar el archivo de entrada.
• Pueden modificarse partes seleccionadas del archivo de entrada.
• Pueden modificarse datos seleccionados e imprimirse en la salida estándar, con o sin alteración del contenido del archivo de entrada.

Los tres tipos de salida pueden realizarse en el mismo archivo. El lenguaje de programación reconocido por el mandato awk permite al usuario redireccionar la salida.

Proceso de archivos con registros y campos

Los archivos se procesan del siguiente modo:

1. El mandato awk explora sus instrucciones y ejecuta las acciones especificadas que deben producirse antes de que se lea el archivo de entrada.

   la sentencia BEGIN del lenguaje de programación de awk permite al usuario especificar un conjunto de instrucciones que deben realizarse antes de que se lea el primer registro. Esto es particularmente útil para inicializar variables especiales.

2. Se lee un registro del archivo de entrada.

   Un registro es un conjunto de datos separado por un separador de registros. El valor predeterminado para el separador de registros es el carácter de línea nueva, que convierte a cada línea del archivo en un registro independiente. El separador de registros puede cambiarse estableciendo la variable especial RS.

3. El registro se compara con cada uno de los patrones especificados por las instrucciones del mandato awk.

   Las instrucciones del mandato pueden especificar que debe compararse un campo determinado del registro. Por omisión, los campos están separados por espacios en blanco (blancos o tabulaciones). Una variable de campo hace referencia a cada uno de los campos. Al primer campo de un registro se le asigna la variable $1, al segundo campo se le asigna la variable $2, y así sucesivamente. Todo el registro se asigna a la variable $0. El separador de campos puede cambiarse mediante el distintivo -F en la línea de mandatos o estableciendo la variable especial FS. La variable especial FS puede establecerse en los siguientes valores: blanco, carácter único o expresión regular ampliada.

4. Si el registro coincide con un patrón, las acciones asociadas con dicho patrón se realizan en el registro.
5. Después de comparar el registro con cada patrón y de realizar todas las acciones especificadas, se lee el registro siguiente de la entrada; el proceso se repite hasta haber leído todos los registros del archivo de entrada.
6. Si se han especificado varios archivos de entrada, a continuación se abre el próximo archivo y el proceso se repite hasta haber leído todos los archivos de entrada.
7. Una vez leído el último registro del último archivo, el mandato awk ejecuta las instrucciones especificadas que deben realizarse después del proceso de la entrada.

   La sentencia END del lenguaje de programación de awk permite al usuario especificar acciones que deben realizarse después de leer el último registro. Esto es especialmente útil para enviar mensajes acerca del trabajo realizado por el mandato awk.

El lenguaje de programación del mandato awk

El lenguaje de programación del mandato awk consta de sentencias con el siguiente formato:

Patrón { Acción }

Si un registro coincide con el patrón especificado o contiene un campo que coincide con el patrón, se realiza la acción especificada. Un patrón puede especificarse sin ninguna acción, en cuyo caso toda la línea que contiene el patrón se graba en la salida estándar. Una acción especificada sin un patrón se realiza en todos los registros de entrada.

Patrones

Existen cuatro tipos de patrones utilizados en la sintaxis del lenguaje del mandato awk:

• Expresiones regulares
• Expresiones relacionales
• Combinaciones de patrones
• .Patrones BEGIN y END

Expresiones regulares

Las expresiones regulares ampliadas utilizadas por el mandato awk son parecidas a las utilizadas por el mandato grep. La forma más simple de una expresión regular ampliada es una serie de caracteres entre barras inclinadas. Por ejemplo, supongamos que un archivo denominado testfile tiene el contenido siguiente:

smawley, andy
smiley, allen
smith, alan
smithern, harry
smithhern, anne
smitters, alexis

Especificando lo siguiente en la línea de mandatos:

awk '/smi/' testfile

se imprimirán en la salida estándar todos los registros que contienen una aparición de la serie smi. En este ejemplo, el programa '/smi/' para el mandato awk es un patrón sin acción. La salida es:

smiley, allen
smith, alan
smithern, harry
smithhern, anne
smitters, alexis

Para formar expresiones regulares ampliadas se utilizan los siguientes caracteres especiales:

awk '/smith+ern/' testfile

smithern, harry
smithhern, anne

awk '/smith?/' testfile

smith, alan
smithern, harry
smithhern, anne
smitters, alexis

awk '/allen 
| 
alan /' testfile

smiley, allen
smith, alan

awk '/a(ll)?(nn)?e/' testfile

smiley, allen
smithhern, anne

awk '/l{2}/' testfile

smiley, allen

awk '/t{2,}/' testfile

smitters, alexis

awk '/er{1, 2}/' testfile

smithern, harry
smithern, anne
smitters, alexis

awk '/sm[a-h]/' testfile

smawley, andy

awk '/sm[^a-h]/' testfile

smiley, allen
smith, alan
smithern, harry
smithhern, anne
smitters, alexis

awk '$1 ~ /n/' testfile

smithern, harry
smithhern, anne

awk '$2 ~ /^h/' testfile

smithern, harry

awk '$2 ~ /y$/' testfile

smawley, andy
smithern, harry

awk '/a..e/' testfile

smawley, andy
smiley, allen
smithhern, anne

awk '/a.*e/' testfile

smawley, andy
smiley, allen
smithhern, anne
smitters, alexis

/a\/\//

Secuencias de escape reconocidas

El mandato awk reconoce la mayoría de las secuencias de escape utilizadas en los convenios del lenguaje C, así como varias de las utilizadas como caracteres especiales por el propio mandato awk. Las secuencias de escape son las siguientes:

Expresiones relacionales

Los operadores relacionales < (menor que), > (mayor que), <= (menor o igual que), >= (mayor o igual que), = = (igual a) y ! = (no igual a) pueden utilizarse para formar patrones. Por ejemplo, el patrón:

$1 < $4

compara registros en los que el primer campo es menor que el cuarto campo. Los operadores relacionales también funcionan con valores tipo serie. Por ejemplo:

$1 =! "q"

compara todos los registros en los que el primer campo no es una q. Los valores tipo serie también pueden compararse en valores de clasificación. Por ejemplo:

$1 >= "d"

compara todos los registros en los que el primer campo empieza por un carácter que es a, b, c o d. Si no se suministra otra información, las variables de campo se comparan como valores tipo serie.

Combinaciones de patrones

Los patrones pueden combinarse mediante tres opciones:

• Los rangos se especifican mediante dos patrones separados por una , (coma). Las acciones se realizan en todos los registros que empiezan por el registro que coincide con el primer patrón, y continúan hasta el registro que coincide con el segundo patrón inclusive. Por ejemplo:

  /begin/,/end/

  compara el registro que contiene la serie begin y cada uno de los registros situados entre éste y el registro que contiene la serie end, incluido el registro que contiene la serie end.

• Los paréntesis ( ) agrupan patrones.
• Los operadores booleanos || (o), && (y) y ! (no) combinan patrones en expresiones que se comparan si se evalúan como true (verdadera); de lo contrario, no se comparan. Por ejemplo, el patrón:

  $1 == "al" && $2 == "123"

  compara registros en los que el primer campo es al y el segundo campo es 123.

Patrones BEGIN y END

Las acciones especificadas con el patrón BEGIN se realizan antes de leer ninguna entrada. Las acciones especificadas con el patrón END se realizan después de leer toda la entrada. Se permiten varios patrones BEGIN y END, que se procesan en el orden especificado. Un patrón END puede preceder a un patrón BEGIN en las sentencias de programa. Si un programa sólo consta de sentencias BEGIN, las acciones se realizan y no se lee ninguna entrada. Si un programa sólo consta de sentencias END, se lee toda la entrada antes de realizar ninguna acción.

Acciones

Hay varios tipos de sentencias de acción:

• Sentencias de acción
• Funciones incorporadas
• Funciones definidas por usuario
• Sentencias condicionales
• Sentencias de salida

Sentencias de acción

Las sentencias de acción están incluidas entre { } (llaves). Si las sentencias se especifican sin un patrón, se realizan en todos los registros. Pueden especificarse varias acciones entre las llaves, pero deben estar separadas por caracteres de línea nueva o ; (signos de punto y coma); las sentencias se procesarán en el orden de aparición. Las sentencias de acción pueden ser:

Sentencias aritméticas

Los operadores matemáticos + (más), - (menos), / (división), ^ (exponenciación), * (multiplicación), % (módulo) se utilizan con el formato:

Expresión Operador
Expresión

Por tanto, la sentencia:

$2 = $1 ^3

asigna el valor del primer campo elevado a la tercera potencia del segundo campo.

Sentencias Unary

Las sentencias unary - (minus) y unary + (plus) funcionan como en el lenguaje de programación C:

+Expresión o
-Expresión

Sentencias de incremento y decremento

Las sentencias de preincremento y predecremento funcionan como en el lenguaje de programación C:

++Variable o --Variable

Las sentencias de postincremento y postdecremento funcionan como en el lenguaje de programación C:

Variable++ o Variable--

Sentencias de asignación

Los operadores de asignación += (adición), -= (sustracción), /= (división) y *= (multiplicación) funcionan como en el lenguaje de programación C, con el formato:

Variable += Expresión

Variable -= Expresión

Variable /= Expresión

Variable *= Expresión

Por ejemplo, la sentencia:

$1 *= $2

multiplica la variable de campo $1 por la variable de campo $2 y luego asigna el valor nuevo a $1.

Los operadores de asignación ^= (exponenciación) y %= (módulo) tienen el formato:

Variable1^=Expresión1

Y

Variable2%=Expresión2

y son equivalentes a las sentencias del lenguaje de programación C:

Variable1=pow(Variable1, Expresión1)

Y

Variable2=fmod(Variable2, Expresión2)

donde pow es la subrutina pow y fmod es la subrutina fmod.

Sentencias de concatenación de series

Los valores de tipo serie pueden concatenarse colocándolos uno junto a otro. Por ejemplo:

$3 = $1 $2

asigna la concatenación de las series de las variables de campo $1 y $2 a la variable de campo $3.

Funciones incorporadas

El lenguaje del mandato awk utiliza funciones aritméticas, funciones de serie y funciones generales. Es necesaria la sentencia de subrutina close si tiene previsto grabar un archivo y leerlo más tarde en el mismo programa.

Funciones aritméticas

Las funciones aritméticas que siguen realizan las mismas acciones que las subrutinas del lenguaje C del mismo nombre:

Funciones de serie

Las funciones de serie son las siguientes:

Funciones generales

Las funciones generales son las siguientes:

Funciones definidas por usuario

Las funciones definidas por usuario se declaran del siguiente modo:

function Nombre (Parámetro, Parámetro,...)  { Sentencias }

En cualquier lugar de un programa de mandato awk puede hacerse referencia a una función, y su utilización puede preceder a su definición. El ámbito de la función es global.

Los parámetros de la función pueden ser escalares o matrices. Los nombres de parámetro son locales con respecto a la función; todos los demás nombres de variable son globales. No debe utilizarse el mismo nombre para entidades diferentes; por ejemplo, un nombre de parámetro no debe estar duplicado como nombre de función o variable especial. Las variables con ámbito global no deben compartir el nombre de una función. Los escalares y matrices no deben tener el mismo nombre en el mismo ámbito.

El número de parámetros de la definición de función no tiene que coincidir con el número de parámetros utilizados al llamar a la función. Pueden utilizarse parámetros formales adicionales como variables locales. Los parámetros escalares adicionales se inicializan con un valor de serie equivalente a la serie vacía y un valor numérico de 0 (cero); los parámetros de matriz adicionales se inicializan como matrices vacías.

Al invocar una función, no se coloca ningún espacio en blanco entre el nombre de la función y el paréntesis de apertura. Las llamadas de función pueden ser anidadas y recursivas. En el retorno de una llamada de función anidada o recursiva, los valores de todos los parámetros de la función llamante permanecerán sin cambios, excepto los parámetros de matriz pasados por referencia. Puede utilizarse la sentencia return para devolver un valor.

Dentro de una definición de función, son opcionales los caracteres de nueva línea antes de la { (llave) de apertura y después de la } (llave) de cierre.

A continuación figura un ejemplo de definición de función:

function average ( g,n) 
  {
        for (i in g)
           sum=sum+g[i]
        avg=sum/n
        return avg
  } 

Se pasa una matriz a la función average, g, y una variable, n, con el número de elementos de la matriz. A continuación, la función obtiene un promedio (average) y lo devuelve.

Sentencias condicionales

la mayoría de sentencias condicionales del lenguaje de programación del mandato awk tienen la misma sintaxis y funcionamiento que las sentencias condicionales del lenguaje de programación C. Todas las sentencias condicionales permiten el uso de { } (llaves) para agrupar sentencias. Puede utilizarse una nueva línea opcional entre la parte de expresión y la parte de sentencia de la sentencia condicional, y se utilizan nuevas líneas o ; (punto y coma) para separar varias sentencias en { } (llaves). Las seis sentencias condicionales del lenguaje C son:

Las cinco sentencias condicionales del lenguaje de programación del mandato awk que no siguen las normas del lenguaje C son:

for (i in g)
   delete g[i];

Sentencias de salida

Las dos sentencias de salida del lenguaje de programación del mandato awk son:

Variables

Las variables pueden ser escalares, variables de campo, matrices o variables especiales. Los nombres de variable no pueden empezar con un dígito.

Las variables pueden utilizarse haciendo referencia a ellas. Con la excepción de los parámetros de función, no se declaran explícitamente. Las variables escalares no inicializadas y los elementos de matriz tienen un valor numérico 0 (cero) y un valor de serie de serie nula (" ").

Las variables toman valores numéricos o de tipo serie según el contexto. Cada variable puede tener un valor numérico, un valor de serie o ambos. Por ejemplo:

x = "4" + "8"

asigna el valor 12 a la variable x. Para constantes tipo serie, las expresiones deben especificarse entre " " (comillas).

No existen conversiones explícitas entre números y series. Para obligar a que una expresión se trate como un número, añádale 0 (cero). Para obligar a que una expresión se trate como una serie, añada una serie nula (" ").

Variables de campo

Las variables de campo se designa mediante un $ (signo de dólar) seguido de un número o expresión numérica. Al primer campo de un registro se le asigna la variable $1, al segundo campo se le asigna la variable $2, y así sucesivamente. La variable especial $0 se asigna a todo el registro. Pueden crearse variables de campo nuevas asignándoles un valor. Asignar un valor a un campo inexistente, es decir, a cualquier campo más grande que el valor actual de la variable de campo $NF, fuerza la creación de los campos intervinientes (establecidos en la serie nula), aumenta el valor de la variable especial NF y fuerza la recalculación del valor de la variable de registro $0. Los campos nuevos están separados por el separador de campos actual (que es el valor de la variable especial FS). Blancos y tabulaciones son los separados de campos predeterminados. Para cambiar el separador de campos, utilice el distintivo -F o asigne a la variable especial FS un valor diferente en el programa del mandato awk.

Matrices

Las matrices están vacías inicialmente y su tamaño cambia dinámicamente. Las matrices se representan mediante una variable con subíndices en [ ] (corchetes cuadrados). Los subíndices, o identificadores de elementos, pueden ser números de series, que proporcionan un tipo de posibilidad de matrices asociativas. Por ejemplo, el programa:

/red/  { x["red"]++ }
/green/ { y["green"]++ }

incrementa las cuentas del contador red y del contador green.

Las matrices pueden indexarse con más de un subíndice, de forma similar a las matrices multidimensionales en algunos lenguajes de programación. Dado que las matrices de programación del mandato awk son en realidad unidimensionales, los subíndices separados por comas se convierten a una sola serie concatenando los valores de serie de las expresiones separadas, con cada expresión separada por el valor de la variable de entorno SUBSEP. Por tanto, las dos operaciones de índice siguientes son equivalentes:

x[expr1, expr2,...exprn]

Y

x[expr1SUBSEPexpr2SUBSEP...SUBSEPexprn]

Al utilizar el operador in, un valor multidimensional Índice debe especificarse entre paréntesis. Excepto en el caso del operador in, cualquier referencia a un elemento de matriz inexistente crea automáticamente dicho elemento.

Variables especiales

Las variables siguientes tienen un significado especial para el mandato awk:

Distintivos

Estado de salida

Este mandato devuelve los siguientes valores de salida:

Ejemplos

1. Para visualizar las líneas de un archivo superiores a 72 caracteres, especifique:

   awk  'length  >72'  chapter1

   Con ello seleccionará cada línea del archivo chapter1 que sea superior a 72 caracteres y grabará estas líneas en la salida estándar, ya que no se ha especificado ninguna Acción. Un carácter de tabulación se cuenta como 1 byte.

2. Para visualizar todas las líneas entre las palabras start y stop, incluidas "start" y "stop", especifique:

   awk  '/start/,/stop/'  chapter1

3. Para ejecutar un programa de mandato awk, sum2.awk, que procese el archivo chapter1, especifique:

   awk  -f  sum2.awk  chapter1

   El programa que sigue, sum2.awk, calcula la suma y el promedio de los números de la segunda columna del archivo de entrada, chapter1:

       {
          sum += $2
       }
   END {
          print "Sum: ", sum;
          print "Average:", sum/NR;
       }

   La primera acción añade el valor del segundo campo de cada línea a la variable sum. Todas las variables se inicializan en el valor numérico 0 (cero) cuando se referencia por primera vez. El patrón END antes de la segunda acción provoca la ejecución de esas acciones después de haber leído todo el archivo de entrada. La variable especial NR, que se utiliza para calcular el promedio, es una variable especial que especifica el número de registros que se han leído.

4. Para imprimir los dos primeros campos en orden opuesto, especifique:

   awk '{ print $2, $1 }' chapter1

5. El programa awk que sigue,

   awk -f sum3.awk chapter2
   

   imprime los dos primeros campos del archivo chapter2 con los campos de entrada separados por comas y/out blancos y tabulaciones y, a continuación, añade la primera columna e imprime la suma y el promedio:

   BEGIN  {FS = ",|[ \t]+"}
          {print $1, $2}
          {s += $1}
   END    {print "sum is",s,"average is", s/NR }               

Información relacionada

Los mandatos grep y sed.