¿Hay alguna manera de 'uniq' por columna?

sort -u -t, -k1,1 file

• -u para único
• -t, entonces la coma es el delimitador
• -k1,1 para el campo clave 1

Resultado de la prueba:

[email protected],2009-11-27 00:58:29.793000000,xx3.net,255.255.255.0 
[email protected],2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1 

awk -F"," '!_[$1]++' file

• -F establece el separador de campo.
• $1 es el primer campo.
• _[val] busca val en el hash _ (una variable regular).
• ++ incrementar y devolver el valor antiguo.
• ! devuelve un no lógico.
• hay una impresión implícita al final.

Para considerar varias columnas.

Ordene y proporcione una lista única según la columna 1 y la columna 3:

sort -u -t : -k 1,1 -k 3,3 test.txt

• -t : dos puntos es separador
• -k 1,1 -k 3,3 basado en la columna 1 y la columna 3