Linux : supprimer les lignes en double sans trier avec awk
Dédupliquer les lignes d'un ou plusieurs fichiers avec awk en conservant l'ordre d'origine.
Pour supprimer les lignes en double d'un fichier ou d'un flux en conservant l'ordre d'origine (sans passer par sort | uniq), awk suffit.
awk '!x[$0]++'
awk '!a[$0]++' file1.csv file2.csv
Fonctionnement
$0est la ligne courante ;x[$0]est un tableau associatif indexé par le contenu de la ligne.x[$0]++renvoie la valeur actuelle (0 la première fois) puis l'incrémente ;!inverse le résultat.- La condition n'est donc vraie que la première fois qu'une ligne est vue, et l'action par défaut d'awk (afficher la ligne) s'exécute alors.
- Avec plusieurs fichiers en argument, la déduplication s'applique à l'ensemble des fichiers.
Remarques
- L'ordre des lignes est préservé, contrairement à
sort -u. - Toutes les lignes uniques sont gardées en mémoire : à surveiller sur de très gros fichiers.