LLI Wiki — My Digital Knowledge Base

Linux : supprimer les lignes en double sans trier avec awk

Dédupliquer les lignes d'un ou plusieurs fichiers avec awk en conservant l'ordre d'origine.

Pour supprimer les lignes en double d'un fichier ou d'un flux en conservant l'ordre d'origine (sans passer par sort | uniq), awk suffit.

awk '!x[$0]++'
awk '!a[$0]++' file1.csv file2.csv

Fonctionnement

Remarques

Mastodon LLIMastodon SocialFosstodon