Supprimer les lignes en double sans trier (Python)
Petit filtre Python qui supprime les lignes en double de l'entrée standard en conservant l'ordre d'origine.
Ce petit filtre Python lit les lignes sur l'entrée standard, écrit chaque ligne à sa première apparition et met les doublons de côté. Rien n'est trié : l'ordre d'origine est conservé.
Script
#!/usr/bin/env python
import sys
unique_lines = []
duplicate_lines = []
for line in sys.stdin:
if line in unique_lines:
duplicate_lines.append(line)
else:
unique_lines.append(line)
sys.stdout.write(line)
# optionally do something with duplicate_lines
Utilisation
Lancer le script comme un filtre qui lit l'entrée standard, par exemple python script.py < entree.txt > sortie.txt.
Remarques
line in unique_linesparcourt toute la liste pour chaque ligne : le temps de calcul croît avec le carré du nombre de lignes. Pour un gros fichier, utiliser un ensemble (seen = set()) : le test d'appartenance est alors en temps constant et l'ordre de sortie ne change pas.- Chaque ligne conserve son saut de ligne final. La dernière ligne d'un fichier sans saut de ligne (
a) ne correspond donc pas au même texte suivi d'un saut de ligne (a\n). - La liste
duplicate_linesest remplie mais n'est pas utilisée par le script ; elle sert au traitement optionnel.