LLI Wiki — My Digital Knowledge Base

Supprimer les lignes en double sans trier (Python)

Petit filtre Python qui supprime les lignes en double de l'entrée standard en conservant l'ordre d'origine.

Ce petit filtre Python lit les lignes sur l'entrée standard, écrit chaque ligne à sa première apparition et met les doublons de côté. Rien n'est trié : l'ordre d'origine est conservé.

Script

#!/usr/bin/env python
import sys
unique_lines = []
duplicate_lines = []
for line in sys.stdin:
  if line in unique_lines:
    duplicate_lines.append(line)
  else:
    unique_lines.append(line)
    sys.stdout.write(line)
# optionally do something with duplicate_lines

Utilisation

Lancer le script comme un filtre qui lit l'entrée standard, par exemple python script.py < entree.txt > sortie.txt.

Remarques

Mastodon LLIMastodon SocialFosstodon