Sérialiser des objets pickle avec un index en fin de fichier (Python)
Écrire plusieurs objets Python sérialisés dans un même fichier, avec un index et un en-tête qui pointe vers lui, pour un accès direct ultérieur.
Ce motif écrit plusieurs objets sérialisés avec pickle dans un seul fichier binaire et enregistre leurs positions dans un index placé à la fin. Un en-tête de taille fixe indique où commence l'index : un lecteur peut donc lire l'index en premier, puis aller directement à l'objet voulu.
Écriture du fichier
import os, pickle, struct
myfile = open('/path/to/my/file', 'w+b')
myfile.write(struct.pack('L', 0)) # emplacement réservé pour la position de l'index
index = []
for o in objects:
index.append(myfile.tell())
pickle.dump(o, myfile)
index_loc = myfile.tell()
pickle.dump(index, myfile)
myfile.seek(0, os.SEEK_SET)
myfile.write(struct.pack('L', index_loc))
Remarques
- Le fichier est ouvert en
'w+b'(binaire, lecture et écriture) car l'en-tête est réécrit après les objets. - La taille du format
'L'dépend de la plateforme (4 octets sous Windows, souvent 8 octets sous Linux 64 bits). Le lecteur doit utiliser le même format. Pour une disposition stable, utiliser une taille explicite comme'<Q'(8 octets, little-endian). - Ne désérialiser que des données pickle de confiance :
pickle.loadpeut exécuter du code arbitraire. - Le code source utilisait
seek(0, 0, os.SEEK_SET), invalide carseekprend deux arguments. Il est écrit iciseek(0, os.SEEK_SET). objectsdésigne un itérable quelconque d'objets sérialisables.