LLI Wiki — My Digital Knowledge Base

Sérialiser des objets pickle avec un index en fin de fichier (Python)

Écrire plusieurs objets Python sérialisés dans un même fichier, avec un index et un en-tête qui pointe vers lui, pour un accès direct ultérieur.

Ce motif écrit plusieurs objets sérialisés avec pickle dans un seul fichier binaire et enregistre leurs positions dans un index placé à la fin. Un en-tête de taille fixe indique où commence l'index : un lecteur peut donc lire l'index en premier, puis aller directement à l'objet voulu.

Écriture du fichier

import os, pickle, struct
myfile = open('/path/to/my/file', 'w+b')
myfile.write(struct.pack('L', 0))  # emplacement réservé pour la position de l'index
index = []
for o in objects:
    index.append(myfile.tell())
    pickle.dump(o, myfile)
index_loc = myfile.tell()
pickle.dump(index, myfile)
myfile.seek(0, os.SEEK_SET)
myfile.write(struct.pack('L', index_loc))

Remarques

Mastodon LLIMastodon SocialFosstodon