Datasets en streaming
Ne plus tout charger en RAM.
Énoncé
Passez un loader parquet/csv en streaming (chunks ou datasets HF) : batch constant en RAM, shuffle par buffer, reprise sur checkpoint. Mesurez pic mémoire avant/après.
Contraintes
Ordre déterministe à seed fixée, reprise exacte, pas de fuite entre shards.
Indices
pd.read_csv(chunksize=...), Dataset.streaming=True, DataLoader(num_workers=...).
Correction disponibleCherchez d’abord par vous-même.Voir la correction
Correction
RAM divisée par 10-100, temps stable, reprise au batch près. Si votre epoch mélange passé et futur en temporel, c'est le buffer mal conçu : documentez l'ordre.