Incident
Thu, 05 Nov 2026 17:07:24 +0100
Bonjour,
Dimanche 1er novembre 2026, le service de gestion des métadonnées de l'infrastructure Ceph servant une partie conséquente de l'espace SPS du CC-IN2P3 (12 PB utilisés et 2,6 Gfiles) s'est retrouvé dans un état instable et incohérent. Un grand nombre de groupes utilisant les ressources du CC s'est retrouvé impacté. La remise en état du service nécessite la reconstruction de l'ensemble du système. Au regard de la volumétrie, cette action prends un temps certain et d'importantes fluctuations ont été observées. Il aurait été alors délicat de vous fournir une estimation de la date de retour opérationnel du service sans un minimum de certitudes.
Afin d'éviter d'autres perturbations constatées, l'accès à la plateforme de calcul SLURM, incluant les notebooks Jupyter, a été par la suite fermé aux groupes impactés.
Néanmoins, nous pouvons envisager actuellement un retour du service en production pour le début de la semaine du 9 au 15 novembre 2026, mais sans être à l'abris de délais supplémentaires. Nous sommes désolés pour la gêne occasionnée. D'autres communications vous seront transmises dès que possibles en fonction de l'évolution de la situation.
Bien cordialement.
Thomas Kachelhoffer
CC-IN2P3 User Support
https://support.cc.in2p3.fr
-------------------- ENGLISH VERSION ---------------
Dear user,
On Sunday, November 1, 2026, the metadata management service for the Ceph infrastructure, which supports a significant part of the CC-IN2P3 SPS storage space (comprising 12 PB of data and 2.6 billion files) fell into an unstable and inconsistent state. A large number of groups using CC-IN2P3 resources have been affected. Restoring the service requires a complete reconstruction of the entire system. Given the scale of the data, this process is time-consuming, and significant time fluctuations have been observed. Consequently, it has been difficult to provide a reliable time estimation for the return in production of the service.
To prevent further disruptions, access to the SLURM computing platform, including Jupyter notebooks, has been suspended for the affected groups.
At this stage, we could anticipate that the service may return in production early in the week of November 9–15, 2026, though further delays remain possible. We apologize for the inconvenience. We will provide further updates as soon as possible, depending on how the situation evolves.
Best regards.
Thomas Kachelhoffer
CC-IN2P3 User Support
https://support.cc.in2p3.fr