Service concerné
Paiements de proximité NEXO
Impact client
Interruption des paiements de proximité NEXO de 10h50 à 13h42
Synthèse de l’incident
10h50 : expiration d’un certificat lié au trafic NEXO et début de l’incident
11h46 : alertes marchand
11h50 : ouverture de la cellule de crise technique
13h30 : détection du certificat expiré
13h42 : solution temporaire permettant la reprise du trafic Nexo
14h06 : mise à jour du certificat et fin de l’incident
Root cause
Expiration d’un certificat lié au trafic NEXO
Contexte
Incident durant le weekend sans l’expertise de toute l'équipe technique
Actions à entreprendre par Payplug
Symptôme | Action |
---|---|
Expiration du certificat | Inventaire des certificats répartis sur nos datacenters et sur GCP réalisé cette semaine par l’ensemble de l'équipe infrastructure (plus d’une centaine de certificats) Ajout de monitoring sur chaque certificat inventorié avant mise en place d’une solution de gestion des certificats. |
Non détection de la panne | Ajout d’un alerting sur les paiements NEXO |
Délai de résolution important | Revue de la documentation NEXO Formation des équipes d’astreinte |
==============ENGLISH VERSION==============
Affected service
NEXO in store payments
Customer impact
NEXO in store payment outage from 10.50am until 1.42pm
Incident overview
10.50am : expiry of a certificate linked to NEXO trafic. Incident starts
11.46am : merchant alerts
11.50am : technical crisis unit set up
1.30pm : detection of the expired certificate
1.42pm : workaround deployed. Service resumes.
2.06pm : expired certificate update. End of the incident
Root cause
Expiry of a certificate linked to NEXO trafic
Background
Incident during the wekend without full technical team expertise
Actions to be taken by Payplug
Symptom | Action |
---|---|
Certificate expiry | Inventory of certificates spread accross our datacenters and GCP is to be performed this week by the whole infrastructure team (more than a hundred certificates) Monitoring added for each listed certificate before deployment of a certificate management solution |
Undetected failure | Alerting added on NEXO in store payments |
Large resolution delay | NEXO documentation review On-duty team training |