INCIDENT PROCESSING | Perturbations plateforme de paiement / Payment platform disruptions
Postmortem
English version below
Post Mortem
Référence incident
TSR-1532
Service concerné
Paiements e-commerce et magasin.
Impact client
Aucun paiement durant 13 minutes.
Synthèse de l’incident
- 16h11 : mise en production d’une évolution sur un composant réseau (ingress). Début de l’incident.
- 16h16 : cellule incident majeur ouverte.
- 16h21 : déploiement du rollback de la mise en production.
- 16h21 : communication status page.
- 16h24 : Service rétabli. Fin de l’incident.
Contexte
N/A
Root cause
Dans le cadre d’une mise à jour d’un composant réseau (ingress), les serveurs correspondants ont été vu down par les load balancer, ce qui a bloqué l’ensemble des flux entrant sur la plateforme.
Actions à entreprendre par Payplug
| Symptômes | Actions |
|---|---|
| Mise en production en erreur. | Investigation de la mise en production avant toute tentative de redéploiement ultérieure. |
| Test des composants réseau (ingress externals) ne permettant pas de valider qu’ils étaient fonctionnels après le changement en environnement de test. | Créer des tests dédiés afin de valider isolément le fonctionnement des ingress external des ingress internal. |
==============ENGLISH VERSION==============
Post Mortem
Incident reference
TSR-1532
Payment services affected by the incident
E-commerce and instore payments..
Client impact
No payment during 13 minutes.
Incident Overview
- 4h11 PM : Production deployment of an upgrade on a network component (ingress). Incident begins.
- 4h16 PM : Major incident response team activated.
- 4h21 PM : Rollback deployment of the production change.
- 4h21 PM : Status page communication.
- 4h24 PM : Service restored. Incident resolved.
Context
N/A
Root cause
As part of an update to a network component (ingress), the corresponding servers were seen as down by the load balancers, which blocked all incoming traffic to the platform.
Actions to be taken by Payplug
| Symptoms | Actions |
|---|---|
| Production deployment failed. | Investigation of the deployment before any further redeployment attempts. |
| Testing of network components (external ingress) did not confirm whether they were functional after the change in the test environment. | Create dedicated tests to validate the functionality of external ingresses separately from internal ingresses. |
Resolved
Update
- Début / Start : 27/03/2025 16h11 CET
- Fin / End : 27/03/2025 16h23 CET
- Catégorie / Category : Production
- Responsabilité / Responsibility : Payplug
- Priorité / Priority : P1
FR
L'incident est maintenant résolu et le service est rétabli.
EN
Incident is now resolved and service restored.
Update
- Début / Start : 27/03/2025 16h11 CET
- Fin / End : 27/03/2025 16h23 CET
- Catégorie / Category : Production
- Responsabilité / Responsibility : Payplug
- Priorité / Priority : P1
FR
La situation est revenue à la normale.
Nous continuons de monitorer le service.
EN
The situation has now returned to normal.
We are continuing to monitor the service.
Monitoring
Un fix est en cours. La situation est en train de revenir à la normale.
Nous continuer de monitorer le service.
EN
A fix has been implemented and we are monitoring the results.
Investigating
Nous avons identifié des difficultés sur la plateforme de paiement.
L'incident est en cours d'analyse.
EN
We have identified ongoing difficulties on the payment platform.
An investigation is in progress.