Service concerné
Processing
Impact client
Les demandes d'autorisations sur les cartes Banque Populaire tombaient en timeout, empêchant le paiement. Environ 8% des flux étaient impactés pendant 2 heures et 43 minutes
Synthèse de l’incident
19h50 : début de l’incident
19h53 : remontée d’alertes SMS à l’astreinte
19h55 : prise en charge et investigation
20h25 : identification de la source du problème
20h30 : escalade interne
20h48 : communication status page
20h50 : appel à l'astreinte du partenaire impliqué
20h50 : remontée de l’incident par d’autres PSP
21h05-22h10 : plusieurs appels à l’astreinte du partenaire
22h33 : reprise du service. Fin de l’incident
22h40 : confirmation du correctif fait par le partenaire
Root cause
Incident chez BPCE sur les autorisations des cartes Banque Populaire qui prenaient une mauvaise route.. Une analyse est en cours chez eux pour identifier l’origine cette bascule non souhaitée
Contexte
NA
Actions à entreprendre par Payplug
| Symptome | Action |
|---|---|
| première alerte à 19h53, prise en charge à 19h55, mais communication interne faite seulement à 20h30 entrainant une communication status page faite seulement à 20h48 | Rappel de la procédure aux équipes d’astreinte |
| Communication status page de clôture d’incident faite seulement le matin | Rappel de la procédure aux équipes d’astreinte |
| Fallback lorsque les autorisations passant par BPCE sont en timeout non actif | Réflexion en cours pour permettre un fallback sur une autre route dans ce type de cas |
==============ENGLISH VERSION==============
Affected service
Processing
Customer impact
Autorisation requests on Banque Populaire cards were going into timeout, preventing payment. Around 8% of the trafic was impacted during 2 hours and 43 minutes
Incident overview
7.50pm : incident starts
7.53pm : on-duty team receives SMS alerts
7.55pm : investigation starts
8.25pm : identified root cause
8.30pm : internal escalation
8.48pm : status page communication
8.50pm : call to implicated parter on-duty team
8.50pm : Other PSP communicates about the incident
9.05pm-9.10pm : Multiple call to partner on-duty team
10.33pm : Service resumes. End of the incident
10.40pm : Fix confirmation by the partner
Root cause
Incident on BPCE side on Banque Populaire credit cards autorisations which were taking a wrong path. An investigation is ongoing on their side to identify origin of the unrequired switch
Background
NA
Actions to be taken by Payplug
| Symptom | Action |
|---|---|
| First alert at 7.53pm, investigation started at 7.55pm but first internal communication only made at 8.30pm causing status page communication sent only at 8.48pm | Procedure reminder to on-duty teams |
| End of incident status page communication only sent on the next morning | Procedure reminder to on-duty teams |
| Fallback when autorisations goign through BPCE are in timeout not active | Ongoing brainstorming to trigger a fallback to a different autorisation path when this type of event happens |
- Début / Start : 07/09/2023 19h50 CEST
- Fin / End : 07/09/2023 22h43 CEST
- Catégorie / Category : Production - Processing
- Responsabilité / Responsibility : Externe / External
- Priorité / Priority : P2
Le trafic a été légèrement dégradé entre 19H50 et 22H43 suite à un incident chez l'un des nos partenaires.
Les service a été rétablie en totalité à 22H43 .
==============ENGLISH VERSION==============
Traffic was slightly degraded between 7:50 p.m. and 8:00 p.m. and 10:43 p.m. following an incident at one of our partners.
Service was fully restored at 10:43 p.m.
- Début / Start : 07/09/2023 19h50 CEST
- Fin / End : En cours / Ongoing
- Catégorie / Category : Production - Processing
- Responsabilité / Responsibility : A confirmer / To be confirmed
- Priorité / Priority : P2
Incident toujours en cours.
Impact estimé à 5 à 10 % du Traffic , cause probablement externe.
Nous sommes en contact avec nos partenaires pour déterminer la cause de l'incident .
==============ENGLISH VERSION==============
Incident is still in progress and appears as external to us
We are working with our partners to identify the root cause .
Impact to your traffic may be up 5 to 10 percent .
- Fin / End : En cours / Ongoing
- Catégorie / Category : Production - Processing
- Responsabilité / Responsibility : A confirmer / To be confirmed
- Priorité / Priority : P2
Notre système de monitoring a détecté un incident sur la plateforme de paiement
L'incident est en cours d'analyse
==============ENGLISH VERSION==============
Our monitoring system has detected an incident on the payment platform.
An investigation is in progress