INCIDENT SETTLEMENT | Délai reversement 24 juillet/ 24th of July settlement delay
Incident
Report for Payplug
Postmortem
English version below
Post Mortem
Référence incident
TSR-2065
Service concerné
Reversement des paiements e-commerce et magasin.
Impact client
Reversement partiel des transactions.
Synthèse de l’incident
- 23 juillet - 14h : mise en production dans le cadre d’une migration de service.
- 24 juillet - 1h15 : suite à des alertes, interruption de la chaîne de reversement.
- 24 juillet - 1h48 : rollback de la mise en production.
- 24 juillet - 1h50 : reprise de la chaîne de reversement.
- 24 juillet - 10h19 : détection de faibles montants dans le fichier de reversement.
- 24 juillet - 10h22 : création d’une cellule de crise dédiée et début des analyses.
- 24 juillet - 10h45 : décision de signer les virements en l’état et d’établir un plan pour chercher les transactions manquantes afin qu’elles soient incluses dans les virements du lendemain.
- 24 juillet - 14h43 : actions pour inclure les transactions dans les reversements du lendemain.
- 25 juillet : reversement des transactions. Fin de l’incident.
Contexte
N/A
Root cause
Mise en production ayant entraîné un blocage de la chaîne de reversement.
Actions à entreprendre par Payplug
| Symptômes | Actions |
|---|---|
| Non détection de l’erreur lors de l'exécution de la chaîne de nuit. | Ajout d’un monitoring sur la partie d’exécution de la chaîne de nuit. |
==============ENGLISH VERSION==============
Post Mortem
Incident reference
TSR-2065
Payment services affected by the incident
E-commerce & in-store payments settlement.
Client impact
Partial settlement of transactions.
Incident Overview
- 23 July – 2:00pm: deployment as part of a service migration.
- 24 July – 1:15am: following alerts, interruption of the payout process.
- 24 July – 1:48am: rollback of the deployment.
- 24 July – 1:50am: resumption of the payout process.
- 24 July – 10:19am: detection of unusually low amounts in the payout file.
- 24 July – 10:22am: creation of a dedicated crisis team and start of analysis.
- 24 July – 10:45am: decision to approve the transfers as-is and to set up a plan to identify
- missing transactions so they could be included in the next day’s transfers.
- 24 July – 2:43pm: actions taken to include the transactions in the following day's payouts.
- 25 July: transactions paid out. End of the incident.
Context
N/A
Root cause
Deployment caused a blockage in the payout process.
Actions to be taken by Payplug
| Symptoms | Actions |
|---|---|
| Failure to detect the error during the execution of the overnight process. | Monitoring has been added to the execution part of the overnight process. |
Resolved
TSR-2065
- Début / Start : 24/07/2025
- Fin / End : 25/07/2025
- Catégorie / Category : Reversement / Settlement
- Responsabilité / Responsibility : Payplug
- Priorité / Priority : P2
FR
Les opérations de paiement e-commerce et magasin non reversées hier ont été reversées aujourd'hui.
La réconciliation financière correspondante intègre bien les transactions rattrapées.
EN
The e-commerce and in-store payment operations that were not settled yesterday have been settled today.
The corresponding financial reconciliation accurately includes the recovered transactions.
- Début / Start : 24/07/2025
- Fin / End : 25/07/2025
- Catégorie / Category : Reversement / Settlement
- Responsabilité / Responsibility : Payplug
- Priorité / Priority : P2
FR
Les opérations de paiement e-commerce et magasin non reversées hier ont été reversées aujourd'hui.
La réconciliation financière correspondante intègre bien les transactions rattrapées.
EN
The e-commerce and in-store payment operations that were not settled yesterday have been settled today.
The corresponding financial reconciliation accurately includes the recovered transactions.
Monitoring
TSR-2065
- Début / Start : 24/07/2025
- Fin / End : En cours / Ongoing
- Catégorie / Category : Reversement / Settlement
- Responsabilité / Responsibility : Payplug
- Priorité / Priority : P2
FR
L'origine du blocage des reversements a été trouvée. Le reversement de vendredi sera assuré de manière standard.
Une action a été appliquéé afin de rattraper le reversement des transactions impactées.
Nous confirmerons demain le reversement des transactions.
EN
The source of the payment reversal blockage has been identified. Friday’s payment reversal will be processed as usual
An action has been applied to recover the reversals of the impacted transactions.
We will confirm the completion of the transaction reversals tomorrow.
- Début / Start : 24/07/2025
- Fin / End : En cours / Ongoing
- Catégorie / Category : Reversement / Settlement
- Responsabilité / Responsibility : Payplug
- Priorité / Priority : P2
FR
L'origine du blocage des reversements a été trouvée. Le reversement de vendredi sera assuré de manière standard.
Une action a été appliquéé afin de rattraper le reversement des transactions impactées.
Nous confirmerons demain le reversement des transactions.
EN
The source of the payment reversal blockage has been identified. Friday’s payment reversal will be processed as usual
An action has been applied to recover the reversals of the impacted transactions.
We will confirm the completion of the transaction reversals tomorrow.
Investigating
TSR-2065
- Début / Start : 24/07/2025
- Fin / End : En cours / Ongoing
- Catégorie / Category : Reversement / Settlement
- Responsabilité / Responsibility : A confirmer / To be confirmed
- Priorité / Priority : P2
FR
Le reversement de certaines opérations de paiement e-commerce et magasin qui aurait dû être effectué aujourd'hui n'a pas pu être effectué dans les temps.
La réconciliation financière correspondante n'a pas été produite et sera produite après le reversement.
EN
Settlement of some euro e-commerce and instore operations which should have been done today could not be performed in due time.
Related financial reconciliation wasn't produced and will be provided after the settlement.
- Début / Start : 24/07/2025
- Fin / End : En cours / Ongoing
- Catégorie / Category : Reversement / Settlement
- Responsabilité / Responsibility : A confirmer / To be confirmed
- Priorité / Priority : P2
FR
Le reversement de certaines opérations de paiement e-commerce et magasin qui aurait dû être effectué aujourd'hui n'a pas pu être effectué dans les temps.
La réconciliation financière correspondante n'a pas été produite et sera produite après le reversement.
EN
Settlement of some euro e-commerce and instore operations which should have been done today could not be performed in due time.
Related financial reconciliation wasn't produced and will be provided after the settlement.
This incident affected: Reversement / Settlement (Reversement e-commerce EUR / EUR e-commerce settlement, Reversement e-commerce devises / Currencies e-commerce settlement, Reversement paiement en magasin - CB2A / Instore payment settlement, Reversement paiement en magasin - NEXO / Instore payment settlement, Reversement MPA / APM Settlement).