Forsinkelse for innkommende meldinger
Incident Report for Transponder
Postmortem

Ved 15-tiden onsdag 26. november begynte vi å motta automatiske feilrapporter fra SMS-leverandøren om at innkommende meldiner ikke kunne leveres til Transponder. Vi startet feilsøking og identifiserte en mulig feilkilde som førte til timeout ved mottak av meldinger til Transponder.

Etter at noen meldinger ikke kunne tas i mot i Transponder, var det ikke lenger noen spor i loggene etter flere leveringsforsøk frem til SMS-leverandøren restartet ett av sine systemer kl. 18:55. Umiddelbart etter restarten begynte det å strømme inn meldinger til Transponder, men dessverre så fikk Transponder levert duplikater for 72 av de innkommende meldingene.

Vi samarbeider med SMS-leverandøren om å identifisere rot-årsaken til duplikatmeldingene, og vi stoler på at systemet som genererte duplikatmeldingene blir korrigert. Timeout-feilen som trolig var utløsende årsak, er allerede korrigert i Transponder. Vi kommer også til å implementere duplikat-detektering i Transponder slik at innkommende meldinger som forsøkes levert flere ganger til Transponder kun blir registrert én gang.

Noen få Transponder-brukere har fått duplikat-varsler i epost/sms, og vi beklager dette på det sterkeste.

Oppdatering: Vi har i dag, 27. november, gjort endring i Transponder slik at eventuelle feilsituasjoner som medfører duplikate kall fra SMS-leverandør ikke lenger medfører duplikater i Transponder.

Posted Nov 27, 2014 - 02:17 CET

Resolved
En restart av en SMS-komponent hos SMS-leverandøren medførte at SMS-meldinger ble resendt flere ganger. Den opprinnelige feilen er løst, men vi jobber videre med analyse av hele hendelsesforløpet, konsekvenser og tiltak. Vi kommer tilbake med mer informasjon i en "post mortem" for denne hendelsen.
Posted Nov 26, 2014 - 20:16 CET
Monitoring
Vi har nå gjort endring i Transponder og følger med på trafikken for å verifisere at feilsituasjonen ikke kommer igjen.
Posted Nov 26, 2014 - 18:23 CET
Identified
Vi opplever forsinkelse på innkommende meldinger. Dette er relatert til de tidligere tilfellene vi har med stopp/forsinkelse i innkommende meldinger. I løpet av kvelden vil vi oppdatere Transponder for å eliminere årsaken til disse problemene.
Posted Nov 26, 2014 - 15:33 CET