Nach dem notwendigen Rollback des 6.0-Releases am Montag, den 20.10. freue ich mich, mitteilen zu können, dass die Ursache identifiziert und behoben wurde.
Der Fehler lag nach aktuellem Stand in einer nicht korrekt geschlossenen Datenbankverbindung, die nach dem Stellen eines Änderungsantrags bestehen blieb. In der Folge schlugen nachgelagerte Aktionen fehl, wenn von der Anfrage der gleiche Server-Prozess genutzt wurde. Dazu gehörten unter Umständen auch das Starten oder Beenden der Zeiterfassung sowie die Anmeldung am System. Der Hintergrund: Benutzerkonten konnten in diesem Zustand nicht korrekt aus der Datenbank geladen werden.
Nach der Fehlerbehebung haben wir TimePunch einem erweiterten Stresstest unterzogen. Dabei wurden verschiedene Benutzeraktionen in Kombination mit Änderungsanträgen simuliert. Ohne Patch führte dies reproduzierbar zu dem beobachteten Verhalten im Live-System. Mit Patch traten im gesamten Testdurchlauf keine Fehler mehr auf.
Auf dieser Basis stellen wir das Update auf TimePunch 6.0 heute Abend erneut bereit. Die Systemauslastung und Nutzeraktionen werden wir am morgigen Tag engmaschig überwachen, um die Stabilität zusätzlich sicherzustellen.
Lessons Learned
Die Analyse des Vorfalls hat gezeigt, dass Datenbanktransaktionen in speziellen Ausnahmefällen nicht vollständig geschlossen wurden. Für zukünftige Releases werden wir daher
- zusätzliche Tests für komplexe Workflow-Kombinationen in unseren Release-Tests integrieren,
- Stresstests verpflichtend vor jedem Major-Update durchführen und
- Das Antragswesen verstärkt in unsere Qualitätssicherung aufnehmen.
Unser Ziel ist es, die Stabilität in Szenarien mit hoher Systemlast weiter zu erhöhen und vergleichbare Situationen künftig bereits im Vorfeld auszuschließen.
Weitere Infos unter: https://beratung.timepunch.de