English version below.

Vorweg an alle Hater: Aufpassen! Ihr könnt feiern.

Tja.. die Überschrift spricht Bände…
Ich hab’s verkackt, bzw. ich nicht alleine, aber ohne mich wär’ es nie soweit gekommen. Einer der Tweaks ist schief gegangen und ich musste ein Backup einspielen. Das an sich ist kein Problem, immerhin gibt es die Backups genau für diesen Zweck, doch… die Backups waren nicht lesbar :(

Die Backupsoftware backuppc, die wir einsetzen, ist im Grunde nicht schlecht, allerdings gibt es ein Problem, wenn Backups gezogen werden, während der Server unter heftigem Load ist. Da wir unsere Backups verschlüsselt abspeichern, wird von der Software eine Signatur erzeugt. Doch bei uns war die Signatur ungültig und der Restore-Prozess hat das Wiederherstellen verweigert. Unser Hoster hat daraufhin sogar beim Entwickler selber angefragt ob es irgend eine Möglichkeit gibt, diese Backups trotzdem noch auszulesen, doch die Antwort war wie zu erwarten: Keine Chance. Craig Barratt selbst meint dazu:

“if bppc had to run on a machine with heavy load, sometimes the clock get out of sync and the used sticky bits shuffle …”

Im Grunde sind wir und unser Hoster schwer geschockt, dass so etwas überhaupt passieren kann. Die Quintessenz ist nun, dass wir ein anderes Backupsystem nutzen, das dazu noch redundanter Daten sichert, damit wir nicht wieder in solch eine Situation geraten.

“Tja, und was nun?”, werdet ihr euch fragen.
Das letzte Backup, dass lesbar war, ist vom 29.08. damals noch von einem anderen Server, der als Spiegel aufgesetzt wurde um uns gegen den massiven Load des DDoS zu wehren. Wir sind nicht glücklich damit und versuchen noch bis morgen alles menschenmögliche um doch noch an irgend welche Daten heranzukommen. Aber die Chancen stehen schlecht. Es gibt Unternehmen, die aus unserem Backup durchaus alle Daten rekonstruieren können, aber das ist ein Aufwand, den wir uns nicht leisten können.

Am Ende bleibt mir nur zu sagen, dass es mir Leid tut, dass ich nun 2 Monate unserer Geschichte in die ewigen Jagdgründe manövriert habe. Glaubt mir, das tut mir mehr weh als euch und ich bin selbst grad stinksauer auf mich und auch ein bisschen auf die Backupsoftware.

Ich hoffe ihr könnt “uns” das verzeihen und bleibt weiterhin Teil dieser (dank euch) wunderbaren Community und helft ein bisschen mit, die Lücke zu füllen.
Reddawn

_____________________________________________________________________

English version:

Actually, I wanted to tweak the forums performance but while doing that I made a mistake and had to restore the database. Unfortunately the backups weren’t readable -.-

Our backups were stored encrypted so the software has to generate a signature for restoring. If the server is under heavy load while backing up and generating the signature, it’s possible that it makes mistakes. At first, we couldn’t believe that there is no way of restoring the backup in any way, but after skype’ing with the developer of backuppc, we were assured, that there is no way. He explained also why this happend:

“if bppc had to run on a machine with heavy load, sometimes the clock get out of sync and the used sticky bits shuffle …”

Of course, there are companies that can restore the data, but this is way too expensive for us.

And now?
The last backup available is from 08-29. It’s a raw copy we used for a mirror database. We have restored this version because that’s all we can do :(
Because of this incident we now use a different backup solution and save data more redundant.

In the end I can only say that I’m sorry that I destroyed two months of our history. Believe me, it hurts me more than you and I’m really annoyed at myself.
I hope you can forgive “us” and will continue to be part of this wonderful community.

Reddawn