Dogiwood war voll – nur DogiFlix hatte keinen Feierabend

Heute war einer dieser Tage, an denen man morgens noch denkt: „Ich schaue nur kurz nach dem Server.“ Ein paar Stunden später steht man gedanklich mit Warnweste, Taschenlampe und Feuerlöscher im Dogiwood-Serverraum.

Denn die Platte war voll. Nicht „ziemlich voll“. Nicht „wir sollten irgendwann mal aufräumen“. Sondern: 100 Prozent. Nichts mehr. Kein Krümel Speicherplatz.

Was bei Dogiwood selbstverständlich sofort zu einer offiziellen Krisensitzung führte.

Benji wurde im Serverraum aufgegriffen. Neben ihm lag eine offene Packung Cookies.

Coco sah ihn an. „Benji.“

„Was?“

„Warum liegen Cookies auf dem Server?“

„Du hast gesagt, der Server braucht Cookies.“

„NICHT DIE!“

Theo stand daneben und versuchte, durch sehr konzentriertes Anschauen der Festplatten technisch hilfreich zu wirken. Rhonda fragte vorsichtig: „Ist das schlimm?“

In diesem Moment verschwanden praktisch alle Dogiwood-Domains aus dem Netz.

Also ja. Es war schlimm.

Coco tat daraufhin das, was jede hochqualifizierte Dogiwood-Sicherheitschefin in einer technischen Krisensituation tun würde: Sie zog den Stecker.

Zumindest behauptet Benji das. Coco spricht dagegen von einer „kontrollierten infrastrukturellen Trennung“. Theo meint, er habe nur ein deutliches Klick gehört. Rhonda möchte sich aus der Sache heraushalten.

Fest steht: Während rundherum scheinbar das komplette Dogiwood-Imperium in die Knie ging, passierte auf einer Domain etwas Merkwürdiges.

DogiFlix lief weiter.

Einfach weiter. Völlig unbeeindruckt. Film an, Stream läuft, Server brennt gedanklich. DogiFlix sagte praktisch: „Nächste Folge in 5 Sekunden.“

Das System hatte offenbar beschlossen: „Mir egal, was ihr da draußen macht. Ich hab Publikum.“

Während die anderen Domains bereits technische Wiederbelebungsmaßnahmen benötigten, streamte DogiFlix fröhlich weiter, als würde im Maschinenraum gerade nicht die digitale Titanic gegen den Eisberg fahren.

Benji sah das natürlich als persönlichen Erfolg.

„Siehst du? Meine Cookies funktionieren.“

Hinter dem ganzen Dogiwood-Theater steckte allerdings ein ziemlich reales Problem: Der Server war tatsächlich bei 100 Prozent Festplattenbelegung angekommen.

Wenn ein Linux-Server keinen freien Speicherplatz mehr hat, wird es für dynamische Anwendungen sehr schnell unangenehm. PHP benötigt Platz für temporäre Daten und Sessions. Datenbanken brauchen Raum für Logs und temporäre Dateien. Webanwendungen schreiben Caches, Zustände und Protokolle.

Wenn plötzlich kein einziges Byte mehr geschrieben werden kann, kann aus einem völlig gesunden System innerhalb kürzester Zeit ein ziemlich stiller Server werden. Genau das ist heute passiert.

Nur DogiFlix zeigte sich erstaunlich robust. Der laufende Stream konnte vorhandene Dateien weiterhin ausliefern und benötigte offenbar kaum neue Schreibzugriffe. Während andere Bereiche zusammenbrachen, machte DogiFlix einfach weiter.

Unfreiwilliger Stresstest bestanden.

Nach längerer Suche stellte sich heraus, dass nicht ein einziges riesiges Datenmonster für die volle Platte verantwortlich war. Es waren viele kleine, fleißige Datenhamster.

Bei verschiedenen Rollouts wurden immer wieder Sicherungen angelegt. Bei der Game-Foundation entstanden regelmäßig komplette Rückbaustände.

Noch schlimmer war Adventure. Dort sorgte ein Fehler dafür, dass sich die Rollout-Logik teilweise selbst erneut auslöste.

Ein Rollout veränderte Daten. Dadurch änderte sich der interne Fingerprint. Beim nächsten Aufruf dachte das System: „Oh! Da hat sich etwas geändert!“ Also folgte ein neuer Rollout. Neue Sicherung. Neue Änderung. Neuer Fingerprint. Neue Sicherung.

Teilweise lagen diese Sicherungen nur wenige Sekunden auseinander.

Der Server hatte also über Wochen sehr gewissenhaft immer wieder Kopien produziert. Sehr gewissenhaft. Viel zu gewissenhaft.

Am Ende haben wir deshalb nicht einfach wahllos Dateien gelöscht. Die Sicherungslogik wurde korrigiert. Für Rollouts bleiben künftig nur noch die letzten fünf erfolgreichen Rückbaustände erhalten. Laufende oder fehlgeschlagene Vorgänge werden geschützt.

Die Adventure-Endlosschleife wurde gestoppt. Auch die Nachtbackups bekamen eine klare Aufbewahrungsregel: Webspace bleibt 14 Tage erhalten, Datenbanken 90 Tage.

Danach begann die große Entrümpelung.

Allein die alten Rollout-Sicherungen brachten bereits Speicherplatz im zweistelligen Gigabyte-Bereich zurück. Anschließend wurden alte Webspace-Snapshots geprüft. 16 alte Nachtstände konnten entfernt werden.

Und dann kam der Moment, auf den man nach so einem Tag wartet.

Vorher: 100 Prozent voll.

Zwischendurch: 81 Prozent.

Nach der Bereinigung: 60 Prozent belegt.

Rund 83 GB waren wieder frei.

Dogiwood konnte wieder atmen.

Die Moral der Geschichte ist vielleicht diese: Ein RAID schützt dich davor, wenn eine Festplatte stirbt. Es schützt dich aber nicht davor, wenn dein Server sehr motiviert denselben Unsinn auf beide Platten schreibt.

Backups schützen vor Fehlern. Aber Backups brauchen Regeln.

Und Benji darf weiterhin Cookies haben. Nur nicht im Serverraum.

Coco hat inzwischen übrigens ein neues Schild an die Tür gehängt: „KEINE COOKIES AM SERVER.“

Darunter hat Benji mit Filzstift geschrieben: „Auch keine mit Schokolade?“

Und irgendwo im Hintergrund läuft DogiFlix weiter.

Natürlich. Völlig unbeeindruckt.

Dogiwood – selbst wenn alles steht, läuft wenigstens noch der Film.