Datenarchivierung
Datenarchivierung bedeutet, Daten, die im Tagesgeschäft nicht mehr genutzt werden, aus Produktivsystemen in günstigeren Langzeitspeicher zu verschieben, wo sie für Compliance, rechtliche Zwecke oder historische Analysen durchsuchbar, geschützt und abrufbar bleiben.
Was ist Datenarchivierung?
Ein Archiv enthält die Primärkopie inaktiver Daten, und genau das unterscheidet es von einem Backup. Ein Datenbackup ist eine zusätzliche Kopie von Live-Daten, die zur Wiederherstellung nach einem Verlust aufbewahrt wird; ein Archiv ist der Ort, an dem alte Datensätze weiterleben, sobald sie die Produktivdatenbank verlassen.
Ein funktionierendes Archiv besteht aus fünf Teilen: einer Richtlinie, was archiviert wird, einer Speicherstufe, einem Index oder Katalog, damit Datensätze auffindbar sind, Aufbewahrungs- und Löschregeln sowie einem getesteten Abrufprozess. Im Datenlebenszyklus liegt es zwischen aktiver Nutzung und Löschung, und seine Regeln ergeben sich aus Ihrer Richtlinie zur Datenaufbewahrung.
Wie entscheiden Sie, was archiviert wird und wohin?
Archivieren Sie nach Zugriffsmuster und rechtlicher Pflicht, nicht allein nach Alter.
Messen Sie den Zugriff: Finden Sie Tabellen, Ordner oder Postfächer, die beispielsweise seit 12 Monaten niemand gelesen hat.
Prüfen Sie die Pflichten: Steuer-, arbeits- und branchenrechtliche Vorschriften legen Mindestfristen fest, während der Grundsatz der Speicherbegrenzung der DSGVO (Art. 5 Abs. 1 lit. e) begrenzt, wie lange personenbezogene Daten aufbewahrt werden dürfen.
Wählen Sie ein offenes Format wie Parquet oder CSV, damit die Daten auch in zehn Jahren ohne die ursprüngliche Anwendung lesbar sind.
Wählen Sie eine Speicherstufe: Amazon S3 Glacier Deep Archive, Azure Blob Archive oder Google Cloud Archive Storage. Der Abruf kann Stunden dauern, und es gelten Mindestspeicherdauern.
Ergänzen Sie Unveränderlichkeit (zum Beispiel S3 Object Lock), wo Datensätze nicht verändert werden dürfen, etwa bei Legal Holds.
Erfassen Sie Metadaten, Prüfsummen und Speicherort in einem Katalog.
Wie sieht Datenarchivierung in der Praxis aus?
Der häufigste Auslöser ist eine Produktivdatenbank, die durch jahrelange Historie verlangsamt wird, die niemand abfragt. Stellen Sie sich einen Online-Marktplatz mit 200 Mitarbeitenden vor, dessen PostgreSQL-Bestelltabelle auf beispielsweise 400 Millionen Zeilen angewachsen ist, während Support und Finanzabteilung nur die letzten drei Jahre betrachten.
Das Engineering-Team partitioniert die Tabelle mit pg_partman nach Monaten. Ein nächtlicher Job exportiert Partitionen, die älter als 36 Monate sind, als Parquet nach S3, prüft Zeilenanzahl und Prüfsummen und entfernt sie dann aus Postgres. Eine S3-Lifecycle-Regel verschiebt die Dateien nach 90 Tagen in Glacier Deep Archive, und eine monatliche Übersichtstabelle verbleibt für Trendreports im Data Warehouse. Ein einseitiges Runbook erklärt, wie eine Wiederherstellung angefordert wird und wer sie genehmigt.
In diesem Beispiel schrumpft die Datenbank, Backups und Indexwartung laufen schneller, und die Anfrage eines Prüfers nach einer Bestellung aus 2019 wird zu einem dokumentierten Wiederherstellungsticket statt zu einer Abfrage im Produktivsystem.
Was sind die Risiken der Datenarchivierung, und wann sollten Sie nicht archivieren?
Das größte Risiko ist ein Archiv, das Sie nicht durchsuchen oder lesen können, wenn es endlich jemand braucht. Achten Sie auf diese Fehlerquellen:
Dateien ohne Index ablegen, sodass das Auffinden eines einzigen Datensatzes die Wiederherstellung von Terabytes erfordert.
Proprietäre Formate, die an Software gebunden sind, für die Sie keine Lizenz mehr haben.
Abrufgebühren und Gebühren für vorzeitiges Löschen auf kalten Speicherstufen, die die Finanzabteilung überraschen.
Personenbezogene Daten archivieren, die hätten gelöscht werden müssen, wodurch Ihr DSGVO-Risiko bestehen bleibt.
Fremdschlüssel aufbrechen, sodass archivierte Bestellungen ihre Kunden verlieren.
Archivieren Sie keine Daten, die noch Live-Modelle, Dashboards oder Echtzeit-Analytics speisen; verschieben Sie sie stattdessen auf eine günstigere warme Speicherstufe.
Worin unterscheidet sich Datenarchivierung von Backup und Löschung, und welche Tools werden eingesetzt?
Backups schützen vor Verlust, Archive verwalten inaktive Daten, und die Löschung beendet den Lebenszyklus eines Datensatzes. Ein Backup rotiert in einem Rhythmus von Tagen oder Monaten; ein Archiv wird gemäß Richtlinie über Jahre aufbewahrt; die Löschung ist der letzte, dokumentierte Schritt, sobald die Aufbewahrungsfrist endet.
Die Tools hängen vom Datentyp ab. Lifecycle-Regeln für Object Storage in AWS, Azure und Google Cloud übernehmen Dateien und Exporte. pg_partman und native Partitionierung helfen bei Datenbanken. Für E-Mails und Dokumente verwalten Aufbewahrungsrichtlinien in Microsoft Purview und Google Vault Legal Holds und Aufbewahrung. Ein Data Lake dient oft zugleich als Landezone für archivierte Extrakte.
Datenarchivierung vs. Datenbackup
Datenarchivierung | Datenbackup | |
|---|---|---|
Zweck | Inaktive Daten langfristig aufbewahren | Daten nach Verlust oder Beschädigung wiederherstellen |
Was es enthält | Aus dem Produktivsystem verschobene Datensätze | Kopien aktueller, aktiver Daten |
Originaldaten | Aus dem Live-System entfernt | Bleiben an Ort und Stelle |
Aufbewahrung | Jahre, festgelegt durch Richtlinie und Gesetz | Tage bis Monate, rotierend |
Zugriffsmuster | Gelegentliche Suche oder Prüfungsanfrage | Wiederherstellung bei einem Vorfall |
Typischer Speicher | Kalte Speicherstufen wie Glacier Deep Archive | Snapshots und schneller Backup-Speicher |
Wie geht VIZIO AI mit Datenarchivierung um?
Die thematisch nächstliegende Arbeit von VIZIO AI besteht darin, umfangreiche historische Daten von schnellen Live-Ansichten zu trennen, nicht im Aufbau von Archivstufen. Für eine britische Forschungsorganisation im Bereich Cybersicherheit baute das Growth Studio eine Streaming-Pipeline in die Hyper-Engine von Tableau und nutzte Hyper-Partitionierung, indizierte Views und Voraggregationen, sodass Datensätze mit über 500.000 Einträgen zentrale Ansichten weiterhin in unter einer Sekunde darstellten, bei einer Dashboard-Latenz von unter 60 Sekunden.
Dieses Projekt umfasste kein kaltes Archiv; die Gemeinsamkeit ist dasselbe Prinzip, Historie davon abzuhalten, die Daten zu verlangsamen, die Menschen täglich nutzen. Wo Sie anfangen sollten: Listen Sie Ihre fünf größten Tabellen mit dem Datum des letzten Lesezugriffs und der jeweils geltenden Aufbewahrungsregel auf.