Zum Inhalt springen

Glossar

Data Engineering

Datenaggregation

Datenaggregation ist der Prozess, viele detaillierte Datensätze zu zusammenfassenden Werten wie Summen, Anzahlen, Durchschnitten oder Perzentilen zu verdichten, gruppiert nach Dimensionen wie Tag, Region oder Produkt, damit sich Muster schnell erkennen lassen.

Aktualisiert am · Vom VIZIO AI Team

Was ist Datenaggregation?

Aggregation tauscht Detail gegen Lesbarkeit: Aus 2 Millionen Bestellpositionen wird eine Umsatzzahl pro Filiale und Tag. Jedes Aggregat besteht aus drei Teilen: einer Messgröße (Bestellwert), einer Funktion (SUM, COUNT, AVG, MAX, Perzentil) und einer Gruppierung (Filiale, Tag).

Sie findet auf mehreren Ebenen statt. Pipelines berechnen Rollups oft vorab im Data Warehouse; BI-Tools aggregieren zur Abfragezeit erneut; und APIs von Werbeplattformen liefern womöglich bereits voraggregierte Tagessummen. Zu wissen, welche Ebene die Zusammenfassung vorgenommen hat, ist wichtig, wenn zwei Zahlen nicht übereinstimmen.

Ein kurzes Beispiel, warum: Wenn Google Ads tägliche Klicks in der Zeitzone des Kontos meldet und Ihr Data Warehouse in UTC aggregiert, umfasst derselbe „Dienstag“ jeweils andere Stunden, und die Summen werden nie exakt übereinstimmen.

Wie aggregiert man Daten korrekt?

Korrekte Aggregation beginnt damit, die Granularität der Quelltabelle zu kennen: was eine Zeile darstellt. Die meisten Fehler entstehen durch Summieren auf der falschen Granularität.

  • Additive Kennzahlen (Umsatz, Stückzahlen) lassen sich über jede Dimension summieren.

  • Semi-additive Kennzahlen (Kontostand, Lagerbestand) lassen sich über Filialen summieren, nicht aber über Tage; verwenden Sie stattdessen den Wert am Periodenende.

  • Nicht-additive Kennzahlen (Conversion Rate, durchschnittlicher Bestellwert) müssen aus Zähler und Nenner neu berechnet werden, niemals gemittelt.

  • Distinct Counts (eindeutige Kunden) lassen sich nicht über Tage addieren; ein Kunde, der am Montag und Dienstag aktiv war, zählt für die Woche einmal.

In SQL ist das GROUP BY mit der richtigen Funktion; in dbt ist es oft ein inkrementelles Modell, das tägliche Partitionen zusammenfasst.

Wie sieht Datenaggregation in der Praxis aus?

Ein typischer Fall ist die Umwandlung von Rohereignisdaten in eine tägliche Übersichtstabelle, die Dashboards in Millisekunden lesen können. Nehmen wir einen Kochbox-Abo-Anbieter mit rund 30.000 Bestellungen pro Woche, die als Einzelpositionen in BigQuery gespeichert sind.

  1. Das Datenteam legt die Granularität der neuen Tabelle fest: eine Zeile pro Tag, pro Lieferregion, pro Tariftyp.

  2. Ein geplantes dbt-Modell berechnet für jede Kombination Bestellungen, Umsatz, eindeutige Kunden und Rückerstattungen.

  3. Conversion und durchschnittliche Warenkorbgröße werden als Zähler- und Nennerspalten gespeichert, damit sie auf jeder Ebene neu geteilt werden können.

  4. Looker greift für Management-Ansichten auf die Übersichtstabelle zu und nur für Drill-throughs auf die Einzelpositionen.

Angenommen, das wöchentliche Operations-Dashboard scannt statt Millionen von Zeilen nur noch einige Tausend; dann lädt es schnell genug, um es im Montagsmeeting zu nutzen.

Die detaillierten Einzelpositionen bleiben erhalten, sodass ein Analyst mit einem Klick die zugrunde liegenden Bestellungen öffnen kann, wenn die Zahl der Rückerstattungen in einer Region merkwürdig aussieht.

Was sind die Fallstricke der Datenaggregation?

Aggregate verbergen genau die Ausreißer und Verschiebungen in der Zusammensetzung, die eine Veränderung oft erklären. Ein stabiler durchschnittlicher Bestellwert kann eine Verschiebung von vielen kleinen zu wenigen großen Bestellungen verdecken.

  • Simpson-Paradoxon: Ein Trend in jeder Untergruppe kann sich umkehren, wenn die Gruppen zusammengefasst werden.

  • Mittelwerte mitteln: Der Durchschnitt der Conversion Rates von fünf Filialen ist nicht die Conversion Rate des Unternehmens.

  • Datenschutz bei kleinen Zellen: Aggregate über sehr wenige Personen können Einzelne re-identifizierbar machen, was unter der DSGVO relevant ist.

Halten Sie die Detaildaten erreichbar, damit Analysten per Drill-down tiefer gehen können, wenn eine Zusammenfassung falsch aussieht.

Worin unterscheidet sich Datenaggregation von Datenintegration?

Integration bringt Daten aus verschiedenen Systemen zusammen; Aggregation fasst Daten zusammen, die bereits beieinander liegen. Meist laufen beide nacheinander: Tools wie Fivetran oder Airbyte übernehmen die Integration, danach aggregieren SQL- oder dbt-Modelle.

Wissenswerte Aggregations-Engines: natives GROUP BY im Data Warehouse in Snowflake oder BigQuery, Materialized Views, Tableau-Hyper-Extrakte mit Voraggregation, Aggregationstabellen in Power BI sowie OLAP-Engines wie ClickHouse oder Apache Druid, die für schnelle Rollups gebaut sind. Im Finanzbereich wird der Begriff auch für „Kontenaggregation“-Dienste wie Plaid verwendet, was eine andere Bedeutung hat: Daten sammeln, nicht zusammenfassen.

Datenaggregation vs. Datenintegration

Datenaggregation

Datenintegration

Zweck

Details zu Summen und Quoten verdichten

Daten aus getrennten Systemen zusammenführen

Ergebnis

Weniger, breitere Übersichtszeilen

Vereinheitlichte, abgeglichene Datensätze

Typische Tools

SQL GROUP BY, dbt, Materialized Views

Fivetran, Airbyte, APIs, ETL-Jobs

Hauptrisiko

Falsche Granularität oder gemittelte Quoten

Nicht passende Schlüssel und Dubletten

Reihenfolge in der Pipeline

Meist nach der Integration

Meist zuerst

Wie geht VIZIO AI an Datenaggregation heran?

VIZIO AI gestaltet Aggregationsschichten danach, wie schnell ein Dashboard antworten muss und auf welcher Granularität Menschen tatsächlich entscheiden. Für eine britische Forschungsorganisation im Bereich Cybersicherheit baute das Growth Studio ein Echtzeit-Dashboard zum Ransomware-Monitoring, gespeist von einer Kafka-Streaming-Pipeline, mit Hyper-Partitionierung, indizierten Views und Voraggregationen, sodass über 500.000 Datensätze in unter einer Sekunde dargestellt wurden.

Für ein US-Dienstleistungsunternehmen baute dasselbe Studio ein Looker-Studio-Framework, das Daten aus Google Ads, Meta und Google Analytics automatisch verbindet und aggregiert und den manuellen Reporting-Aufwand um 25 % reduzierte.

Wo Sie anfangen sollten: Notieren Sie die Granularität Ihrer drei meistgenutzten Tabellen und prüfen Sie dann, ob irgendein Dashboard eine Quote mittelt.

Facebook-Logo
X-Logo
LinkedIn-Logo
Reddit-Logo
Telegram-Logo

AI-first denken.
Zukunftsschnell handeln.

Lassen Sie uns bauen, was als Nächstes kommt! Von Produktideen und intelligenten Workflows bis zu datengetriebenen Systemen und skalierbaren Growth Operations.

Strategiegespräch buchen