Zum Inhalt springen

Glossar

Data Engineering

Streaming-Daten

Streaming-Daten sind Daten, die kontinuierlich als Fluss kleiner Ereignisse entstehen, etwa Klicks, Zahlungen, Sensormesswerte oder Logzeilen, und innerhalb von Sekunden nach ihrem Eintreffen verarbeitet werden, statt zunächst gesammelt und später in Batches verarbeitet zu werden.

Aktualisiert am · Vom VIZIO AI Team

Was sind Streaming-Daten?

Das prägende Merkmal eines Streams ist, dass er kein Ende hat: Ereignisse treffen fortlaufend ein, daher muss die Verarbeitung mit Daten in Bewegung arbeiten statt mit einer fertigen Datei. Jedes Ereignis ist ein kleiner Datensatz mit Zeitstempel, Schlüssel und Payload, etwa {user_id, page, time}.

Ein Streaming-System hat vier Ebenen:

  • Producer: Apps, Geräte oder Datenbanken, die Ereignisse senden, oft per Change Data Capture mit Tools wie Debezium.

  • Ein Broker, der Ereignisse in Reihenfolge speichert, etwa Apache Kafka, Amazon Kinesis oder Google Pub/Sub.

  • Ein Stream-Prozessor, der filtert, verknüpft und aggregiert, etwa Apache Flink, Spark Structured Streaming oder Kafka Streams.

  • Sinks: ein Warehouse, eine Datenbank, ein Alerting-Tool oder ein Live-Dashboard.

Wie werden Streaming-Daten verarbeitet?

Stream Processing gliedert einen endlosen Fluss in Zeitfenster, um Anzahlen, Summen und Durchschnitte über die Zeit zu berechnen.

  • Tumbling Windows: feste, nicht überlappende Blöcke, etwa alle 5 Minuten.

  • Sliding Windows: überlappend, etwa die letzten 10 Minuten, jede Minute neu berechnet.

  • Session Windows: nach Aktivität gruppiert, mit einem Inaktivitäts-Timeout, etwa 30 Minuten ohne Aktivität.

In der Praxis zählen vor allem zwei Konzepte. Die Ereigniszeit (wann etwas passiert ist) unterscheidet sich von der Verarbeitungszeit (wann es eingetroffen ist), daher werden verspätete Ereignisse mit Watermarks behandelt, die festlegen, wie lange gewartet wird. Zustellgarantien reichen von At-most-once bis Exactly-once; Kafka und Flink können Exactly-once-Verarbeitung bieten, wenn sie dafür konfiguriert sind.

Wie sehen Streaming-Daten in der Praxis aus?

Streaming rechnet sich, wenn eine Entscheidung innerhalb von Minuten an Wert verliert, wie es bei Betrugs- und Ausfallentscheidungen der Fall ist. Nehmen wir einen Online-Zahlungsanbieter mit 400 Mitarbeitenden, der verdächtige Transaktionen anhand eines nächtlichen Batch-Berichts prüft. Angenommen, Betrugsverluste entstehen innerhalb einer Stunde, nachdem eine Karte kompromittiert wurde, sodass der Bericht am nächsten Morgen zu spät kommt.

  1. Jede Zahlung wird bei ihrer Autorisierung in einem Kafka-Topic veröffentlicht.

  2. Ein Flink-Job führt pro Karte ein Sliding Window von 10 Minuten und zählt Transaktionen, Länder und Beträge.

  3. Regeln und ein Scoring-Modell markieren Karten, die Schwellenwerte überschreiten, und schieben sie innerhalb von Sekunden in eine Prüfwarteschlange.

  4. Alle Ereignisse landen zusätzlich in Snowflake für das tägliche Reporting und das erneute Training des Modells.

In diesem Beispiel prüfen Analysten markierte Karten, während der Betrug noch im Gange ist, und der Batch-Bericht wird zum Audit-Werkzeug.

Wann lohnt sich die Komplexität von Streaming-Daten?

Streaming lohnt sich nur, wenn ein paar Minuten früheres Handeln das Ergebnis verändert; andernfalls ist ein häufig laufender Batch-Job günstiger und einfacher zu betreiben.

  • Gut geeignet: Betrugserkennung, Monitoring und Alerting, Live-Lagerbestand, Fahrten- oder Lieferdisposition, IoT-Telemetrie.

  • Schlecht geeignet: monatliches Finanzreporting, Vorstands-Dashboards, die meisten Fälle von Marketing-Attribution.

  • Versteckte Kosten: ständig laufende Infrastruktur, Rufbereitschaft, Schema-Evolution und das erneute Einspielen von Daten nach Bugs.

  • Häufiger Bug: Doppelzählungen, wenn Wiederholungsversuche nicht idempotent sind.

Micro-Batching alle 5 bis 15 Minuten mit einem Standard-ETL-Tool deckt viele Anforderungen an Beinahe-Echtzeit mit einem Bruchteil des Aufwands ab.

Worin unterscheiden sich Streaming-Daten von Batch-Verarbeitung?

Batch-Verarbeitung sammelt Daten über einen Zeitraum und verarbeitet sie in einem Durchlauf; Streaming verarbeitet jedes Ereignis oder kleine Zeitfenster direkt beim Eintreffen. Batch ist einfacher zu testen und erneut auszuführen; Streaming bietet geringe Latenz bei höheren Betriebskosten.

Streaming ist die Eingangsseite von Echtzeit-Analytics, und viele Teams kombinieren beides: einen Stream für Warnungen und Live-Ansichten, einen Batch für die korrigierte, vollständige Historie im Warehouse. Managed-Angebote verringern den Aufwand: Confluent Cloud, Amazon MSK, Kinesis, Google Dataflow sowie Warehouse-Funktionen wie Snowflake Snowpipe Streaming; ein leichtgewichtigeres Muster für Ereignisse zwischen Anwendungen ist der Webhook.

Streaming vs. Batch-Verarbeitung

Verarbeitung von Streaming-Daten

Batch-Verarbeitung

Latenz

Sekunden oder weniger

Minuten bis zu einem Tag

Datenstruktur

Unbegrenzter Fluss von Ereignissen

Begrenzte Dateien oder Tabellen

Typische Tools

Kafka, Kinesis, Flink, Spark Streaming

dbt, Airflow, Fivetran, SQL-Jobs

Betriebskosten

Ständig aktiv, erfordert Rufbereitschaft

Läuft nach Zeitplan, einfacher erneut auszuführen

Am besten geeignet für

Betrugserkennung, Warnungen, Live-Betrieb

Reporting, Finanzen, Historie

Wie baut VIZIO AI Pipelines für Streaming-Daten?

VIZIO AI setzt Streaming dort ein, wo die Entscheidungen des Kunden zeitkritisch sind, und kombiniert es mit einem Dashboard, das auf diese Geschwindigkeit abgestimmt ist. Für eine britische Forschungsorganisation im Bereich Cybersecurity hat das Growth Studio eine Streaming-ETL-Pipeline mit Python und Apache Kafka gebaut, die Ransomware-Informationen aus mehreren Quellen erfasste, normalisierte und in Tableau Hyper einspeiste; das Echtzeit-Dashboard zur Ransomware-Überwachung zeigt neue Vorfälle mit weniger als 60 Sekunden Latenz an, verkürzte die mittlere Zeit bis zur Erkennung um 25 % und reduzierte die manuelle Triage um 70 %.

Für ein britisches Climate-Tech-Unternehmen verband das Venture Studio einen Emissions-Feed im Fünf-Minuten-Takt über Flask und Docker mit einem Live-CO₂-Dashboard, das mehr als 17.000 Datenpunkte pro Woche erfasst. Wo Sie anfangen sollten: Benennen Sie die Entscheidung, die mit jeder Minute Verzögerung schlechter wird, und streamen Sie nur die Daten, die sie braucht.

Facebook-Logo
X-Logo
LinkedIn-Logo
Reddit-Logo
Telegram-Logo

AI-first denken.
Zukunftsschnell handeln.

Lassen Sie uns bauen, was als Nächstes kommt! Von Produktideen und intelligenten Workflows bis zu datengetriebenen Systemen und skalierbaren Growth Operations.

Strategiegespräch buchen