Streaming-Daten

Streaming-Daten sind Informationen, die mit hoher Geschwindigkeit von Sensoren, Maschinen, Netzwerken und Anwendungen erzeugt werden und erfasst, verarbeitet und bearbeitet werden müssen, sobald sie ankommen, statt sie zunächst zu speichern und später zu analysieren. In der Elektrotechnik und industriellen Automatisierung bedeutet das typischerweise Spannungsmessungen aus einem Stromnetz, Schwingungssignaturen von rotierenden Maschinen, Temperatur- und Druckmessungen aus Prozessleitsystemen oder Paketflüsse über Netzinfrastruktur. Das Volumen kann von wenigen Kilobyte pro Sekunde in einem kleinen Sensor-Array bis zu Gigabyte pro Sekunde in einem großen Telekommunikationszentrum oder Rechenzentrum reichen.

Der grundlegende Unterschied zwischen Streaming- und Batch-Daten liegt in der Latenz und zeitlichen Relevanz. Batch-Systeme sammeln Daten über Stunden oder Tage und verarbeiten sie dann in einem großen Job. Streaming erfordert eine Pipeline, die Daten während ihrer Ankunft erfassen, puffern, filtern, aggregieren oder umwandeln kann, typischerweise mit Latenzen im Sekunden- oder Millisekundenbereich. Ein Stromnetzbetreiber, der Frequenzschwankungen überwacht, kann nicht auf einen nächtlichen Batch-Job warten; er benötigt sofortige Warnungen bei Anomalien, um Kaskadenausfälle zu verhindern. Eine Fabrik, die Lagertemperaturen überwacht, kann sich keine sechsstündige Verzögerung vor einer Wartungsmeldung leisten.

Typische Muster und Werkzeuge

Streaming-Architekturen nutzen typischerweise einen Message Broker wie Kafka oder RabbitMQ, um Datenquellen von Verbrauchern zu entkoppeln. Daten kommen von einem Producer (dem Sensor oder Messinstrument) an, werden auf einem Broker veröffentlicht und von einer oder mehreren Anwendungen konsumiert, die diese filtern, verbinden oder aggregieren. Zeitfenster-Operationen sind üblich: Berechnung der durchschnittlichen Spannung über ein Fünf-Minuten-Fenster, Erkennung, wenn ein Sensor länger als zwei Minuten stumm ist, oder Korrelation von Signalen mehrerer Quellen zur Fehlererkennung. Stateful Processing, bei dem das System vorherige Werte speichern muss, um Ableitungen zu berechnen oder Muster zu erkennen, erhöht die Komplexität, ist aber für Zustandsüberwachung und vorausschauende Wartung unverzichtbar.

Herausforderungen in Streaming-Daten-Systemen sind der Umgang mit Gegendruck (wenn Producer schneller sind als Consumer), die Verwaltung von Uhrenabweichungen über verteilte Sensoren hinweg, Sicherung der Datenqualität bei verlorenen oder verzögerten Netzwerkpaketen und die Entscheidung, was behalten und was verworfen wird, wenn Speicher und Rechenleistung begrenzt sind. Viele Systeme nutzen einen Kompromiss: Streaming der Rohdaten kurzzeitig in einen Ring Buffer oder Kafka Topic, um Echtzeit-Prozessoren eine Reaktionsmöglichkeit zu geben, während gleichzeitig eine Teilmenge oder Zusammenfassung auf der Festplatte persistiert wird für spätere forensische Analysen oder Modelltraining.

In der Elektrotechnik speziell ermöglichen Streaming-Daten Echtzeit-Schutzschemes in Umspannwerken, kontinuierliche Harmonische-Überwachung in der Stromverteilung und operative Überwachung von Microgrids und erneuerbaren Energiequellen, deren Leistung sich minütlich ändert. Industrielle Leitsysteme verlassen sich zunehmend auf Streaming-Analytik, um Anlagenverschleiß vor einem Ausfall zu erkennen und wechseln so von reaktiver zu vorausschauender Wartung. Der Begriff selbst ist in der allgemeinen Verwendung relativ neu und wurde in den 2010er Jahren prominent, als Cloud-Infrastruktur und Open-Source-Werkzeuge es auch Organisationen außerhalb großer Tech-Konzerne ermöglichten, solche Systeme zu bauen.