données en streaming

Les données en flux continu sont des informations générées à grande vitesse par des capteurs, des machines, des réseaux et des applications qui doivent être capturées, traitées et utilisées dès leur arrivée, plutôt que d'être stockées d'abord puis analysées. En génie électrique et en automatisation industrielle, cela signifie généralement des relevés de tension d'un réseau électrique, des signatures vibratoires d'équipements rotatifs, des mesures de température et de pression de systèmes de contrôle de processus, ou des flux de paquets à travers une infrastructure réseau. Le volume peut varier de quelques kilo-octets par seconde dans un petit réseau de capteurs à des giga-octets par seconde dans un grand centre de télécommunications ou un centre de données.

La différence fondamentale entre les données en flux continu et les données par lots réside dans la latence et la pertinence temporelle. Les systèmes par lots accumulent des données sur des heures ou des jours, puis les traitent en une seule grande tâche. Le flux continu nécessite un pipeline capable d'ingérer, de mettre en mémoire tampon, de filtrer, d'agréger ou de transformer les données pendant qu'elles arrivent, généralement avec une latence mesurée en secondes ou en millisecondes. Un opérateur de réseau électrique qui surveille les fluctuations de fréquence ne peut pas attendre une tâche par lots nocturne; il a besoin que les anomalies soient signalées immédiatement pour éviter les pannes en cascade. Une usine de fabrication qui surveille les températures des roulements ne peut pas se permettre un délai de six heures avant d'alerter la maintenance.

Modèles et outils courants

Les architectures de flux continu utilisent généralement un courtier de messages, tel que Kafka ou RabbitMQ, pour découpler les sources de données des consommateurs. Les données arrivent chez un producteur (le capteur ou l'instrument), sont publiées sur un courtier et sont consommées par une ou plusieurs applications qui les filtrent, les joignent ou les agrègent. Les opérations fenêtrées dans le temps sont courantes : calculer la tension moyenne sur une fenêtre de cinq minutes, détecter si un capteur est resté silencieux pendant plus de deux minutes, ou corréler les signaux de plusieurs sources pour identifier les défauts. Le traitement avec état, où le système doit se souvenir des valeurs précédentes pour calculer des dérivées ou détecter des motifs, ajoute de la complexité mais est essentiel pour la surveillance de l'état et la maintenance prédictive.

Les défis des systèmes de données en flux continu incluent la gestion de la contre-pression (lorsque les producteurs dépassent les consommateurs), la gestion du décalage d'horloge entre les capteurs distribués, l'assurance de la qualité des données lorsque des paquets réseau sont perdus ou retardés, et la décision de ce qu'il faut conserver et de ce qu'il faut jeter lorsque le stockage et le calcul sont limités. De nombreux systèmes mettent en œuvre un compromis : diffuser brièvement les données brutes dans un tampon circulaire ou un sujet Kafka pour donner aux processeurs en temps réel une chance de réagir, tout en persistant simultanément un sous-ensemble ou un résumé sur disque pour une analyse médico-légale ultérieure ou un réentraînement de modèle.

En génie électrique spécifiquement, les données en flux continu sous-tendent les schémas de protection en temps réel dans les sous-stations, la surveillance harmonique continue dans la distribution d'énergie, et la surveillance opérationnelle des micro-réseaux et des sources d'énergie renouvelable où la production fluctue minute par minute. Les systèmes de contrôle industriels s'appuient de plus en plus sur l'analyse en flux continu pour détecter la dégradation des équipements avant la panne, passant de la maintenance réactive à la maintenance prédictive. Le terme lui-même est relativement récent dans l'usage courant, devenant proéminent dans les années 2010 à mesure que l'infrastructure cloud et les outils open source ont permis aux organisations en dehors des entreprises technologiques à très grande échelle de construire de tels systèmes.