Analyser avec Insight

Cette page décrit Insight, l'entrepôt de données sans code de Fundamentum : comment il transforme les flux de vos appareils en tables interrogeables en SQL, et comment il isole les données de chaque client.

Fonctionnement d'Insight

Insight prend les données qui transitent par les topics de votre projet et les transforme en schéma en étoile, prêt pour l'analyse :

• les tables de faits contiennent vos événements et vos mesures, une ligne par occurrence ;
• les tables de dimensions décrivent les éléments auxquels ces faits se rapportent, tels que les appareils, les registres ou vos propres entités.

Vous n'écrivez pas le pipeline : vous le configurez. Des pipelines Apache Flink lisent vos topics, joignent chaque fait à ses dimensions, renomment et convertissent les champs, puis écrivent le résultat dans Apache Doris, une base de données analytique conçue pour exécuter rapidement des requêtes SQL sur de gros volumes.

Principe de fonctionnement

1. Créez une instance. Une instance Insight regroupe les ressources d'un entrepôt de données (son pipeline, sa base de données et ses utilisateurs SQL) et appartient à un projet. Un projet peut avoir plusieurs instances.
2. Définissez vos tables. Déclarez vos tables de faits et de dimensions ainsi que leurs colonnes via la Public API.
3. Configurez le pipeline. Choisissez les topics qui alimentent vos faits et vos dimensions, puis associez chaque colonne d'une table de faits à un champ de la source, à un champ d'une dimension ou à une constante. L'interface d'Insight vous guide dans cette étape.
4. Interrogez. Créez des utilisateurs SQL pour votre instance et connectez-vous avec n'importe quel client SQL.

Fonctionnalités clés

• Sans code. Les pipelines sont configurés via l'interface d'Insight ou la Public API, et non programmés.
• Flux joints automatiquement. Les faits sont enrichis de leurs dimensions dès leur arrivée.
• Dimensions historisées. Chaque dimension est conservée en double : son historique complet, avec chaque version de chaque entité, et sa valeur courante. Vous pouvez analyser les faits selon l'état d'une entité à l'époque, ou tel qu'il est actuellement.
• Base de données isolée par instance. Chaque instance dispose de sa propre base de données, avec des ressources dédiées et ses propres utilisateurs ; vos données et votre charge de requêtes restent donc séparées de celles des autres.
• N'importe quel client SQL. Insight parle le protocole MySQL : les outils de BI, Grafana, les notebooks et les clients en ligne de commande s'y connectent directement.
• Contrôle d'accès. Les droits de gérer les instances et les pipelines sont régis par les rôles Fundamentum, comme le reste de la plateforme.

Cas d'usage typiques

• Tableaux de bord de l'activité du parc dans votre outil de BI ou Grafana.
• Analyse à long terme des états des appareils, au-delà de l'historique conservé pour chaque appareil.
• Rapports combinant les données des appareils avec vos propres entités métier, envoyées à Fundamentum sous forme de topics de dimensions.

Aller plus loin

• Interroger vos données avec Insight
• Topics : les topics de faits et de dimensions qui alimentent Insight.
• Collecter, acheminer et transformer les données
• Public API