>>> "Promis cet article ne parlera pas d'architecture décisionnelle On-Premise (sur votre serveur local)… quoi que !
La Business Intelligence reposera toujours sur le même principe (ETL, Data Warehouse, Cube, Rapport) non ? A quelques exceptions près…
On abordera, par contre, la fin d'une époque où on devait être mono éditeur et surtout engagé (ou fidèle cela dépend du point de vue) sur une solution pendant "x" années, ROI (Return On Investment) oblige !
On ne devait tout de même pas blaguer avec les centaines de milliers d'euros investis sur les licences, hardware, maintenance, location de Data Centers, … si ce n'est au bout d'un certain temps d'amortissement ou suite à une limitation technique réellement pénalisante !
On évoquera également les évolutions technologiques de cette chaîne décisionnelle qui a vu :
Une chaîne décisionnelle Moderne et une équipe Business Intelligence repensée !
Après cette introduction et avant de parler Architecture pour une plateforme de données moderne, on va commencer par s'intéresser à la chaîne décisionnelle. Celle-ci avait pour habitude d'être nocturne et principalement quotidienne (pour traiter les données à J-1). Aujourd'hui, on a le luxe de la faire tourner plusieurs fois par jour pour intégrer les données au fil de l'eau et s'approcher du temps réel !
La chaîne décisionnelle moderne se matérialise en quatre étapes :
La répartition de ces étapes au sein de l'équipe Data (et oui on parle moins d'équipe BI ;)) pourrait se faire comme suit :
Attention, l'étape d'exploration (ou de profilage) des données ne doit pas être ignorée ou sous-estimée car elle permet d'anticiper et d'optimiser la phase de nettoyage et de transformation des données. Un gain temporel et procédural ô combien important dans un projet Data !
Le challenge pour cette équipe Data sera, également, de bien identifier en amont du projet :
L'autre élément à considérer est la fréquence de traitement des données sources. Sommes-nous plutôt sur du batch, du stream ou un mix des deux ?
Le process en mode batch
Cela consiste à regrouper les données brutes dans un buffer avant de les traiter en lot (ou par groupe). Ce traitement peut se faire de manière planifiée à une fréquence convenue (chaque jour, chaque heure, …) ou suite à l'atteinte d'un seuil (ou quota) de données.
Le batch processing est le mode le plus classique et répandu. Il est particulièrement adapté aux grosses volumétries et aux analyses poussées des données.
Le process en mode stream
Cela consiste à traiter la donnée au fil de l'eau (pas besoin de former des groupes de données donc) ce qui s'adapte parfaitement aux sources de données dynamiques (qui se mettent à jour de manière continue) et à l'objectif de temps réel souhaité par certains (exemple : détection de fraude et d'anomalie en général).
Une analyse de données qui se diversifie !
Sur la partie analyse de données, on retrouve aujourd'hui 5 types d'analyse :
Une fois l'analyse de données finalisée, déployée et partagée avec les utilisateurs finaux, il est important pour la réussite et l'efficience du projet Data de s'assurer que celle-ci soit réellement :
Des réunions avec les utilisateurs finaux sont donc à prévoir et planifier de manière régulière et adéquate (Vive le mode agile et les Sprints pour cela !).
Les journaux d'utilisation (logs) sont, à cet effet, de véritables mines d'or pour préparer ces réunions en amont !"
Kwanzeo reste votre partenaire pour vous accompagner dans vos projets Data par l'audit, l'accompagnement, la formation ou la délégation. N'hésitez pas à nous contacter pour bénéficier de démos et pour demander à connaître le programme et suivre nos événements (webinaires BI, "Café technologique", ...) et nos publications sur LinkedIn !