Microsoft Fabric, votre nouveau tissu pour faire de la data

En résumé : Microsoft Fabric, annoncé à la Microsoft Build de mai 2023, est la Data Platform « tout-en-un » de Microsoft en mode SaaS. Elle réunit dans l'interface de Power BI l'intégration, l'ingénierie, la science des données, l'entrepôt de données, l'analyse temps réel et la restitution, autour d'un stockage unique, OneLake, et d'un modèle de facturation par capacité. Ce décryptage, écrit par Ismaïl, directeur du pôle Data Intelligence de Kwanzeo, retrace l'annonce puis ses premiers tests pendant la preview.

À noter : ce décryptage a été écrit entre mai et juillet 2023, quand Fabric était en preview. Plusieurs noms de services, limites et éléments de licence ont pu évoluer depuis. Pour l'offre et l'accompagnement actuels, voir notre page Microsoft Fabric.

Sommaire

• Qu'est-ce que Microsoft Fabric ?
• Comment Fabric est-il licencié ?
• Comment se passe la prise en main ?
• Fabric remplace-t-il Azure Synapse Analytics ?
• Lakehouse ou Warehouse : que choisir ?
• Comment intégrer les données dans Fabric ?
• Quels points d'attention lors des premiers tests ?
• Quelles extensions utiles autour de Fabric ?

Qu'est-ce que Microsoft Fabric ?

À peine la Microsoft Build 2023 lancée à Seattle, un nouveau logo vert en forme de « F » a fait le tour des réseaux professionnels : Fabric promettait de révolutionner l'existant data. Fabric est-il le nouveau Synapse ? Power BI devient-il une solution de bout en bout ? Faut-il revoir toutes les architectures ? Pour quel prix, quels usages, quelles populations ?

Microsoft Fabric promet une expérience « All-in-One » en mode SaaS pour simplifier l'ingestion, la transformation et la présentation de la donnée. Tous les workloads sont regroupés dans une seule interface utilisateur, très proche de celle de Power BI. La donnée y est gouvernée, centralisée et sécurisée, grâce au concept unifié de OneLake, qui évite d'extraire, déplacer ou répliquer la donnée et réduit le risque de silos.

Fabric combine le meilleur de Power BI, Azure Synapse et Azure Data Factory, pour les data engineers, data scientists, data analysts et même les utilisateurs métiers. À l'annonce, on y trouvait :

• Data Factory : Power Query à la manière d'Azure Data Factory, qui enrichit la préparation de données ;
• Synapse Data Engineering : une plateforme Spark plus robuste, fondée sur le concept de lakehouse ;
• Synapse Data Warehouse : un entrepôt entièrement géré en SaaS, notamment en serverless ;
• Synapse Data Science : SynapseML et le support du langage R ;
• Synapse Real-Time Analytics : l'analyse en temps réel ;
• Data Activator : du no-code pour détecter des motifs dans les données (seuils, tendances…) et déclencher des actions ;
• OneLake : « le OneDrive de vos données », un Data Lake multicloud en SaaS sur lequel repose tout Fabric. Compatible avec les architectures de type Data Mesh, il s'appuie sur le principe des espaces de travail Power BI et stocke les données au format Delta Parquet.

Côté IA, Fabric intègre Copilot (fondé sur Azure OpenAI) pour interroger en langage naturel lors de la génération de code et de requêtes. Fabric est par ailleurs compatible avec Microsoft 365, Teams et Power BI.

Power BI s'enrichissait au même moment de Dataflow Gen2, du mode Direct Lake (lire directement les données dans OneLake, au lieu des modes Import et DirectQuery) et d'un mode développeur de Power BI Desktop pour versionner jeux de données et rapports dans Git.

Comment Fabric est-il licencié ?

Microsoft a présenté son modèle de licence le 1er juin 2023. Il repose sur la notion de capacité, comme Power BI : une seule capacité de calcul, à bien dimensionner, gère simultanément tous les workloads de l'offre (Data Factory, Data Engineering, Data Warehouse, Data Science, Real-Time Analytics et Power BI). Elle peut être partagée entre plusieurs utilisateurs et projets, sans limite de nombre d'espaces de travail ni de profils « créateurs ». Un même tenant peut aussi avoir plusieurs capacités, gérées par exemple chacune par une entité métier.

À l'annonce, trois façons d'obtenir une capacité Fabric étaient prévues :

• convertir une capacité Power BI Premium existante en capacité Fabric ;
• acheter une capacité Fabric (références « F ») dans le portail Azure, en paiement à l'usage, sans engagement, avec la possibilité d'augmenter, de réduire, de mettre en pause et de relancer la capacité, ce qui sert directement le FinOps ;
• souscrire une capacité via Microsoft 365, avec engagement, sur le principe de Power BI Premium.

La facturation dépend du calcul (taille de la capacité) et du stockage dans OneLake. Les licences Power BI Pro restaient nécessaires par utilisateur, sauf au-delà d'une certaine taille de capacité. Un essai gratuit permettait de tester Fabric et d'estimer la capacité nécessaire.

Voir aussi Automatiser la capacité Microsoft Fabric.

Comment se passe la prise en main ?

Un mois après la sortie en public preview, voici les impressions de nos premiers tests.

Si vous connaissez Power BI Service, vous êtes en terrain connu : la même adresse donne accès aux différentes expériences, et tout se regroupe sous l'étendard de l'espace de travail Power BI.

C'est un avantage pour les amateurs du « tout-en-un », qui n'ont plus à basculer d'une interface à l'autre. Mais les utilisateurs de Power BI peuvent se sentir noyés sous des fonctionnalités qui ne leur sont pas utiles et se demander si leur usage va changer. L'usage et le principe de licence de Power BI restent les mêmes : accompagnez vos data analysts dans ce passage à Fabric pour dissiper leurs doutes.

Fabric remplace-t-il Azure Synapse Analytics ?

Azure Synapse Analytics était déjà une solution « tout-en-un », en PaaS, avec un contrôle aussi fin que possible. Pourquoi tout regrouper sous Fabric en SaaS, et faut-il encore investir dans Synapse ?

En 2023, le discours était : Fabric est « l'ombrelle » qui regroupe Synapse et Power BI en les rendant plus simples et plus accessibles, et Synapse reste disponible. Mais Fabric reprend les fonctionnalités de Synapse, les intègre dans l'univers Power BI et leur ajoute les principes éprouvés de Databricks et Snowflake (lakehouse, SaaS, serverless, Spark renforcé). Notre pronostic d'alors : Synapse, tel qu'on le connaissait, finirait par céder la place à son équivalent dans Fabric.

Pour migrer aujourd'hui d'Azure Synapse vers Fabric, voir notre page Microsoft Fabric.

Lakehouse ou Warehouse : que choisir ?

Que l'on vienne du monde tabulaire, avec des données bien structurées, ou que l'on travaille avec des données semi-structurées ou non structurées, Fabric offre une voie.

Côté Lakehouse, en 2023 :

• un stockage présenté comme « illimité » (la facturation suit) ;
• une utilisation simple, beaucoup de choses faisables graphiquement ;
• du code en Spark (Scala, PySpark, Spark SQL, R) ou en T-SQL ;
• des fichiers et des tables, avec dépôt et gestion de dossiers et de fichiers, et prévisualisation des données ;
• le passage d'un fichier à une table Delta/Parquet en un clic droit ;
• un point de terminaison SQL pour les requêtes simples (lecture seule à l'époque, schéma unique dbo), le reporting et la modélisation ;
• le mode Direct Lake depuis le service Power BI ;
• les raccourcis (shortcuts) : un lien en lecture seule vers une source interne (dans OneLake) ou externe (Azure Data Lake Storage Gen2 ou Amazon S3 à l'époque), sans déplacer les données.

Côté Warehouse :

• le cadre habituel d'un entrepôt de données : schémas, procédures stockées, vues, tables ;
• les requêtes de lecture, de manipulation et de définition (DQL, DML et DDL) ;
• la modélisation, et des rapports sur le jeu de données par défaut ou sur un nouveau jeu de données ;
• l'actualisation incrémentielle (annoncée, pas encore active en 2023) ;
• un stockage dans OneLake, là où Power BI Datamart était limité ;
• un point de terminaison SQL pour se connecter depuis un outil externe (SQL Server Management Studio, Azure Data Studio, Power BI…).

Les deux partagent le point de terminaison SQL, le stockage dans OneLake au format ouvert (Delta, Parquet) et les fonctionnalités de reporting. Pourquoi choisir, quand le scénario d'usage permet de combiner les deux dans une architecture moderne et robuste ? Pour une comparaison à jour : Lakehouse vs Warehouse dans Microsoft Fabric.

Comment intégrer les données dans Fabric ?

Data Factory, Data pipeline, Dataflow Gen2 : ces fonctionnalités sont accessibles depuis plusieurs endroits de Fabric.

• Data Factory est l'un des piliers de Fabric. Il regroupe Data pipeline (flux de contrôle) et Dataflow Gen2 (flux de données), à la manière de SSIS ou d'Azure Data Factory.
• Data pipeline propose notamment les activités Copy data, Dataflow, Notebook, Get metadata, Lookup, Script, Stored procedure, Set variable, If condition, ForEach, Web, Invoke pipeline et Office 365 Outlook. L'assistant Copy data, capable de générer automatiquement une boucle ForEach et ses paramètres, est particulièrement agréable. L'activité Dataflow appelle un flux de données Gen1 ou Gen2 depuis un pipeline pour compléter la transformation.
• Dataflow Gen2 devient un véritable ETL : la richesse des connecteurs, la puissance et la simplicité de Power Query, et désormais l'écriture des données traitées dans une destination (cloud Microsoft uniquement en 2023), là où Dataflow Gen1 se limitait à un Data Lake interne.

Pour aller plus loin : Dataflow Gen2, les Data pipelines dans Fabric et Copy Job dans Microsoft Fabric.

Quels points d'attention lors des premiers tests ?

• Source SQL Server sur site et Dataflow Gen2 : malgré un paramétrage fluide jusqu'à la destination, l'actualisation échouait avec un message peu explicite (« There was a problem refreshing the dataflow »). Le même flux en Dataflow Gen1 fonctionnait du premier coup : les sources sur site ne semblaient pas prioritaires pendant la preview.
• Cible Snowflake : prévoyez une zone de transit intermédiaire (Azure Blob Storage ou Amazon S3), sans quoi la copie directe échoue (« Direct copying data to Snowflake is only supported when source dataset is DelimitedText, Parquet, JSON with Azure Blob Storage or Amazon S3 linked service, please enable staging »). Le connecteur Snowflake de Fabric tient ensuite la route, avec une commande Copy Into aux performances intéressantes.

Quelles extensions utiles autour de Fabric ?

• OneLake File Explorer : depuis l'explorateur Windows, on accède comme à un OneDrive au contenu synchronisé des Lakehouses et Warehouses (fichiers, Parquet, Delta), et l'on peut y déposer des fichiers sources (CSV, JSON…) pour les retraiter au format Delta/Parquet. Simple à installer et à utiliser : nous le recommandons.
• Microsoft Fabric Capacity Metrics : une application Power BI qui remonte des indicateurs d'usage de Fabric (éléments les plus gourmands en mémoire, en temps de traitement et en CPU, éléments les plus utilisés). En 2023, elle restait insuffisante pour suivre les coûts et les changements de taille de capacité, et donc pour choisir sa future capacité.

Notre bilan de 2023

Fabric est une offre intéressante sur le plan fonctionnel, et le marché des Data Platforms converge entre ses différents acteurs, ce qui est plutôt rassurant. Les objectifs de test ont été atteints sans trop d'accrocs ; quelques bogues et fonctionnalités manquantes rappelaient que l'offre était en preview. Le principal manque concernait le FinOps : savoir quels crédits ont été consommés et quels changements de capacité ont eu lieu, pour ajuster ses traitements et prévoir une facturation réaliste en contexte projet.

Kwanzeo vous accompagne sur Microsoft Fabric : audit, accompagnement, formation ou renfort d'équipe. Découvrez notre page Microsoft Fabric, les bases de données dans Fabric, ou contactez-nous.