Dataflow Gen2 dans Microsoft Fabric

En résumé : Dataflow Gen2 est un outil ETL (Extract, Transform, Load) basé sur le cloud, intégré à Microsoft Fabric. Il permet d'extraire des données de diverses sources, de les transformer et de les charger dans la destination souhaitée à l'aide de Power Query Online, via une interface visuelle sans code.

Dataflow Gen2 facilite la création rapide de pipelines de données. Si vous êtes déjà familier avec Power Query ou que vous n'avez pas peur d'écrire du code, vous pouvez aussi utiliser le langage M (« Mashup ») sous-jacent pour créer des transformations plus complexes.

Pourquoi choisir Dataflow Gen2 ?

Dataflow Gen2 aide à relever toute une série de défis grâce à la BI en libre-service :

• Création simplifiée : un processus rationalisé, avec des étapes plus courtes et des améliorations continues des fonctionnalités.
• Enregistrement automatique : les brouillons sont enregistrés automatiquement, ce qui permet de développer sans interruption et sans avoir à publier les flux de données.
• Destinations de données améliorées : les données traitées peuvent être stockées dans un Lakehouse, un Warehouse, Azure SQL Database ou Azure Data Explorer (Kusto).
• Intégration aux pipelines : les actions liées aux flux de données s'exécutent directement depuis les pipelines.
• Performances améliorées : un moteur de calcul optimisé pour les transformations et la récupération de données avec les éléments Lakehouse et Warehouse de votre espace de travail.

Comment utiliser les flux de données ?

• Les flux de données peuvent être partitionnés pour répondre à des besoins analytiques spécifiques, favorisant une logique ETL réutilisable et réduisant le besoin de connexions à plusieurs sources.
• Ils réduisent le temps consacré par les ingénieurs de données aux tâches ETL et rendent les données facilement disponibles pour les analyses en aval.
• Ils s'utilisent indépendamment ou intégrés dans un Data Pipeline, ce qui laisse le choix du traitement et de la destination des données.
• L'outil prend en charge les processus ETL et ELT (Extract, Load, Transform).

Avantages

• Les flux de données facilitent l'accès en libre-service à des sous-ensembles d'informations de l'entrepôt de données.
• Ils normalisent les données et fournissent des ensembles de données cohérents et de qualité.
• Les performances sont optimisées : les données sont extraites une seule fois puis réutilisées, ce qui est particulièrement avantageux pour les sources lentes.
• L'interface low-code simplifie l'intégration de données provenant de diverses sources.
• Connectivité étendue : plus de 100 connecteurs sont pris en charge.

Limites

• Les flux de données ne sont pas conçus pour remplacer un entrepôt de données.
• Ils ne prennent pas en charge la sécurité au niveau des lignes.
• Un espace de travail sur une capacité Fabric est requis pour les utiliser.
• Dataflow peut être utilisé dans la charge de travail Data Factory, dans l'espace de travail Power BI ou directement dans le Lakehouse. Il est particulièrement utile pour les scénarios d'ingestion de données.

Principales fonctionnalités de Dataflow Gen2

1. Power Query ribbon :
   • connecteurs de source de données : un large éventail de bases de données cloud et sur site, jusqu'aux fichiers Excel, SharePoint, Salesforce, Spark et Fabric Lakehouses ;
   • transformations de données : filtrage, tri, pivotement, fusion, fractionnement, remplacement de valeurs et gestion des colonnes. Le classement, les calculs de pourcentage et les sélections N haut/bas sont également disponibles.
2. Queries Pane : ce volet affiche les différentes sources de données, appelées requêtes. Il permet de les renommer, de les dupliquer, de les référencer et d'activer leur mise en scène (staging).
3. Diagram View : une représentation visuelle des connexions entre les sources de données et les transformations appliquées.
4. Data Preview Pane : un aperçu d'un sous-ensemble de données, pour déterminer les transformations nécessaires. On peut y glisser les colonnes pour les réorganiser ou filtrer d'un clic droit.
5. Query Settings Pane : chaque étape de transformation y est répertoriée ; leur nombre reflète la complexité de vos transformations. Ce volet permet aussi de définir le Lakehouse comme destination des données.

Comment configurer Dataflow Gen2 dans Fabric ?

Vous pouvez créer un Dataflow Gen2 dans Data Factory, à l'intérieur de Fabric : soit depuis l'espace de travail avec « Nouveau », soit depuis la page de démarrage de Data Factory.

Dataflow Gen2 offre un très large choix de systèmes sources à partir desquels lire les données :

Ainsi que différentes destinations :

Dataflow Gen2 complète les autres outils d'ingestion de Fabric : les Data Pipelines pour orchestrer, les Notebooks pour les traitements en code et Copy Job pour les copies simples.

Bénéficiez de la puissance de Fabric avec Kwanzeo

Pour aller plus loin sur Microsoft Fabric et ses pipelines, découvrez notre accompagnement Microsoft Fabric ou contactez nos équipes.