Les Data Pipelines dans Microsoft Fabric

En résumé : dans Microsoft Fabric, Data Factory permet de créer, planifier et gérer des Data Pipelines, c'est-à-dire des séries de traitements qui déplacent, orchestrent et transforment les données d'une ou plusieurs sources vers des destinations. Cet article fait partie d'un ensemble consacré aux moyens d'intégration de données dans Fabric.

Article publié en février 2025. Mis à jour en octobre 2026 pour les connexions et les déclencheurs, d'après la documentation de Microsoft.

Data Factory dans Fabric est un ensemble d'outils d'intégration de données basés sur le cloud. Il étend les capacités du service Azure Data Factory (ADF) en s'intégrant à Microsoft Fabric, une plateforme d'analyse de données unifiée qui combine l'intégration de données, l'ingénierie des données, la science des données et la Business Intelligence.

Data Factory dans Microsoft Fabric

Data Factory dans Microsoft Fabric combine les flux de données Power Query et les pipelines de données Azure Data Factory en une seule expérience.

Vous disposez ainsi du moteur de transformation de Power Query, simple et puissant, pour transformer les données, tout en bénéficiant de l'évolutivité des pipelines de données pour contrôler l'exécution de l'ETL. Autrement dit, Data Factory est l'offre ETL en mode SaaS de Microsoft Fabric.

Qu'est-ce qu'un pipeline de données ?

Illustration d'un pipeline de données vu dans l'éditeur de Data Factory (Lookup / Set variable / Dataflow / Copy activity).

Un pipeline de données (Data Pipeline) est une série de processus et de flux de travail qui facilite le déplacement, l'orchestration et la transformation des données d'une ou plusieurs sources vers des destinations. Il peut être programmé pour automatiser le flux de données et garantir que celles-ci sont accessibles et utilisables pour l'analyse, l'apprentissage automatique ou le reporting.

Les Data Pipelines servent à créer un flux d'activités exécutables pour effectuer des tâches spécifiques. Dans Data Factory pour Fabric, on peut intégrer l'exécution d'un flux de données dans un pipeline pour améliorer le processus ETL. Les pipelines peuvent ensuite être programmés pour s'exécuter à certains moments ou être déclenchés en fonction du résultat d'un autre flux.

Quelles sont les étapes clés d'un Data Pipeline ?

• Data Ingestion : amener des données dans un pipeline.
• Data Transformation : la modification, le nettoyage et la préparation des données, par exemple avec les Dataflows Gen2.
• Data Orchestration : le séquençage des pipelines de données. Par exemple, une source de données doit avoir terminé sa mise à jour avant qu'une deuxième étape d'ingestion commence.
• Data Output : placer les données nouvelles ou mises à jour dans leur emplacement final.
• Data Monitoring : notifications en cas d'échec des pipelines automatisés ou informations récapitulatives sur vos données (nombre de lignes nulles, nombre d'enregistrements copiés, qualité des données).

Le cas d'usage d'un pipeline de données diffère donc de celui d'un flux de données. Les flux de données sont principalement conçus pour transformer et préparer des données ; les pipelines de données sont un outil professionnel pour déplacer des données entre des systèmes.

Quels sont les composants d'un Data Pipeline ?

• Schedule (planification)
• Activités
• Variables / Paramètres
• Monitoring / Logging
• Connexions

Les activités

Les activités sont la pierre angulaire des pipelines de données. Elles permettent de tout faire : copier des données, supprimer des données, contrôler le flux de travail lui-même, orchestrer d'autres tâches de calcul, jusqu'à l'envoi de messages avec Outlook et Teams.

Les activités se répartissent en quatre types.

Mouvement de données

Transformer

C'est le « T » de ETL. L'objectif est de nettoyer, ajouter des colonnes, enrichir les données…

Dans un contexte de transformation, il est possible d'ajouter une activité qui exécute un Notebook en cliquant sur l'activité Notebook.

Orchestrer

L'objectif est d'organiser le flux de travail en mettant en place un processus (lignage de données). Cette tâche se fait visuellement dans Data Factory.

Flux de contrôle

Il s'agit de contrôler la logique d'exécution et donc l'efficacité de ce qui a été mis en place (qualité des données livrées).

Variables et paramètres

• Les paramètres sont immuables et servent à rendre les pipelines et les ensembles de données plus dynamiques et réutilisables. Leurs valeurs sont fixées au départ et restent constantes tout au long de l'exécution. Ils peuvent exister à plusieurs niveaux (pipeline, ensemble de données, services liés) et être facultatifs ou obligatoires. Bien qu'immuables, ils peuvent pointer vers d'autres champs de saisie, ce qui les rend moins statiques en pratique.
• Les variables, en revanche, sont modifiables et limitées à un seul pipeline. Elles servent de stockage temporaire pour des valeurs qui changent pendant l'exécution. Des activités comme « Set variable » et « Increment variable » modifient leurs valeurs, ce qui les rend utiles pour les processus et calculs itératifs.

Connexions

Les connexions dans Microsoft Fabric relient les pipelines de données aux sources de données réelles. Trois types figurent sur la page de gestion des connexions : sur site, réseau virtuel et cloud. Lors de la rédaction de cet article (février 2025), seules les connexions cloud fonctionnaient avec les Data Pipelines ; les autres étaient sur la feuille de route.

Mise à jour d'octobre 2026 : les Data Pipelines prennent désormais en charge les trois types de connexions. Les sources sur site passent par une passerelle de données locale (on-premises data gateway, version 3000.214.2 ou ultérieure), et les sources protégées dans un réseau virtuel Azure par une passerelle de réseau virtuel (VNet data gateway).

Planification (Schedule, Trigger)

Un pipeline de données qui ne s'exécute pas ne sert à rien. On peut exécuter un pipeline manuellement ou définir une planification ; le choix de déclencheurs était toutefois plus restreint que dans Azure Data Factory lors de la rédaction de l'article (février 2025).

Options de déclenchement disponibles :

• exécution planifiée (à la minute, à l'heure, quotidiennement ou hebdomadairement) ;
• exécution par un pipeline (des pipelines de données qui en déclenchent d'autres) ;
• exécution manuelle (bouton « Exécuter » dans l'interface du pipeline).

Les pipelines peuvent orchestrer d'autres pipelines, mais les déclencheurs suivants n'étaient pas implémentés :

• déclencheurs d'événements (Custom [Event Grid], Storage) ;
• Tumbling Window trigger ;
• API.

Malgré ces limites, la gamme de déclencheurs reste riche, avec surtout la possibilité de déclencher des pipelines depuis un autre pipeline en leur passant des paramètres. Cela permet de concevoir des modèles avancés et des pipelines hiérarchiques.

Mise à jour d'octobre 2026 : ces limites sont en grande partie levées.

• Déclencheurs d'événements : un pipeline peut démarrer sur un événement de fichier (création ou suppression dans OneLake ou Azure Blob Storage, par exemple), sur la fin d'une tâche ou sur un événement de l'espace de travail. Ces déclencheurs s'appuient sur Activator (Data Activator).
• Planification par intervalles (en préversion) : des intervalles fixes et sans chevauchement, qui reprennent en partie le principe du Tumbling Window trigger. Le rattrapage des intervalles passés (backfill) n'est pas encore possible.
• API : l'API REST de Fabric lance un pipeline à la demande et gère ses planifications.

Supervision et journalisation

Toutes les exécutions des pipelines se surveillent nativement dans l'interface :

Le hub de surveillance donne aussi une vue d'ensemble de toute la plateforme Microsoft Fabric :

Pourquoi choisir les Data Pipelines dans Fabric ?

Les pipelines de données Fabric simplifient et automatisent le déplacement, la transformation et le chargement des données vers leur destination. Ils offrent une approche rationalisée de la gestion des flux de travail de données, pour que vos équipes se concentrent sur l'analyse des données.

Avantages :

• Interface low-code / no-code : une interface glisser-déposer pour concevoir les flux, accessible aux développeurs citoyens comme aux ingénieurs de données.
• Conçus pour les charges de travail modernes (temps réel et batch) : traitement par lots pour les gros volumes et streaming en temps réel pour les applications IoT et événementielles.
• Intégration avec Microsoft Power BI : le déplacement de données de diverses sources vers des ensembles de données Power BI est facilité.
• Scalabilité et performance : les Data Pipelines reposent sur l'infrastructure évolutive d'Azure, pour le traitement par lots comme en temps réel à grande échelle.

Cas d'usage les plus courants :

• mouvement de données automatisé pour l'ingestion ou l'intégration de données, avec les fonctionnalités de sécurité et de tolérance aux pannes ;
• orchestration de pipelines complets de bout en bout, avec gestion des dépendances, surveillance, journalisation, capture de métadonnées et gestion de la concurrence ;
• transformations légères et mappage de schéma, avec les capacités de mappage intégrées et les requêtes dynamiques. Il n'est pas conseillé d'intégrer trop de logique métier dans les pipelines : cela nuit aux performances et à la lisibilité des flux. Les pipelines ne sont pas un moteur de transformation à grande échelle comme Spark, les flux de données ou SQL dans l'entrepôt.

Conclusion

Les pipelines de données se trouvent dans Data Factory, Data Engineering et Data Warehouse dans Microsoft Fabric : l'étendue de leur usage montre qu'ils font partie intégrante de tout flux de données. Pour des copies simples, voyez aussi Copy Job dans Microsoft Fabric.

Pour tirer parti de Fabric et de ses pipelines, découvrez notre accompagnement Microsoft Fabric ou contactez nos équipes.