Data Engineer Snowflake (H/F)
Kwanzeo recrute un(e) Data Engineer Snowflake confirmé(e) en CDI pour construire et faire évoluer les plateformes de données de ses clients : ingestion, transformation, qualité et performance.
Technologies
dbt : conseil et intégration
dbt (data build tool) est un outil open source qui permet aux analystes et aux ingénieurs de données de transformer les données en SQL, directement dans les data warehouses modernes comme Snowflake ou Microsoft Fabric, avec les pratiques du génie logiciel : contrôle de version, tests automatisés et documentation intégrée. Kwanzeo l'intègre à votre Data Platform.
Qu'est-ce que dbt ?
Transformer efficacement des données brutes en informations exploitables est essentiel pour les entreprises. dbt (data build tool) est un outil open source conçu pour faciliter cette transformation au sein des data warehouses modernes, comme Snowflake : les analystes et les ingénieurs de données écrivent leurs transformations en SQL, tout en adoptant les pratiques du génie logiciel (contrôle de version, tests automatisés, documentation intégrée). C'est une approche structurée et collaborative de la transformation des données.
dbt est édité par dbt Labs, qui a fusionné avec Fivetran le 1er juin 2026 : l'entreprise s'appelle désormais Fivetran + dbt Labs.
Quelles versions de dbt ?
Les noms ont changé en 2025 et 2026. L'éditeur ne distingue plus « dbt Core » et « dbt Cloud » : on utilise l'outil en local, ou dans la plateforme hébergée.
- dbt v2 : depuis septembre 2026, un moteur unique, réécrit en Rust à partir du moteur Fusion, fonctionne en local comme dans la plateforme. Son adaptateur pour Snowflake est disponible ; celui pour Microsoft Fabric est annoncé.
- dbt v1 : le nouveau nom de dbt Core, la version historique écrite en Python, qui reste open source (licence Apache 2.0) et maintenue.
- dbt-oss : la distribution qui ne contient que des composants sous licence Apache 2.0. La distribution complète est gratuite, avec des fonctions payantes en option.
- La plateforme dbt (anciennement dbt Cloud), payante : l'environnement de développement dbt Studio, l'éditeur visuel dbt Canvas, le catalogue dbt Catalog (anciennement dbt Explorer), la planification des exécutions, et dbt State, qui ne reconstruit que ce qui a changé.
Quelles sont les principales fonctionnalités de dbt ?
- La transformation dans le data warehouse : dbt se concentre sur le « T » du processus ELT (Extract, Load, Transform) et exécute les requêtes SQL directement dans le data warehouse.
- Modularité et réutilisabilité : modèles SQL et macros structurent les transformations de façon modulaire, ce qui facilite la réutilisation du code et la maintenance des pipelines.
- Tests automatisés : les tests de données vérifient la qualité des données produites ; depuis la version 1.8 (2024), les tests unitaires vérifient aussi la logique SQL sur de petits jeux de données, avant même la construction du modèle.
- Documentation intégrée : générée automatiquement à partir du code, elle améliore la transparence et la collaboration entre équipes.
Qu'est-ce qui distingue dbt des autres outils ?
- Les bonnes pratiques du développement logiciel : versionnage avec Git, tests automatisés et documentation donnent aux équipes data la rigueur des ingénieurs logiciels.
- La flexibilité : SQL et le moteur de templates Jinja permettent de créer des transformations complexes, adaptées aux besoins de chaque organisation.
- Une communauté active : outil open source, dbt bénéficie d'une communauté qui contribue à son amélioration et à l'élargissement de ses fonctionnalités.
Dans quels contextes utiliser dbt ?
- Volumes et performance : en s'appuyant sur la puissance des data warehouses modernes, dbt traite efficacement de gros volumes de données et des transformations complexes.
- Travail en équipe : l'intégration avec Git permet à plusieurs personnes de développer et de maintenir des pipelines de données de manière coordonnée.
- Des environnements variés : de la startup à la grande entreprise, dbt s'adapte à différentes architectures de données et se combine avec divers outils d'orchestration et d'intégration. Il trouve naturellement sa place dans une Data Platform.
dbt dans Snowflake et dans Microsoft Fabric
L'outil fonctionne avec la plupart des plateformes de données, grâce à des adaptateurs. Deux d'entre elles l'intègrent désormais directement :
- Snowflake : avec dbt Projects on Snowflake, disponible depuis novembre 2025, les projets dbt s'exécutent et se planifient dans la plateforme, sans infrastructure supplémentaire. Voir notre page Snowflake.
- Microsoft Fabric : l'élément « dbt job », en préversion, crée, teste et planifie des projets dans Fabric, sur un Data Warehouse, un Lakehouse, Azure SQL Database, PostgreSQL ou Snowflake. Bon à savoir : l'adaptateur Fabric Data Warehouse ne prend pas en charge les modèles éphémères (le T-SQL n'accepte pas les CTE imbriquées). Voir notre page Microsoft Fabric.
Comment est structuré un projet dbt ?
Un projet dbt est organisé de manière modulaire :
- models/ : les requêtes SQL qui définissent les transformations, souvent rangées en sous-dossiers selon les étapes (par exemple staging, intermediate, marts). Les sources de données y sont aussi déclarées, dans des fichiers YAML ;
- tests/ : les tests de données personnalisés, qui vérifient l'intégrité et la qualité des données ;
- snapshots/ : l'état des données à des moments précis, pour analyser l'historique et gérer les dimensions à évolution lente ;
- macros/ : des scripts réutilisables écrits en Jinja, pour automatiser et standardiser des transformations complexes ;
- seeds/ : des jeux de données statiques, généralement des fichiers CSV, utilisés pour l'initialisation ou comme référentiels ;
- analyses/ : des requêtes d'analyse rangées dans le projet, sans être matérialisées.
La configuration globale est centralisée dans le fichier dbt_project.yml : version du projet, configuration des modèles, dépendances.
Quelles sont les fonctionnalités avancées de dbt ?
- Les matérialisations, pour optimiser les performances et les ressources. il en existe cinq :
- view : une vue, exécutée à la demande, sans stockage physique des données ;
- table : les données transformées sont stockées physiquement, ce qui évite de recalculer à chaque requête ;
- incremental : seules les lignes nouvelles ou modifiées depuis la dernière exécution sont traitées, ce qui convient aux gros volumes ; la stratégie microbatch découpe ce traitement en lots indépendants, par période ;
- ephemeral : un modèle intermédiaire qui n'est pas stocké dans le data warehouse et sert d'étape dans d'autres transformations ;
- materialized view : une vue matérialisée, que la plateforme peut rafraîchir automatiquement lorsqu'elle le permet.
- Les snapshots, pour historiser les changements des tables sources.
- Macros et Jinja : macros et variables pour automatiser et personnaliser les transformations.
- Tests unitaires et tests de données : détecter les anomalies et garantir la fiabilité des transformations.
dbt et l'IA : des métriques gouvernées pour les agents
- Le Semantic Layer définit une seule fois les indicateurs de l'entreprise (chiffre d'affaires, marge…) pour que les outils de BI et les agents IA calculent les mêmes chiffres. Son moteur, MetricFlow, est open source (licence Apache 2.0) depuis octobre 2025, et aligné sur l'initiative Open Semantic Interchange, soutenue notamment par Snowflake.
- Le serveur MCP de dbt donne aux agents IA l'accès aux modèles, aux métriques, au lineage et aux résultats des tests du projet.
- dbt Wizard, en préversion publique depuis septembre 2026, est un agent qui aide à écrire, refactoriser et corriger les modèles en s'appuyant sur votre projet.
En résumé
dbt transforme les données directement dans le data warehouse en appliquant les pratiques du génie logiciel. Modularité, tests automatisés et documentation intégrée en font un outil précieux pour améliorer la qualité et la fiabilité des pipelines de transformation, et pour donner à l'IA des données et des indicateurs fiables.
Kwanzeo et dbt
Nos consultants Data Intelligence utilisent dbt en mission, principalement avec Snowflake, dont Kwanzeo est Partner Select Snowflake.
Pour un opérateur télécom, nous avons migré une plateforme on-premise vers une Modern Data Stack (Airbyte, Snowflake, dbt et Power BI) :
- des modèles organisés en couches (staging, intermediate, marts) pour construire l'entrepôt et les datamarts métiers ;
- une démarche qualité : tests de qualité, contrôles d'intégrité référentielle, validation des règles métier et documentation automatisée ;
- des modèles incrémentaux, des snapshots et des macros pour optimiser les traitements ;
- un déploiement continu avec GitLab.
Offres et technologies liées
Ressources dbt et Data Platform
Tech Lead Data Engineer Snowflake (H/F)
Kwanzeo recrute un(e) Tech Lead Data Engineer Snowflake en CDI : architecture Data Cloud, FinOps, CI/CD, gouvernance, SQL et Python.
Nos missions Data Intelligence, par secteur
Microsoft Fabric, Snowflake, Azure, Power BI et IA : nos missions Data Intelligence résumées secteur par secteur, sans nom de client.
Ressources liées
Snowflake : intégrations et écosystème
Les outils ETL, ELT, BI et IA qui s'intègrent à Snowflake, dont dbt.
Événements et replays Data Platform
Tous les événements et replays
Comment réussir son projet Snowflake ?
Replay du webinaire du 23 septembre 2026 : les fonctionnalités de Snowflake qui changent les usages, les erreurs à éviter et les facteurs de succès d'un projet Data Platform.
Matinée Microsoft Fabric à Paris : construire une Data Platform performante
Matinée du 25 juin 2026 à Paris, animée par Kwanzeo, Microsoft et SoftwareOne : comprendre Microsoft Fabric et les étapes de sa mise en œuvre. Présentation personnalisée sur demande.
Microsoft Fabric, côté Lakehouse
Replay du webinaire du 25 septembre 2025 : atouts et limites du lakehouse dans Microsoft Fabric, architecture Medallion, gouvernance et démonstration sur un cas de pilotage financier.
Questions fréquentes sur dbt
dbt Core existe-t-il encore ?
Oui, sous le nom de dbt v1. En septembre 2026, dbt Labs a rendu disponible dbt v2, un nouveau moteur écrit en Rust, et a renommé dbt Core en dbt v1. dbt v1 reste open source (licence Apache 2.0) et maintenu.
dbt est-il gratuit ?
Le moteur est gratuit, et sa distribution dbt-oss ne contient que des composants open source (licence Apache 2.0). La plateforme dbt hébergée (anciennement dbt Cloud) et certaines fonctions, comme dbt State, sont payantes.
Peut-on utiliser dbt avec Microsoft Fabric ?
Oui, avec les adaptateurs dbt-fabric (Data Warehouse) et dbt-fabricspark (Lakehouse), et directement dans Fabric avec l'élément dbt job, encore en préversion en octobre 2026.
Quel lien entre dbt et Fivetran ?
Fivetran et dbt Labs ont fusionné le 1er juin 2026 ; l'entreprise s'appelle Fivetran + dbt Labs. Fivetran charge les données dans l'entrepôt, dbt les transforme.
Un projet de transformation des données avec dbt ?
Des questions ? Nos experts Data Intelligence vous répondent.