Notebook dans Microsoft Fabric

En résumé : le Notebook dans Microsoft Fabric est un environnement interactif basé sur le Web pour développer des tâches Apache Spark et des expériences d'apprentissage automatique. Les data scientists et les ingénieurs de données y écrivent du code, avec des visualisations riches et du texte Markdown.

Qu'est-ce qu'un Notebook dans Fabric ?

Les ingénieurs de données utilisent les Notebooks pour l'ingestion, la préparation et la transformation des données. Les data scientists les exploitent pour créer des solutions d'apprentissage automatique : expériences, modèles, suivi et déploiement.

Les Notebooks permettent d'écrire du code dans une variété de langages et de le commenter grâce à des cellules interactives. Ils sont intégrés aux Lakehouses et disposent d'un système de fichiers intégré pour stocker des fichiers associés au Notebook. Ils sont constitués de cellules, des blocs individuels de code ou de texte exécutables indépendamment ou en groupe.

Les Notebooks dans Fabric prennent en charge quatre langages Apache Spark :

• PySpark (Python)
• Spark (Scala)
• Spark SQL
• SparkR

En une phrase : le Notebook Fabric est l'endroit où les ingénieurs de données et les data scientists écrivent et exécutent leur code.

Pourquoi choisir les Notebooks dans Fabric ?

Avec un Notebook, les utilisateurs accèdent et analysent rapidement les informations, travaillent sur des projets à plusieurs et créent des documents mêlant code et visualisations interactives. Le Notebook Microsoft Fabric permet aussi de partager facilement des documents pour collaborer et recueillir des commentaires. C'est un outil essentiel pour les data scientists, les développeurs et les chercheurs.

Avantages

• Démarrage sans aucun effort de configuration.
• Accès facile aux données stockées dans les Lakehouses, Data Warehouses et fichiers.
• Exploration et traitement des données grâce à une expérience intuitive low-code.
• Protection des données grâce aux fonctionnalités intégrées de sécurité d'entreprise.
• Écriture d'algorithmes complexes et automatisation des pipelines avec un contrôle total.
• Analyse des données brutes (CSV, txt, JSON…) et des formats traités (Parquet, Delta Lake…) avec la puissance de Spark.
• Productivité accrue grâce à des capacités de création améliorées et à la visualisation des données intégrée.

Limites des Notebooks dans Fabric

• Compétences en programmation nécessaires : contrairement à Dataflow Gen2, les Notebooks sont orientés code.
• Temps de démarrage des clusters Spark : le démarrage peut prendre quelques secondes, ce qui ralentit les petites analyses.
• Gestion des erreurs : les erreurs dans le code peuvent être complexes à diagnostiquer pour les non-développeurs.

Quand utiliser les Notebooks dans Fabric ?

• Lorsque vous avez besoin de traitements avancés ou distribués sur de grandes quantités de données.
• Pour les projets nécessitant des modèles de Machine Learning ou des analyses complexes.
• Lorsque vous avez besoin d'une flexibilité maximale pour personnaliser les transformations de données.

Comment créer un Notebook ?

Dans Fabric, choisissez Data Engineering :

Plusieurs options vous sont proposées, dont la création d'un Lakehouse, d'un Notebook ou d'une tâche Spark. Cliquez sur Notebook :

Le Notebook vide s'ouvre :

Dans le coin supérieur gauche, vous pouvez modifier le nom du Notebook :

Dans l'explorateur Lakehouse, vous pouvez ajouter un Lakehouse existant au Notebook ou en créer un nouveau :

Si vous ajoutez un Lakehouse existant, vous êtes redirigé vers le hub de données OneLake, où vous choisissez parmi les Lakehouses disponibles :

Une fois le Lakehouse choisi, il est ajouté au Notebook : les tables, dossiers et fichiers existants s'affichent dans l'explorateur Lakehouse.

Vous pouvez aussi créer un Notebook depuis l'intérieur d'un Lakehouse, ou y ouvrir un Notebook existant :

Bénéficiez de la puissance de Fabric avec Kwanzeo

Les Notebooks s'orchestrent avec les Data Pipelines dans Fabric et s'industrialisent avec un pipeline CI/CD GitHub. Pour aller plus loin, découvrez notre accompagnement Microsoft Fabric ou contactez nos équipes.