Azure SQL Data Warehouse, Azure Synapse Analytics, petit loupé Marketing ou véritable évolution du service ?

Le temps du MPP (Massively Parallel Processing, comprendre Traitement Massivement Parallèle) est bien révolu depuis l'époque où il fallait lui dédier une licence SQL Server spécifique et un serveur physique On-Premise afin de profiter d'une largesse de calcul assez impressionnante… pour l'époque du moins ! On parlait alors de PDW (Performance Data Warehouse), …

Depuis, Hadoop a fait son apparition, SQL Server a proposé Polybase mais surtout le cloud a pointé le bout de son nez.

Azure est venu adosser son principe de scalabilité à cette offre de MPP via son service PaaS Azure SQL Data Warehouse ; service recommandé par les Data Architects sur les plateformes traitant une volumétrie considérable de données (à partir de 4 To de données environ).

Le 4 Novembre 2019, Microsoft annonce en fanfare le service Azure Synapse Analytics !

Ne l'appelez plus Azure SQL Data Warehouse qu'ils disaient… Nouveau nom, nouveau logo et même nouveau concept de Workspace et de Provisioned / On-demand SQL Pools (actuellement en Public Preview) ! Mais pourquoi ? Qu'est-ce que cela change au final pour l'utilisateur qui se trouve confus par ce changement ?

Pourtant, Microsoft a gardé sa lucidité sur son évolution de l'offre et, surtout, sa volonté via ce rebranding est louable : ne plus limiter SQL Data Warehouse à sa partie "Business Intelligence" mais l'ouvrir vers l'IA (Intelligence Artificielle), l'utilisation d'autres langages que SQL (Python, Scala, Java, etc.) et l'usage du temps réel.

Pour cela, un Workspace sous Azure Synapse Analytics va proposer en mode All-In-One interface :

• Une partie administration (gestion, monitoring, sécurité) centralisée et simplifiée,
• Une partie orchestration : toujours assurée par le service Azure Data Factory en Control Flow et Data Flow (Mapping Data Flow, facturation à l'usage et au temps d'activation du cluster Spark nécessaire à l'exécution)
• Une partie compute (calcul) :
• SQL Pools :
- Provisioned (puissance (en nombre de nœuds) de calcul et volumétrie connue et définie à l'avance, facturation à l'heure d'usage, Langage T-SQL adapté au MPP) --> Même principe que l'actuel Azure SQL Data Warehouse
- On-Demand (flexibilité souhaitée sur la puissance de calcul et la volumétrie, facturation au To de lecture) --> Intéressant pour de l'occasionnel ou de l'ad-hoc

• Spark Pools :
- Provisioned : pratique pour lancer des traitements en Python, Scala, R, C# sur des clusters en Spark, adapté à un contexte de Machine Learning et des données non structurées, facturation au temps d'activation du cluster Spark
- On-Demand : pas (encore ?)




>>>>> Le choix entre Provisioned et On-Demand SQL Pools reste tributaire du contexte d'exécution et de la connaissance préalable de la volumétrie des données attendues et de la puissance de calcul y afférent. Une stratégie judicieuse serait de commencer par du On-Demand pour "découvrir" son réel usage et de rebasculer vers du Provisioned si la facturation est plus intéressante. Dans tous les cas, la surveillance est de mise !

• Une partie stockage : basée sur Azure Data Lake Store Gen 2 avec une surcouche de métadonnées appelée Metadata Store

Azure Synapse Analytics sur sa partie Workspace est, à l'heure d'écriture de ces lignes, encore en Public Preview, il ne convient donc pas encore à un usage en Production.

Mais, chez KWANZEO, nous avons pensé à vous et sommes donc en train de finaliser notre démo sur Synapse Workspace et son usage Machine Learning : Introduction visuelle à Azure Synapse Analytics Workspace. Comment adosser Synapse dans votre architecture de Modern Data Warehousing ? Comment lui rajouter une couche de Machine Learning ? Toutes les réponses à ces questions et bien plus dans notre prochain Webinar dédié, n'hésitez pas à vous y inscrire…

Il y aura également d'autres articles dédiés à Azure Data Services, Power BI, Master Data Management sur notre site, n'hésitez pas à nous suivre sur notre site web (tant mieux vous y êtes déjà :)), notre page LinkedIn, notre chaîne YouTube et à nous contacter pour vos questions et vos demandes contact@kwanzeo.com !