DP-750 : Implémenter des solutions d’ingénierie des données à l’aide de Azure Databricks

Pour suivre cette formation, vous devez avoir suivi la formation « DP-900 : Les fondamentaux de la Data dans Azure » ou avoir un niveau équivalent.

Un niveau d’anglais B1 en lecture est recommandé pour suivre cette formation. Retrouvez les niveaux de langue sur ce lien : Classification des niveaux de langue.

Explorer Azure Databricks

• Provisionner un espace de travail Azure Databricks
• Identifier les charges de travail principales pour Azure Databricks
• Utiliser le catalogue Unity des outils de gouvernance des données et Microsoft Purview
• Décrire les concepts clés d’une solution Azure Databricks

Comprendre l’architecture Azure Databricks

• Décrire la hiérarchie de compte Azure Databricks et comment elle organise les ressources
• Expliquer la différence entre le plan de contrôle et le plan de calcul
• Comprendre le rôle du stockage d’espace de travail dans Azure Databricks
• Décrire les fonctionnalités de stockage par défaut dans les espaces de travail serverless
• Expliquer comment les emplacements externes connectent le stockage cloud au catalogue Unity
• Comprendre comment le stockage géré par le catalogue Unity organise les données entre les catalogues et les schémas

Comprendre les intégrations Azure Databricks

• Comprendre comment Azure Databricks s’intègre à Microsoft Fabric pour l’accès bidirectionnel aux données
• Décrire les fonctionnalités d’intégration entre Power BI et Azure Databricks
• Expliquer comment l’extension Databricks pour VS Code permet le développement local avec l’exécution à distance
• Comprendre comment Power Platform peut utiliser les données Azure Databricks
• Décrire comment les agents IA dans Copilot Studio peuvent accéder aux données Databricks
• Comprendre l’intégration de la gouvernance des données à Microsoft Purview
• Expliquer comment les agents Microsoft Foundry se connectent avec les espaces Databricks Genie

Sélectionner et configurer le calcul dans Azure Databricks

• Choisir les types de calcul appropriés pour différentes charges de travail Azure Databricks
• Configurer les paramètres de performances de calcul, notamment les types de nœuds, la mise à l’échelle automatique et l’arrêt
• Activer les fonctionnalités de calcul telles que l’accélération Photon et sélectionner les versions de Databricks Runtime appropriées
• Configurer les autorisations d’accès au calcul et les modes d’accès de groupe dédié
• Installer et gérer des bibliothèques sur des ressources de calcul à l’aide de différentes méthodes

Créer et organiser des objets dans le catalogue Unity

• Appliquer des conventions d’affectation de noms effectives pour les objets catalogue Unity
• Créer des catalogues et des schémas pour organiser les ressources de données entre les environnements
• Créer des tables, des vues et des volumes managés et externes dans le catalogue Unity
• Implémenter des opérations DDL, notamment des fonctions et des procédures stockées
• Implémenter des catalogues étrangers pour accéder aux systèmes de base de données externes
• Configurer des instructions AI/BI Genie pour la découverte de données en langage naturel

Sécuriser les objets catalogue Unity

• Comprendre le cycle de vie des requêtes dans le catalogue Unity et comment la sécurité est appliquée
• Implémenter des stratégies de contrôle d’accès à l’aide d’autorisations héritées et explicites
• Appliquer un contrôle d’accès affiné via le filtrage de lignes et le masquage des colonnes
• Accéder en toute sécurité aux secrets Azure Key Vault dans les flux de travail Azure Databricks
• Authentifier l’accès aux données à l’aide de principaux de service
• Configurer des identités managées pour sécuriser l’accès aux ressources sans gérer les informations d’identification

Gouverner les objets Unity Catalog

• Créer et conserver des définitions de table et de colonne pour une meilleure découverte des données
• Configurer le contrôle d’accès basé sur des attributs (ABAC) à l’aide de balises et de stratégies
• Appliquer des stratégies de rétention des données pour gérer le cycle de vie des données
• Configurer et gérer la traçabilité des données pour suivre le flux de données
• Configurer la journalisation d’audit pour la surveillance de la conformité et de la sécurité
• Concevoir une stratégie de partage delta sécurisée pour la collaboration de données externes

Concevoir et implémenter la modélisation des données avec Azure Databricks

• Concevoir une logique d’ingestion des données et configurer des connexions de source de données
• Sélectionner l’outil d’ingestion de données approprié pour son scénario
• Choisir entre Delta Lake, Apache Iceberg et d’autres formats de table
• Concevoir et implémenter des schémas de partitionnement de données efficaces
• Sélectionner et implémenter des types de dimension à variation lente
• Concevoir et implémenter des tables temporelles pour le suivi et l’audit des modifications
• Choisir une granularité de données appropriée pour les tables de faits et de dimension
• Concevoir et implémenter des stratégies de clustering pour l’optimisation des requêtes
• Évaluer quand utiliser des tables managées et externes

Ingérer des données dans le catalogue Unity

• Configurer Lakeflow Connect pour ingérer des données à partir de sources externes à l’aide de connecteurs managés
• Ingérer des données batch et de streaming à l’aide de notebooks avec DataFrames et Structured Streaming
• Utiliser des commandes SQL telles que COPY INTO et CREATE TABLE AS SELECT pour l’ingestion basée sur des fichiers
• Traiter les flux de capture de données modifiées avec l’API AUTO CDC
• Configurer Spark Structured Streaming pour l’ingestion de données en temps réel à partir de Kafka et d’Event Hubs
• Configurer le chargeur automatique pour détecter et traiter automatiquement les nouveaux fichiers avec l’évolution du schéma
• Orchestrer des flux de travail d’ingestion de données à l’aide de pipelines déclaratifs Spark Lakeflow

Nettoyer, transformer et charger des données dans Unity Catalog

• Profiler des données à l’aide de commandes SQL et des fonctionnalités de profilage des données pour évaluer la qualité des données
• Choisir les types de données de colonne appropriés pour optimiser le stockage et garantir l’intégrité des données
• Identifier et résoudre les valeurs dupliquées, manquantes et null dans les jeux de données
• Appliquer des opérations de filtrage, de regroupement et d’agrégation pour transformer des données
• Combiner des jeux de données à l’aide de jointures et d’opérateurs définis comme UNION, INTERSECT et EXCEPT
• Remanier des données à l’aide de techniques de dénormalisation, pivotement et dépivotement
• Charger des données transformées dans des tables Unity Catalog à l’aide d’opérations INSERT, MERGE et overwrite

Implémenter et gérer des contraintes de qualité des données avec Azure Databricks

• Implémenter des vérifications de validation pour la nullabilité, la cardinalité et les contraintes de plage
• Implémenter des vérifications de type de données à l’aide de l’application stricte du schéma et d’une conversion explicite
• Appliquer le schéma et gérer la dérive de schéma à l’aide d’Auto Loader et de Delta Lake
• Gérer la qualité des données à l’aide des attentes de pipeline dans les pipelines déclaratifs Spark

Concevoir et implémenter des pipelines de données avec Azure Databricks

• Concevoir l’ordre des opérations pour les pipelines de données de l’ingestion à la distribution.
• Choisir entre les blocs-notes et les pipelines déclaratifs Spark Lakeflow en fonction des cas d’usage.
• Concevoir la logique des tâches, des dépendances et des modèles d’exécution pour les travaux Lakeflow.
• Implémenter des stratégies de gestion des erreurs, notamment des stratégies et des attentes de nouvelle tentative.
• Créer des pipelines de données en utilisant à la fois des notebooks et des pipelines déclaratifs Lakeflow Spark.

Implémenter des Jobs Lakeflow avec Azure Databricks

• Créer et configurer des travaux Lakeflow avec des tâches et des ressources de calcul
• Configurer des déclencheurs de travail, y compris les mises à jour des tables et les arrivées de fichiers
• Planifier des travaux à l’aide d’intervalles et d’expressions cron
• Configurer des alertes et des notifications de tâche à des fins de surveillance
• Configurer les redémarrages automatiques et les stratégies de nouvelle tentative pour la fiabilité

Implémenter des processus de cycle de vie de développement dans Azure Databricks

• Appliquer les meilleures pratiques de contrôle de version Git à l’aide de dossiers Git dans Azure Databricks
• Gérer les branchements, les demandes de fusion et la résolution des conflits pour le développement en collaboration.
• Implémenter une stratégie de test, notamment des tests unitaires, d’intégration, de bout en bout et d’acceptation des utilisateurs
• Configurer et personnaliser des bundles Automation déclaratifs pour l’automatisation du déploiement
• Déployer des bundles à l’aide de l’interface CLI Databricks dans les environnements de développement et de production

Surveiller, dépanner et optimiser les charges de travail dans Azure Databricks

• Surveiller et gérer la consommation du cluster en utilisant les métriques, l’arrêt automatique et les budgets.
• Résoudre les problèmes et réparer les Lakeflow Jobs en échec à l’aide de l’interface utilisateur Jobs et de la fonctionnalité d’exécution de réparation
• Diagnostiquer les échecs de travaux Spark et les goulots d’étranglement des ressources en utilisant le Spark UI et les métriques de calcul.
• Examiner et résoudre les problèmes liés à la mise en cache, à l’asymétrie des données, au dépassement de mémoire et aux performances de shuffle.
• Mettre en œuvre le streaming des journaux d’Azure Databricks vers Azure Log Analytics pour une surveillance centralisée.

Publié le 23/07/26

Dans cette formation, nous mélangeons théorie et ateliers techniques ou démonstration pour vous rendre rapidement opérationnel. En outre, chaque participant reçoit un support de cours électronique officiel de Microsoft.

Un de nos consultants-formateurs accrédités en tant que Microsoft Certified Trainer conduit la formation. Forts d’une solide expérience sur le terrain, ils rendent l’apprentissage à la fois interactif et enrichissant.

Pour l’évaluation, le formateur pose des questions régulières et utilise diverses méthodes pour mesurer vos acquis en continu. Cette approche favorise une expérience d’apprentissage à la fois dynamique et captivante

Après la formation, nous vous demandons de remplir un questionnaire de satisfaction. Vos retours nous aident à maintenir et à améliorer constamment la qualité de nos formations. De plus, pour assurer un suivi rigoureux, chaque participant signe une feuille d’émargement par demi-journée de présence.

Enfin, nous offrons la flexibilité de dispenser cette formation aussi bien en présentiel qu’en distanciel et elle peut être personnalisée pour les besoins spécifiques de votre entreprise sur demande.

Vous pouvez vous inscrire à l’une de nos formations jusqu’à cinq jours ouvrés avant son commencement, à condition qu’il reste des places disponibles et que nous ayons reçu votre devis signé.

De plus, si vous avez des besoins spécifiques liés à une situation de handicap, n’hésitez pas à en faire la demande ; nous adaptons volontiers nos moyens de prestation en fonction du type de handicap.

Notre centre de formation, Cellenza Training, vous accueille au 892 Rue Yves Kermen, 92100 Boulogne-Billancourt.

Pour nous rejoindre, plusieurs options de transports en commun s’offrent à vous :

• Prenez la ligne 9 du métro et descendez à Pont de Sèvres,
• Optez pour la ligne 10 du métro jusqu’à Boulogne Jean Jaurès,
• Ou bien, empruntez le tram T2 jusqu’à Brimborion.