Formation DP-203 : Data Engineer sur Microsoft Azure

Découvrir l’engineering données dans Azure

• Identifier les tâches courantes de l’engineering données.
• Décrire les concepts courants de l’engineering données.
• Identifier les services Azure pour l’engineering données.

Découvrir Azure Data Lake Storage Gen2

• Décrire les principaux avantages et fonctionnalités d’Azure Data Lake Storage Gen2.
• Activer Azure Data Lake Storage Gen2 dans un compte Stockage Azure.
• Comparer Azure Data Lake Storage Gen2 et le Stockage Blob Azure.
• Décrire les situations dans lesquelles Azure Data Lake Storage Gen2 s’intègre aux étapes du traitement analytique.
• Utiliser Azure Data Lake Storage Gen2 dans les charges de travail analytiques courantes.

Découvrir Azure Synapse Analytics

• Identifier les problèmes métier traités par Azure Synapse Analytics adresse.
• Décrire les fonctionnalités principales d’Azure Synapse Analytics.
• Déterminer quand utiliser Azure Synapse Analytics.

Utiliser un pool SQL serverless Azure Synapse pour interroger des fichiers dans un Data Lake

• Identifier les fonctionnalités et les cas d’usage des pools SQL serverless dans Azure Synapse Analytics.
• Interroger des fichiers CSV, JSON et Parquet avec un pool SQL serverless.
• Créer des objets de base de données externes dans un pool SQL serverless.

Utiliser des pools SQL serverless Azure Synapse pour transformer des données dans un Data Lake

• Utiliser une instruction CREATE EXTERNAL TABLE AS SELECT (CETAS) pour transformer des données.
• Encapsuler une instruction CETAS dans une procédure stockée.
• Inclure une procédure stockée de transformation de données dans un pipeline.

Créer une base de données lake dans Azure Synapse Analytics

• Comprendre les concepts et les composants de la base de données lake.
• Décrire les modèles de base de données dans Azure Synapse Analytics.
• Créer une base Datalake.

Sécuriser les données et gérer les utilisateurs dans les pools SQL serverless Azure Synapse

• Choisir une méthode d’authentification dans les pools SQL serverless Azure Synapse.
• Gérer les utilisateurs dans les pools SQL serverless Azure Synapse.
• Gérer les autorisations utilisateur dans les pools SQL serverless Azure Synapse.

Analyser des données avec Apache Spark dans Azure Synapse Analytics

• Identifier les principales fonctionnalités d’Apache Spark.
• Configurer un pool Spark dans Azure Synapse Analytics.
• Exécuter du code pour charger, analyser et visualiser des données dans un notebook Spark.

Transformer des données avec Spark dans Azure Synapse Analytics

• Utiliser Apache Spark pour modifier et enregistrer des dataframes.
• Partitionner les fichiers de données pour améliorer les performances et la scalabilité.
• Transformer des données avec SQL.

Utiliser Delta Lake dans Azure Synapse Analytics

• Décrire les principales fonctionnalités de Delta Lake.
• Créer et utiliser des tables Delta Lake dans un pool Spark Synapse Analytics.
• Créer des tables de catalogue Spark pour les données Delta Lake.
• Utiliser des tables Delta Lake pour la diffusion en continu de données.
• Interroger des tables Delta Lake à partir d’un pool SQL Synapse Analytics.

Analyser les données dans un entrepôt de données relationnelles

• Concevoir un schéma pour un entrepôt de données relationnel.
• Créer des tables de faits, de dimension et de mise en lots.
• Utiliser SQL pour charger des données dans des tables d’entrepôt de données.
• Utiliser SQL pour interroger des tables d’entrepôt de données relationnelles.

Charger des données dans un entrepôt de données relationnel

• Charger des tables de mise en lots dans un entrepôt de données.
• Charger des tables de dimension dans un entrepôt de données.
• Charger des dimensions de temps dans un entrepôt de données.
• Charger des dimensions variables à évolution lente dans un entrepôt de données.
• Charger des tables de faits dans un entrepôt de données.
• Effectuer des optimisations postchargement dans un entrepôt de données.

Gérer et superviser les activités d’un entrepôt de données dans Azure Synapse Analytics

• Mettre à l’échelle des ressources de calcul dans Azure Synapse Analytics.
• Mettre en pause le calcul dans Azure Synapse Analytics.
• Gérer des charges de travail dans Azure Synapse Analytics.
• Utiliser Azure Advisor pour passer en revue des recommandations.
• Utiliser des vues de gestion dynamique pour identifier et résoudre les problèmes de performance des requêtes.

Sécuriser un entrepôt de données dans Azure Synapse Analytics

• Découvrir les options de sécurité réseau pour Azure Synapse Analytics.
• Configurer un accès conditionnel.
• Configurer l’authentification.
• Gérer l’autorisation par le biais de la sécurité au niveau des colonnes et des lignes.
• Gérer les données sensibles avec le masquage dans Dynamic Data.
• Implémenter le chiffrement dans Azure Synapse Analytics.

Créer un pipeline de données dans Azure Synapse Analytics

• Décrire les concepts de base des pipelines Azure Synapse Analytics.
• Créer un pipeline dans Azure Synapse Studio.
• Implémenter une activité de flux de données dans un pipeline.
• Lancer et superviser des exécutions de pipeline.

Utiliser des notebooks Spark dans un pipeline Azure Synapse

• Décrire l’intégration du notebook et du pipeline.
• Utiliser une activité de notebook Synapse dans un pipeline.
• Utiliser des paramètres avec une activité de notebook.

Planifier un traitement transactionnel et analytique hybride avec Azure Synapse Analytics

• Décrire les modèles de traitement transactionnel et analytique hybride.
• Identifier les services Azure Synapse Link pour HTAP.

Implémenter Azure Synapse Link avec Azure Cosmos DB

• Configurer un compte Azure Cosmos DB pour utiliser Azure Synapse Link.
• Créer un conteneur avec le magasin analytique activé.
• Créer un service lié pour Azure Cosmos DB.
• Analyser les données liées à l’aide de Spark et de Synapse SQL.

Implémenter Azure Synapse Link pour SQL

• Comprendre les concepts clés et les fonctionnalités d’Azure Synapse Link pour SQL.
• Configurer Azure Synapse Link pour Azure SQL Database.
• Configurer Azure Synapse Link pour Microsoft SQL Server.

Découvrir Azure Stream Analytics

• Comprendre les flux de données.
• Comprendre le traitement des événements.
• Comprendre les fonctions de fenêtre.
• Utiliser Azure Stream Analytics.

Ingérer des données de streaming à l’aide d’Azure Stream Analytics et Azure Synapse Analytics

• Décrire les scénarios d’ingestion de flux courants pour Azure Synapse Analytics.
• Configurer les entrées et les sorties pour une tâche Azure Stream Analytics.
• Définir une requête pour ingérer des données en temps réel dans Azure Synapse Analytics.
• Exécuter une tâche pour ingérer des données en temps réel et consommer ces données dans Azure Synapse Analytics.

Visualiser des données en temps réel avec Azure Stream Analytics et Power BI

• Configurer une sortie Stream Analytics pour Power BI.
• Utiliser une requête Stream Analytics pour écrire des données dans Power BI.
• Créer une visualisation de données en temps réel dans Power BI.

Découvrir Microsoft Purview

• Déterminer si Microsoft Purview est adapté à vos besoins de découverte et de gouvernance des données.
• Décrire comment les fonctionnalités de Microsoft Purview fonctionnent pour assurer la découverte et la gouvernance des données.

Découvrir les données approuvées avec Microsoft Purview

• Parcourir, rechercher et gérer les ressources du catalogue de données.
• Utiliser des ressources de catalogue de données avec Power BI.
• Utiliser Microsoft Purview dans Azure Synapse Studio.

Découvrir les artefacts de données de catalogue à l’aide de Microsoft Purview

• Décrire la classification des ressources dans Microsoft Purview.

Gérer les ressources Power BI avec Microsoft Purview

• Enregistrer et numériser un locataire Power BI.
• Utiliser les fonctions de recherche et de navigation pour rechercher des ressources de données.
• Décrire les détails du schéma et le suivi de la traçabilité des données de ressources de données Power BI.

Intégrer Microsoft Purview et Azure Synapse Analytics

• Cataloguer les ressources de base de données Azure Synapse Analytics dans Microsoft Purview.
• Configurer l’intégration de Microsoft Purview dans Azure Synapse Analytics.
• Rechercher dans le catalogue Microsoft Purview à partir de Synapse Studio.
• Suivre la traçabilité des données dans les activités de pipelines Azure Synapse Analytics.

Explorer Azure Databricks

• Provisionner un espace de travail Azure Databricks.
• Identifier les principales charges de travail et entités pour Azure Databricks.
• Décrire les concepts clés d’une solution Azure Databricks.

Utiliser Apache Spark dans Azure Databricks

• Décrire les éléments clés de l’architecture Apache Spark.
• Créer et configurer un cluster Spark.
• Décrire les cas d’usage pour Spark.
• Utiliser Spark pour traiter et analyser les données stockées dans des fichiers.
• Utiliser Spark pour visualiser les données.

Utiliser Delta Lake dans Azure Databricks

• Décrire les principales fonctionnalités de Delta Lake.
• Créer et utiliser des tables Delta Lake dans Azure Databricks.
• Créer des tables de catalogue Spark pour les données Delta Lake.
• Utiliser des tables Delta Lake pour la diffusion en continu de données.

Utiliser des entrepôts SQL dans Azure Databricks

• Créer et configurer des entrepôts SQL dans Azure Databricks.
• Créer des bases de données et des tables.
• Créer des requêtes et des tableaux de bord.

Exécuter des notebooks Azure Databricks avec Azure Data Factory

• Décrire comment les notebooks Azure Databricks peuvent être exécutés dans un pipeline.
• Créer un service lié Azure Data Factory pour Azure Databricks.
• Utiliser une activité Notebook dans un pipeline.
• Passer des paramètres à un notebook.

Mis à jour le 09/02/2024

Dans cette formation, nous mélangeons théorie et ateliers techniques pour vous rendre rapidement opérationnel. En outre, chaque participant reçoit un support de cours électronique officiel de Microsoft.

Un de nos consultants-formateurs accrédités en tant que Microsoft Certified Trainer conduit la formation. Forts d’une solide expérience sur le terrain, ils rendent l’apprentissage à la fois interactif et enrichissant.

Pour l’évaluation, le formateur pose des questions régulières et utilise diverses méthodes pour mesurer vos acquis en continu. Cette approche favorise une expérience d’apprentissage à la fois dynamique et captivante

Après la formation, nous vous demandons de remplir un questionnaire de satisfaction. Vos retours nous aident à maintenir et à améliorer constamment la qualité de nos formations.

De plus, pour assurer un suivi rigoureux, chaque participant signe une feuille d’émargement par demi-journée de présence.

Enfin, nous offrons la flexibilité de dispenser cette formation aussi bien en présentiel qu’en distanciel et elle peut être personnalisée pour les besoins spécifiques de votre entreprise sur demande. Pour en savoir plus, contactez-nous

Pour comprendre le contenu de la formation DP-203 – Data Engineering on Microsoft Azure, les participants doivent avoir une expertise en matière d’intégration, de transformation et doivent savoir consolider divers systèmes de données structurées et non structurées dans un outils adapté à la création de solutions d’analyses. Nous préconisons aussi une bonne connaissance des langages SQL, Python ou Scala et une compréhension de l’architecture des données. Nous demandons à ce que les candidats aient suivi la formation « AZ-900 : Azure Fundamentals » et « DP-900 : Azure Data Fundamentals » ou avoir un niveau d’expérience équivalent.

Les supports de cours et les travaux pratiques sont en anglais. Un niveau d’anglais B1 est recommandé pour suivre cette formation. Retrouvez les niveaux de langue sur ce lien : Classification des niveaux de langue Il est fortement recommandé de suivre ce cours sur un ordinateur et de disposer d’un double écran pour plus de confort.

Cette formation est-elle vraiment faite pour vous ?

Testez vos connaissances et vérifiez si vous avez le niveau requis pour suivre correctement cette formation ? Je teste mes connaissances sur la DP-203

Cette formation ouvre la voie à la certification Microsoft « DP-203 – Data Engineering on Microsoft Azure », nous vous recommandons l’inscription à l’examen environ 1 mois après le passage de la formation. Les supports de cours et les Labs transmis lors de la formation vous aideront à réviser correctement votre certification.

Le voucher de certification vous est offert, il vous sera délivré en fin de formation. L’inscription à une certification se fait sur le site de Microsoft. Si vous souhaitez vous faire accompagner dans cette démarche, contactez-nous.