LLI Wiki — My Digital Knowledge Base

Azure Batch pour un DBA : exécuter des jobs PowerShell/SQL planifiés

Architecture d'Azure Batch comme plateforme de jobs DBA : pool, job, tâche, package, identité managée, Key Vault, journaux, et pourquoi Batch plutôt que SQL Agent, Automation ou Functions.

Pendant des années, mes tâches planifiées de DBA vivaient dans SQL Server Agent : un job, un serveur, un script. Avec Azure SQL Database et les pools élastiques, il n'y a plus d'Agent, et les mêmes traitements (export, maintenance, rapports) doivent tourner contre des centaines de bases. J'ai fini par choisir Azure Batch comme plateforme d'exécution. Voici l'architecture et les raisons de ce choix.

Les briques

Brique Batch Rôle dans ma plateforme
Compte Batch Le conteneur : quotas, journaux de diagnostic, packages
Pool Les nœuds (VM) qui exécutent les tâches ; porte l'identité managée
Start task Prépare chaque nœud à son arrivée dans le pool (modules, outils)
Application package Le code versionné (ZIP) déployé sur les nœuds
Job Un regroupement de tâches ; plafonne le parallélisme
Task Une exécution : une ligne de commande pwsh pour une base ou un traitement

Autour de cela : une identité managée affectée à l'utilisateur (UAMI) attachée au pool, Key Vault pour les secrets, une App Configuration ou un fichier de configuration pour les paramètres, un compte de stockage pour les sorties de tâches, et un espace Log Analytics pour les diagnostics.

flowchart LR
    A["Azure DevOps (pipeline planifié)"] --> B["Compte Batch"]
    B --> C["Job"]
    C --> D["Task : une par base"]
    E["Application package (ZIP versionné)"] --> F["Pool de nœuds"]
    D --> F
    F --> G["Identité managée (UAMI)"]
    G --> H["Azure SQL (pool élastique)"]
    G --> I["Key Vault / App Configuration"]
    F --> J["Stockage : fichiers de sortie"]
    B --> K["Log Analytics : diagnostics"]
    K --> L["Grafana / alertes"]

Le flux d'une exécution

  1. Un pipeline planifié (cron) interroge l'inventaire pour savoir quelles bases traiter.
  2. Il crée ou réutilise un job, puis soumet une tâche par base.
  3. Un nœud du pool télécharge le package de l'application (une fois par nœud), puis lance le script d'entrée de la tâche.
  4. Le script demande un jeton à l'identité managée (service de métadonnées du nœud), lit ses secrets dans Key Vault et se connecte à Azure SQL sans mot de passe.
  5. La sortie standard et les journaux sont envoyés vers le stockage ; les événements de tâche partent dans Log Analytics.

Le job ne fait que le plafonnement : par exemple MaxParallelTasks = 3 pour qu'une nuit d'exports ne sature pas le pool élastique cible.

Pourquoi pas SQL Agent, Automation ou Functions ?

Besoin SQL Agent Automation Functions Batch
Disponible sur Azure SQL Database Non Oui Oui Oui
Durée longue (heures) Oui Limitée (runbooks) Limitée (plan Consumption) Oui
Outils lourds (sqlpackage, bcp, 7-Zip) Oui Difficile Difficile Oui, sur le nœud
Fan-out massif, parallélisme contrôlé Non Faible Possible, à construire Natif (tâches, jobs)
Contrôle de l'image et des versions d'outils Oui Non Non Oui

Automation et Functions conviennent très bien aux petits scripts courts. Dès que l'on exporte des bases de plusieurs Go avec sqlpackage, ou qu'on veut cent tâches en parallèle plafonnées à trois, Batch devient le bon outil. Contrepartie : il faut gérer l'image des nœuds et le cycle de vie des jobs.

Identité et secrets

L'identité managée est attachée au pool, pas au script. Dans la tâche, le code détecte son contexte (poste d'administration, pipeline, nœud Batch) et choisit l'identité correspondante. Aucun mot de passe en configuration : les clés externes (par exemple pour l'envoi de mails) sont des noms de secrets Key Vault, résolus à l'exécution.

Côté SQL, l'identité doit exister comme utilisateur de la base (CREATE USER ... FROM EXTERNAL PROVIDER). C'est le sujet du quatrième article de cette série.

Journaux

Trois niveaux : le journal applicatif écrit par le script, la sortie de tâche archivée dans le stockage, et les événements Batch (démarrage, fin, échec de planification) envoyés en diagnostic vers Log Analytics. Ce dernier alimente mes tableaux de bord Grafana.

Retour d'expérience

Mastodon LLIMastodon SocialFosstodon