Azure Batch pour un DBA : exécuter des jobs PowerShell/SQL planifiés
Architecture d'Azure Batch comme plateforme de jobs DBA : pool, job, tâche, package, identité managée, Key Vault, journaux, et pourquoi Batch plutôt que SQL Agent, Automation ou Functions.
Pendant des années, mes tâches planifiées de DBA vivaient dans SQL Server Agent : un job, un serveur, un script. Avec Azure SQL Database et les pools élastiques, il n'y a plus d'Agent, et les mêmes traitements (export, maintenance, rapports) doivent tourner contre des centaines de bases. J'ai fini par choisir Azure Batch comme plateforme d'exécution. Voici l'architecture et les raisons de ce choix.
Les briques
| Brique Batch | Rôle dans ma plateforme |
|---|---|
| Compte Batch | Le conteneur : quotas, journaux de diagnostic, packages |
| Pool | Les nœuds (VM) qui exécutent les tâches ; porte l'identité managée |
| Start task | Prépare chaque nœud à son arrivée dans le pool (modules, outils) |
| Application package | Le code versionné (ZIP) déployé sur les nœuds |
| Job | Un regroupement de tâches ; plafonne le parallélisme |
| Task | Une exécution : une ligne de commande pwsh pour une base ou un traitement |
Autour de cela : une identité managée affectée à l'utilisateur (UAMI) attachée au pool, Key Vault pour les secrets, une App Configuration ou un fichier de configuration pour les paramètres, un compte de stockage pour les sorties de tâches, et un espace Log Analytics pour les diagnostics.
flowchart LR
A["Azure DevOps (pipeline planifié)"] --> B["Compte Batch"]
B --> C["Job"]
C --> D["Task : une par base"]
E["Application package (ZIP versionné)"] --> F["Pool de nœuds"]
D --> F
F --> G["Identité managée (UAMI)"]
G --> H["Azure SQL (pool élastique)"]
G --> I["Key Vault / App Configuration"]
F --> J["Stockage : fichiers de sortie"]
B --> K["Log Analytics : diagnostics"]
K --> L["Grafana / alertes"]
Le flux d'une exécution
- Un pipeline planifié (cron) interroge l'inventaire pour savoir quelles bases traiter.
- Il crée ou réutilise un job, puis soumet une tâche par base.
- Un nœud du pool télécharge le package de l'application (une fois par nœud), puis lance le script d'entrée de la tâche.
- Le script demande un jeton à l'identité managée (service de métadonnées du nœud), lit ses secrets dans Key Vault et se connecte à Azure SQL sans mot de passe.
- La sortie standard et les journaux sont envoyés vers le stockage ; les événements de tâche partent dans Log Analytics.
Le job ne fait que le plafonnement : par exemple MaxParallelTasks = 3 pour qu'une nuit d'exports ne sature pas le pool élastique cible.
Pourquoi pas SQL Agent, Automation ou Functions ?
| Besoin | SQL Agent | Automation | Functions | Batch |
|---|---|---|---|---|
| Disponible sur Azure SQL Database | Non | Oui | Oui | Oui |
| Durée longue (heures) | Oui | Limitée (runbooks) | Limitée (plan Consumption) | Oui |
Outils lourds (sqlpackage, bcp, 7-Zip) |
Oui | Difficile | Difficile | Oui, sur le nœud |
| Fan-out massif, parallélisme contrôlé | Non | Faible | Possible, à construire | Natif (tâches, jobs) |
| Contrôle de l'image et des versions d'outils | Oui | Non | Non | Oui |
Automation et Functions conviennent très bien aux petits scripts courts. Dès que l'on exporte des bases de plusieurs Go avec sqlpackage, ou qu'on veut cent tâches en parallèle plafonnées à trois, Batch devient le bon outil. Contrepartie : il faut gérer l'image des nœuds et le cycle de vie des jobs.
Identité et secrets
L'identité managée est attachée au pool, pas au script. Dans la tâche, le code détecte son contexte (poste d'administration, pipeline, nœud Batch) et choisit l'identité correspondante. Aucun mot de passe en configuration : les clés externes (par exemple pour l'envoi de mails) sont des noms de secrets Key Vault, résolus à l'exécution.
Côté SQL, l'identité doit exister comme utilisateur de la base (CREATE USER ... FROM EXTERNAL PROVIDER). C'est le sujet du quatrième article de cette série.
Journaux
Trois niveaux : le journal applicatif écrit par le script, la sortie de tâche archivée dans le stockage, et les événements Batch (démarrage, fin, échec de planification) envoyés en diagnostic vers Log Analytics. Ce dernier alimente mes tableaux de bord Grafana.
Retour d'expérience
- Le nombre de jobs est limité par compte : un job par exécution planifiée finit par atteindre le quota. J'utilise un job partagé par pool élastique, jamais supprimé, avec nettoyage des anciennes tâches.
- Ne supposez jamais un outil présent sur le nœud : documentez les versions attendues de l'image (pilote ODBC,
bcp, modules) ou installez-les dans la start task. - Plusieurs applications sur un même pool : ne faites jamais de nettoyage global (déconnexion de lecteurs réseau, purge de dossiers) au début d'une tâche, il tuerait la tâche voisine.
- Les journaux de tâches disparaissent avec la rétention : archivez ce dont vous avez besoin pour un diagnostic.