LLI Wiki — My Digital Knowledge Base

Packager une application PowerShell pour Azure Batch

ZIP versionné, script d'enveloppe de tâche, variables d'environnement, configuration par environnement fusionnée au build, retries et fan-out d'une tâche par base.

Une tâche Azure Batch n'est qu'une ligne de commande exécutée sur un nœud. Tout l'art consiste à lui fournir, de façon reproductible, le bon code, la bonne configuration et les bons paramètres. Voici comment je package une application PowerShell pour Batch, avec versions, configuration par environnement, retries et fan-out d'une tâche par base.

Le package : un ZIP versionné

Un application package est un ZIP que Batch télécharge et extrait sur chaque nœud qui en a besoin. Ma structure est toujours la même :

app-prd-2026.4.1.zip
├── applications/
│   └── myapp/            # script principal, fonctions, SQL
├── modules/              # modules PowerShell partagés
├── config/
│   └── config.json       # configuration fusionnée, une seule
├── tasks/
│   ├── run-export.ps1    # points d'entrée Batch
│   └── run-cleanup.ps1
└── version.txt

Règles que je m'impose :

La version

Je versionne avec un tag Git AAAA.M.N (année, mois, incrément dans le mois). Le script de build lit le dernier tag, valide son format par expression régulière, et retombe sur 0.0.0 s'il est invalide :

$tag = git -C $repoPath tag --sort=-version:refname | Select-Object -First 1
$version = if ($tag -match '^\d{4}\.\d{1,2}\.\d+$') { $tag } else { '0.0.0' }
$zipName = "myapp-$Environment-$version.zip"

Le nom du ZIP contient l'environnement et la version ; une copie -latest et un fichier version-resolved.txt servent au pipeline de déploiement. Le ZIP est ensuite envoyé comme application package avec la même version, ce qui permet de revenir en arrière en changeant simplement la version référencée.

Une configuration par environnement, fusionnée au build

Deux fichiers sources : config-common.json (valeurs partagées) et config-<env>.json (surcharges). Le build les fusionne, l'environnement l'emportant, et écrit un seul config/config.json dans le ZIP :

$merged = @{}
foreach ($file in @($commonPath, $envPath)) {
    $json = Get-Content $file -Raw | ConvertFrom-Json
    foreach ($p in $json.PSObject.Properties) { $merged[$p.Name] = $p.Value }
}
$merged | ConvertTo-Json -Depth 10 | Set-Content (Join-Path $stagingRoot 'config/config.json')

La fusion est superficielle (par clé de premier niveau) : une section imbriquée est remplacée en bloc. Piège : la configuration voyage dans le ZIP, donc la modifier impose de redéployer. Pour ce qui doit changer sans redéploiement, je préfère un paramètre de pipeline.

Le script d'enveloppe de tâche

Le script de tasks/ est un mince adaptateur : il retrouve la racine du package, journalise, délègue au script applicatif et renvoie son code de sortie. Batch lit ce code pour décider du succès.

param([Parameter(Mandatory)][string]$Environment,
      [Parameter(Mandatory)][string]$Server,
      [Parameter(Mandatory)][string]$Database)

$ErrorActionPreference = 'Stop'
$root = (Get-Item 'Env:AZ_BATCH_APP_PACKAGE_myapp' -ErrorAction SilentlyContinue)?.Value
if (-not $root) { $root = Split-Path -Parent $PSScriptRoot }   # test local

try {
    & pwsh -NoProfile -File "$root/applications/myapp/main.ps1" `
        -Environment $Environment -Server $Server -Database $Database `
        -ConfigPath "$root/config"
    exit $LASTEXITCODE
}
catch { Write-Output "FATAL: $($_.Exception.Message)"; exit 1 }

Le nom exact de la variable AZ_BATCH_APP_PACKAGE_* dépend de l'identifiant et de la version du package : vérifiez-le sur un nœud. La présence de cette variable me sert aussi à distinguer une vraie exécution Batch d'un test local, pour choisir la bonne identité.

Fan-out : une tâche par base

Un script par base, lancé en parallèle, plutôt qu'une boucle dans un seul script : un échec reste isolé, se réessaie seul et se voit dans les métriques. Le pipeline interroge l'inventaire et soumet les tâches :

foreach ($db in $databases) {
    $token  = ($db.Name.ToLower() -replace '[^a-z0-9]', '-')
    $taskId = "export-$token-$(Get-Date -Format yyyyMMddHHmmss)"
    $cmd = "pwsh -NoProfile -File tasks/run-export.ps1 -Environment prd " +
           "-Server $($db.Server) -Database $($db.Name)"
    # soumission de la tâche $taskId avec la ligne de commande $cmd
}

Le préfixe de l'identifiant de tâche (export-, cleanup-) identifie l'application dans les requêtes de supervision ; l'identifiant est limité en longueur et en caractères, donc normalisez le nom de base.

Retries

Batch sait relancer une tâche en échec (nombre maximal de tentatives dans les contraintes de la tâche). Mais un retry n'est utile que si le script est idempotent : nettoyer les fichiers du passage précédent, ne pas laisser de demi-résultats. Je traite aussi la reprise côté sélection : la requête qui choisit les bases reprend celles qui ont échoué récemment sans succès depuis.

Retour d'expérience

Mastodon LLIMastodon SocialFosstodon