LLI Wiki — My Digital Knowledge Base

Automatiser la mise en production d'une base Azure SQL avec une file de demandes

File de demandes, création dans le bon pool élastique, groupe de basculement, utilisateurs, tags, inventaire et rapport, avec des étapes idempotentes et reprenables.

Mettre une nouvelle base en production semble simple : la créer, l'ajouter au groupe de basculement, donner les accès. En réalité ce sont une dizaine de petites actions sur plusieurs ressources, et chacune peut échouer à mi-chemin. À la main, deux bases ne sont jamais configurées exactement pareil. J'ai remplacé la check-list manuelle par un workflow piloté par une file d'attente, dont chaque étape peut être rejouée sans risque.

L'idée

Une demande est une ligne dans une table de file : qui l'a faite, quelle source, quel environnement cible, un statut. Un script « processeur » lit les lignes en attente et exécute le workflow pour une demande à la fois. Le processeur est planifié ; le script de workflow peut aussi être lancé à la main pour une demande, avec un paramètre pour reprendre à une étape donnée.

flowchart TD
    Q["File de demandes (table SQL)"] --> P["Processeur de file"]
    P --> W["Script de workflow (une demande)"]
    W --> S1["1. Valider la demande et la source"]
    S1 --> S2["2. Choisir le pool élastique"]
    S2 --> S3["3. Créer la base dans le pool"]
    S3 --> S4["4. Ajouter au groupe de basculement"]
    S4 --> S5["5. Utilisateurs et rôles"]
    S5 --> S6["6. Tags et diagnostics"]
    S6 --> S7["7. Mise à jour de l'inventaire"]
    S7 --> R["Mail de rapport + statut"]
    W -. "-StartFromStep n" .-> S4

Des étapes idempotentes

Toute la conception repose sur une règle : chaque étape regarde d'abord l'état actuel et ne fait que ce qui manque. Une étape n'est jamais « créer », c'est « s'assurer que ».

Étape Vérification avant d'agir Action si absent
Créer la base Get-AzSqlDatabase la trouve-t-il ? New-AzSqlDatabase -ElasticPoolName ...
Groupe de basculement La base est-elle dans la liste du groupe ? Add-AzSqlDatabaseToFailoverGroup
Utilisateurs et rôles sys.database_principals / appartenance aux rôles CREATE USER ... FROM EXTERNAL PROVIDER, ALTER ROLE ... ADD MEMBER
Tags Comparer avec le jeu attendu fusionner, ne jamais écraser les tags d'autres équipes
Inventaire Une ligne existe pour cette base ? INSERT ou UPDATE
function Confirm-DatabaseInFailoverGroup {
    param($Rg, $Server, $Fog, $DbName)
    $fog = Get-AzSqlDatabaseFailoverGroup -ResourceGroupName $Rg -ServerName $Server -FailoverGroupName $Fog
    if ($fog.DatabaseNames -contains $DbName) {
        Write-Information "Déjà dans $Fog, rien à faire"
        return
    }
    $db = Get-AzSqlDatabase -ResourceGroupName $Rg -ServerName $Server -DatabaseName $DbName
    Add-AzSqlDatabaseToFailoverGroup -ResourceGroupName $Rg -ServerName $Server `
        -FailoverGroupName $Fog -Database $db | Out-Null
}

L'étape utilisateurs suit le même principe en T-SQL : IF NOT EXISTS (SELECT 1 FROM sys.database_principals WHERE name = N'app_user') CREATE USER .... L'appartenance à un rôle est testée avec IS_ROLEMEMBER avant ALTER ROLE.

Choisir le pool

Le pool est choisi par une règle, pas par une personne : parmi les pools du bon serveur qui ont encore de la place, on prend celui qui a le moins de bases, ou le moins de stockage utilisé, selon un seuil du fichier de configuration. La règle vit en configuration, donc elle change sans toucher au code. Un mode simulation affiche le pool retenu et s'arrête.

Reprise et nouvelles tentatives

Chaque étape s'annonce (Étape 4 sur 7) et le processeur accepte une étape de départ. Quand un run échoue à l'étape 5, je corrige la cause et relance la même demande à partir de l'étape 5. Comme les étapes sont idempotentes, repartir de l'étape 1 fonctionnerait aussi, en plus lent. Les erreurs Azure transitoires sont retentées un nombre limité de fois avec un délai croissant ; toute autre erreur arrête le run et part dans le rapport.

Un échec ne bloque pas la file : la demande est marquée en erreur avec la raison, et le processeur passe à la suivante. Un plafond du nombre de demandes par run limite les dégâts d'un bug.

Rapport

Chaque run se termine par un mail HTML (construit par un module partagé) qui liste chaque demande, son statut final et l'étape en échec, avec le journal en pièce jointe. La ligne de file reçoit le même statut. Le mail n'est envoyé que s'il y a eu du travail, pour qu'une file vide ne fasse pas de bruit.

Retour d'expérience

Mastodon LLIMastodon SocialFosstodon