LLI Wiki — My Digital Knowledge Base

Pipelines planifiés pour la maintenance SQL et les exports : cron, UTC et un seul ordonnanceur

Planifications cron, always false, fuseaux horaires UTC, éviter deux ordonnanceurs sur le même travail, retrait sûr d'un ancien pipeline et processus de release.

Une bonne partie de la maintenance SQL et des exports nocturnes tourne chez moi sur des pipelines planifiés Azure DevOps : un rapport tous les matins, un job horaire qui crée des tâches Batch, un export de nuit. C'est simple jusqu'au jour où deux ordonnanceurs lancent le même travail. Voici mes règles.

Un pipeline planifié minimal

trigger: none          # jamais déclenché par un push

schedules:
  - cron: "35 18 * * *"
    displayName: "Nightly export at 18:35 UTC"
    branches:
      include:
        - main
    always: true

pool:
  name: pool-dba-agents

jobs:
  - job: Run
    steps:
      - pwsh: ./Invoke-NightlyExport.ps1 -Environment prd

trigger: none est important : sinon un simple push lancerait un export de production.

Cron et fuseau horaire

La syntaxe cron a cinq champs : minute, heure, jour du mois, mois, jour de semaine. Dans le YAML, l'heure est toujours en UTC. Il n'y a pas de fuseau local ni de passage heure d'été/heure d'hiver : un job à 0 5 * * * tourne à 05:00 UTC, soit 06:00 ou 07:00 à Bruxelles selon la saison. J'écris donc l'heure UTC dans le displayName pour que personne ne se trompe en lisant l'interface.

Besoin Cron (UTC)
Rapport quotidien avant l'arrivée de l'équipe 0 5 * * *
Planificateur horaire 30 * * * *
Export de nuit 35 18 * * *

always: false et always: true

Planificateur qui crée des tâches Batch

Pour la maintenance SQL, un pipeline horaire interroge une table de plannings, puis crée des jobs et tâches Azure Batch pour les bases dont l'heure est arrivée. Le pipeline ne fait pas la maintenance : il ordonnance. Avantages : le parallélisme est borné côté Batch (nombre de tâches simultanées par job), les échecs sont isolés par base, et un paramètre « base précise » permet de relancer un cas à la main.

Pour les exports, je calcule l'horodatage une seule fois avant la boucle de tentatives : une nouvelle tentative réutilise les mêmes identifiants de tâche au lieu d'exporter deux fois.

Ne jamais avoir deux ordonnanceurs

C'est le piège le plus coûteux. Quand je remplace un ancien pipeline par un nouveau (migration d'un dépôt autonome vers le monorepo, par exemple) :

flowchart TD
    A["Nouveau pipeline créé"] --> B["Créé DÉSACTIVÉ"]
    B --> C["Test manuel en staging"]
    C --> D["Ancien pipeline désactivé"]
    D --> E["Nouveau pipeline activé"]
    E --> F["Vérifier la 1re exécution planifiée"]
    F --> G["Ancien déplacé dans un dossier retired"]
  1. Un pipeline dont le YAML contient schedules se met à tirer dès qu'il existe. Je le crée donc désactivé.
  2. Je désactive l'ancien avant d'activer le nouveau, jamais l'inverse.
  3. J'écris la règle en tête du YAML (« ne jamais réactiver l'ancien ») et je le range dans un dossier explicite.
  4. Azure DevOps n'a pas d'archivage de pipeline : « désactivé + déplacé + commentaire » en tient lieu.

Conséquences réelles d'un double ordonnancement : deux exports du même client qui suppriment mutuellement leurs procédures, ou deux traitements qui effacent les fichiers que lit un outil aval.

Processus de release

Je sépare deux flux : le build sur main (cibles « courantes ») et la release sur tag (cibles versionnées). La release d'une application se fait après merge : changelog, tag AAAA.M.N, déploiement du package, puis seulement mise à jour de la documentation. Les pipelines qui écrivent dans un système externe ou en production gardent un dry-run par défaut ; l'écriture est un paramètre explicite.

Retour d'expérience

Mastodon LLIMastodon SocialFosstodon