LLI Wiki — My Digital Knowledge Base

Triage d'un traitement planifié en échec : une méthode en six étapes

Où lire le statut et les logs, regrouper les erreurs, distinguer transitoire et défaut, relancer sans danger et savoir quand ouvrir un ticket.

Un mail rouge à 7 h du matin : « 119 échecs ». Le réflexe est de relancer ou de paniquer. Mon réflexe, après quelques mauvaises expériences, est d'appliquer toujours la même méthode, dans le même ordre. Elle s'applique à tout traitement planifié : tâche Batch, pipeline, job nocturne, file d'attente de traitements.

Le principe

Diagnostiquer ne nécessite jamais d'écriture. On lit, on regroupe, on décide, et seulement ensuite on agit. Une relance d'un script destructeur (suppression de base, bascule, correction SQL) est toujours la décision de son propriétaire, jamais un réflexe.

flowchart TD
    A["Alerte ou mail rouge"] --> B["Lire la table de statut, pas le mail"]
    B --> C["Regrouper par motif d'erreur, serveur, fenêtre de temps"]
    C --> D{"Un motif connu ?"}
    D -->|oui| E["Appliquer la correction documentée"]
    D -->|non| F["Vérifier ce qui a changé en dessous"]
    F --> G{"Transitoire ?"}
    G -->|oui| H{"Relance sûre ?"}
    H -->|oui| I["Relancer, vérifier le résultat"]
    H -->|non| J["Demander au propriétaire"]
    G -->|non| K{"Changement d'un tiers ?"}
    K -->|oui| L["Prévenir le propriétaire"]
    K -->|non| M["Défaut : test puis correctif, entrée dans la base d'erreurs"]

1. Où est le statut ?

Le mail résume, la table de statut détaille : une ligne par exécution, avec le texte d'erreur complet. Chaque traitement devrait écrire son état (début, fin, message) dans une table centrale. C'est la vérité ; le code de sortie du processus ne l'est pas : une tâche Batch peut se terminer en « succès » alors que la maintenance qu'elle pilotait a échoué.

2. Où sont les logs ?

3. Regrouper les erreurs

C'est l'étape qui change tout. Normaliser le message, puis GROUP BY :

SELECT CASE
         WHEN ErrorMessage LIKE '%was not found%'  THEN 'NOT FOUND'
         WHEN ErrorMessage LIKE '%timeout%'        THEN 'TIMEOUT'
         WHEN ErrorMessage LIKE '%login failed%'   THEN 'AUTH'
         ELSE LEFT(ErrorMessage, 60)
       END AS pattern,
       COUNT(*) AS runs, COUNT(DISTINCT ServerName) AS servers,
       MIN(StartTime) AS first_seen, MAX(StartTime) AS last_seen
FROM dbo.RunStatus
WHERE Status = 'Failed' AND StartTime >= DATEADD(DAY, -1, SYSUTCDATETIME())
GROUP BY CASE
         WHEN ErrorMessage LIKE '%was not found%'  THEN 'NOT FOUND'
         WHEN ErrorMessage LIKE '%timeout%'        THEN 'TIMEOUT'
         WHEN ErrorMessage LIKE '%login failed%'   THEN 'AUTH'
         ELSE LEFT(ErrorMessage, 60) END
ORDER BY runs DESC;

Règle d'or : un motif sur un serveur en quelques minutes est une cause, pas N pannes. Une centaine d'échecs en six minutes, c'est typiquement un serveur supprimé.

4. Transitoire ou pas ?

Vérifier, dans cet ordre, ce qui a changé en dessous :

  1. Le parc : ressource supprimée, renommée, basculée ? Resource Graph, journal d'activité, dernière collecte de l'inventaire.
  2. La base elle-même : changement de schéma ou de permission.
  3. La plateforme : maintenance Azure, pare-feu, quota.
  4. Le code : dernière version déployée et son journal des modifications.
Signal Probablement
Timeout, connexion coupée, basculement en cours Transitoire
Même erreur, même base, chaque nuit Problème de la base, pas de la plateforme
« Introuvable » juste après une suppression Retard d'inventaire
Erreur d'authentification soudaine Changement de permission ou d'identité

5. Relancer sans danger

Une relance est sûre si elle est idempotente et que l'on sait ce qu'elle touche. Avant de relancer : l'ancienne exécution est-elle bien terminée ? Un processus tué laisse sa ligne ouverte (InProgress, Running) ; ne pas relancer par-dessus sans la fermer, à la main, en prévisualisant d'abord, en journée.

6. Quand ouvrir un ticket ?

Le rapport final tient en une ligne par motif : nombre, serveurs, fenêtre, cause et preuve, transitoire ou non, action, responsable.

Retour d'expérience

Mastodon LLIMastodon SocialFosstodon