Triage d'un traitement planifié en échec : une méthode en six étapes
Où lire le statut et les logs, regrouper les erreurs, distinguer transitoire et défaut, relancer sans danger et savoir quand ouvrir un ticket.
Un mail rouge à 7 h du matin : « 119 échecs ». Le réflexe est de relancer ou de paniquer. Mon réflexe, après quelques mauvaises expériences, est d'appliquer toujours la même méthode, dans le même ordre. Elle s'applique à tout traitement planifié : tâche Batch, pipeline, job nocturne, file d'attente de traitements.
Le principe
Diagnostiquer ne nécessite jamais d'écriture. On lit, on regroupe, on décide, et seulement ensuite on agit. Une relance d'un script destructeur (suppression de base, bascule, correction SQL) est toujours la décision de son propriétaire, jamais un réflexe.
flowchart TD
A["Alerte ou mail rouge"] --> B["Lire la table de statut, pas le mail"]
B --> C["Regrouper par motif d'erreur, serveur, fenêtre de temps"]
C --> D{"Un motif connu ?"}
D -->|oui| E["Appliquer la correction documentée"]
D -->|non| F["Vérifier ce qui a changé en dessous"]
F --> G{"Transitoire ?"}
G -->|oui| H{"Relance sûre ?"}
H -->|oui| I["Relancer, vérifier le résultat"]
H -->|non| J["Demander au propriétaire"]
G -->|non| K{"Changement d'un tiers ?"}
K -->|oui| L["Prévenir le propriétaire"]
K -->|non| M["Défaut : test puis correctif, entrée dans la base d'erreurs"]
1. Où est le statut ?
Le mail résume, la table de statut détaille : une ligne par exécution, avec le texte d'erreur complet. Chaque traitement devrait écrire son état (début, fin, message) dans une table centrale. C'est la vérité ; le code de sortie du processus ne l'est pas : une tâche Batch peut se terminer en « succès » alors que la maintenance qu'elle pilotait a échoué.
2. Où sont les logs ?
- Exécution locale : dossier de journaux par application et environnement (
.log,.err,.warn). - Pipeline : journaux publiés comme artefacts de build.
- Batch : seul le journal d'enveloppe est envoyé au stockage à la fin de la tâche ;
stdoutetstderrrestent sur le nœud. - Rétention : tâches et fichiers de nœud supprimés après quelques jours, journaux de stockage purgés, Log Analytics à 30 ou 90 jours. Récupérer ce dont on a besoin avant qu'il disparaisse.
3. Regrouper les erreurs
C'est l'étape qui change tout. Normaliser le message, puis GROUP BY :
SELECT CASE
WHEN ErrorMessage LIKE '%was not found%' THEN 'NOT FOUND'
WHEN ErrorMessage LIKE '%timeout%' THEN 'TIMEOUT'
WHEN ErrorMessage LIKE '%login failed%' THEN 'AUTH'
ELSE LEFT(ErrorMessage, 60)
END AS pattern,
COUNT(*) AS runs, COUNT(DISTINCT ServerName) AS servers,
MIN(StartTime) AS first_seen, MAX(StartTime) AS last_seen
FROM dbo.RunStatus
WHERE Status = 'Failed' AND StartTime >= DATEADD(DAY, -1, SYSUTCDATETIME())
GROUP BY CASE
WHEN ErrorMessage LIKE '%was not found%' THEN 'NOT FOUND'
WHEN ErrorMessage LIKE '%timeout%' THEN 'TIMEOUT'
WHEN ErrorMessage LIKE '%login failed%' THEN 'AUTH'
ELSE LEFT(ErrorMessage, 60) END
ORDER BY runs DESC;
Règle d'or : un motif sur un serveur en quelques minutes est une cause, pas N pannes. Une centaine d'échecs en six minutes, c'est typiquement un serveur supprimé.
4. Transitoire ou pas ?
Vérifier, dans cet ordre, ce qui a changé en dessous :
- Le parc : ressource supprimée, renommée, basculée ? Resource Graph, journal d'activité, dernière collecte de l'inventaire.
- La base elle-même : changement de schéma ou de permission.
- La plateforme : maintenance Azure, pare-feu, quota.
- Le code : dernière version déployée et son journal des modifications.
| Signal | Probablement |
|---|---|
| Timeout, connexion coupée, basculement en cours | Transitoire |
| Même erreur, même base, chaque nuit | Problème de la base, pas de la plateforme |
| « Introuvable » juste après une suppression | Retard d'inventaire |
| Erreur d'authentification soudaine | Changement de permission ou d'identité |
5. Relancer sans danger
Une relance est sûre si elle est idempotente et que l'on sait ce qu'elle touche. Avant de relancer : l'ancienne exécution est-elle bien terminée ? Un processus tué laisse sa ligne ouverte (InProgress, Running) ; ne pas relancer par-dessus sans la fermer, à la main, en prévisualisant d'abord, en journée.
6. Quand ouvrir un ticket ?
- Un tiers a changé quelque chose (suppression, permission, pare-feu) : prévenir son propriétaire, il n'y a rien à corriger chez soi.
- Un défaut dans notre code : correctif avec son test, puis une entrée dans la base d'erreurs si cela peut revenir.
- Une panne de plateforme persistante : ticket au fournisseur, avec le motif, la fenêtre et les preuves.
Le rapport final tient en une ligne par motif : nombre, serveurs, fenêtre, cause et preuve, transitoire ou non, action, responsable.
Retour d'expérience
- Un « succès » du planificateur ne prouve rien : lire la table de statut.
- Les mails et les tables n'emploient pas toujours les mêmes mots ; se fier à la table.
- Un échec chaque nuit sur la même base est un problème de cette base.
- Un document qui m'a induit en erreur (nom de journal, paramètre) se corrige dans la foulée.