Superviser Azure Batch avec KQL et Grafana
Requêtes KQL sur AzureDiagnostics pour les tâches en échec, actives, en attente, le taux de succès, les tâches par job et par application, et leur usage dans Grafana.
Un job planifié qui échoue la nuit sans que personne ne le voie est pire qu'un job qui n'existe pas. Pour Azure Batch, je supervise avec des requêtes KQL sur les journaux de diagnostic, affichées dans Grafana. Voici les requêtes que j'utilise : tâches en échec, tâches actives, tâches bloquées, taux de succès, tâches par job et échecs par application.
Prérequis : envoyer les diagnostics vers Log Analytics
Dans le compte Batch, un paramètre de diagnostic envoie les journaux de service vers un espace Log Analytics. Dans mon cas ils arrivent dans la table AzureDiagnostics (mode « Azure Diagnostics »). Les événements qui m'intéressent sont identifiés par OperationName :
| OperationName | Signification |
|---|---|
TaskStartEvent |
une tâche démarre sur un nœud |
TaskCompleteEvent |
une tâche se termine (succès ou échec) |
TaskScheduleFailEvent |
la tâche n'a pas pu être planifiée sur un nœud |
Colonnes utilisées : ResourceProvider == "MICROSOFT.BATCH", jobId_s, id_s (identifiant de tâche), et le résultat dans AdditionalFields (executionInfo_result : Success ou Failure). Les noms exacts des colonnes dépendent de ce que votre espace a ingéré : vérifiez avec un take 10 avant de bâtir un tableau de bord.
Compter chaque tâche une seule fois
Premier piège : une tâche peut émettre plusieurs événements (retries, nettoyage ultérieur du job). Pour compter proprement, je garde le dernier événement de fin réel par tâche :
let tasks = materialize(
AzureDiagnostics
| where TimeGenerated > ago(30d)
| where ResourceProvider == "MICROSOFT.BATCH"
| where OperationName == "TaskCompleteEvent"
| where isnotnull(executionInfo_startTime_t) // exécution réelle
| extend Result = tostring(parse_json(tostring(AdditionalFields)).executionInfo_result)
| summarize arg_max(TimeGenerated, Result) by Resource, jobId_s, id_s);
Le filtre sur executionInfo_startTime_t écarte les événements de fin sans exécution (par exemple une tâche terminée par le nettoyage d'un job, qui apparaît comme un échec alors qu'elle avait réussi des jours avant).
Taux de succès
tasks
| summarize Total = count(),
Success = countif(Result == "Success"),
Failed = countif(Result == "Failure")
| extend SuccessRate = round(100.0 * Success / Total, 2)
Pour une tendance quotidienne, ajoutez by Day = bin(TimeGenerated, 1d) dans le summarize (après avoir retiré la déduplication ou en la gardant par jour).
Tâches en échec avec le détail
AzureDiagnostics
| where $__timeFilter(TimeGenerated)
| where ResourceProvider == "MICROSOFT.BATCH" and OperationName == "TaskCompleteEvent"
| extend AF = parse_json(tostring(AdditionalFields))
| where tostring(AF.executionInfo_result) == "Failure"
| project TimeGenerated, Job = jobId_s, TaskId = id_s,
ExitCode = tostring(AF.executionInfo_exitCode)
| order by TimeGenerated desc
La colonne du code de sortie peut varier selon l'ingestion ; si elle est absente, affichez simplement la ligne complète.
Tâches actives : démarrées sans fin
AzureDiagnostics
| where $__timeFilter(TimeGenerated)
| where ResourceProvider == "MICROSOFT.BATCH" and OperationName == "TaskStartEvent"
| join kind=leftanti (
AzureDiagnostics
| where TimeGenerated > ago(7d)
| where OperationName == "TaskCompleteEvent"
| project id_s
) on id_s
| summarize StartTime = max(TimeGenerated) by TaskId = id_s, Job = jobId_s
| order by StartTime desc
Piège : la fenêtre de recherche des fins (7 jours) doit être plus large que celle des démarrages, sinon une tâche terminée hors de la plage affichée est comptée comme active.
Tâches en attente : planification en échec
Je regarde le dernier événement connu de chaque tâche ; s'il s'agit d'un échec de planification, la tâche attend toujours un nœud :
AzureDiagnostics
| where TimeGenerated > ago(7d)
| where ResourceProvider == "MICROSOFT.BATCH"
| where OperationName in ("TaskStartEvent", "TaskCompleteEvent", "TaskScheduleFailEvent")
| summarize FailCount = countif(OperationName == "TaskScheduleFailEvent"),
Job = any(jobId_s),
arg_max(TimeGenerated, OperationName) by TaskId = id_s
| where OperationName == "TaskScheduleFailEvent"
| extend MinutesSinceLastAttempt = datetime_diff('minute', now(), TimeGenerated)
Tâches par job et échecs par application
Par job, je garde l'identifiant complet : le tronquer fusionne des jobs distincts.
AzureDiagnostics
| where $__timeFilter(TimeGenerated)
| where ResourceProvider == "MICROSOFT.BATCH" and OperationName == "TaskCompleteEvent"
| extend AF = parse_json(tostring(AdditionalFields))
| summarize Success = countif(tostring(AF.executionInfo_result) == "Success"),
Failed = countif(tostring(AF.executionInfo_result) == "Failure")
by Job = jobId_s
Pour l'application, je m'appuie sur le préfixe de l'identifiant de tâche (convention de nommage) avec startswith, plus fiable qu'une expression régulière :
| extend App = case(
id_s startswith "export-", "export",
id_s startswith "maint-", "maintenance",
id_s startswith "backup-", "backup",
"other")
Dans Grafana
- Source de données Azure Monitor, type « Logs », sur l'espace de travail concerné (la mauvaise paire source/espace renvoie zéro ligne sans erreur).
- Liez la requête au sélecteur de temps avec
$__timeFilter(TimeGenerated)et utilisez$__intervalpourbin(). - Les panneaux « jour/semaine/mois » qui définissent leur propre fenêtre doivent désactiver l'option de temps du tableau de bord sur la cible, sinon la plage du sélecteur plafonne silencieusement la requête.
- Une variable multi-valeur s'interpole comme un glob : écrivez
in (${var:singlequote})plutôt que==.
Retour d'expérience
- Les erreurs Grafana de ce type sont silencieuses : « No data » sans message. Rejouez la requête dans Log Analytics.
- Le délai d'ingestion existe : ne déclenchez pas d'alerte sur la dernière minute.
- La rétention de l'espace limite l'historique du « depuis toujours ».