LLI Wiki — My Digital Knowledge Base

Superviser Azure Batch avec KQL et Grafana

Requêtes KQL sur AzureDiagnostics pour les tâches en échec, actives, en attente, le taux de succès, les tâches par job et par application, et leur usage dans Grafana.

Un job planifié qui échoue la nuit sans que personne ne le voie est pire qu'un job qui n'existe pas. Pour Azure Batch, je supervise avec des requêtes KQL sur les journaux de diagnostic, affichées dans Grafana. Voici les requêtes que j'utilise : tâches en échec, tâches actives, tâches bloquées, taux de succès, tâches par job et échecs par application.

Prérequis : envoyer les diagnostics vers Log Analytics

Dans le compte Batch, un paramètre de diagnostic envoie les journaux de service vers un espace Log Analytics. Dans mon cas ils arrivent dans la table AzureDiagnostics (mode « Azure Diagnostics »). Les événements qui m'intéressent sont identifiés par OperationName :

OperationName Signification
TaskStartEvent une tâche démarre sur un nœud
TaskCompleteEvent une tâche se termine (succès ou échec)
TaskScheduleFailEvent la tâche n'a pas pu être planifiée sur un nœud

Colonnes utilisées : ResourceProvider == "MICROSOFT.BATCH", jobId_s, id_s (identifiant de tâche), et le résultat dans AdditionalFields (executionInfo_result : Success ou Failure). Les noms exacts des colonnes dépendent de ce que votre espace a ingéré : vérifiez avec un take 10 avant de bâtir un tableau de bord.

Compter chaque tâche une seule fois

Premier piège : une tâche peut émettre plusieurs événements (retries, nettoyage ultérieur du job). Pour compter proprement, je garde le dernier événement de fin réel par tâche :

let tasks = materialize(
    AzureDiagnostics
    | where TimeGenerated > ago(30d)
    | where ResourceProvider == "MICROSOFT.BATCH"
    | where OperationName == "TaskCompleteEvent"
    | where isnotnull(executionInfo_startTime_t)       // exécution réelle
    | extend Result = tostring(parse_json(tostring(AdditionalFields)).executionInfo_result)
    | summarize arg_max(TimeGenerated, Result) by Resource, jobId_s, id_s);

Le filtre sur executionInfo_startTime_t écarte les événements de fin sans exécution (par exemple une tâche terminée par le nettoyage d'un job, qui apparaît comme un échec alors qu'elle avait réussi des jours avant).

Taux de succès

tasks
| summarize Total = count(),
            Success = countif(Result == "Success"),
            Failed  = countif(Result == "Failure")
| extend SuccessRate = round(100.0 * Success / Total, 2)

Pour une tendance quotidienne, ajoutez by Day = bin(TimeGenerated, 1d) dans le summarize (après avoir retiré la déduplication ou en la gardant par jour).

Tâches en échec avec le détail

AzureDiagnostics
| where $__timeFilter(TimeGenerated)
| where ResourceProvider == "MICROSOFT.BATCH" and OperationName == "TaskCompleteEvent"
| extend AF = parse_json(tostring(AdditionalFields))
| where tostring(AF.executionInfo_result) == "Failure"
| project TimeGenerated, Job = jobId_s, TaskId = id_s,
          ExitCode = tostring(AF.executionInfo_exitCode)
| order by TimeGenerated desc

La colonne du code de sortie peut varier selon l'ingestion ; si elle est absente, affichez simplement la ligne complète.

Tâches actives : démarrées sans fin

AzureDiagnostics
| where $__timeFilter(TimeGenerated)
| where ResourceProvider == "MICROSOFT.BATCH" and OperationName == "TaskStartEvent"
| join kind=leftanti (
    AzureDiagnostics
    | where TimeGenerated > ago(7d)
    | where OperationName == "TaskCompleteEvent"
    | project id_s
) on id_s
| summarize StartTime = max(TimeGenerated) by TaskId = id_s, Job = jobId_s
| order by StartTime desc

Piège : la fenêtre de recherche des fins (7 jours) doit être plus large que celle des démarrages, sinon une tâche terminée hors de la plage affichée est comptée comme active.

Tâches en attente : planification en échec

Je regarde le dernier événement connu de chaque tâche ; s'il s'agit d'un échec de planification, la tâche attend toujours un nœud :

AzureDiagnostics
| where TimeGenerated > ago(7d)
| where ResourceProvider == "MICROSOFT.BATCH"
| where OperationName in ("TaskStartEvent", "TaskCompleteEvent", "TaskScheduleFailEvent")
| summarize FailCount = countif(OperationName == "TaskScheduleFailEvent"),
            Job = any(jobId_s),
            arg_max(TimeGenerated, OperationName) by TaskId = id_s
| where OperationName == "TaskScheduleFailEvent"
| extend MinutesSinceLastAttempt = datetime_diff('minute', now(), TimeGenerated)

Tâches par job et échecs par application

Par job, je garde l'identifiant complet : le tronquer fusionne des jobs distincts.

AzureDiagnostics
| where $__timeFilter(TimeGenerated)
| where ResourceProvider == "MICROSOFT.BATCH" and OperationName == "TaskCompleteEvent"
| extend AF = parse_json(tostring(AdditionalFields))
| summarize Success = countif(tostring(AF.executionInfo_result) == "Success"),
            Failed  = countif(tostring(AF.executionInfo_result) == "Failure")
          by Job = jobId_s

Pour l'application, je m'appuie sur le préfixe de l'identifiant de tâche (convention de nommage) avec startswith, plus fiable qu'une expression régulière :

| extend App = case(
    id_s startswith "export-",  "export",
    id_s startswith "maint-",   "maintenance",
    id_s startswith "backup-",  "backup",
    "other")

Dans Grafana

Retour d'expérience

Mastodon LLIMastodon SocialFosstodon