LLI Wiki — My Digital Knowledge Base

Alertes Azure Monitor as code pour Azure SQL et Azure Batch

Définir des alertes de métrique et de recherche dans les journaux dans des fichiers Bicep versionnés, les déployer par pipeline, gérer les maintenances et éviter la fatigue d'alertes.

Une alerte créée à la main dans le portail, c'est une alerte que personne ne relit, que personne ne peut comparer entre deux environnements et que l'on perd au premier changement de souscription. Pour surveiller Azure SQL (bases et pools élastiques) et Azure Batch, je définis donc toutes mes alertes dans des fichiers versionnés et je les déploie par pipeline. Voici ma façon de faire.

Vue d'ensemble

flowchart LR
    A["Git (fichiers Bicep / JSON)"] --> B["Pull request + revue"]
    B --> C["Pipeline (what-if puis déploiement)"]
    C --> D["Azure Monitor : règles d'alerte"]
    D --> E["Alerte déclenchée"]
    E --> F["Règle de traitement (maintenance ?)"]
    F --> G["Groupe d'actions"]
    G --> H["Personne d'astreinte"]

Le point important : la règle de traitement des alertes (maintenance) se situe après le déclenchement et avant la notification. L'alerte existe toujours dans Azure Monitor, seule la notification est supprimée.

Alerte de métrique ou alerte de recherche dans les journaux ?

Alerte de métrique Alerte de recherche (scheduled query)
Source Métriques de plateforme Requête KQL sur Log Analytics
Latence Faible, évaluation à la minute Plus élevée (ingestion + fréquence)
Souplesse Seuil sur une métrique, dimensions Jointures, calculs, tout ce que KQL permet
Type de ressource Microsoft.Insights/metricAlerts Microsoft.Insights/scheduledQueryRules

Ma règle : métrique d'abord (CPU, sessions, stockage d'un pool, échecs de tâches Batch), requête KQL seulement quand la métrique ne suffit pas (agrégation personnalisée, corrélation de plusieurs signaux).

Un groupe d'actions

resource ag 'Microsoft.Insights/actionGroups@2023-01-01' = {
  name: 'ag-dba-oncall'
  location: 'global'
  properties: {
    groupShortName: 'dba-oncall'
    enabled: true
    emailReceivers: [
      { name: 'oncall', emailAddress: 'dba@contoso.com', useCommonAlertSchema: true }
    ]
  }
}

Un groupe d'actions par niveau d'escalade, jamais un par alerte.

Alerte de métrique sur un pool élastique

param poolId string
param actionGroupId string

resource cpu 'Microsoft.Insights/metricAlerts@2018-03-01' = {
  name: 'sql-elp-cpu-warning'
  location: 'global'
  properties: {
    description: 'Elastic pool CPU above threshold'
    severity: 2
    enabled: true
    scopes: [ poolId ]
    evaluationFrequency: 'PT5M'
    windowSize: 'PT15M'
    autoMitigate: true
    criteria: {
      'odata.type': 'Microsoft.Azure.Monitor.SingleResourceMultipleMetricCriteria'
      allOf: [
        {
          criterionType: 'StaticThresholdCriterion'
          name: 'cpu'
          metricNamespace: 'Microsoft.Sql/servers/elasticPools'
          metricName: 'cpu_percent'
          operator: 'GreaterThan'
          threshold: 80
          timeAggregation: 'Average'
        }
      ]
    }
    actions: [ { actionGroupId: actionGroupId } ]
  }
}

Pour Batch, la métrique TaskFailEvent (Total, dimensions poolId et jobId) du compte Batch s'utilise de la même façon avec une agrégation Total.

Alerte de recherche (KQL)

resource deadlocks 'Microsoft.Insights/scheduledQueryRules@2022-06-15' = {
  name: 'sql-deadlock-warning'
  location: location
  kind: 'LogAlert'
  properties: {
    displayName: 'SQL deadlocks'
    severity: 3
    enabled: true
    scopes: [ workspaceId ]
    evaluationFrequency: 'PT15M'
    windowSize: 'PT15M'
    autoMitigate: true
    muteActionsDuration: 'PT1H'
    criteria: {
      allOf: [
        {
          query: 'AzureMetrics | where ResourceProvider == "MICROSOFT.SQL" and MetricName == "deadlock" | where Total > 0'
          timeAggregation: 'Count'
          operator: 'GreaterThan'
          threshold: 3
          failingPeriods: { numberOfEvaluationPeriods: 1, minFailingPeriodsToAlert: 1 }
        }
      ]
    }
    actions: { actionGroups: [ actionGroupId ] }
  }
}

Fenêtres de maintenance : règle de traitement

Désactiver les alertes pendant une maintenance est fragile : on oublie de les réactiver. Une règle de traitement (Microsoft.AlertsManagement/actionRules) supprime les notifications selon un calendrier :

resource quiet 'Microsoft.AlertsManagement/actionRules@2021-08-08' = {
  name: 'apr-maintenance-weekly'
  location: 'global'
  properties: {
    scopes: [ resourceGroup().id ]
    enabled: true
    actions: [ { actionType: 'RemoveAllActionGroups' } ]
    schedule: {
      timeZone: 'Romance Standard Time'
      recurrences: [
        { recurrenceType: 'Weekly', daysOfWeek: [ 'Sunday' ], startTime: '02:00:00', endTime: '05:00:00' }
      ]
    }
  }
}

Conventions de nommage et de sévérité

Déploiement par pipeline

steps:
  - task: AzureCLI@2
    displayName: What-if
    inputs:
      azureSubscription: 'sc-dba-monitoring'
      scriptType: 'pscore'
      scriptLocation: 'inlineScript'
      inlineScript: |
        az deployment group what-if -g rg-dba-prd -f alerts/main.bicep -p alerts/prd.bicepparam
  - task: AzureCLI@2
    displayName: Deploy
    condition: eq(variables['Build.SourceBranch'], 'refs/heads/main')
    inputs:
      azureSubscription: 'sc-dba-monitoring'
      scriptType: 'pscore'
      scriptLocation: 'inlineScript'
      inlineScript: |
        az deployment group create -g rg-dba-prd -f alerts/main.bicep -p alerts/prd.bicepparam

Le what-if tourne sur chaque pull request, le déploiement seulement sur main.

Éviter la fatigue d'alertes

Tester une alerte

  1. En dev, mettre temporairement un seuil bas via le fichier de paramètres et déployer.
  2. Utiliser la fonction « Tester le groupe d'actions » du portail pour valider le canal de notification.
  3. Vérifier la requête KQL seule dans Log Analytics avant de l'intégrer.
  4. Contrôler qu'une règle de traitement ne masque pas le test (portée et calendrier).

Retour d'expérience

Mastodon LLIMastodon SocialFosstodon