Alertes Azure Monitor as code pour Azure SQL et Azure Batch
Définir des alertes de métrique et de recherche dans les journaux dans des fichiers Bicep versionnés, les déployer par pipeline, gérer les maintenances et éviter la fatigue d'alertes.
Une alerte créée à la main dans le portail, c'est une alerte que personne ne relit, que personne ne peut comparer entre deux environnements et que l'on perd au premier changement de souscription. Pour surveiller Azure SQL (bases et pools élastiques) et Azure Batch, je définis donc toutes mes alertes dans des fichiers versionnés et je les déploie par pipeline. Voici ma façon de faire.
Vue d'ensemble
flowchart LR
A["Git (fichiers Bicep / JSON)"] --> B["Pull request + revue"]
B --> C["Pipeline (what-if puis déploiement)"]
C --> D["Azure Monitor : règles d'alerte"]
D --> E["Alerte déclenchée"]
E --> F["Règle de traitement (maintenance ?)"]
F --> G["Groupe d'actions"]
G --> H["Personne d'astreinte"]
Le point important : la règle de traitement des alertes (maintenance) se situe après le déclenchement et avant la notification. L'alerte existe toujours dans Azure Monitor, seule la notification est supprimée.
Alerte de métrique ou alerte de recherche dans les journaux ?
| Alerte de métrique | Alerte de recherche (scheduled query) | |
|---|---|---|
| Source | Métriques de plateforme | Requête KQL sur Log Analytics |
| Latence | Faible, évaluation à la minute | Plus élevée (ingestion + fréquence) |
| Souplesse | Seuil sur une métrique, dimensions | Jointures, calculs, tout ce que KQL permet |
| Type de ressource | Microsoft.Insights/metricAlerts |
Microsoft.Insights/scheduledQueryRules |
Ma règle : métrique d'abord (CPU, sessions, stockage d'un pool, échecs de tâches Batch), requête KQL seulement quand la métrique ne suffit pas (agrégation personnalisée, corrélation de plusieurs signaux).
Un groupe d'actions
resource ag 'Microsoft.Insights/actionGroups@2023-01-01' = {
name: 'ag-dba-oncall'
location: 'global'
properties: {
groupShortName: 'dba-oncall'
enabled: true
emailReceivers: [
{ name: 'oncall', emailAddress: 'dba@contoso.com', useCommonAlertSchema: true }
]
}
}
Un groupe d'actions par niveau d'escalade, jamais un par alerte.
Alerte de métrique sur un pool élastique
param poolId string
param actionGroupId string
resource cpu 'Microsoft.Insights/metricAlerts@2018-03-01' = {
name: 'sql-elp-cpu-warning'
location: 'global'
properties: {
description: 'Elastic pool CPU above threshold'
severity: 2
enabled: true
scopes: [ poolId ]
evaluationFrequency: 'PT5M'
windowSize: 'PT15M'
autoMitigate: true
criteria: {
'odata.type': 'Microsoft.Azure.Monitor.SingleResourceMultipleMetricCriteria'
allOf: [
{
criterionType: 'StaticThresholdCriterion'
name: 'cpu'
metricNamespace: 'Microsoft.Sql/servers/elasticPools'
metricName: 'cpu_percent'
operator: 'GreaterThan'
threshold: 80
timeAggregation: 'Average'
}
]
}
actions: [ { actionGroupId: actionGroupId } ]
}
}
Pour Batch, la métrique TaskFailEvent (Total, dimensions poolId et jobId) du compte Batch s'utilise de la même façon avec une agrégation Total.
Alerte de recherche (KQL)
resource deadlocks 'Microsoft.Insights/scheduledQueryRules@2022-06-15' = {
name: 'sql-deadlock-warning'
location: location
kind: 'LogAlert'
properties: {
displayName: 'SQL deadlocks'
severity: 3
enabled: true
scopes: [ workspaceId ]
evaluationFrequency: 'PT15M'
windowSize: 'PT15M'
autoMitigate: true
muteActionsDuration: 'PT1H'
criteria: {
allOf: [
{
query: 'AzureMetrics | where ResourceProvider == "MICROSOFT.SQL" and MetricName == "deadlock" | where Total > 0'
timeAggregation: 'Count'
operator: 'GreaterThan'
threshold: 3
failingPeriods: { numberOfEvaluationPeriods: 1, minFailingPeriodsToAlert: 1 }
}
]
}
actions: { actionGroups: [ actionGroupId ] }
}
}
Fenêtres de maintenance : règle de traitement
Désactiver les alertes pendant une maintenance est fragile : on oublie de les réactiver. Une règle de traitement (Microsoft.AlertsManagement/actionRules) supprime les notifications selon un calendrier :
resource quiet 'Microsoft.AlertsManagement/actionRules@2021-08-08' = {
name: 'apr-maintenance-weekly'
location: 'global'
properties: {
scopes: [ resourceGroup().id ]
enabled: true
actions: [ { actionType: 'RemoveAllActionGroups' } ]
schedule: {
timeZone: 'Romance Standard Time'
recurrences: [
{ recurrenceType: 'Weekly', daysOfWeek: [ 'Sunday' ], startTime: '02:00:00', endTime: '05:00:00' }
]
}
}
}
Conventions de nommage et de sévérité
- Nom :
<domaine>-<portée>-<signal>-<niveau>, par exemplesql-elp-cpu-warning. Un nom prévisible se filtre et se cible dans les règles de traitement. - Sévérité : 0 critique et 1 erreur réveillent quelqu'un ; 2 avertissement et 3 information vont dans un canal, jamais sur un téléphone la nuit.
- Étiquettes (
tags) : environnement et propriétaire sur chaque règle.
Déploiement par pipeline
steps:
- task: AzureCLI@2
displayName: What-if
inputs:
azureSubscription: 'sc-dba-monitoring'
scriptType: 'pscore'
scriptLocation: 'inlineScript'
inlineScript: |
az deployment group what-if -g rg-dba-prd -f alerts/main.bicep -p alerts/prd.bicepparam
- task: AzureCLI@2
displayName: Deploy
condition: eq(variables['Build.SourceBranch'], 'refs/heads/main')
inputs:
azureSubscription: 'sc-dba-monitoring'
scriptType: 'pscore'
scriptLocation: 'inlineScript'
inlineScript: |
az deployment group create -g rg-dba-prd -f alerts/main.bicep -p alerts/prd.bicepparam
Le what-if tourne sur chaque pull request, le déploiement seulement sur main.
Éviter la fatigue d'alertes
- Fenêtre et périodes d'échec : un pic de 5 minutes n'est pas un incident. Évaluer toutes les 5 minutes sur 15 minutes, ou exiger plusieurs périodes en échec.
- Fréquence adaptée au signal : évaluer chaque minute une métrique qui évolue en heures coûte et bruite.
autoMitigate: true: l'alerte se résout seule quand le signal revient à la normale, ce qui évite de fermer des alertes à la main.muteActionsDurationsur les alertes de recherche : une seule notification par période.- Deux niveaux (avertissement, critique) sur le même signal, avec des seuils différents, plutôt qu'un seuil unique.
Tester une alerte
- En dev, mettre temporairement un seuil bas via le fichier de paramètres et déployer.
- Utiliser la fonction « Tester le groupe d'actions » du portail pour valider le canal de notification.
- Vérifier la requête KQL seule dans Log Analytics avant de l'intégrer.
- Contrôler qu'une règle de traitement ne masque pas le test (portée et calendrier).
Retour d'expérience
- Les règles de traitement ont remplacé tous mes scripts d'activation/désactivation : moins de risque d'oublier de réactiver.
- Un fichier par alerte ou un module paramétré : la revue de code montre immédiatement qu'un seuil a changé.
- Piège : une alerte de recherche a un retard d'ingestion ; ne pas la fixer à une fenêtre plus courte que ce retard.
- Piège : le même nom sur deux portées différentes écrase silencieusement l'une des règles ; mettre la portée dans le nom.
- Piège : vérifier la version d'API dans la documentation Microsoft Learn avant de copier un exemple ; les propriétés évoluent.