KQL pour exploiter Azure SQL : CPU, attentes, requêtes, erreurs, stockage et géo-réplication
Une boîte à outils de requêtes KQL pour Azure SQL Database : CPU, attentes, Query Store, erreurs, connexions échouées, mur du stockage et heatmap de réplication.
Quand on exploite Azure SQL Database à l'échelle, les métriques du portail ne suffisent plus : on veut comparer des dizaines de bases, remonter dans le temps, croiser pool, serveur et région. Log Analytics et KQL font très bien le travail. Voici la boîte à outils de requêtes que j'utilise, écrites de manière générique.
Prérequis
Un paramètre de diagnostic envoie les métriques et les catégories de journaux vers un espace Log Analytics (mode Azure Diagnostics) :
flowchart LR
A["Serveurs, pools, bases"] --> B["Paramètres de diagnostic"]
B --> C["Table AzureMetrics"]
B --> D["Table AzureDiagnostics"]
C --> E["Requêtes KQL"]
D --> E
E --> F["Dashboards Grafana ou Workbooks"]
Les métriques arrivent dans AzureMetrics, les journaux (attentes, Query Store, erreurs, audit) dans AzureDiagnostics. Dans ce second cas, les colonnes ont des suffixes de type (_s, _d) et n'existent que si au moins un événement les a remplies : j'utilise column_ifexists. Pour extraire serveur, pool ou base, je passe par _ResourceId en minuscules.
CPU
AzureMetrics
| where TimeGenerated > ago(24h)
| where ResourceProvider =~ "MICROSOFT.SQL" and MetricName == "cpu_percent"
| extend rid = tolower(_ResourceId)
| where rid has "/elasticpools/"
| extend Pool = extract(@"elasticpools/([^/]+)", 1, rid)
| summarize CpuMax = max(Maximum), CpuAvg = avg(Average) by bin(TimeGenerated, 15m), Pool
| order by TimeGenerated asc
Remplacez /elasticpools/ par /databases/ pour la vue par base. Gardez toujours Maximum à côté de Average.
Statistiques d'attente
AzureDiagnostics
| where TimeGenerated > ago(24h) and Category == "DatabaseWaitStatistics"
| extend wait = tostring(column_ifexists("wait_type_s", "")),
ms = todouble(column_ifexists("delta_wait_time_ms_d", 0.0))
| summarize TotalMs = sum(ms) by wait
| top 10 by TotalMs desc
Les attentes disent pourquoi c'est lent : verrous, I/O de pages, journal. Je les regarde par pool et par base quand le CPU ne suffit pas à expliquer.
Performance des requêtes
AzureDiagnostics
| where TimeGenerated > ago(24h) and Category == "QueryStoreRuntimeStatistics"
| extend db = tostring(column_ifexists("DatabaseName_s", "")),
q = tolong(column_ifexists("query_id_d", 0)),
dur = todouble(column_ifexists("duration_d", 0.0))
| summarize Runs = count(), AvgDur = avg(dur), MaxDur = max(dur) by db, q
| top 20 by MaxDur desc
Il faut avoir activé la catégorie Query Store ; la durée est exprimée dans l'unité du Query Store. Je pars de cette liste pour identifier un query_id puis j'analyse le plan directement dans la base.
Erreurs : un tableau de bord
AzureDiagnostics
| where TimeGenerated > ago(7d) and Category =~ "Errors"
| extend pool = tostring(column_ifexists("ElasticPoolName_s", ""))
| summarize Errors = count() by bin(TimeGenerated, 1h), Severity, pool
Sévérité, pool et base en filtres : on voit tout de suite si un pic d'erreurs est lié à un pool ou à une base.
Connexions échouées
AzureMetrics
| where TimeGenerated > ago(7d)
| where MetricName startswith "connection_failed" and Total > 0
| extend Server = extract(@"(?i)servers/([^/]+)", 1, _ResourceId),
Db = extract(@"(?i)databases/([^/]+)", 1, _ResourceId)
| summarize Failed = sum(Total), First = min(TimeGenerated), Last = max(TimeGenerated) by Server, Db
| order by Failed desc
Pour savoir qui échoue, la catégorie d'audit SQLSecurityAuditEvents avec action_name_s == "DATABASE AUTHENTICATION FAILED" donne l'identité et l'adresse source quand l'audit est activé.
Capacité de stockage et « mur » des limites
AzureMetrics
| where TimeGenerated > ago(1h) and MetricName == "storage_percent"
| extend rid = tolower(_ResourceId)
| summarize arg_max(TimeGenerated, Average) by rid
| extend Kind = iff(rid has "/elasticpools/", "pool", "database")
| where Average >= 80
| project Kind, Resource = extract(@"([^/]+)$", 1, rid), Pct = round(Average, 1)
| order by Pct desc
Le « mur » est la liste de tout ce qui dépasse 80 % ou 90 %, pools et bases confondus. Pour anticiper, on ajoute une pente : make-series sur 14 jours puis series_fit_line donne la croissance par jour et donc le nombre de jours restants.
Géo-réplication : santé et heatmap
AzureMetrics
| where TimeGenerated > ago(24h) and MetricName == "replication_lag_seconds"
| extend Db = extract(@"(?i)databases/([^/]+)", 1, _ResourceId)
| summarize Lag = max(Maximum) by bin(TimeGenerated, 30m), Db
Ce résultat « temps × base × retard maximal » se rend en heatmap dans Grafana : une ligne par base, une colonne par tranche, la couleur donne le retard. Les bases saines restent froides ; une base qui chauffe se voit en un coup d'œil.
Pièges
- Latence d'ingestion : quelques minutes de retard, donc n'alertez pas sur la dernière tranche.
- Doublons : une base géo-répliquée apparaît côté primaire et secondaire ; filtrez par serveur.
- Colonnes absentes :
column_ifexistsévite les requêtes cassées sur un espace neuf. - Rétention : l'historique plus ancien que la rétention de l'espace n'existe pas.
- Fuseaux horaires : KQL travaille en UTC, convertissez à l'affichage.