Rééquilibrer un grand parc Azure SQL : présenter, régler, éviter le ping-pong, retour d'expérience
Vues avant/après, choix des tolérances, anti ping-pong, fenêtres de déplacement, erreurs rencontrées et rôle de la revue humaine.
Collecter des métriques et écrire un script de déplacement, c'est la partie facile. L'autre moitié consiste à définir ce que « équilibré » veut dire, à le montrer de façon convaincante et à ne pas empirer les choses. Voici le retour d'expérience d'un rééquilibrage d'un grand parc de pools élastiques, erreurs comprises.
La boucle
flowchart LR
A["Scores par base"] --> B["Suggestions avec bande de tolérance"]
B --> C["Plan enregistré"]
C --> D["Revue humaine"]
D -->|"annuler ou ajuster"| C
D --> E["Déplacements dans une fenêtre calme"]
E --> F["Rafraîchissement de l'inventaire"]
F --> G["Rapport avant / après"]
G --> A
Montrer l'avant et l'après
Un rééquilibrage n'est crédible que si l'on peut le voir. Trois vues ont suffi :
- Vue d'ensemble par pool : score total avant et après, moyenne, bande haute, nombre de bases et stockage alloué face à leurs limites. Une ligne par pool, triée par score. C'est le tableau sur lequel on juge le plan.
- Top N des bases par pool : les cinq ou dix bases les plus lourdes avec leur part du pool. Cela explique pourquoi un pool est chaud, souvent un ou deux locataires, et montre quelle base le plan va choisir.
- Carte de chaleur des heures : pools (ou bases) en lignes, heures de la journée en colonnes, la pire valeur par cellule. Une fenêtre nocturne récurrente apparaît comme une bande colorée.
Pour la carte de chaleur, j'évite les panneaux sophistiqués à grande échelle : avec des milliers de lignes, une frise temporelle dessine des traits de moins d'un pixel. Un simple tableau, avec les 24 colonnes d'heures écrites explicitement et une seule règle de couleur, défile et reste lisible :
AzureMetrics
| where TimeGenerated > ago(14d)
| where ResourceProvider =~ "MICROSOFT.SQL" and MetricName == "cpu_percent"
| where _ResourceId has "/elasticpools/"
| extend Pool = extract(@"elasticpools/([^/]+)$", 1, tolower(_ResourceId)), H = hourofday(TimeGenerated)
| summarize h00 = maxif(Maximum, H == 0), h01 = maxif(Maximum, H == 1), h02 = maxif(Maximum, H == 2),
h03 = maxif(Maximum, H == 3), h04 = maxif(Maximum, H == 4), h05 = maxif(Maximum, H == 5)
// ... écrire chaque heure, jusqu'à h23
by Pool
| order by Pool asc
J'écris les colonnes à la main plutôt que d'utiliser un opérateur de pivot : un pivot ne produit que les colonnes qui ont des données, donc une heure calme décale la mise en page. Replier deux semaines sur 24 colonnes est voulu : chaque cellule devient la pire valeur à cette heure sur tous les jours, ce qui révèle les fenêtres récurrentes.
Choisir les tolérances
La référence est le score moyen des pools de production, et la tolérance est la bande autour : haut = moyenne * (1 + tolérance). Seuls les pools au-dessus de la bande sont des sources, et une cible se remplit jusqu'à la bande, jamais au-delà.
- Une bande étroite (quelques pourcents) donne beaucoup de déplacements pour peu de gain et favorise les oscillations.
- Une bande large laisse les pools chauds chauds.
- J'ai commencé à 10 % et j'ai augmenté la tolérance plutôt que de toucher à la grille de scoring quand un plan était trop long. Changer la grille invalide l'historique et tous les plans ouverts.
Éviter le ping-pong
Le ping-pong, c'est une base déplacée vers un pool puis ramenée par l'exécution suivante. Ce qui l'empêche :
- Remplir les cibles seulement jusqu'à la bande, pour qu'une cible ne devienne jamais source après avoir reçu.
- Vérifier l'effet avant le déplacement : ne pas sortir une base de la source si cela la fait passer sous la moyenne. Si aucune ne convient, prendre la plus petite qu'une cible peut absorber.
- Ignorer les bases récemment déplacées et celles dont un déplacement planifié reste ouvert.
- Un plan à la fois : n'enregistrer un nouveau plan que lorsque le précédent est terminé ou annulé et que l'inventaire a été rafraîchi.
- Plafonner le nombre de déplacements par exécution.
Planification
Les déplacements de pool sont en ligne mais pas gratuits : ils consomment de l'IO et provoquent une courte reconnexion. Je lance les changements de pool aux heures calmes de la journée et les changements de groupe le soir, jamais près d'une clôture mensuelle ni d'une grosse fenêtre nocturne.
Ce qui s'est mal passé
- Le pool qui semblait inactif. Un pool à faible moyenne journalière a été choisi comme cible. Son profil horaire montrait un gros pic nocturne, et l'ajout de bases l'a saturé chaque nuit. Leçon : toujours regarder le maximum horaire et le profil par heure avant d'accepter une cible « froide ».
- Limites de stockage. Une cible avait de la CPU mais pas d'espace. Le plan exige maintenant que l'espace alloué après déplacement reste sous la limite avec une marge, et contrôle le nombre maximum de bases.
- Retard de l'inventaire. L'inventaire qui indique au plan où vit chaque base est rafraîchi une fois par nuit. Un second plan généré le même jour voyait encore les bases déplacées dans l'ancien pool et vidait deux fois la même source. Leçon : attendre le rafraîchissement avant d'enregistrer un nouveau plan.
- Grille de scoring mal calibrée. Le score composite classait les pools autrement que leur CPU réelle. Corrigé en pondérant davantage la CPU et en validant le classement contre la CPU du pool.
- Un re-chargement qui a effacé des données. Retraiter des jours déjà sortis de l'espace de travail les a supprimés définitivement. Toujours vérifier la rétention d'abord.
La revue humaine
Le plan est enregistré dans une table et rien ne bouge avant que je l'aie lu. La revue a attrapé plus que n'importe quelle automatisation : une base avec un job ponctuel connu qui rendait son historique non représentatif, un locataire qui ne doit pas quitter un pool précis, un déplacement techniquement juste mais prévu la veille d'une échéance. Annuler une ligne tient en un UPDATE, et la ligne ouverte garde cette base hors des suggestions suivantes. Le script fait la partie fastidieuse ; une personne porte la décision.
Retour d'expérience
- Montrer ensemble la vue d'ensemble, le top N et la carte de chaleur horaire.
- Tolérance et grille sont deux réglages distincts : tourner d'abord le premier.
- Empêcher le ping-pong par construction, pas par espoir.
- Regarder les heures de pointe d'un pool « froid ».
- Un plan à la fois, après le rafraîchissement de l'inventaire.
- Garder un humain dans la boucle.