Cosmos DB : request units, modes de capacité et erreurs 429
Ce qu'est un RU, provisionné manuel, autoscale et serverless, lire le coût d'une requête, throttling 429 et réflexes de coût.
Côté SQL Server, je dimensionne en vCores, en DTU ou en mémoire. Dans Cosmos DB, tout se mesure en Request Units (RU). C'est la notion qui m'a demandé le plus de temps à digérer. Voici mes notes sur ce qu'est un RU, les modes de capacité et les réflexes de coût.
Ce qu'est un RU
Un RU est une « monnaie de performance » qui abstrait CPU, IOPS et mémoire. Toute opération (lecture, écriture, requête) a un coût en RU, quelle que soit l'API. Quelques repères de la doc :
- lire un item d'environ 1 Ko par
id+ clé de partition (lecture par point) : 1 RU ; pour 100 Ko : 10 RU ; - insérer un item de 1 Ko sans indexation : environ 5,5 RU ; remplacer un item coûte deux fois l'insertion ;
- une même requête sur les mêmes données coûte toujours le même nombre de RU ;
- les niveaux de cohérence strong et bounded staleness doublent le coût des lectures.
Ce qui fait varier le coût : taille de l'item, nombre de propriétés indexées, politique d'indexation, nombre de prédicats, taille du résultat. Les lectures par point coûtent moins que les requêtes.
Modes de capacité
| Mode | Principe | Quand |
|---|---|---|
| Provisionné manuel | On fixe un nombre de RU/s (par pas de 100, minimum 400 par conteneur) et on est facturé à l'heure | Charge stable et prévisible |
| Provisionné autoscale | On fixe un maximum Tmax ; le débit varie entre 0,1 x Tmax et Tmax ; facturation à l'heure sur le plus haut niveau atteint |
Charge variable ou imprévisible |
| Serverless | Pas de débit à provisionner ; on paie les RU consommées et le stockage | Dev/test, trafic intermittent |
Détails vérifiés dans la doc :
- Autoscale :
Tmaxminimal de 1000 RU/s, par pas de 1000. Il peut revenir moins cher si on n'utiliseTmaxque 66 % des heures du mois ou moins. On peut basculer entre manuel et autoscale à tout moment (portail, CLI, PowerShell). - Serverless : un compte serverless fonctionne dans une seule région, on ne peut pas passer de débit à la création d'un conteneur, ni lire/modifier le débit. Chaque partition physique supporte jusqu'à 5 000 RU/s. La doc le recommande pour les débuts, les trafics en rafale (rapport moyen/pic inférieur à 10 %) et les environnements de test.
- Le débit est défini au niveau du conteneur (dédié) ou de la base (partagé entre jusqu'à 25 conteneurs). La doc déconseille le débit partagé pour la plupart des charges : un conteneur bruyant peut priver les autres.
- Avec plusieurs régions, les RU provisionnées sont disponibles dans chaque région : le débit global vaut R x N.
Lire le coût d'une requête
Le coût est renvoyé dans l'en-tête de réponse x-ms-request-charge. Dans le portail : Data Explorer, nouvelle requête SQL, exécuter, puis « Query Stats ». Avec le SDK Python :
items = list(container.query_items(
query="SELECT * FROM c WHERE c.customerId = @cid",
parameters=[{"name": "@cid", "value": "C42"}],
partition_key="C42"))
charge = container.client_connection.last_response_headers["x-ms-request-charge"]
print(charge)
Une requête paginée coûte par page ; en additionnant les pages on retrouve le coût total.
Erreur 429 et nouvelles tentatives
Quand on consomme plus de RU que le débit disponible dans la seconde, le service renvoie 429 (Request rate too large). Le compteur se remet à zéro chaque seconde. Les SDK réessaient automatiquement (typiquement jusqu'à neuf fois), donc l'application ne voit souvent rien.
- Entre 1 et 5 % de requêtes en 429 avec une latence acceptable : c'est sain, le débit est pleinement utilisé.
- Autoscale peut aussi renvoyer des 429, si on dépasse
Tmaxou si une partition chaude dépasse sa part. - Les 429 sur les métadonnées (créer/lister des conteneurs) ne se règlent pas en ajoutant des RU : utiliser un client SDK unique et mettre en cache les noms.
Pour voir qui est limité :
CDBDataPlaneRequests
| where TimeGenerated >= ago(24h)
| summarize throttled = dcountif(ActivityId, StatusCode == 429),
total = dcount(ActivityId),
ru = sum(RequestCharge)
by CollectionName, OperationName, bin(TimeGenerated, 1min)
| extend fractionOf429s = 1.0 * throttled / total
| order by fractionOf429s desc
La métrique « Normalized RU Consumption » indique si on est sur- ou sous-provisionné : à 100 % en permanence avec des 429, il faut plus de RU ou une meilleure clé de partition.
Réflexes de coût
- Préférer la lecture par point (
id+ clé de partition) à une requête. - Inclure la clé de partition dans les filtres.
- Ajuster la politique d'indexation en production : par défaut, toutes les propriétés sont indexées, ce qui coûte des RU à l'écriture.
- Garder les items petits ; ranger les gros contenus binaires dans Blob Storage et stocker un lien.
- Choisir autoscale pour les charges variables, serverless pour le dev/test, manuel pour le stable.
- Poser des alertes sur la consommation de RU.
- Estimer avec le Cost Estimator ou le capacity planner avant de décider.
Retour d'expérience
- Augmenter les RU n'est pas la première réponse à un 429 : chercher d'abord une partition chaude ou une requête mal ciblée.
- Le plus gros réflexe à acquérir pour un DBA SQL : mesurer le RU de chaque requête type dès le développement.