LLI Wiki — My Digital Knowledge Base

Cosmos DB : request units, modes de capacité et erreurs 429

Ce qu'est un RU, provisionné manuel, autoscale et serverless, lire le coût d'une requête, throttling 429 et réflexes de coût.

Côté SQL Server, je dimensionne en vCores, en DTU ou en mémoire. Dans Cosmos DB, tout se mesure en Request Units (RU). C'est la notion qui m'a demandé le plus de temps à digérer. Voici mes notes sur ce qu'est un RU, les modes de capacité et les réflexes de coût.

Ce qu'est un RU

Un RU est une « monnaie de performance » qui abstrait CPU, IOPS et mémoire. Toute opération (lecture, écriture, requête) a un coût en RU, quelle que soit l'API. Quelques repères de la doc :

Ce qui fait varier le coût : taille de l'item, nombre de propriétés indexées, politique d'indexation, nombre de prédicats, taille du résultat. Les lectures par point coûtent moins que les requêtes.

Modes de capacité

Mode Principe Quand
Provisionné manuel On fixe un nombre de RU/s (par pas de 100, minimum 400 par conteneur) et on est facturé à l'heure Charge stable et prévisible
Provisionné autoscale On fixe un maximum Tmax ; le débit varie entre 0,1 x Tmax et Tmax ; facturation à l'heure sur le plus haut niveau atteint Charge variable ou imprévisible
Serverless Pas de débit à provisionner ; on paie les RU consommées et le stockage Dev/test, trafic intermittent

Détails vérifiés dans la doc :

Lire le coût d'une requête

Le coût est renvoyé dans l'en-tête de réponse x-ms-request-charge. Dans le portail : Data Explorer, nouvelle requête SQL, exécuter, puis « Query Stats ». Avec le SDK Python :

items = list(container.query_items(
    query="SELECT * FROM c WHERE c.customerId = @cid",
    parameters=[{"name": "@cid", "value": "C42"}],
    partition_key="C42"))
charge = container.client_connection.last_response_headers["x-ms-request-charge"]
print(charge)

Une requête paginée coûte par page ; en additionnant les pages on retrouve le coût total.

Erreur 429 et nouvelles tentatives

Quand on consomme plus de RU que le débit disponible dans la seconde, le service renvoie 429 (Request rate too large). Le compteur se remet à zéro chaque seconde. Les SDK réessaient automatiquement (typiquement jusqu'à neuf fois), donc l'application ne voit souvent rien.

Pour voir qui est limité :

CDBDataPlaneRequests
| where TimeGenerated >= ago(24h)
| summarize throttled = dcountif(ActivityId, StatusCode == 429),
            total = dcount(ActivityId),
            ru = sum(RequestCharge)
  by CollectionName, OperationName, bin(TimeGenerated, 1min)
| extend fractionOf429s = 1.0 * throttled / total
| order by fractionOf429s desc

La métrique « Normalized RU Consumption » indique si on est sur- ou sous-provisionné : à 100 % en permanence avec des 429, il faut plus de RU ou une meilleure clé de partition.

Réflexes de coût

  1. Préférer la lecture par point (id + clé de partition) à une requête.
  2. Inclure la clé de partition dans les filtres.
  3. Ajuster la politique d'indexation en production : par défaut, toutes les propriétés sont indexées, ce qui coûte des RU à l'écriture.
  4. Garder les items petits ; ranger les gros contenus binaires dans Blob Storage et stocker un lien.
  5. Choisir autoscale pour les charges variables, serverless pour le dev/test, manuel pour le stable.
  6. Poser des alertes sur la consommation de RU.
  7. Estimer avec le Cost Estimator ou le capacity planner avant de décider.

Retour d'expérience

Pour aller plus loin

Mastodon LLIMastodon SocialFosstodon