LLI Wiki — My Digital Knowledge Base

Always On : timeouts du cluster, lease/health check et quarantaine de nœud

Assouplir les paramètres de heartbeat WSFC et les timeouts d'un groupe de disponibilité, et gérer un nœud en quarantaine.

Les basculements de groupes de disponibilité causés par des délais de heartbeat ou de health check trop courts, et les nœuds mis en quarantaine par Windows Server Failover Clustering (WSFC), sont un problème courant avec SQL Server Always On. Cet article montre comment assouplir les paramètres de heartbeat du cluster et les timeouts du groupe, comment consulter les valeurs actuelles et comment traiter un nœud en quarantaine.

Paramètres de heartbeat du cluster

Valeurs avant et après modification :

Propriété du cluster Valeur précédente Nouvelle valeur
SameSubnetDelay (ms) 1000 2000
SameSubnetThreshold 10 30
CrossSubnetDelay (ms) 1000 3000
CrossSubnetThreshold 20 60
CrossSiteDelay (ms) 1000 3000
CrossSiteThreshold 20 30
(Get-Cluster).SameSubnetDelay     = 2000   # millisecondes
(Get-Cluster).SameSubnetThreshold = 30
(Get-Cluster).CrossSubnetDelay    = 3000
(Get-Cluster).CrossSubnetThreshold = 60
(Get-Cluster).CrossSiteDelay      = 3000   # millisecondes
(Get-Cluster).CrossSiteThreshold  = 30

Même chose, via un objet cluster :

$Cluster = Get-Cluster

$Cluster.CrossSiteThreshold   = 30
$Cluster.CrossSiteDelay       = 3000

$Cluster.CrossSubnetThreshold = 60
$Cluster.CrossSubnetDelay     = 3000

$Cluster.SameSubnetThreshold  = 30
$Cluster.SameSubnetDelay      = 2000

Timeouts du groupe de disponibilité

L'intervalle de lease (la moitié de LeaseTimeout) doit être inférieur à SameSubnetThreshold * SameSubnetDelay. Avec un seuil de 30 et un délai de 2000 ms : 30 * 2000 = 60000, divisé par 2 donne un LeaseTimeout de 30000 ms.

ALTER AVAILABILITY GROUP AG1 SET (FAILURE_CONDITION_LEVEL = 1);
ALTER AVAILABILITY GROUP AG1 SET (HEALTH_CHECK_TIMEOUT = 40000);
ALTER AVAILABILITY GROUP AG1 SET (LEASE_TIMEOUT = 30000);

Vérifier les valeurs actuelles sur les ressources du cluster

Get-ClusterResource | Get-ClusterParameter | Where-Object { $_.Name -eq 'HealthCheckTimeout' } |
    Format-Table ClusterObject, Name, Value

Get-ClusterResource | Get-ClusterParameter | Where-Object { $_.Name -eq 'FailureConditionLevel' } |
    Format-Table ClusterObject, Name, Value

Get-ClusterResource | Get-ClusterParameter | Where-Object { $_.Name -eq 'LeaseTimeout' } |
    Format-Table ClusterObject, Name, Value

Exemple de ce qui a été constaté avant la modification (une ligne par ressource de groupe) : HealthCheckTimeout 30000, FailureConditionLevel 3, LeaseTimeout 20000.

Quarantaine de nœud

Un nœud qui quitte trop souvent le cluster est mis en quarantaine et ne peut plus héberger de rôles pendant un temps. Références :

Event ID Windows utiles

Catégorie Event ID Description Signification
Quarantaine 1641 Node quarantine activated Le nœud est officiellement en quarantaine.
1647 Node cannot host roles during quarantine Aucun rôle, VM ou groupe ne peut être hébergé sur ce nœud.
1649 Quarantine state updated Changement d'état ou tentative de sortie de quarantaine.
Communication / heartbeat 1135 Node removed from cluster Perte de heartbeat, nœud expulsé (cause principale).
1177 Cluster communication issue Échec des canaux de communication du cluster.
10054 Connection reset Paquets perdus, pare-feu, MTU, carte réseau ou antivirus.
Stockage / CSV 5120 CSV paused/disconnected Accès au stockage perdu ou CSV déconnecté.
5142 CSV operational error Pilote MPIO/stockage instable, chemin perdu.
Services / RHS 7031 Unexpected service termination Plantage de RHS/Cluster Service, cause fréquente de quarantaine.
Configuration / quorum 1069 Cluster resource failure Échec d'une ressource du cluster.
1558 Quorum witness issue Témoin inaccessible ou quorum instable.
121 Cluster network resource failure Problème d'IP ou de nom réseau du cluster.

Consulter et lever la quarantaine

# État de tous les nœuds
Get-ClusterNode

# Paramètres de quarantaine
Get-Cluster | Format-List Quarantine*
Get-ClusterNode -Name SQLNODE2 | Format-List Name, State

# Forcer la sortie de quarantaine d'un nœud
Start-ClusterNode -Name SQLNODE2 -ClearQuarantine

Si nécessaire, évincer puis rajouter le nœud, ou redémarrer le service cluster.

Ajuster la tolérance (nombre d'échecs) et la durée de quarantaine :

(Get-Cluster).QuarantineThreshold = 2
(Get-Cluster).QuarantineDuration  = 3600   # secondes (1 heure)

Script : appliquer et valider les paramètres (PowerShell)

Applique les paramètres de heartbeat et ceux de la ressource du groupe, puis compare valeurs attendues et valeurs réelles.

#requires -RunAsAdministrator

$ErrorActionPreference = 'Stop'

Import-Module FailoverClusters

# ==========================================
# Configuration
# ==========================================
$ClusterName = 'sqlcluster01'
$AgName      = 'AG1'

$Expected = @{
    SameSubnetDelay       = 2000
    SameSubnetThreshold   = 30

    CrossSubnetDelay      = 3000
    CrossSubnetThreshold  = 60

    CrossSiteDelay        = 3000
    CrossSiteThreshold    = 30

    LeaseTimeout          = 30000
    HealthCheckTimeout    = 40000
}

try {
    # ==========================================
    # Retrieve cluster and AG resource
    # ==========================================
    $Cluster = Get-Cluster -Name $ClusterName

    $AgResource = Get-ClusterResource -Cluster $ClusterName |
        Where-Object {
            $_.ResourceType -eq 'SQL Server Availability Group' -and
            (
                [string]$_.OwnerGroup -eq $AgName -or
                $_.Name -like "*$AgName*"
            )
        } |
        Select-Object -First 1

    if (-not $AgResource) {
        throw "Cluster resource for Availability Group '$AgName' was not found."
    }

    Write-Host "`nAvailability Group resource found:" -ForegroundColor Cyan

    $AgResource |
        Select-Object Name, State, OwnerGroup, OwnerNode, ResourceType |
        Format-List

    # ==========================================
    # Apply cluster heartbeat settings
    # ==========================================
    Write-Host 'Applying cluster heartbeat settings...' -ForegroundColor Cyan

    $Cluster.SameSubnetDelay       = $Expected.SameSubnetDelay
    $Cluster.SameSubnetThreshold   = $Expected.SameSubnetThreshold

    $Cluster.CrossSubnetDelay      = $Expected.CrossSubnetDelay
    $Cluster.CrossSubnetThreshold  = $Expected.CrossSubnetThreshold

    $Cluster.CrossSiteDelay        = $Expected.CrossSiteDelay
    $Cluster.CrossSiteThreshold    = $Expected.CrossSiteThreshold

    # ==========================================
    # Apply AG cluster resource settings
    # ==========================================
    Write-Host 'Applying Availability Group cluster parameters...' -ForegroundColor Cyan

    $AgResource |
        Set-ClusterParameter `
            -Name 'LeaseTimeout' `
            -Value $Expected.LeaseTimeout

    $AgResource |
        Set-ClusterParameter `
            -Name 'HealthCheckTimeout' `
            -Value $Expected.HealthCheckTimeout

    # ==========================================
    # Refresh values
    # ==========================================
    $Cluster = Get-Cluster -Name $ClusterName

    $AgResource = Get-ClusterResource -Cluster $ClusterName |
        Where-Object {
            $_.ResourceType -eq 'SQL Server Availability Group' -and
            (
                [string]$_.OwnerGroup -eq $AgName -or
                $_.Name -like "*$AgName*"
            )
        } |
        Select-Object -First 1

    $AgParameters = @{}

    $AgResource |
        Get-ClusterParameter |
        ForEach-Object {
            $AgParameters[$_.Name] = $_.Value
        }

    # ==========================================
    # Build validation table
    # ==========================================
    $Checks = @(
        [pscustomobject]@{
            Parameter = 'SameSubnetDelay'
            Expected  = $Expected.SameSubnetDelay
            Actual    = $Cluster.SameSubnetDelay
        }
        [pscustomobject]@{
            Parameter = 'SameSubnetThreshold'
            Expected  = $Expected.SameSubnetThreshold
            Actual    = $Cluster.SameSubnetThreshold
        }
        [pscustomobject]@{
            Parameter = 'CrossSubnetDelay'
            Expected  = $Expected.CrossSubnetDelay
            Actual    = $Cluster.CrossSubnetDelay
        }
        [pscustomobject]@{
            Parameter = 'CrossSubnetThreshold'
            Expected  = $Expected.CrossSubnetThreshold
            Actual    = $Cluster.CrossSubnetThreshold
        }
        [pscustomobject]@{
            Parameter = 'CrossSiteDelay'
            Expected  = $Expected.CrossSiteDelay
            Actual    = $Cluster.CrossSiteDelay
        }
        [pscustomobject]@{
            Parameter = 'CrossSiteThreshold'
            Expected  = $Expected.CrossSiteThreshold
            Actual    = $Cluster.CrossSiteThreshold
        }
        [pscustomobject]@{
            Parameter = 'LeaseTimeout'
            Expected  = $Expected.LeaseTimeout
            Actual    = $AgParameters['LeaseTimeout']
        }
        [pscustomobject]@{
            Parameter = 'HealthCheckTimeout'
            Expected  = $Expected.HealthCheckTimeout
            Actual    = $AgParameters['HealthCheckTimeout']
        }
    )

    $Results = $Checks |
        Select-Object Parameter, Expected, Actual,
            @{
                Name = 'Status'
                Expression = {
                    if ([string]$_.Expected -eq [string]$_.Actual) {
                        'OK'
                    }
                    else {
                        'NOT OK'
                    }
                }
            }

    # ==========================================
    # Display validation
    # ==========================================
    Write-Host "`nValidation results:" -ForegroundColor Cyan

    $Results |
        Format-Table -AutoSize

    $FailedChecks = $Results |
        Where-Object Status -ne 'OK'

    if ($FailedChecks) {
        Write-Host "`nSome settings are NOT OK." -ForegroundColor Red

        $FailedChecks |
            Format-Table -AutoSize

        $ExitCode = 1
    }
    else {
        Write-Host "`nAll cluster settings are OK." -ForegroundColor Green
        $ExitCode = 0
    }

    # ==========================================
    # AG resource status
    # ==========================================
    Write-Host "`nAvailability Group resource status:" -ForegroundColor Cyan

    $AgResource |
        Select-Object Name, State, OwnerGroup, OwnerNode |
        Format-Table -AutoSize

    if ($AgResource.State -ne 'Online') {
        Write-Host "`nWarning: the Availability Group resource is not Online." -ForegroundColor Red
        $ExitCode = 1
    }

    exit $ExitCode
}
catch {
    Write-Host "`nERROR: $($_.Exception.Message)" -ForegroundColor Red
    exit 1
}

Script : appliquer et vérifier les paramètres du groupe (T-SQL)

USE [master];
GO

DECLARE @AgName sysname = N'AG1';

IF NOT EXISTS (
    SELECT 1
    FROM sys.availability_groups
    WHERE name = @AgName
)
BEGIN
    THROW 50000, 'Availability Group AG1 not found on this instance.', 1;
END;
GO

PRINT 'Applying Availability Group settings...';
GO

ALTER AVAILABILITY GROUP [AG1]
SET (FAILURE_CONDITION_LEVEL = 1);
GO

ALTER AVAILABILITY GROUP [AG1]
SET (HEALTH_CHECK_TIMEOUT = 40000);
GO

PRINT 'Availability Group settings applied.';
GO

/* Verification */
SELECT
    @@SERVERNAME AS ConnectedInstance,
    ag.name AS AvailabilityGroup,
    ag.failure_condition_level AS FailureConditionLevel,
    CASE ag.failure_condition_level
        WHEN 1 THEN 'ON_SERVER_DOWN'
        WHEN 2 THEN 'ON_SERVER_UNRESPONSIVE'
        WHEN 3 THEN 'ON_CRITICAL_SERVER_ERROR'
        WHEN 4 THEN 'ON_MODERATE_SERVER_ERROR'
        WHEN 5 THEN 'ON_ANY_QUALIFIED_FAILURE_CONDITIONS'
        ELSE 'UNKNOWN'
    END AS FailureConditionDescription,
    ag.health_check_timeout AS HealthCheckTimeoutMs,
    CASE
        WHEN ag.failure_condition_level = 1
         AND ag.health_check_timeout = 40000
        THEN 'OK'
        ELSE 'NOT OK'
    END AS ValidationStatus
FROM sys.availability_groups AS ag
WHERE ag.name = N'AG1';
GO

Remarques

Mastodon LLIMastodon SocialFosstodon