Always On : timeouts du cluster, lease/health check et quarantaine de nœud
Assouplir les paramètres de heartbeat WSFC et les timeouts d'un groupe de disponibilité, et gérer un nœud en quarantaine.
Les basculements de groupes de disponibilité causés par des délais de heartbeat ou de health check trop courts, et les nœuds mis en quarantaine par Windows Server Failover Clustering (WSFC), sont un problème courant avec SQL Server Always On. Cet article montre comment assouplir les paramètres de heartbeat du cluster et les timeouts du groupe, comment consulter les valeurs actuelles et comment traiter un nœud en quarantaine.
Paramètres de heartbeat du cluster
Valeurs avant et après modification :
| Propriété du cluster | Valeur précédente | Nouvelle valeur |
|---|---|---|
| SameSubnetDelay (ms) | 1000 | 2000 |
| SameSubnetThreshold | 10 | 30 |
| CrossSubnetDelay (ms) | 1000 | 3000 |
| CrossSubnetThreshold | 20 | 60 |
| CrossSiteDelay (ms) | 1000 | 3000 |
| CrossSiteThreshold | 20 | 30 |
(Get-Cluster).SameSubnetDelay = 2000 # millisecondes
(Get-Cluster).SameSubnetThreshold = 30
(Get-Cluster).CrossSubnetDelay = 3000
(Get-Cluster).CrossSubnetThreshold = 60
(Get-Cluster).CrossSiteDelay = 3000 # millisecondes
(Get-Cluster).CrossSiteThreshold = 30
Même chose, via un objet cluster :
$Cluster = Get-Cluster
$Cluster.CrossSiteThreshold = 30
$Cluster.CrossSiteDelay = 3000
$Cluster.CrossSubnetThreshold = 60
$Cluster.CrossSubnetDelay = 3000
$Cluster.SameSubnetThreshold = 30
$Cluster.SameSubnetDelay = 2000
Timeouts du groupe de disponibilité
L'intervalle de lease (la moitié de LeaseTimeout) doit être inférieur à SameSubnetThreshold * SameSubnetDelay. Avec un seuil de 30 et un délai de 2000 ms : 30 * 2000 = 60000, divisé par 2 donne un LeaseTimeout de 30000 ms.
ALTER AVAILABILITY GROUP AG1 SET (FAILURE_CONDITION_LEVEL = 1);
ALTER AVAILABILITY GROUP AG1 SET (HEALTH_CHECK_TIMEOUT = 40000);
ALTER AVAILABILITY GROUP AG1 SET (LEASE_TIMEOUT = 30000);
Vérifier les valeurs actuelles sur les ressources du cluster
Get-ClusterResource | Get-ClusterParameter | Where-Object { $_.Name -eq 'HealthCheckTimeout' } |
Format-Table ClusterObject, Name, Value
Get-ClusterResource | Get-ClusterParameter | Where-Object { $_.Name -eq 'FailureConditionLevel' } |
Format-Table ClusterObject, Name, Value
Get-ClusterResource | Get-ClusterParameter | Where-Object { $_.Name -eq 'LeaseTimeout' } |
Format-Table ClusterObject, Name, Value
Exemple de ce qui a été constaté avant la modification (une ligne par ressource de groupe) : HealthCheckTimeout 30000, FailureConditionLevel 3, LeaseTimeout 20000.
Quarantaine de nœud
Un nœud qui quitte trop souvent le cluster est mis en quarantaine et ne peut plus héberger de rôles pendant un temps. Références :
- Windows Failover Cluster node quarantined (MSSQLTips)
- Cluster node quarantine troubleshooting (Microsoft Learn)
Event ID Windows utiles
| Catégorie | Event ID | Description | Signification |
|---|---|---|---|
| Quarantaine | 1641 | Node quarantine activated | Le nœud est officiellement en quarantaine. |
| 1647 | Node cannot host roles during quarantine | Aucun rôle, VM ou groupe ne peut être hébergé sur ce nœud. | |
| 1649 | Quarantine state updated | Changement d'état ou tentative de sortie de quarantaine. | |
| Communication / heartbeat | 1135 | Node removed from cluster | Perte de heartbeat, nœud expulsé (cause principale). |
| 1177 | Cluster communication issue | Échec des canaux de communication du cluster. | |
| 10054 | Connection reset | Paquets perdus, pare-feu, MTU, carte réseau ou antivirus. | |
| Stockage / CSV | 5120 | CSV paused/disconnected | Accès au stockage perdu ou CSV déconnecté. |
| 5142 | CSV operational error | Pilote MPIO/stockage instable, chemin perdu. | |
| Services / RHS | 7031 | Unexpected service termination | Plantage de RHS/Cluster Service, cause fréquente de quarantaine. |
| Configuration / quorum | 1069 | Cluster resource failure | Échec d'une ressource du cluster. |
| 1558 | Quorum witness issue | Témoin inaccessible ou quorum instable. | |
| 121 | Cluster network resource failure | Problème d'IP ou de nom réseau du cluster. |
Consulter et lever la quarantaine
# État de tous les nœuds
Get-ClusterNode
# Paramètres de quarantaine
Get-Cluster | Format-List Quarantine*
Get-ClusterNode -Name SQLNODE2 | Format-List Name, State
# Forcer la sortie de quarantaine d'un nœud
Start-ClusterNode -Name SQLNODE2 -ClearQuarantine
Si nécessaire, évincer puis rajouter le nœud, ou redémarrer le service cluster.
Ajuster la tolérance (nombre d'échecs) et la durée de quarantaine :
(Get-Cluster).QuarantineThreshold = 2
(Get-Cluster).QuarantineDuration = 3600 # secondes (1 heure)
Script : appliquer et valider les paramètres (PowerShell)
Applique les paramètres de heartbeat et ceux de la ressource du groupe, puis compare valeurs attendues et valeurs réelles.
#requires -RunAsAdministrator
$ErrorActionPreference = 'Stop'
Import-Module FailoverClusters
# ==========================================
# Configuration
# ==========================================
$ClusterName = 'sqlcluster01'
$AgName = 'AG1'
$Expected = @{
SameSubnetDelay = 2000
SameSubnetThreshold = 30
CrossSubnetDelay = 3000
CrossSubnetThreshold = 60
CrossSiteDelay = 3000
CrossSiteThreshold = 30
LeaseTimeout = 30000
HealthCheckTimeout = 40000
}
try {
# ==========================================
# Retrieve cluster and AG resource
# ==========================================
$Cluster = Get-Cluster -Name $ClusterName
$AgResource = Get-ClusterResource -Cluster $ClusterName |
Where-Object {
$_.ResourceType -eq 'SQL Server Availability Group' -and
(
[string]$_.OwnerGroup -eq $AgName -or
$_.Name -like "*$AgName*"
)
} |
Select-Object -First 1
if (-not $AgResource) {
throw "Cluster resource for Availability Group '$AgName' was not found."
}
Write-Host "`nAvailability Group resource found:" -ForegroundColor Cyan
$AgResource |
Select-Object Name, State, OwnerGroup, OwnerNode, ResourceType |
Format-List
# ==========================================
# Apply cluster heartbeat settings
# ==========================================
Write-Host 'Applying cluster heartbeat settings...' -ForegroundColor Cyan
$Cluster.SameSubnetDelay = $Expected.SameSubnetDelay
$Cluster.SameSubnetThreshold = $Expected.SameSubnetThreshold
$Cluster.CrossSubnetDelay = $Expected.CrossSubnetDelay
$Cluster.CrossSubnetThreshold = $Expected.CrossSubnetThreshold
$Cluster.CrossSiteDelay = $Expected.CrossSiteDelay
$Cluster.CrossSiteThreshold = $Expected.CrossSiteThreshold
# ==========================================
# Apply AG cluster resource settings
# ==========================================
Write-Host 'Applying Availability Group cluster parameters...' -ForegroundColor Cyan
$AgResource |
Set-ClusterParameter `
-Name 'LeaseTimeout' `
-Value $Expected.LeaseTimeout
$AgResource |
Set-ClusterParameter `
-Name 'HealthCheckTimeout' `
-Value $Expected.HealthCheckTimeout
# ==========================================
# Refresh values
# ==========================================
$Cluster = Get-Cluster -Name $ClusterName
$AgResource = Get-ClusterResource -Cluster $ClusterName |
Where-Object {
$_.ResourceType -eq 'SQL Server Availability Group' -and
(
[string]$_.OwnerGroup -eq $AgName -or
$_.Name -like "*$AgName*"
)
} |
Select-Object -First 1
$AgParameters = @{}
$AgResource |
Get-ClusterParameter |
ForEach-Object {
$AgParameters[$_.Name] = $_.Value
}
# ==========================================
# Build validation table
# ==========================================
$Checks = @(
[pscustomobject]@{
Parameter = 'SameSubnetDelay'
Expected = $Expected.SameSubnetDelay
Actual = $Cluster.SameSubnetDelay
}
[pscustomobject]@{
Parameter = 'SameSubnetThreshold'
Expected = $Expected.SameSubnetThreshold
Actual = $Cluster.SameSubnetThreshold
}
[pscustomobject]@{
Parameter = 'CrossSubnetDelay'
Expected = $Expected.CrossSubnetDelay
Actual = $Cluster.CrossSubnetDelay
}
[pscustomobject]@{
Parameter = 'CrossSubnetThreshold'
Expected = $Expected.CrossSubnetThreshold
Actual = $Cluster.CrossSubnetThreshold
}
[pscustomobject]@{
Parameter = 'CrossSiteDelay'
Expected = $Expected.CrossSiteDelay
Actual = $Cluster.CrossSiteDelay
}
[pscustomobject]@{
Parameter = 'CrossSiteThreshold'
Expected = $Expected.CrossSiteThreshold
Actual = $Cluster.CrossSiteThreshold
}
[pscustomobject]@{
Parameter = 'LeaseTimeout'
Expected = $Expected.LeaseTimeout
Actual = $AgParameters['LeaseTimeout']
}
[pscustomobject]@{
Parameter = 'HealthCheckTimeout'
Expected = $Expected.HealthCheckTimeout
Actual = $AgParameters['HealthCheckTimeout']
}
)
$Results = $Checks |
Select-Object Parameter, Expected, Actual,
@{
Name = 'Status'
Expression = {
if ([string]$_.Expected -eq [string]$_.Actual) {
'OK'
}
else {
'NOT OK'
}
}
}
# ==========================================
# Display validation
# ==========================================
Write-Host "`nValidation results:" -ForegroundColor Cyan
$Results |
Format-Table -AutoSize
$FailedChecks = $Results |
Where-Object Status -ne 'OK'
if ($FailedChecks) {
Write-Host "`nSome settings are NOT OK." -ForegroundColor Red
$FailedChecks |
Format-Table -AutoSize
$ExitCode = 1
}
else {
Write-Host "`nAll cluster settings are OK." -ForegroundColor Green
$ExitCode = 0
}
# ==========================================
# AG resource status
# ==========================================
Write-Host "`nAvailability Group resource status:" -ForegroundColor Cyan
$AgResource |
Select-Object Name, State, OwnerGroup, OwnerNode |
Format-Table -AutoSize
if ($AgResource.State -ne 'Online') {
Write-Host "`nWarning: the Availability Group resource is not Online." -ForegroundColor Red
$ExitCode = 1
}
exit $ExitCode
}
catch {
Write-Host "`nERROR: $($_.Exception.Message)" -ForegroundColor Red
exit 1
}
Script : appliquer et vérifier les paramètres du groupe (T-SQL)
USE [master];
GO
DECLARE @AgName sysname = N'AG1';
IF NOT EXISTS (
SELECT 1
FROM sys.availability_groups
WHERE name = @AgName
)
BEGIN
THROW 50000, 'Availability Group AG1 not found on this instance.', 1;
END;
GO
PRINT 'Applying Availability Group settings...';
GO
ALTER AVAILABILITY GROUP [AG1]
SET (FAILURE_CONDITION_LEVEL = 1);
GO
ALTER AVAILABILITY GROUP [AG1]
SET (HEALTH_CHECK_TIMEOUT = 40000);
GO
PRINT 'Availability Group settings applied.';
GO
/* Verification */
SELECT
@@SERVERNAME AS ConnectedInstance,
ag.name AS AvailabilityGroup,
ag.failure_condition_level AS FailureConditionLevel,
CASE ag.failure_condition_level
WHEN 1 THEN 'ON_SERVER_DOWN'
WHEN 2 THEN 'ON_SERVER_UNRESPONSIVE'
WHEN 3 THEN 'ON_CRITICAL_SERVER_ERROR'
WHEN 4 THEN 'ON_MODERATE_SERVER_ERROR'
WHEN 5 THEN 'ON_ANY_QUALIFIED_FAILURE_CONDITIONS'
ELSE 'UNKNOWN'
END AS FailureConditionDescription,
ag.health_check_timeout AS HealthCheckTimeoutMs,
CASE
WHEN ag.failure_condition_level = 1
AND ag.health_check_timeout = 40000
THEN 'OK'
ELSE 'NOT OK'
END AS ValidationStatus
FROM sys.availability_groups AS ag
WHERE ag.name = N'AG1';
GO
Remarques
- Les valeurs ci-dessus ont été choisies pour un environnement donné ; les adapter à la latence réseau et aux exigences de basculement. Des timeouts plus longs réduisent les faux basculements mais retardent la détection d'une vraie panne.
- Garder l'intervalle de lease cohérent avec les paramètres de heartbeat, comme expliqué plus haut.