Hopp til innhold
CaseDrift og sky

Null nedetid: arkitektur for kritiske applikasjoner

Slik deployer du uten nedetid med Kubernetes, GitOps og Argo CD: rolling updates, graceful shutdown og databasemigreringer, fra et finansforetak.

Stian BrendlienDaglig leder i PXL
Publisert
Oppdatert
Lesetid
7 min
flere deploys om dagen, fra ett i måneden
Daglig
fra commit til produksjon, fra 5 dager
45 min
oppetid det første året
99,99 %
nattarbeid, fra 12 timer
0 timer

Kort fortalt

  • Null nedetid krever mer enn Kubernetes: rolling updates med maxUnavailable 0, graceful shutdown, riktige helseprober og GitOps med ArgoCD.
  • Expand-Contract-mønsteret lar deg endre databaseskjemaet uten nedetid ved å holde gammel og ny kode kompatibel gjennom hele utrullingen.
  • For finansforetaket gikk antall deploys fra ett i måneden til flere om dagen, med 99,99 % oppetid det første året.

Sammendrag

Hvordan deployer du hver dag uten at brukerne merker det? Denne casen viser arkitekturen som skal til for å unngå nedetid i kritiske systemer. Kunden er et finansforetak som ønsket å være anonymt.

Vi går i dybden på det tekniske: Kubernetes-oppsett, databasemigreringer og kravene til selve applikasjonen. Prinsippene gjelder uansett om stacken er bygget på PHP, Python, Go eller Node.js.

Bakgrunn: frykten for deploys

Utgangspunktet

Situasjonen er kjent for mange: en stor monolitt som hadde vokst seg uhåndterlig, og deploys som var manuelle, trege og risikable.

Vedlikeholdsvinduer. Hvert deploy krevde planlagt nedetid, gjerne sent på kvelden. Brukerne forventet tjenester som var tilgjengelige hele døgnet, så utviklerne måtte deploye om natten.

Frykten for deploys. Hvert deploy var stort og risikabelt, så teamet utsatte det så lenge som mulig. Endringene hopet seg opp, merge-konfliktene ble flere, og hvert nye deploy ble enda mer risikabelt.

Tungvint skalering. Ved trafikktopper måtte hele monolitten skaleres opp, selv om bare en liten del av systemet var under press.

Målene

Selskapet satte tre krav. De to første er DORA-metrikker (DORA):

Krav Mål
Deployment frequency Fra én gang i måneden til daglig
Change fail rate Under 1 %
Zero downtime Ingen avbrutte økter og ingen 5xx-feil

Strategi: hybrid CI/CD med GitLab og GitHub

Kunden har både intern kode som skal holdes lukket, og offentlige SDK-er og integrasjoner. Derfor valgte vi en hybrid løsning.

GitLab for den interne koden

Internt kjører kunden GitLab Self-Managed, med kode, CI-pipelines, container registry og sikkerhetsskanning (SAST og DAST) på ett sted.

Via GitLab-agenten for Kubernetes bestemmer plattformteamet hvilke prosjekter som får bruke clusteret. CI-jobbene logger inn med jobbtokenet sitt, så ingen cluster-credentials ligger i CI-variabler (GitLab).

GitHub for det som er åpent

Offentlige SDK-er og partnerintegrasjoner ligger på GitHub, som er standarden for open source. GitHub Actions kjører de offentlige testene og publiserer pakker til npm, PyPI og Packagist.

Synkronisering

GitLab er source of truth. Koden speiles automatisk til GitHub, så utviklerne forholder seg til ett sted selv om koden ligger på to.

GitOps med Argo CD

Null nedetid krever at manuelle feilkilder fjernes. Da vi flyttet kunden til Kubernetes, bygget vi derfor plattformen på GitOps fra første dag: ingen endringer i clusteret gjøres for hånd med kubectl apply, alt går gjennom Git.

Argo CD holder clusteret synkront med Git

Argo CD er et GitOps-verktøy for continuous delivery til Kubernetes. Det sammenligner hele tiden det som kjører i clusteret, med det som er definert i Git, og retter avvik (Argo CD).

Pull i stedet for push. CI-serveren pusher ikke endringer til clusteret, noe som ville krevd admintilgang til produksjon. I stedet henter Argo CD endringene fra et eget manifest-repo.

Sikkerhet. CI-systemet har aldri direkte tilgang til produksjon, bare skrivetilgang til manifest-repoet, og det fjerner en stor angrepsflate.

Fra kode til produksjon

  1. Bygg (CI): Utvikleren pusher koden. Pipelinen kjører testene, bygger Docker-imaget og skanner etter sårbarheter.
  2. Oppdater (CD): Går bygget grønt, oppdaterer CI-jobben versjonen i manifest-repoet.
  3. Synkroniser: Argo CD oppdager endringen, beregner diffen og ruller ut den nye versjonen kontrollert i Kubernetes.
Et deploy av api-gateway fra commit til fire nye pods.

Slik deployer du uten nedetid

Med oppsettet under kan du deploye midt i arbeidstiden uten at en eneste forespørsel går tapt.

Rolling update

Som standard bruker Kubernetes rolling update med maxUnavailable: 25%, så opptil en fjerdedel av podene kan være nede samtidig under et deploy (Kubernetes). Det tåler ikke en kritisk applikasjon, så vi setter maxUnavailable til 0:

Rolling updatereplicas: 4maxSurge: 25%maxUnavailable: 0
Klare pods4 av 4 · aldri under 4

Utgangspunkt: fire pods kjører v2.0 og tar all trafikk.

Steg 1 av 5
Gå gjennom utrullingen steg for steg.
deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: api-server
spec:
replicas: 4
strategy:
type: RollingUpdate
rollingUpdate:
maxSurge: 25%
maxUnavailable: 0
template:
spec:
containers:
- name: api
image: registry/api:v2.1.0
ports:
- containerPort: 8080
● Rolling update i KubernetesYAMLUTF-8LF

maxUnavailable: 0 er nøkkelen. Antallet tilgjengelige pods går aldri under replicas. Kubernetes starter en ny pod og venter til den er Ready før den stopper en gammel.

maxSurge: 25% lar clusteret bruke litt ekstra ressurser en kort stund, slik at de nye podene kommer raskt opp.

Graceful shutdown: slik unngår du 502 Bad Gateway

Den vanligste feilen når du flytter til Kubernetes, er å overse livssyklusen til applikasjonen. Når en pod skal avsluttes, skjer to ting samtidig:

  1. Kubernetes markerer poden som terminating i EndpointSlices, slik at lastbalansererne skal slutte å sende trafikk til den.
  2. Kubernetes sender SIGTERM til containeren for å stoppe prosessen.

Problemet: Mange servere avslutter med en gang de får SIGTERM (for Nginx betyr SIGTERM fast shutdown), ofte før kube-proxy, ingress eller lastbalansereren i skyen har sluttet å sende trafikk til poden. Da sendes trafikk til en pod som nettopp har stoppet, og brukeren får «502 Bad Gateway». AWS kaller det en race condition og anbefaler en kort sleep i en preStop-hook (AWS, LearnKube).

graceful-shutdown.yaml
spec:
terminationGracePeriodSeconds: 30
containers:
- name: api
lifecycle:
preStop:
sleep:
seconds: 15
● preStop-hook for graceful shutdownYAMLUTF-8LF

Når Kubernetes avslutter poden, markeres den som terminating samtidig som preStop-hooken kjører. Hooken gjør ikke annet enn å vente i 15 sekunder, og SIGTERM sendes først når den er ferdig.

Applikasjonen svarer på trafikk hele tiden, men får stadig mindre etter hvert som lastbalansererne oppdateres. Fristen i terminationGracePeriodSeconds gjelder hooken og avslutningen til sammen, så med 30 sekunder har appen 15 sekunder på å avslutte etter SIGTERM. sleep i preStop er stabil fra Kubernetes 1.34 og slått på som standard fra 1.30. På eldre clustere kan du bruke exec med sleep 15.

Hooken må være ferdig før SIGTERM sendes, og fristen gjelder hele avslutningen (Kubernetes, Kubernetes 1.34).

Helseprober: liveness og readiness

Liveness-proben sjekker bare at prosessen lever. Hold den enkel og la den ikke sjekke databasen. Går databasen ned, feiler proben i alle podene samtidig, og Kubernetes restarter dem i en loop som ikke løser noe.

Readiness-proben sjekker at poden kan ta imot trafikk, for eksempel at databasen svarer og cachen er varm. Feiler den, tas poden ut av lastbalanseringen, men får fortsette å kjøre.

Startup-proben er for applikasjoner som bruker tid på å starte. Til den lykkes, venter Kubernetes med de andre probene, så en treg oppstart ikke blir tolket som en død prosess (Kubernetes).

probes.yaml
spec:
containers:
- name: api
startupProbe:
httpGet:
path: /health/live
port: 8080
periodSeconds: 2
failureThreshold: 30
livenessProbe:
httpGet:
path: /health/live
port: 8080
periodSeconds: 10
readinessProbe:
httpGet:
path: /health/ready
port: 8080
periodSeconds: 5
failureThreshold: 3
● Liveness- og readiness-proberYAMLUTF-8LF

Liveness-proben er bevisst enkel og sjekker bare at prosessen svarer. Readiness-proben sjekker at applikasjonen kan ta imot forespørsler, også at databasen svarer.

Startup-proben gir applikasjonen opptil 60 sekunder, 30 forsøk med 2 sekunders mellomrom, før Kubernetes gir opp og restarter containeren.

Databasen: den største utfordringen

Koden byttes ut ved hvert deploy, men dataene blir værende. Under utrullingen kjører gammel og ny versjon side om side mot det samme skjemaet. Hvordan endrer du skjemaet uten å låse tabeller eller få den gamle versjonen til å feile?

Løsningen er mønsteret expand-contract, også kalt parallel change (Danilo Sato hos Martin Fowler, 2014).

Fase 1: expand

Skal kolonnen address hete billing_address? Vi legger til den nye kolonnen, beholder den gamle og deployer koden. Nå finnes begge kolonnene.

Fase 2: migrate

Applikasjonen skriver til begge kolonnene, men leser fra den nye. En bakgrunnsjobb kopierer de eksisterende dataene over.

Fase 3: contract

Når vi er sikre på at alle pods kjører ny kode som bruker billing_address, fjerner vi den gamle kolonnen i en siste migrering.

Databaseskjemacustomers
idnameaddressbilling_address
1Ola NordmannStorgata 1, 0155 Oslo—
2Kari HansenBryggen 3, 5003 Bergen—
3Per OlsenTorget 8, 7011 Trondheim—

Ny kolonne legges til ved siden av den gamle. Gammel kode merker ingenting, og ingen tabell låses.

Kode som kjører
v1 · gammelKjører
leser addressskriver address
v2 · nyRulles ut
leser addressskriver begge

Begge versjonene må fungere mot skjemaet i hver fase, fordi gamle og nye pods kjører samtidig under utrullingen.

Velg fase. Eksempelet gir kolonnen address nytt navn: billing_address.
expand-contract-migration.php
// Migrering 1: expand med ny kolonne
Schema::table('customers', function (Blueprint $table) {
$table->string('billing_address')->nullable();
});
// Modellen skriver til begge kolonnene i overgangen
class Customer extends Model
{
protected function address(): Attribute
{
return Attribute::make(
get: fn (?string $value, array $attributes) => $attributes['billing_address'] ?? $value,
set: fn (string $value) => ['address' => $value, 'billing_address' => $value],
);
}
}
// Migrering 2: contract og fjern den gamle kolonnen
Schema::table('customers', function (Blueprint $table) {
$table->dropColumn('address');
});
● Expand-contract i LaravelPHPUTF-8LF

Først legger vi til den nye kolonnen. Så skriver modellen til begge kolonnene og leser fra den nye, med den gamle som fallback. Til slutt fjerner vi den gamle kolonnen.

Det krever disiplin, men databasen er aldri i utakt med noen av versjonene som kjører.

Applikasjonen: klar for Kubernetes

Uansett språk må applikasjonen følge 12-factor-prinsippene for at null nedetid skal fungere.

Konfigurasjon og miljøvariabler

I et cluster der pods kommer og går, kan du ikke stole på .env-filer på disk. All konfigurasjon må komme inn som miljøvariabler fra ConfigMaps og Secrets i Kubernetes.

  • Node.js, Python og Go leser direkte fra miljøet (process.env og os.environ).
  • Laravel leser miljøvariablene når php artisan config:cache kjøres. Kjør den derfor når containeren starter, ikke når imaget bygges, ellers blir verdiene fra byggemiljøet med i produksjon. Når konfigurasjonen er cachet, leses ikke .env lenger (Laravel).

Køer og serialisering

En felle mange overser, er jobber i kø (RabbitMQ, Redis eller Kafka). Når en ny versjon deployes, kan det ligge jobber i køen som er serialisert med den gamle kodestrukturen. Plukker en worker med ny kode opp en gammel jobb, kan jobben feile allerede når den deserialiseres.

Løsningen er versjonerte køer, eller jobber som alltid er bakoverkompatible, på samme måte som expand-contract for databasen. Ved breaking changes må køen tømmes før deployet. En Laravel-worker som får SIGTERM, gjør ferdig jobben den holder på med før den avslutter (Laravel), så sett --timeout lavere enn terminationGracePeriodSeconds.

Klar for skyen12-factor4 av 4 oppfylt
  • Config i miljøet

    Aldri hardkod credentials eller verdier som varierer mellom miljøer. Alt kommer inn via ConfigMaps og Secrets.

    ConfigMap · Secret
  • Stateless prosesser

    Hver pod skal kunne stoppes og erstattes når som helst. Ingen lokal state på disk.

    0 volumer
  • Port binding

    Applikasjonen svarer på sin egen port og er ikke avhengig av en ekstern webserver.

    :8080
  • Disposability

    Starter raskt, avslutter kontrollert og håndterer SIGTERM riktig.

    SIGTERM · 30 s

Resultater og forretningsverdi

Antall deploys gikk fra ett i måneden til flere om dagen, og utviklerne deployer nå små endringer fortløpende. Tiden fra commit til produksjon gikk fra 5 dager til 45 minutter. Oppetiden var 99,99 % det første året, også gjennom store omskrivinger.

Til sammenligning: DORA-rapporten for 2024 er den siste som deler teamene inn i nivåer. På det øverste nivået, elite, deployer teamene ved behov, gjerne flere ganger om dagen. De har under én dags lead time, 5 % change fail rate og gjenoppretter på under én time. 19 % av teamene havnet der (DORA, 2024). Kunden ligger godt innenfor, og målet om under 1 % change fail rate er strengere enn elitenivået.

Den største endringen var likevel kulturen. Frykten for deploys forsvant, og tirsdag kveld gikk fra å være vaktkveld til å være fri.

Kort oppsummert

Du får ikke null nedetid gratis bare ved å velge Kubernetes. Det krever en gjennomtenkt arkitektur med CI/CD-pipelines, infrastruktur definert i Git (GitOps) og god forståelse av livssyklusen til applikasjonen.

For bedrifter som må være tilgjengelige hele døgnet, er en slik deploy-flyt et konkurransefortrinn i seg selv.

Vi hjelper selskaper med å forbedre deploy-flyten. Miljøene vi har satt opp, skalerer med trafikken og tåler feil, og de kjører applikasjoner i alt fra PHP og Python til Go og Node.js. Jobben spenner fra containere og CI/CD til drift og overvåking av Kubernetes.

Kilder og videre lesning

Ofte stilte spørsmål

Hva er zero downtime deployment?

Zero downtime deployment (ZDD) betyr å deploye nye versjoner uten at applikasjonen er utilgjengelig underveis. Med teknikker som rolling updates, blue-green deployment eller canary releases kan nye versjoner tas i bruk uten at brukerne merker avbrudd eller feil.

Hvorfor får jeg 502 Bad Gateway under deploy?

Det skjer som regel fordi Kubernetes stopper poden før lastbalansereren har sluttet å sende trafikk til den. Løsningen er en preStop-hook som venter litt, ofte 15 sekunder, og en applikasjon som avslutter kontrollert når den får SIGTERM. Husk at terminationGracePeriodSeconds må dekke både ventetiden og avslutningen.

Hva er forskjellen på liveness- og readiness-prober?

Liveness-proben sjekker bare at prosessen lever, og bør ikke sjekke databasen. Feiler den, starter Kubernetes poden på nytt. Readiness-proben sjekker at poden kan ta imot trafikk, for eksempel at databasen svarer. Feiler den, tas poden ut av lastbalanseringen, men får fortsette å kjøre.

Hvordan migrerer jeg databasen uten nedetid?

Bruk expand-contract: legg til nye kolonner eller tabeller uten å fjerne de gamle, la koden skrive til begge og lese fra de nye, flytt de eksisterende dataene, og fjern de gamle kolonnene når alle pods kjører ny kode. Da er gammel og ny kode kompatibel gjennom hele utrullingen.

Hva er GitOps og hvorfor bør jeg bruke det?

GitOps betyr at Git er source of truth for infrastruktur og konfigurasjon. Verktøy som Argo CD holder clusteret hele tiden i samsvar med det som står i Git. Det gir full sporbarhet og enkel rollback, og CI-systemet trenger ikke tilgang til produksjon.

Hva koster det å innføre zero downtime deployment?

Det avhenger av infrastrukturen du har i dag og hvor kompleks applikasjonen er. Du trenger et Kubernetes-cluster, CI/CD-verktøy som GitLab eller GitHub og Argo CD. Den største jobben er ofte å tilpasse applikasjonen til 12-factor-prinsippene og å lære opp teamet. Gevinsten er mindre nedetid, færre feilede deploys og raskere levering.

Skrevet av

Stian Brendlien

Daglig leder i PXL

Stian har bygget og driftet webplattformer i over 18 år, blant annet 13 år som CTO i Anbudstorget og fem år som innleid tech lead hos GlobalConnect. Han er fullstack-utvikler og den du snakker med om CI/CD, Kubernetes og arkitektur.

Vil du deploye uten nedetid?

Vi setter opp Kubernetes, CI/CD og GitOps som lar deg deploye flere ganger om dagen uten at brukerne merker det. Det er uforpliktende å ta kontakt.

Alle artikler