Null nedetid: arkitektur for kritiske applikasjoner
Slik deployer du uten nedetid med Kubernetes, GitOps og Argo CD: rolling updates, graceful shutdown og databasemigreringer, fra et finansforetak.
- Publisert
- Oppdatert
- Lesetid
- 7 min
api-gatewayProduksjonOversiktPodsLoggargocd · syncedFrisk- flere deploys om dagen, fra ett i måneden
- Daglig
- fra commit til produksjon, fra 5 dager
- 45 min
- oppetid det første året
- 99,99 %
- nattarbeid, fra 12 timer
- 0 timer
Kort fortalt
- Null nedetid krever mer enn Kubernetes: rolling updates med maxUnavailable 0, graceful shutdown, riktige helseprober og GitOps med ArgoCD.
- Expand-Contract-mønsteret lar deg endre databaseskjemaet uten nedetid ved å holde gammel og ny kode kompatibel gjennom hele utrullingen.
- For finansforetaket gikk antall deploys fra ett i måneden til flere om dagen, med 99,99 % oppetid det første året.
Sammendrag
Hvordan deployer du hver dag uten at brukerne merker det? Denne casen viser arkitekturen som skal til for å unngå nedetid i kritiske systemer. Kunden er et finansforetak som ønsket å være anonymt.
Vi går i dybden på det tekniske: Kubernetes-oppsett, databasemigreringer og kravene til selve applikasjonen. Prinsippene gjelder uansett om stacken er bygget på PHP, Python, Go eller Node.js.
Bakgrunn: frykten for deploys
Utgangspunktet
Situasjonen er kjent for mange: en stor monolitt som hadde vokst seg uhåndterlig, og deploys som var manuelle, trege og risikable.
Vedlikeholdsvinduer. Hvert deploy krevde planlagt nedetid, gjerne sent på kvelden. Brukerne forventet tjenester som var tilgjengelige hele døgnet, så utviklerne måtte deploye om natten.
Frykten for deploys. Hvert deploy var stort og risikabelt, så teamet utsatte det så lenge som mulig. Endringene hopet seg opp, merge-konfliktene ble flere, og hvert nye deploy ble enda mer risikabelt.
Tungvint skalering. Ved trafikktopper måtte hele monolitten skaleres opp, selv om bare en liten del av systemet var under press.
Målene
Selskapet satte tre krav. De to første er DORA-metrikker (DORA):
| Krav | Mål |
|---|---|
| Deployment frequency | Fra én gang i måneden til daglig |
| Change fail rate | Under 1 % |
| Zero downtime | Ingen avbrutte økter og ingen 5xx-feil |
Strategi: hybrid CI/CD med GitLab og GitHub
Kunden har både intern kode som skal holdes lukket, og offentlige SDK-er og integrasjoner. Derfor valgte vi en hybrid løsning.
GitLab for den interne koden
Internt kjører kunden GitLab Self-Managed, med kode, CI-pipelines, container registry og sikkerhetsskanning (SAST og DAST) på ett sted.
Via GitLab-agenten for Kubernetes bestemmer plattformteamet hvilke prosjekter som får bruke clusteret. CI-jobbene logger inn med jobbtokenet sitt, så ingen cluster-credentials ligger i CI-variabler (GitLab).
GitHub for det som er åpent
Offentlige SDK-er og partnerintegrasjoner ligger på GitHub, som er standarden for open source. GitHub Actions kjører de offentlige testene og publiserer pakker til npm, PyPI og Packagist.
Synkronisering
GitLab er source of truth. Koden speiles automatisk til GitHub, så utviklerne forholder seg til ett sted selv om koden ligger på to.
GitOps med Argo CD
Null nedetid krever at manuelle feilkilder fjernes. Da vi flyttet kunden til Kubernetes, bygget vi derfor plattformen på GitOps fra første dag: ingen endringer i clusteret gjøres for hånd med kubectl apply, alt går gjennom Git.
Argo CD holder clusteret synkront med Git
Argo CD er et GitOps-verktøy for continuous delivery til Kubernetes. Det sammenligner hele tiden det som kjører i clusteret, med det som er definert i Git, og retter avvik (Argo CD).
Pull i stedet for push. CI-serveren pusher ikke endringer til clusteret, noe som ville krevd admintilgang til produksjon. I stedet henter Argo CD endringene fra et eget manifest-repo.
Sikkerhet. CI-systemet har aldri direkte tilgang til produksjon, bare skrivetilgang til manifest-repoet, og det fjerner en stor angrepsflate.
Fra kode til produksjon
- Bygg (CI): Utvikleren pusher koden. Pipelinen kjører testene, bygger Docker-imaget og skanner etter sårbarheter.
- Oppdater (CD): Går bygget grønt, oppdaterer CI-jobben versjonen i manifest-repoet.
- Synkroniser: Argo CD oppdager endringen, beregner diffen og ruller ut den nye versjonen kontrollert i Kubernetes.
- 1GitLab CIBygg
- Tester312/312
- Docker-image142 MB
- SAST/DAST0 kritiske
- 2Manifest-repoOppdater versjoncommit fra CI, ingen tilgang til clusteret- image: api:v3.4.1+ image: api:v3.4.2
- 3Argo CDSynkroniser
- OutOfSync oppdaget14:32:38
- Sync startet14:32:41
- Healthy14:32:49
- 4KubernetesRolling updatev3.4.2v3.4.2v3.4.2v3.4.24 av 4 pods klare, 0 tapte forespørsler
Slik deployer du uten nedetid
Med oppsettet under kan du deploye midt i arbeidstiden uten at en eneste forespørsel går tapt.
Rolling update
Som standard bruker Kubernetes rolling update med maxUnavailable: 25%, så opptil en fjerdedel av podene kan være nede samtidig under et deploy (Kubernetes). Det tåler ikke en kritisk applikasjon, så vi setter maxUnavailable til 0:
Utgangspunkt: fire pods kjører v2.0 og tar all trafikk.
Steg 1 av 5apiVersion: apps/v1kind: Deploymentmetadata: name: api-serverspec: replicas: 4 strategy: type: RollingUpdate rollingUpdate: maxSurge: 25% maxUnavailable: 0 template: spec: containers: - name: api image: registry/api:v2.1.0 ports: - containerPort: 8080maxUnavailable: 0 er nøkkelen. Antallet tilgjengelige pods går aldri under replicas. Kubernetes starter en ny pod og venter til den er Ready før den stopper en gammel.
maxSurge: 25% lar clusteret bruke litt ekstra ressurser en kort stund, slik at de nye podene kommer raskt opp.
Graceful shutdown: slik unngår du 502 Bad Gateway
Den vanligste feilen når du flytter til Kubernetes, er å overse livssyklusen til applikasjonen. Når en pod skal avsluttes, skjer to ting samtidig:
- Kubernetes markerer poden som terminating i EndpointSlices, slik at lastbalansererne skal slutte å sende trafikk til den.
- Kubernetes sender SIGTERM til containeren for å stoppe prosessen.
Problemet: Mange servere avslutter med en gang de får SIGTERM (for Nginx betyr SIGTERM fast shutdown), ofte før kube-proxy, ingress eller lastbalansereren i skyen har sluttet å sende trafikk til poden. Da sendes trafikk til en pod som nettopp har stoppet, og brukeren får «502 Bad Gateway». AWS kaller det en race condition og anbefaler en kort sleep i en preStop-hook (AWS, LearnKube).
spec: terminationGracePeriodSeconds: 30 containers: - name: api lifecycle: preStop: sleep: seconds: 15Når Kubernetes avslutter poden, markeres den som terminating samtidig som preStop-hooken kjører. Hooken gjør ikke annet enn å vente i 15 sekunder, og SIGTERM sendes først når den er ferdig.
Applikasjonen svarer på trafikk hele tiden, men får stadig mindre etter hvert som lastbalansererne oppdateres. Fristen i terminationGracePeriodSeconds gjelder hooken og avslutningen til sammen, så med 30 sekunder har appen 15 sekunder på å avslutte etter SIGTERM. sleep i preStop er stabil fra Kubernetes 1.34 og slått på som standard fra 1.30. På eldre clustere kan du bruke exec med sleep 15.
Hooken må være ferdig før SIGTERM sendes, og fristen gjelder hele avslutningen (Kubernetes, Kubernetes 1.34).
Helseprober: liveness og readiness
Liveness-proben sjekker bare at prosessen lever. Hold den enkel og la den ikke sjekke databasen. Går databasen ned, feiler proben i alle podene samtidig, og Kubernetes restarter dem i en loop som ikke løser noe.
Readiness-proben sjekker at poden kan ta imot trafikk, for eksempel at databasen svarer og cachen er varm. Feiler den, tas poden ut av lastbalanseringen, men får fortsette å kjøre.
Startup-proben er for applikasjoner som bruker tid på å starte. Til den lykkes, venter Kubernetes med de andre probene, så en treg oppstart ikke blir tolket som en død prosess (Kubernetes).
spec: containers: - name: api startupProbe: httpGet: path: /health/live port: 8080 periodSeconds: 2 failureThreshold: 30 livenessProbe: httpGet: path: /health/live port: 8080 periodSeconds: 10 readinessProbe: httpGet: path: /health/ready port: 8080 periodSeconds: 5 failureThreshold: 3Liveness-proben er bevisst enkel og sjekker bare at prosessen svarer. Readiness-proben sjekker at applikasjonen kan ta imot forespørsler, også at databasen svarer.
Startup-proben gir applikasjonen opptil 60 sekunder, 30 forsøk med 2 sekunders mellomrom, før Kubernetes gir opp og restarter containeren.
Databasen: den største utfordringen
Koden byttes ut ved hvert deploy, men dataene blir værende. Under utrullingen kjører gammel og ny versjon side om side mot det samme skjemaet. Hvordan endrer du skjemaet uten å låse tabeller eller få den gamle versjonen til å feile?
Løsningen er mønsteret expand-contract, også kalt parallel change (Danilo Sato hos Martin Fowler, 2014).
Fase 1: expand
Skal kolonnen address hete billing_address? Vi legger til den nye kolonnen, beholder den gamle og deployer koden. Nå finnes begge kolonnene.
Fase 2: migrate
Applikasjonen skriver til begge kolonnene, men leser fra den nye. En bakgrunnsjobb kopierer de eksisterende dataene over.
Fase 3: contract
Når vi er sikre på at alle pods kjører ny kode som bruker billing_address, fjerner vi den gamle kolonnen i en siste migrering.
| id | name | address | billing_address |
|---|---|---|---|
| 1 | Ola Nordmann | Storgata 1, 0155 Oslo | — |
| 2 | Kari Hansen | Bryggen 3, 5003 Bergen | — |
| 3 | Per Olsen | Torget 8, 7011 Trondheim | — |
Ny kolonne legges til ved siden av den gamle. Gammel kode merker ingenting, og ingen tabell låses.
Begge versjonene må fungere mot skjemaet i hver fase, fordi gamle og nye pods kjører samtidig under utrullingen.
// Migrering 1: expand med ny kolonneSchema::table('customers', function (Blueprint $table) { $table->string('billing_address')->nullable();}); // Modellen skriver til begge kolonnene i overgangenclass Customer extends Model{ protected function address(): Attribute { return Attribute::make( get: fn (?string $value, array $attributes) => $attributes['billing_address'] ?? $value, set: fn (string $value) => ['address' => $value, 'billing_address' => $value], ); }} // Migrering 2: contract og fjern den gamle kolonnenSchema::table('customers', function (Blueprint $table) { $table->dropColumn('address');});Først legger vi til den nye kolonnen. Så skriver modellen til begge kolonnene og leser fra den nye, med den gamle som fallback. Til slutt fjerner vi den gamle kolonnen.
Det krever disiplin, men databasen er aldri i utakt med noen av versjonene som kjører.
Applikasjonen: klar for Kubernetes
Uansett språk må applikasjonen følge 12-factor-prinsippene for at null nedetid skal fungere.
Konfigurasjon og miljøvariabler
I et cluster der pods kommer og går, kan du ikke stole på .env-filer på disk. All konfigurasjon må komme inn som miljøvariabler fra ConfigMaps og Secrets i Kubernetes.
- Node.js, Python og Go leser direkte fra miljøet (
process.envogos.environ). - Laravel leser miljøvariablene når
php artisan config:cachekjøres. Kjør den derfor når containeren starter, ikke når imaget bygges, ellers blir verdiene fra byggemiljøet med i produksjon. Når konfigurasjonen er cachet, leses ikke.envlenger (Laravel).
Køer og serialisering
En felle mange overser, er jobber i kø (RabbitMQ, Redis eller Kafka). Når en ny versjon deployes, kan det ligge jobber i køen som er serialisert med den gamle kodestrukturen. Plukker en worker med ny kode opp en gammel jobb, kan jobben feile allerede når den deserialiseres.
Løsningen er versjonerte køer, eller jobber som alltid er bakoverkompatible, på samme måte som expand-contract for databasen. Ved breaking changes må køen tømmes før deployet. En Laravel-worker som får SIGTERM, gjør ferdig jobben den holder på med før den avslutter (Laravel), så sett --timeout lavere enn terminationGracePeriodSeconds.
- Config i miljøetConfigMap · Secret
Aldri hardkod credentials eller verdier som varierer mellom miljøer. Alt kommer inn via ConfigMaps og Secrets.
- Stateless prosesser0 volumer
Hver pod skal kunne stoppes og erstattes når som helst. Ingen lokal state på disk.
- Port binding:8080
Applikasjonen svarer på sin egen port og er ikke avhengig av en ekstern webserver.
- DisposabilitySIGTERM · 30 s
Starter raskt, avslutter kontrollert og håndterer SIGTERM riktig.
Resultater og forretningsverdi
Frykten for deploys forsvant. Tirsdag kveld gikk fra å være vaktkveld til å være fri.
Antall deploys gikk fra ett i måneden til flere om dagen, og utviklerne deployer nå små endringer fortløpende. Tiden fra commit til produksjon gikk fra 5 dager til 45 minutter. Oppetiden var 99,99 % det første året, også gjennom store omskrivinger.
Til sammenligning: DORA-rapporten for 2024 er den siste som deler teamene inn i nivåer. På det øverste nivået, elite, deployer teamene ved behov, gjerne flere ganger om dagen. De har under én dags lead time, 5 % change fail rate og gjenoppretter på under én time. 19 % av teamene havnet der (DORA, 2024). Kunden ligger godt innenfor, og målet om under 1 % change fail rate er strengere enn elitenivået.
Den største endringen var likevel kulturen. Frykten for deploys forsvant, og tirsdag kveld gikk fra å være vaktkveld til å være fri.
Kort oppsummert
Du får ikke null nedetid gratis bare ved å velge Kubernetes. Det krever en gjennomtenkt arkitektur med CI/CD-pipelines, infrastruktur definert i Git (GitOps) og god forståelse av livssyklusen til applikasjonen.
For bedrifter som må være tilgjengelige hele døgnet, er en slik deploy-flyt et konkurransefortrinn i seg selv.
Vi hjelper selskaper med å forbedre deploy-flyten. Miljøene vi har satt opp, skalerer med trafikken og tåler feil, og de kjører applikasjoner i alt fra PHP og Python til Go og Node.js. Jobben spenner fra containere og CI/CD til drift og overvåking av Kubernetes.
Kilder og videre lesning
- Deployments, pod lifecycle og container lifecycle hooks, Kubernetes-dokumentasjonen
- Argo CD, dokumentasjonen
- Parallel change, Martin Fowler
- DORA's software delivery metrics og Accelerate State of DevOps 2024, DORA
- Load balancing, AWS EKS Best Practices, og Graceful shutdown in Kubernetes, LearnKube
- The Twelve-Factor App
- Accessors and mutators, Laravel-dokumentasjonen


