Semantisk søk og intensjonsbaserte systemer

Tradisjonelle søkemotorer lener seg på en invertert indeks. Hvis du søker etter «bil», skanner motoren databasen etter nøyaktig denne bokstavkombinasjonen. Hvis et dokument kun inneholder ordet «kjøretøy», blir det i praksis usynlig for søkemotoren. Dette fenomenet kalles det leksikalske gapet.

I en nettbutikk er dette kritisk. En kunde som søker etter «varm vinterjakke» får kanskje ingen treff på en «fôret parkas», selv om det er nøyaktig det de leter etter. Leksikalsk søk krever at kunden gjetter de nøyaktige ordene produktteksten bruker. Semantisk søk fjerner denne gjetteleken ved å forstå meningen bak ordene.

Løsningen ligger i bruken av vektorer (embeddings). Avanserte maskinlæringsmodeller, som OpenAIs text-embedding-3, konverterer tekst, bilder eller lyd til lange rekker av tall – såkalte vektorer.

Se for deg et enormt, flerdimensjonalt kart. På dette kartet plasseres ordene «katt» og «hund» tett inntil hverandre fordi de deler konseptuelle egenskaper (kjæledyr, fire ben, pels). Ordet «bil» havner i et helt annet «nabolag» på kartet.

Når en bruker utfører et søk, konverteres spørsmålet til en koordinat i dette landskapet. Systemet leter deretter etter de nærmeste punktene («Nearest Neighbor Search»). Det er dette som gjør at et søk på «noe å sitte på» automatisk returnerer både «stol», «sofa» og «krakk» – helt uten at du har måttet definere disse synonymene manuelt.

Rust og forutsigbar ytelse: Ved å unngå Java Virtual Machine (JVM) og de tilhørende pausene for minnehåndtering («garbage collection»), leverer Meilisearch ekstremt stabile responstider, ofte under 50 millisekunder. Denne stabiliteten er helt avgjørende for å kunne levere «søk-mens-du-skriver»-opplevelser uten forsinkelser.

Hybrid søk i én kjerne: Meilisearch integrerer vektorsøk direkte i kjernen. Det eliminerer behovet for å drifte to separate systemer – ett for tekst og ett for vektorer. Resultatet er en hybridmodell som gir deg det beste fra to verdener: presisjonen til tradisjonelle nøkkelord og den kontekstuelle forståelsen til AI.

Kostnadseffektiv skalering (Disk-basert HNSW): Mange vektordatabaser krever at hele indeksen lastes inn i dyrt minne (RAM) for å være raske nok. Meilisearch benytter derimot en egenutviklet implementasjon av HNSW-algoritmen (kalt Hannoy) som er optimalisert for å kjøre effektivt direkte fra disk. Dette reduserer driftskostnadene betydelig, da man ikke trenger enorme mengder RAM for store datasett.

Meilisearch gjennomførte nylig en fullstendig ombygging av sin vektormotor, der de gikk fra en tre-basert struktur (Arroy) til en graf-basert struktur (Hannoy). Tallene under illustrerer effekten av denne moderniseringen:

Meilisearch kombinerer resultatene fra tradisjonelt nøkkelordsøk (BM25) og moderne vektorsøk. Utfordringen er at disse systemene snakker ulike språk: BM25 kan gi en relevans-score på 45.0, mens vektorsøket gir en score mellom 0 og 1 (f.eks. 0.9).

For å forene disse bruker Meilisearch en normaliseringsteknikk (affine transformation) som gjør scorene sammenlignbare før de slås sammen. Dette er en vesentlig forbedring sammenlignet med mange konkurrenter, som bruker en enklere metode kalt Reciprocal Rank Fusion (RRF). Mens RRF kun ser på hvilken rekkefølge resultatene kommer i, bevarer Meilisearch informasjonen om hvor godt treffet faktisk var. Det gir en mer nøyaktig sluttliste.

En unik fordel med Meilisearch er parameteren semanticRatio. Dette fungerer i praksis som en «glidebryter» mellom 0.0 (rent tekstsøk) og 1.0 (rent AI-søk), slik at du kan finjustere strategien basert på bruksområde:

• For nettbutikker (f.eks. 0.3): Her er ofte produktnavn og spesifikasjoner viktigst. En lav ratio sikrer at vi treffer nøyaktig på søkeordene, men samtidig fanger opp synonymer og skrivefeil via vektorene.
• For support-bots (f.eks. 0.9): Her stiller brukerne ofte vage spørsmål («hvordan fikser jeg dingsen?»). En høy ratio lar AI-en ta styringen for å forstå konteksten og intensjonen, fremfor å lete etter ordrett match. Dette er noe vi gjerne A/B-tester for å finne den optimale innstillingen.

Tall fra Baymard Institute viser at hele 42 % av større nettbutikker ikke støtter tematiske søk (f.eks. «vårjakke til herre» fremfor bare «jakke»). Når vi vet at ca. 30 % av de besøkende bruker søkefeltet, og at disse har 2–3 ganger høyere kjøpsintensjon enn de som bare klikker rundt, er det kritisk å møte dem på riktig måte. Et svar uten treff er i praksis en oppfordring om å gå til konkurrenten.

• Bookshop.org: Nettbokhandelen opplevde at brukere ofte søkte etter konsepter fremfor titler (f.eks. «blå bok om en trollmann»). Tradisjonelt søk ga ingen treff. Ved å bytte til Meilisearch med semantisk søk, økte de konverteringsraten fra søk med hele 43 %. Systemet koblet den vage beskrivelsen til Harry Potter via kontekst, ikke bare nøkkelord.
• Etsy: Etsy implementerte sin egen semantiske søkemotor for å håndtere estetiske søk som «boho chic decor». Resultatet var en betydelig økning i konvertering og salg, som ga hundrevis av millioner dollar i ekstra årlig omsetning. Kundene fant rett og slett produkter de ikke visste navnet på.
• Walmart: Når en vare er utsolgt, bruker Walmart vektorsøk for å forstå hva produktet er, slik at de kan foreslå en relevant erstatning. I stedet for å miste salget, viser de en annen vare som ligger nær i det «semantiske rommet». Dette har drastisk redusert tapt omsetning ved vareknapphet.

Retrieval-Augmented Generation (RAG) endrer spillereglene for kundeservice. Ved å la en språkmodell (ChatGPT, Gemini, Claude) søke i bedriftens egne data før den svarer, eliminerer man «hallusineringer» og sikrer presise svar. Dette flytter AI fra å være en enkel «pratebot» til en verdifull medarbeider.

• Klarna: Klarna er kanskje det mest kjente eksempelet på RAG i 2024. Deres AI-assistent håndterte 2,3 millioner samtaler (to tredjedeler av alle henvendelser) i løpet av den første måneden. Den gjør nå jobben tilsvarende 700 fulltidsansatte, løser saker på 2 minutter (mot 11 minutter tidligere) og forventes å forbedre bunnlinjen med 400 millioner kroner årlig.
• Morningstar: Finansselskapet Morningstar utviklet «Mo» – en intern assistent for analytikere. I stedet for å bruke timer på å lete gjennom tusenvis av PDF-rapporter, kan analytikerne spørre «Hva er risikoanalysen for selskap X?». Systemet henter relevante avsnitt fra interne databaser og oppsummerer svaret. Dette frigjør enorme mengder tid til faktisk analyse fremfor informasjonsinnhenting.

Tradisjonelle anbefalingsmotorer («Kunder som kjøpte denne, kjøpte også...») er avhengige av historikk. De fungerer dårlig på nye produkter – et problem kjent som «Cold Start». Vektorsøk løser dette ved å analysere produktets innhold (bilde, tekst, egenskaper) fremfor brukeradferd.

• Spotify: Selv om Spotify bruker mye brukerdata, er deres anbefalinger også basert på semantisk forståelse av lydfiler og tekster. Dette gjør at de kan anbefale en helt ny sang fra en ukjent artist til deg, kun fordi sangens profil (tempo, stemning, sjanger) ligner på det du liker. Dette holder brukerne i appen lenger.
• IKEA: IKEA bruker visuell AI og vektorsøk for å anbefale produkter som passer sammen stilmessig. Hvis du ser på en sofa, kan systemet finne puter og tepper som matcher sofaens farge og tekstur. Slike anbefalinger øker ofte snittordren med 10–30 % fordi kunden blir inspirert til å kjøpe en helhetlig stil.
• Meilisearch: Teknisk sett løses dette via endepunktet /similar. En nettbutikk kan umiddelbart vise «Lignende produkter» for en vare som ble lagt inn for 5 minutter siden. Dette sikrer at nye varer blir eksponert fra dag én, uten at man må vente ukesvis på klikkdata.

PXL har spisskompetanse på Laravel, og her er integrasjonen sømløs. Gjennom pakken Laravel Scout har vi full kontroll på søkelogikken rett i koden. Det gjør at vi kan skreddersy et avansert, hybrid søk som er tilpasset deres unike behov – helt ned til minste detalj.

Eksempel: Aktivering av hybrid søk

Å sette opp hybrid søk i Laravel er effektivt, men krever at man går litt dypere enn standardoppsettet for å utnytte AI-kraften. Her instruerer vi motoren til å vekte nøkkelord og semantisk forståelse likt (0.5):

For nettbutikker på WooCommerce handler det om å bryte seg løs fra begrensningene i databasen. Standard WordPress-søk belaster SQL-serveren tungt og gir ofte irrelevante treff.

I stedet for å lene oss på standardfunksjonalitet, implementerer vi Meilisearch som en dedikert søkemotor som kjører parallelt med nettbutikken. Vi kobler oss direkte på API-et for å avlaste serveren fullstendig. Dette gir en umiddelbar hastighetsøkning og tilgang til funksjoner som stavekorrigering («mente du...?») og semantisk forståelse – funksjonalitet som vanligvis krever langt tyngre enterprise-plattformer.

I større arkitekturer kjører vi ofte Meilisearch som en isolert tjeneste. Dette betyr at vi kan ha en mobilapp (iOS/Android) og en nettside som snakker med samme søkemotor. Siden Meilisearch er agnostisk til programmeringsspråk, kan vi bygge lynraske frontender i JavaScript (Vue, React, Next.js) mens backend håndterer dataflyten.

Uavhengig av plattform er datasikkerhet kritisk, spesielt i B2B-løsninger (SaaS) hvor Kunde A aldri må kunne søke i dataene til Kunde B.

Meilisearch løser dette elegant med Tenant Tokens. I stedet for å gi frontend-applikasjonen full tilgang, genererer backend en signert nøkkel som inneholder hardkodede regler (f.eks. tenant_id = 1). Meilisearch garanterer da, på motornivå, at søket kun skjer innenfor denne kundens data. Dette eliminerer risikoen for datalekkasje gjennom søkefeltet.