RAG-modell som gir mer orden i sysakene

Når svaret finnes et sted i hundrevis av sider

I dette prosjektet leverte Kantega en isolert pilotløsning som benyttet Retrieval Augmented Generation (RAG)-teknikker og store språkmodeller for dette formålet.

RENbladene er en dynamisk kunnskapsbank for prosjektering, montasje, drift og vedlikehold innen elkraft, og består av hundrevis av dokumenter på opptil hundrevis av sider. Det kan være utfordrende å navigere i denne rike kunnskapsbanken for en sluttbruker. REN bruker i dag betydelige ressurser på å besvare henvendelser som sluttbrukere i utgangspunktet skal kunne finne svare på basert på RENblad, men der de av effektivitetshensyn gjerne stiller skriftlige spørsmål direkte til REN.

Hva om du bare kunne spørre RENbladene?

REN kontaktet Kantega med ønske om bistand til å utvikle en RAG-modell, og en fullverdig pilotløsning for automatisert spørsmålbesvarelse basert på RENbladene og store språkmodeller. Det ble benyttet teknologier som Docker, Streamlit, Azure OpenAI, Azure AI Search og Azure container instances, samt Terraform og GitHub actions for automatisk utrulling av infrastruktur i Azure.

Løsningen ble demonstrert på konferansen Nettverksuken 30. november 2023 foran et stort publikum av fagpersoner innen elkraftbransjen. Piloten ble meget godt mottatt av fagmiljøet innen elkraft hos nettselskapene i Norge og elkraftingeniører som bruker veilederne i RENbladene til å prosjektere elektriske anlegg. REN besluttet på bakgrunn av dette å videreutvikle løsningen i 2024.

Fra pilot til videre satsing

Gjennom en begrenset pilot fikk altså REN verifisert hypotesen om at det finnes etterspørsel etter en språkmodellbasert løsning for å hente kunnskap fra RENbladene.