Verdien av Big Data

Nye datakilder

Data vi omgir oss med og har tilgjengelig har siden dataalderens spede begynnelse vært økende. Når man beskriver data skiller man ofte mellom strukturerte og ustrukturerte data.

• Strukturerte data har fast form og lar seg typisk representere som rader og kolonner i en relasjonsdatabase, datavarehus eller regneark. Tradisjonelt er det strukturerte data og denne type teknologi vi har basert våre elektroniske tjenester på.
  
• Ustrukturerte data inneholder elementer med en mer fleksibel struktur. Et typisk eksempel på denne type data er fritekst, men betegnelsen brukes generelt på alle datatyper der instansene ser mer ulike ut og ikke kan representeres etter samme faste skjema.

Det er innen ustrukturerte data vi har den største veksten av tilgjengelige datamengder -økningen er formidabel. Mens tradisjonell teknologi har kommet svært langt i å utnytte strukturert informasjon har man ikke det samme spekteret av verktøy tilgjengelig for å prosessere og dra verdier ut av ustrukturert informasjon.

Heldigvis skjer det en enorm teknologisk utvikling på området og Big Data-teknologi handler nettopp om å dra nytte av hele spekteret av tilgjengelige data.

Ifølge IBM øker datamengden vi omgir oss med med 60 % prosent i året. Det betyr ikke bare at vi omgir oss med mer og mer data, men også at dataene rundt oss er nye. En slik vekst innebærer at datamengdene som er produsert fra tidenes morgen (inklusive biblioteket i Alexandria) og frem til 2010 ikke er større enn det som er produsert fra slutten av 2010 til i dag.

Åpne data, sosiale medier og sensordata er eksempler på nye datakilder som bygger oppunder denne enorme veksten av tilgjengelige data.

Åpne offentlige data

Offentlige etater har fått klare instruksjoner om at data de sitter på bør tilgjengeliggjøres for publikum. Ved å åpne tilgangen til data kan tredjepartsleverandører lage nye og verdifulle tjenester. I Trondheim og andre byer har vi flere eksempler på apps knyttet til bussrute-informasjon som er laget av andre selskaper enn de som produserer og eier dataene. For brukerne opplever man et mangfold av tjenester der nyskapning og kvalitet er avgjørende for å nå brukermassene.

Ved å dele ut dataene gratis får samfunnet utnyttet verdiene som ligger i dataene i form av nye tjenester, innovasjon og etablering av nye oppstartsbedrifter.

Norge har kommet et stykke på veien med å få offentliggjøring av data og data.norge.no er en portal som er etablert for å samle og promotere tilgjengelige datasett. Eksempler på tilgjengelige offentlige data er næringslivsregistre, organisasjonsmodeller, værdata og budsjetter. Kartdata fra Kartverket er en datakilde som per i dag ikke ligger gratis tilgjengelig og som mange ønsker å få offentliggjort. Dette er en spennende datakilde som kan danne grunnlag for et bredt spekter av nye tjenester.

Sosiale medier

Sosiale medier er en datakilde vi selv er med på å produsere. Fra sosiale medier får man informasjon om hvilke personer som har relasjoner til hverandre, og hva folk mener og er interessert i. En datakilde som Twitter blir ofte sett på som et barometer for hva som interesserer folk akkurat nå. Typiske karakteristikker for denne type data er at den i stor grad er ustrukturert (fritekst) og at verdien av dataene faller veldig fort.

Hver dag produseres det over 230 milllioner meningsytringer på maks 140 tegn som twitterbrukere ønsker å dele med verden. For å prosessere twitter-meldinger og dra verdifull informasjon fra dem er man avhengig av å kunne håndtere store mengder med ustrukturerte data svært raskt og gjerne i sanntid.

Sosiale medier som Facebook, Google+ og LinkedIn bruker dataene vi produserer aktivt for å presentere målrettet reklame til oss. Alt vi skriver, hvilke venner og relasjoner vi har, og alt vi trykke "Like" på sier mye om hva vi er interessert i. Facebook, Twitter og Google+ har integrasjonsgrensesnitt som gjør at man kan hente ut informasjon om brukeres egenskaper, relasjoner og publisert innhold.

Sensordata

Mange av de elektroniske duppedingsene vi omgir oss med har nettilgang og sensorer som kan varsle lokasjon og andre egenskaper. Smarttelefonene våre har sensorer som fanger opp lys, lyd og geografisk lokasjon og apps som kan distribuere sensordata til enhver tid. Mangfoldet av apps og data som distribueres er stort.

Innen forbrukerelektronikk kommer det nå en stor bølge med andre type produkter som har nettilgang og som distribuerer tilstandsdata. Eksempler på slike produkter er:

• Philips Hue er smarte led-pærer som du kan dimme og endre farge på lyset via en app på telefonen din.
• Hvitevareprodusenter som Samsung har lansert vaskemaskiner som du kan starte, pause og overvåke fra telefonen din. 
• Innen 1. januar 2019 skal strømkunder i Norge ha tatt i bruk ”smarte målere” som registrer strømforbruket på timebasis og automatisk sender informasjonen om forbruket til nettselskapet. Dette gir raskere og riktigere innhenting av måleverdier og et bedre fakturagrunnlag.
• Nye biler er datagenerende monstre med massevis av sensorer som måler og fanger opp alt fra lufttrykk, oljenivå, hastighet, til avstander til andre biler og midtstripen i veien. Ved å overvåke data fra disse sensorene kan bilene predikere og varsle om deler som bør byttes ut før behovet blir prekært.

Tilsammen skaper slike sensordata store datastrømmer som kan utnyttes analytisk og til å lage smarte styringsapplikasjoner.

Ny teknologi

Big data teknologi retter seg mot datautfordringer med følgende egenskaper:

• Hastighet - Dataene produseres i høy hastighet og de må utnyttes mens de enda er ferske og har verdi
• Variasjon - Mulighet til å koble ulike datakilder og bearbeide data med fleksible representasjonsformer
• Volum - Store datamenger, både i antall datameldinger og i størrelse

Sentral teknologi for å håndtere slike utfordringer er Hadoop, strømprosesseringsrammeverk som Storm, NoSQL-databaser og naturligspråk prosessering (NLP). Dette er teknologi som bryter med tradisjonell tankegang innenfor stormaskiner og lagring og prosessering av data, og som gjør det mulig å håndtere og dra verdier ut av nye og ustrukturerte datakilder.

For dere som er interessert i dette vil jeg gå dypere inn i teknologien i en kommende bloggartikkel. Men her og nå vil jeg avslutte med å gå inn på hvilke nye forretningsmuligheter Big Data kan gi.

Nye tjenester

Kombinasjon av nye datakilder og ny teknologi innenfor Big Data gjør det mulig å adressere problemer som før ikke fantes eller ikke var mulig å håndtere. Internett gjør store mengder med eksterne data tilgjengelig for å bygge nye tjenester i din bedrift og for dine kunder.

Skyteknologi har fått konstnadene knyttet til lagring og prosessering ned og gitt enhver garasjebedrift mulighet til å prosessere krevende datasett uten å eie en stor fysisk maskinpark. Mens Big Data-teknologi hittil har blitt drevet fram av store internettselskaper som Amazon, Google og Facebook ser man nå at den gjør innpass hos mer tradisjonelle bransjer som helse, fysisk handel, bank og forsikring.

Også norske selskaper bruker denne type teknologi for å tilby relevant innhold til unike brukere:

• cXense er et nytt og spennende selskap som logger det vi leser på nettaviser og bygger opp brukerprofiler som benyttes for å gi oss brukertilpasset reklame
• Comyo, et selskap i Telenor-konsernet, bruker lignende anbefalingsteknologi for å presentere relevant video og tv-innhold til sine brukere
• Coop har over lengre tid hatt medlemskort som gir dem gode bilder på våre kjøpsmønstre og hvilke produkter vi er interessert i. De har nylig begynt å sende ut brukertilpassede kuponger i posten og vist at teknologien har sin plass i vår fysiske verden og tradisjonelle bransjer.

Hvilke nye tjenester kan din virksomhet tilby?

Som jeg skrev innledningsvis gjør nye datakilder og ny teknologi det mulig å tenke nytt og lage tjenester som tidligere ikke var realiserbare. Din bedrift besitter mest sannsynlig store mengder data som ikke utnyttes i dag. Eksterne data fra sosiale medier og smarttelefoner kan utnyttes til å forstå markedet og kunder bedre.

Åpning og offentliggjøring av data gjelder ikke kun offentlige etater. Alle IT-prosjekter bør tilgjengeliggjøre dataene sine for andre systemer. Det er silotankegang og begrensninger i tilgang til data som er den største hinderet for hente ut verdiene. Spørsmålet du nå bør stille er:

Hvilke data trenger du for å revolusjonere tjenestene for dine kunder?