System/Plattform

Microsoft Fabric – framtidens molnbaserade analysplatform

Microsoft Fabric samlar analystjänster under ett och samma paraply.

Microsoft Fabric är det senaste inom molnbaserad analys. Genom att samla många tjänster under samma tak möjligörs delning av resurser mellan dessa. Den nya tjänsten OneLake tillgängliggör Datalake-data för större delar av organisationen!

Microsoft Fabric - framtidens molnbaserade analysplattform

Introduktion Microsoft Fabric

Microsoft har nyligen släppt en ny tjänst som kallas ”Microsoft Fabric”. Den samlar många existerande tjänster under en och samma licensierings- och förbrukningsmodell samt inför ett nytt koncept kallat ”OneLake”. Poängen med OneLake är att förenkla hanteringen av datalakes ur säkerhets, prestanda och accessperspektiv. Eftersom dataanalys och hantering av stora mängder data ofta ligger väldigt nära Dynamics 365 CE och Power Platform, är det ett ämne som för många företag är viktigt att ha koll på. Tjänsten kostar från ca 3000 SEK/månad och möjliggör då att man kan använda alla tjänster inom ramen för Microsoft Fabric. Notera att Microsoft Fabric i det ögonblick detta skrivs är i preview, mycket är nytt och sannolikt finns det några barnsjukdomar.

Vad är en datalake?

Till att börja med är kanske inte alla med på vad en datalake är. En klassisk databas, som exempelvis Microsoft SQL Server, kan i grunden delas upp i två funktionella delar; lagring av data och ett program för att läsa och skriva data. Som ett exempel, när du till en SQL server ställer frågan ”Ge mig en lista med alla kunder som heter Gustaf” så kommer den först att tolka och bearbeta frågan, sedan läsa från rätt delar i de filer som innehåller information om kunder.

Denna modell har varit praktisk när data lagrades på enskilda servrar eftersom dessa två komponenter då var en logisk enhet. Däremot har resan till att molnifiera detta gjort att man insett att det är smartare att dela upp dessa i två diskreta komponenter; lagring och databearbetning.

Lagring av data

Att lagra data behöver inte bli en kostsam historia om det görs på ett smart sätt. Genom att lagra all data i format som möjliggör att fler program och tjänster kan läsa och tolka den vid behov.

Fördelen med detta är att om ingen läsning eller skrivning sker av data så blir kostnaderna mycket lägre då programmen som läser endast behöver ha datakraften när de körs. En klassisk SQL-Server har dedikerade resurser (processorkraft och minne) allokerat hela tiden.

Det har däremot visat sig att när företag sätter upp datalakes så uppstår ofta vissa problem;

  • Olika program sparar information enligt olika modeller, det kan vara csv, parquet, cdm m.fl. vilket gör att det inte blir så portabelt som man önskar.
  • Rättighetshanteringen av dessa datalakes måste oftast hanteras på en ganska djup teknisk nivå. Detta kräver inte sällan att mer omfattande logik måste byggas för att se till att rätt person endast får se vad denna person ska se.
  • Prestanda. Eftersom dessa lösningar är uppbyggda av flera olika diskrekta tjänster så finns risken att flaskhalsar uppstår i någon av dessa tjänster och det är svårt att felsöka.

OneLake

Microsoft har därför lånat tankar från OneDrive till konceptet datalake och skapat OneLake. Med denna ska de tre problemen som beskrivs ovan lösas, eftersom abstraktionsnivån på den levererade tjänsten lyfts från PaaS till SaaS. Företaget köper helt enkelt en tjänst för företagets alla datalakebehov, OneLake, där rättigheter, prestanda och filformat löses av själva tjänsten. OneLake verkar också ha funktioner för att omfatta existerande data.

Vad ingår i Microsoft Fabric?

Vad gäller övriga Microsoft Fabric så består den av tjänster som i många fall tidigare gått att köpa separat;

  • Azure Data Factory – en tjänst för att kunna bygga kraftfulla och komplexa flöden för att flytta data mellan olika tjänster och transformera detta. Kallas Extract, Transform, Load (ETL).
  • Azure Synapse Analytics – En omfattande tjänst för att tillgängliggöra data som finns i många olika källor, ex. OneLake, datalake, SQL, filer mm. Omfattar även funktioner från Azure Data Factory.
  • Power BI – Denna mycket populära dataanalystjänst behöver nästan ingen ytterligare förklaring.
  • Data Activator – en ny tjänst som är i preview som möjliggör övervakning och avisering av data i realtid.

Nedan är en bild från Microsofts introduktion av nya tjänsten.

Många av dessa tjänster använder och tillhandahåller också Artificiell Intelligens (AI) och Machine Learning (ML) komponenter för att göra avancerad analys av den data som finns.

Den stora skillnaden på vad som skiljer att köpa Microsoft Fabric från att köpa alla dessa tjänster var för sig är att de delar på kapacitet och vilken storleksnivå (=kostnad) som man väljer på Microsoft Fabric ger också hur många kapacitetsenheter som man har tillgängliga. För mindre organisationer innebär detta att många olika tjänster kan nyttas utan att specifik kapacitet behöver allokeras till respektive tjänst. Exempelvis kan det vara så att man under kvällstid behöver processorkraft för att köra några batchjob, på dagtid lite extra kraft för att snabba på behandlingen i Power BI samt några SQL-endpoints i Azure Synapse för att göra realtidsslagningar mot viss data. Eftersom dessa delar kapacitet blir det då också större konsolideringseffekter.

Microsoft Fabric, Dynamics 365 & Power Platform

Vad har, eller kommer då Microsoft Fabric få för påverkan på Dynamics 365 CE och Power Platform? Den tydligaste och första förändringen är att Power BI ingår i Microsoft Fabric som en av de centrala delarna. Den finns fortfarande med över tjänsterna inom Power Platform men det är inte orimligt att tänka sig att den kommer röra sig mer mot de andra tjänsterna inom Microsoft Fabric.

Det finns också många tjänster inom Dynamics och Power Platform som arbetar med extern data i olika former. Som exempelvis:

Azure Synapse Link

En tjänst som ingår i Power Platform för att synkronisera data från dataverse till en datalake. I dagsläget kan man välja att exportera rakt till en datalake i Azure, till en datalake via Azure Synapse Analytics samt att exportera till Azure synapse analytics i Parquet format. Det troliga är att denna funktion byggs ut för att också möjliggöra export direkt till OneLake. Det kan också vara så att hela Dataverse omfattas av OneLake som då hanterar tillgängliggör data i Dataverse direkt för alla OneLake-konsumenter utan vidare behandling. Tyvärr är det lite tidigt för att säga exakt hur det kommer bli.

Customer Insight Data

En tjänst för att konsolidera data från många olika källor rörande kunder till ett och samma ställe för att effektivisera kundanalys och segmentering. Denna komponent har funktioner för både läsning, skrivning och berikning av data från datalakes. När den sätts upp går det också att välja om den data systemet självt använder ska lagras i en intern datalake eller datalake som man väljer själv (kallas Bring your own datalake). Det rimliga här är att alla dessa fyra varianterna av integration med datalakes byggs ut för att också kunna hantera OneLake.

Virtual Tables i Dataverse

Virtuella tabeller i dataverse är en funktion som ger möjligheten att skapa vad som i många avseenden ser ut som en vanlig tabell i dataverse men i själva verket har sin data lagrad externt. Det är mycket troligt att Microsoft släpper en funktion för att koppla OneLake-data till en virtuell tabell.

Marketing Insight/spegling av Marketing Insight

Denna databas är en stödfunktion till Customer Insight Journeys (tidigare kallad Dynamics 365 Marketing) där all beteendedata lagras. Detta kan exempelvis vara vilka nyhetsbrev som öppnas, levererats, clickats på, hemsidor som besökts mm. Denna databas är en intern funktion i Customer Insight Journeys. Då det nyligen annonserades att Dynamics 365 Marketing skulle byta namn till Customer Insight Journeys samt att denna ska säljas tillsammans med Customer Insight Data (tidigare endast kallat Customer Insight) så är fråga vad som sker med detta intressant. I dagsläget så finns en funktion för att spegla ut beteendedatat från den interna datalaken som finns i Customer Insight Journeys till en extern datalake. Denna används sedan ofta av Customer Insight Data för att göra analyser och segmentering baserat på beteenden. När dessa två tjänster nu börjar slås ihop samt att OneLake uppstår, är det lite svårt att säga vad som kommer att ske men det är rimligt att tro att hela detta område kommer att påverkas. Det sker sannolikt i steg så vi kommer nog bli varse detta allt eftersom.

Power BI

All avancerad rapportering som sker i Power Platform och Dynamics 365 CE sker med hjälp av Power BI. Nu när Power BI också kan köpas inom ramen för Microsoft Fabric så blir det så klart intressant att se hur detta kommer att utvecklas. Ett företag som väljer att gå all-in i Microsoft Fabric, kommer då också att sannolikt vilja ha all Power BI-bearbetning att ske inom ramen för Microsoft Fabric och inte betala extra för dessa tjänster bara för att få rapportering i Dynamics 365 CE eller Power Platform.

Sammanfattning Microsoft Fabric

Sammanfattningsvis kan man säga att Microsoft Fabric är en mycket intressant tjänst och det kommer att bli intressant att arbeta mer med OneLake. Det är en ny tjänst och Microsoft brukar släppa produkter tidigt varför det kan vara värt att ge en viss varning om man vill hoppa på detta redan nu, eftersom det sannolikt kommer kräva ett visst mått av tålamod och arbete med att hantera eventuella barnsjukdomar.

Det är också tydligt att detta är nästa steg för Microsoft i resan mot att göra tjänster som är mer födda i molnet istället för tjänster som kommer från server-världen och flyttats till molnet. Det är sannolikt inte heller slutet på denna resa så vi kommer troligtvis se en vidare molnförflyttning framöver.

Från ett kompetensperspektiv är det också tydligt att det är viktigt att bygga kompetens på dessa nya tekniker som OneLake, Synapse, Data Factory, Activator med flera, då de kommer att skapa nya spännande möjligheter framöver. 

Läs mer om Microsoft Fabric

Vi kan förvänta oss flera intressanta (gratis) sessioner relaterade till Microsoft Fabrics på Microsoft Ignite i November. Kika in här för att ta reda på vilka. Nedan följer ett antal länkar till sidor som är bra att titta in på om du vil lära dig mer.

Har du frågor, funderingar eller vill bolla lösningar är du alltid välkommen att kontakta mig.

Gustaf Westerlund, MVP och grundare av CRM-Konsulterna

Kontakta oss med dina frågor!

Känner du dig osäker eller är du redo att komma igång? Kontakta oss så svarar vi på alla frågor eller föreslår ett uppstartsmöte där vi går igenom era behov.