En genomtänkt dataplattform behöver inte vara komplex. Här är referensarkitekturen i fem lager som jag implementerat för svenska bolag: insamling, lagring, transformation, semantiskt lager och visualisering.
En modern dataplattform behöver inte vara komplex för att vara kraftfull. Tvärtom - de plattformar som håller över tid är de med tydliga lager och få rörliga delar. Den här referensarkitekturen är den jag återkommer till för svenska bolag som vill gå från utspridda kalkylark till en gemensam, betrodd källa till sanning på BigQuery.
Fem lager, var och en med ett tydligt ansvar. Vill du ha den byggd åt dig gör jag det inom dataplattform eller som en avgränsad Data Platform MVP-sprint.
Lager 1: Datainsamling - Airbyte + Cloud Scheduler
Allt börjar med att få in data tillförlitligt. Airbyte (eller Fivetran) hanterar de vanliga källorna - CRM, betalning, produktdatabas - med färdiga kopplingar, schemalagda av Cloud Scheduler. Poängen är att slippa underhålla skör egen integrationskod. Bygg eget bara för de källor som saknar färdig connector.
Lager 2: Raw/staging - BigQuery med partitionerade tabeller
Rådata landar orörd i ett staging-lager. Här partitionerar jag tabeller på datum och klustrar på de vanligaste filterkolumnerna - det är skillnaden mellan en fråga som kostar ören och en som skannar hela tabellen. Rålagret ändras aldrig manuellt; det är ert facit att alltid kunna gå tillbaka till.
Lager 3: Transformation - dbt Cloud + dbt tests
Det är här rådata blir användbar. dbt gör transformationerna till versionshanterad kod, med tester som fångar trasig data innan den når en dashboard. En genomtänkt mappstruktur (staging → intermediate → marts) håller projektet begripligt även när det växer. Mer om det i dbt-projektstruktur.
Lager 4: Semantic layer - dbt Semantic Layer eller Cube
Det vanligaste sättet att tappa förtroende för data är att "intäkt" betyder olika saker i olika rapporter. Ett semantiskt lager definierar måtten en gång - intäkt, aktiv kund, churn - så att alla verktyg räknar likadant. dbt Semantic Layer eller Cube fyller den rollen.
Lager 5: Visualisering - Looker Studio eller Power BI
Längst ut sitter dashboards som verksamheten faktiskt använder. Valet mellan Looker Studio och Power BI styrs mest av vilken stack ni redan lever i. Det viktiga är att rapporterna bygger på det semantiska lagret - inte på egna, avvikande beräkningar i varje dashboard.
▶ Bygg din dataplattform med SIAX. Från insamling till dashboards - se dataplattform-tjänsten.
Börja litet, men komplett
Du behöver inte bygga alla fem lager på en gång för en handfull källor. Men varje lager ska finnas i någon form från start - annars får du teknisk skuld inbyggd i grunden. En liten men komplett plattform slår en halvbyggd ambition varje gång. Se referensarkitekturen för helheten.
Relaterat
- dbt-projektstruktur: mappar, modeller och tests som skalar
- Djupguide: BigQuery-dataplattform från noll
- Data Platform MVP - 6-veckors sprint
Vill du ta det vidare?
Jag bygger dataplattformar på BigQuery för svenska bolag - dokumenterat och överlämnat så att ert team kan förvalta dem. Boka ett samtal så skissar vi er arkitektur.
“Plattformar som håller över tid har tydliga lager och få rörliga delar. En liten men komplett plattform slår en halvbyggd ambition.”
- Simon Axelsson
Vanliga frågor
- Måste vi bygga alla fem lager direkt?
- Nej, men varje lager bör finnas i någon form från start. Hoppar du över t.ex. transformation eller semantiskt lager bygger du in teknisk skuld i grunden. Börja litet i varje lager hellre än att bygga ut ett och skippa ett annat.
- Varför BigQuery och inte Snowflake?
- Båda är utmärkta. BigQuery passar ofta särskilt bra för bolag som redan är på Google Cloud eller vill ha serverless skalning utan kapacitetsplanering. Valet styrs av befintlig stack och team snarare än av funktionslistor.
- Vad kostar en BigQuery-dataplattform att driva?
- Driftskostnaden beror på datamängd och frågemönster. Med partitionering, klustring och rimliga transformationer håller de flesta mindre och medelstora bolag en låg månadskostnad - och en kostnadsbevakning sätts upp som del av plattformen.
Simon Axelsson är senior IT-konsult och grundare av SIAX Technology AB. Han hjälper nordiska företag med molninfrastruktur, dataplattformar och AI-automation.
Fler artiklar
