Dataplattform på BigQuery och dbt
Du vill ha siffror alla litar på, med transformationer som går att granska, testa och versionshantera.
En modern dataplattform separerar ingestion, lagring, transformation och presentation så att varje steg kan ändras för sig. BigQuery är lagret och beräkningsmotorn, dbt äger transformationerna som kod, och ett orkestreringsverktyg håller flödet i takt. Resultatet är ett semantiskt lager där en KPI betyder en sak - oavsett vilken rapport som frågar.
Komponenter
Fivetran / Airbyte
Hämtar källdata (CRM, ERP, produktdatabaser) till råzonen utan handskriven integrationskod.
BigQuery
Lagring och beräkning; skiljer på lagrings- och frågekostnad och skalar utan kluster att driva.
dbt
Transformationer som versionshanterad SQL med tester, dokumentation och härkomst (lineage).
Dagster / Airflow
Orkestrering - schemalägger ingestion och dbt-körningar och larmar när något fallerar.
Looker / Metabase
BI-lager som frågar de modellerade tabellerna, inte rådata.
Avvägningar
ELT framför ETL
- För
- Rådata landar oförändrad och transformeras i lagret - du kan modellera om utan att hämta om.
- Emot
- Lagringskostnad för rådata och en frågekostnad som kan skena om modellerna är slarvigt skrivna.
BigQuery framför ett klustrat warehouse
- För
- Ingen kapacitet att driva; betalning per skannad data passar ojämn frågelast.
- Emot
- Kostnad per query gör oövervakade dashboards och fulla tabellskanningar oväntat dyra.
dbt framför transformationer i BI-verktyget
- För
- Logiken blir testbar, granskningsbar och återanvändbar i stället för låst i en dashboard.
- Emot
- Ytterligare ett verktyg och en SQL-disciplin teamet behöver lära sig och hålla.
Managed ingestion (Fivetran) framför egen kod
- För
- Färdiga, underhållna kopplingar som överlever att en käll-API ändras.
- Emot
- Kostnad per rad/volym som kan bli betydande, och mindre kontroll över exakt vad som hämtas.
Kostnad
BigQuery kostar i storleksordningen 5 USD per TB skannad data plus lagring runt 0,02 USD/GB/mån - för många mindre bolag landar det på några hundra till några tusen kronor i månaden, helt beroende på frågedisciplin. Managed ingestion (Fivetran) är ofta den största posten och prissätts per volym; Airbyte self-hosted byter den kostnaden mot drifttid.
Ska vi bygga den här hos er?
En referensarkitektur är en startpunkt, inte en mall - det rätta valet beror på er last, ert team och era krav. Hör av dig så anpassar vi den efter sammanhanget.