Data Engineer Stack
Ingestion, transformation, lagerhållning och orkestrering för produktionsklara datapipelines.
Paketarkitektur
Detaljerad genomgång
Ingestion
Fivetran
From $1/MAR credit300+ kopplingar med schemaändringshantering. Ställ in och glöm - genuint hanterad ELT.
Airbyte
Cloud from $0/moOpen source-alternativ med möjlighet till egen hosting. Växande kopplingskatalog och SDK för anpassade kopplingar.
Kafka
Confluent Cloud from $0.11/hrRealtids-eventströmning för pipelines med hög genomströmning. Ryggraden i händelsedrivna arkitekturer.
Transformation
dbt
Cloud from $100/moSQL-baserad transformation med versionshantering, testning och dokumentation. Förändrade hur vi tänker kring datamodellering.
Apache Spark
Databricks from $0.07/DBUDistribuerad bearbetning för datamängder som är för stora för SQL. PySpark för dataforskare, Scala för prestanda.
Python
Free / OSSPandas, Polars och hela PyData-ekosystemet. Lim-språket för datateknik.
Warehousing
BigQuery
On-demand $6.25/TB queriedServerlös analys i petabyte-skala med generös gratisplan. Vårt primära datalager på SIAX.
DuckDB
Free / OSSIn-process-analys för utveckling och prototyper. Fråga Parquet, CSV och JSON lokalt i blixtfart.
Orchestration
Apache Airflow
Astronomer from $249/moDAG-baserad arbetsflödesorkestrering. Brant inlärningskurva, men oöverträffad flexibilitet för komplexa pipelines.
Dagster
Cloud from $0/moModern orkestrerare med mjukvarudefinierade assets. Bättre DX än Airflow, särskilt för datateam.
Analytics & Visualization
Metabase
Pro $85/mo (10 users)Self-service BI som icke-tekniska användare faktiskt klarar av. SQL-läge för avancerade, klicka-och-utforska för alla andra.
Looker Studio
FreeGratis dashboards kopplade till BigQuery. Bra för operativa dashboards och intressentrapporter.
Hex
Team $28/editor/moNotebook + app-byggare för datateam. Reaktiv SQL och Python i en delbar arbetsyta.
Total paketkostnad
Uppskattningar baserade på ett 10-personers team. Faktiska kostnader varierar beroende på användning, platser och förhandlade priser. Gratisplaner visas som $0.
Årsuppskattning
$17 616
Före årsfaktureringsrabatter
Gratisverktyg i paketet
5
av 13 verktyg totalt
Varför denna stack
Simon's Take
Denna stack bygger på erfarenhet från dataplattformar som ingestar från 30+ källor till BigQuery. Kombinationen Fivetran + dbt + BigQuery är den moderna datastackens guldstandard av en anledning: den separerar ingestion från transformation, skalar efter behov och håller kostnaderna förutsägbara. Jag använder Airflow för komplex orkestrering men flyttar i allt högre grad nya pipelines till Dagster för den bättre testupplevelsen. Totalkostnaden är runt $1 468/månad för en medelstor dataplattform - jämför det med ett enda Snowflake Enterprise-kontrakt.
Last updated: April 2026. Stacks are reviewed quarterly.