Lagligt insamlade och strukturerade data från publika källor. Bolagsregister, prisuppgifter, dokumentbibliotek, kataloger och API:er - som kontinuerlig pipeline, inte som engångsdump.
Det första jag gör i varje scraping-projekt är en legal-genomgång: var kommer datan ifrån, vilka licensvillkor gäller, vad säger robots.txt, och vilka GDPR-implikationer har insamlingen? Publik data från webbplatser utan inloggning är som regel tillåten att samla in, men personuppgifter omfattas av GDPR även om de är publikt tillgängliga. Vissa källors terms of service förbjuder automation explicit. Allt detta dokumenteras innan en enda rad kod skrivs.
Jag bygger inga pipelines mot inloggade ytor, bakom betalväggar eller mot källor som uttryckligen förbjuder automation i sina villkor. Om en källa kräver det och användningsfallet är legitimt är API-vägen rätt – inte scraping. Det är inte alltid den snabbaste vägen, men det är den enda som håller för produktion över tid utan risk för rättsliga problem.
Skillnaden mellan ett PoC-skript och en produktionsklar pipeline handlar inte om komplexitet – det handlar om robusthet. En pipeline som ska köras dagligen i månader måste ha retry-logik, dead-letter-queues, övervakning som larmar vid avvikelser, och idempotens så att en misslyckad körning inte ger dubblerade data. Den måste också tåla att källan ändrar struktur – vilket alla källor gör förr eller senare.
Därför bygger jag pipelines som infrastrukturkomponenter: containeriserade jobb på Cloud Run med schemaläggning, versionshanterad kod, och output till en datalake eller databas som ni äger. När källan ändras larmar övervakningen och jag gör en anpassning. Samma pipeline kan köras i flera år utan att någon manuellt behöver peta på den.
De organisationer vi arbetar med brottas oftast med minst ett av dessa.
Värdefull data ligger i en webbportal eller PDF-bibliotek utan API. Manuell hantering är tidsmördande och felbenägen.
Den officiella källans API är ofullständigt eller dyrt. Att kombinera flera källor kräver pipeline-arbete.
Ett internt PoC-skript bygger upp och kraschar. Saknar retry, övervakning och ingen vågar lita på datan.
GDPR, upphovsrätt, terms of service - när får man och får man inte. Behöver tydlig vägledning innan jag bygger.
Selektivt urval av uppdrag - där senior teknisk kompetens gör störst skillnad.
Identifierar och bedömer datakällor: licensvillkor, robots.txt, GDPR-implikationer, alternativa API:er. Skriftlig rekommendation.
Robust scraping mot publika webbplatser med rotation, rate-limiting och respekt för terms of service. Headless browsers när krävs.
Strukturerad data ur PDF-dokument med Claude Vision eller traditionell OCR + parsing. Tabeller, formulär, scanned text.
Cloud Run + scheduled jobs, retries, dead-letter-queues, idempotens. Datakällan blir en infrastrukturkomponent, inte ett skript.
Output strukturerat i BigQuery, Postgres eller export-API. Versionering, audit-logg, dimensionsmodell där det passar.
Larm vid schema-ändringar i källan, kostnadsövervakning, audit trail för efterlevnadsändamål.
Tydlig process från första samtalet till levererat resultat.
Vilka källor, vilka data, vilken frekvens - och vilka legala randvillkor som gäller.
Källanalys, legal-bedömning, arkitekturförslag och kostnadsuppskattning.
Produktionsklar pipeline med övervakning, retries och dokumentation.
Källor ändrar struktur över tid - förvaltning som retainer eller överlämning till ert team.
Transparenta upplägg utan dolda kostnader. Alla priser exkl. moms.
Källanalys och legal-bedömning med arkitekturförslag.
End-to-end pipeline för en eller flera källor.
Löpande förvaltning, källanpassningar och nya källor stegvis.
Svar på det jag oftast får höra.
Det beror på källan, datat och syftet. Publik data från webbplatser utan inloggning är som regel tillåten. Personuppgifter omfattas av GDPR. Vissa terms of service förbjuder automation. Källanalysen i Discovery-fasen klargör vad som är OK för just era källor.
Strukturen i en källa ändras alltid över tid. Övervakningen larmar när scraping börjar producera oväntade resultat. Retainer-kunder får anpassningar inkluderat; för engångsbygge sker det på timdebitering.
Pipelines körs på Cloud Run eller motsvarande serverless - kostnaden är linjär mot volym, inte mot fast infrastrukturkostnad. För hög volym används köbaserad arkitektur med worker-pool.
Ja. För strukturerade dokument med tabeller eller formulär används en kombination av Claude Vision och traditionell parsing. Kostnaden per dokument ligger på 0,10-0,50 kr beroende på modellval.
Ja. All kod, infrastruktur och datalagring tillhör er. Inga proprietära komponenter, ingen lock-in.
Nästa steg
Har ni en ambitiös idé eller ett tekniskt vägval där det är värt att tänka rätt från början? Hör av er - förutsättningslöst.
Ta kontakt