Testing
Bencher är ett verktyg för kontinuerlig benchmarking (continuous benchmarking) som körs i CI-pipelinen och upptäcker prestandaregressioner innan de når produktion. Istället för att mäta prestanda manuellt eller ad hoc integreras mätningarna i byggkedjan så att varje commit jämförs mot tidigare resultat. Tjänsten är gratis för alla publika projekt.
Besök BencherBencher är en svit av verktyg för kontinuerlig prestandamätning (continuous benchmarking), byggd för att upptäcka prestandaregressioner i CI-pipelines. Till skillnad från traditionell testning, som verifierar att koden fungerar funktionellt korrekt, mäter Bencher kvantitativa prestandavärden - till exempel exekveringstid - över tid och per commit, så att en förändring som gör koden mätbart långsammare kan flaggas automatiskt innan den når produktion. Det riktar sig till utvecklare och team som vill behandla prestanda som en testbar egenskap av koden, på samma sätt som funktionalitet redan testas i CI. Enligt källan är Bencher gratis att använda för alla publika (öppna) projekt.
Gratis för alla publika projekt enligt källan. Källdatan anger inga specifika kvoter utöver detta, så exakta gränser för privata projekt eller antal körningar bör kontrolleras på bencher.dev.
Kör benchmarks automatiskt vid varje commit eller pull request och jämför resultatet mot tidigare körningar för att upptäcka regressioner tidigt.
Publika projekt kan använda Bencher kostnadsfritt för att kontinuerligt övervaka prestanda över tid, enligt källan.
Ställ prestandan i en pull request mot huvudgrenen för att avgöra om en föreslagen ändring introducerar en regression innan merge.
Bygg upp en historik av benchmark-resultat för att se trender i kodbasens prestanda över tid.
Benchers närmaste motsvarighet i katalogen är CodSpeed, som beskrivs på liknande sätt: automatiserad prestandaspårning i CI-pipelines för att fånga regressioner före deploy. De två löser samma kärnproblem - kontinuerlig prestandamätning i CI - och skillnaden ligger i implementation och exakta gränsvärden för respektive gratisnivå, som källan inte specificerar i detalj för någon av dem. Bencher skiljer sig från exempelvis Checkly, som fokuserar på synthetic/API-övervakning av redan driftsatta applikationer snarare än prestandaregressioner i utvecklingsskedet.
För alla publika projekt, ja enligt källan ('Free for all public projects'). Prissättning för privata projekt anges inte - verifiera direkt hos leverantören.
Källan specificerar inte driftmodellen - kontrollera bencher.dev för detaljer.
Nej, det kompletterar funktionell testning genom att specifikt mäta prestanda (t.ex. exekveringstid) över tid snarare än att verifiera att koden fungerar korrekt.
Utvecklare och underhållare av (särskilt publika/öppna) projekt som vill upptäcka prestandaregressioner automatiskt innan de når produktion.
SIAX perspektiv
Bra val när ett team redan har CI på plats och vill lägga till ett skyddsnät mot prestandaregressioner utan att bygga eget mätsystem. Passar särskilt öppen källkod där den fria nivån gäller fullt ut; för privata repon bör man verifiera prissättningen innan man bygger in det i pipelinen.
Osäker på vad ni behöver?
Ett kostnadsfritt första samtal - vi går igenom er stack och vad som faktiskt behövs innan ni betalar för något.
Boka samtal