Monitoring van een SaaS-oplossing
Elke klik is meetbaar, en toch is vaak niet duidelijk of een product goed gebruikt wordt. Hoe je van losse cijfers naar indicatoren komt die iets zeggen.
Uitgelegd
Hoe weet je of je eigen product goed werkt?
Wie software als dienst aanbiedt, weet in theorie alles over het gebruik ervan: elke klik is meetbaar. In de praktijk gebruiken de meeste aanbieders daar bijna niets van, en dat geldt ook voor ons. We wisten wel hoeveel mensen inlogden op Codi en PRYSM, maar niet of iemand na de eerste week nog terugkwam, en waar hij dan vastliep.
Dat is de vraag die dit stuk behandelt: hoe monitor je een SaaS-oplossing zo dat je er beslissingen op kunt nemen? De basis eronder is het afstudeeronderzoek dat Paulien Luhulima bij ons deed voor haar master Data Driven Business.
Waarom losse cijfers niet genoeg zijn
Gereedschap om gebruik te meten is er in overvloed. Wat er meestal ontbreekt, is de laag ertussen: een set indicatoren die aansluit op wat je met het product wilt bereiken. Zonder die laag kijk je naar bezoekcijfers en weet je nog niets.
Een voorbeeld. Dat het aantal sessies stijgt, kan betekenen dat mensen het product waarderen. Het kan ook betekenen dat ze iets niet kunnen vinden en het steeds opnieuw proberen. Zonder een indicator die het onderscheid maakt, kies je zelf welke uitleg je prettig vindt.
Een raamwerk in plaats van een dashboard
We zijn daarom begonnen bij een bestaand raamwerk: de Service Measurement Index, opgesteld door het Cloud Services Measurement Initiative Consortium. Dat biedt een gestandaardiseerde manier om de kwaliteit van clouddiensten te meten, en het scheelt dat je niet zelf hoeft te verzinnen welke categorieën er zijn.
Daaruit hebben we indicatoren afgeleid voor onze eigen situatie, langs zeven aspecten:
- Prestaties en schaalbaarheid
- Beschikbaarheid en betrouwbaarheid
- Veiligheid en privacy
- Kostenefficiëntie
- Tevredenheid en gebruikservaring
- Adoptie en gebruik
- Vernieuwing en verbetering van de dienst
Niet elk aspect weegt even zwaar, en dat is de eigenlijke keuze: welke van deze zeven zeggen bij jouw product het meest? Voor ons zaten de belangrijkste vragen bij adoptie en gebruik, want daar zat ook het gat in onze kennis.
Van indicator naar inzicht
Voor het meten haalden we data uit de verschillende systemen naar één datawarehouse, en ontsloten die in een dashboard in Power BI. Dat geeft zicht op de prestaties van de producten en ondersteunt zowel de strategische keuzes als het dagelijkse werk: welke functie wordt gebruikt, waar haakt iemand af, en welke melding komt vaker dan één keer?
Daarnaast hebben we geëxperimenteerd met voorspellende modellen om gebruiksgedrag te herkennen, met de eerste kennismaking via de introductietour als aanknopingspunt. Dat leverde patronen op in wie het product blijft gebruiken en wie niet. Nuttig, en met de nadrukkelijke waarschuwing die bij dit soort modellen hoort: een patroon in gedrag van vorig kwartaal is geen wet.
De opbrengst
Wat het opleverde
Het raamwerk is bij ons in gebruik en breder toepasbaar dan voor ons eigen product. Vier dingen die het concreet verandert.
1
Beslissen op gebruik in plaats van op gevoel
Bij een keuze over de roadmap ligt er nu een cijfer op tafel over wat er daadwerkelijk gebruikt wordt. Dat maakt het gesprek korter en de uitkomst beter te verdedigen.
2
Zien waar iemand afhaakt
Patronen in het gebruik laten zien op welk moment mensen stoppen. Dat is bijna altijd een concrete plek in de toepassing, en die is te verbeteren.
3
Problemen zien voordat ze gemeld worden
Zicht op prestaties en beschikbaarheid betekent dat je een storing opmerkt voordat een gebruiker de moeite neemt om hem te melden. De meeste mensen melden namelijk niets; ze stoppen.
4
Onderbouwing voor de langere termijn
Doordat de indicatoren aan doelen hangen en niet aan losse cijfers, kun je over een jaar terugkijken en zien of een keuze heeft uitgepakt zoals bedoeld.
Ga met Bart in gesprek over datagedreven monitoring
Ben jij klaar om je organisatie naar een hoger niveau te tillen met een datagedreven aanpak? Bart denkt graag met je mee.
