Kiedy prowadzisz regularnie eksperymenty (A PRZECIEŻ WSZYSCY MOI CZYTELNICY WIEDZĄ JAKIE TO WAŻNE I TO ROBIĄ!!), to możesz dojść do frustrującego momentu, kiedy odpalasz eksperyment, poźniej estymujesz czas jego trwania i... Wszystko opada, bo okazuje się że potrzebujesz 5 tygodni na wyniki.
Firma Conversion.com mocno nad tym się głowiła, bo to nie jest tak, że jesteśmy jedyni - większość growth hackerów / specjalistów CRO ma z tym problem. W wyniku tych przemyśleń zidentyfikowali kilka strategii, które pozwoliły im przyspieszyć testowanie o ponad 30%. To bardzo dużo. Z wyżej wspomnianego przykładu 5 tygodni czyli 35 dni, przyspieszają eksperymenty aż o 10 dni. Oto kilka strategii jakie zastosowali.
1. Buduj mniejsze eksperymenty
Im większy eksperyment, tym większy wzrost" - to powszechne błędne przekonanie w świecie eksperymentów, oparte na założeniu, że im większe i bardziej złożone zmiany wprowadzisz na stronie internetowej, tym większy będzie wzrost współczynnika konwersji.
Jednak w rzeczywistości jest to błędne przekonanie.
Okazało się, że duże eksperymenty wcale nie miały większego prawdopodobieństwa wygrania niż drobne zmiany - a nawet miały nieco mniejszy wzrost niż zmiany (patrz wykres poniżej)!
Oczywiście, mogą zdarzyć się sytuacje, kiedy konieczne będzie poświęcenie sporej ilości czasu na przeprowadzenie szeroko zakrojonych badań użytkowników lub zbudowanie skomplikowanego eksperymentu: kluczem do optymalizacji szybkości testowania jest ustalenie, kiedy ten rodzaj dodatkowego czasu i energii jest uzasadniony, a kiedy po prostu spowalnia proces.
Mniejsze eksperymenty zazwyczaj wymagają mniej czasu poświęconego na badania, pomysły, projektowanie i rozwój, co oznacza, że można przeprowadzić ich więcej w krótszym czasie.
Dlatego też zawsze staraj się rozpoczynać programy eksperymentalne od minimalnego wykonalnego eksperymentu (MVE), który jest definiowany jako najmniejszy możliwy eksperyment, który pozwoli Ci potwierdzić hipotezę.
Ogólnie rzecz biorąc, inwestuj w eksperymenty wymagające dłuższego czasu budowy tylko wtedy, gdy udowodnisz - albo za pomocą mniejszego eksperymentu (ewentualnie MVE), albo kompleksowych badań z użytkownikami - że dłuższy czas budowy będzie opłacalny.
Takie podejście umożliwia Ci rozpoczęcie testów od razu, na początku nowego projektu, bez konieczności czekania tygodniami, a nawet miesiącami, aż badania, projekt i rozwój połączą się w całość.
2. Unikaj głębokich analiz (jeśli jest to uzasadnione)
Po zakończeniu eksperymentu czasami kusi, aby tygodniami zagłębiać się w jego wyniki, analizując różne metryki niezwiązane z głównym celem, w nadziei na odkrycie wniosków, które odblokują resztę programu eksperymentów.
Niestety, tak się prawie nigdy nie dzieje, co oznacza, że dodatkowa analiza, choć interesująca, okazuje się w większości przypadków bezcelowa.
Zamiast tego zadaj sobie następujące pytanie: jak często okazuje się, że decyzja dotycząca mojego kolejnego eksperymentu (iteracji) jest podejmowana na podstawie analizy metryki innej niż podstawowa?
Jeśli odpowiedź brzmi "rzadko" lub "nigdy", to warto przemyśleć sposób prowadzenia analizy.
Koncentruj się wyłącznie na głównych KPI, a w metryki niepriorytetowe zagłębiamy się tylko wtedy, gdy chcemy uzyskać głębszy wgląd w "dlaczego" stojące za wynikiem eksperymentu.
Takie podejście oznacza, że nie tracisz czasu na tworzenie analiz, które ostatecznie nie mają wpływu na sukces eksperymentów.
3. Eksperymentuj wewnętrznie
Próbując ustalić, które elementy procesu są niezbędne, a które można ograniczyć, prawdopodobnie spotkasz się z wieloma sprzecznymi opiniami.
Niektórzy mogą uważać, że do każdego eksperymentu konieczne są szeroko zakrojone badania, niezależnie od tego, jak niewielkie są zamierzone zmiany. Inni mogą uważać, że w przypadku niektórych rodzajów eksperymentów można ograniczyć badania, ale należy zawsze przestrzegać zwykłego procesu projektowania, aby chronić jakość eksperymentów.
Jak dokonać wyboru między tymi dwoma dobrze uzasadnionymi punktami widzenia?
W ten sam sposób, w jaki dokonuje się wyboru między dwiema dobrze zaprojektowanymi stronami internetowymi: przeprowadza się na nich serię eksperymentów i sprawdza, która z nich działa lepiej.
Eksperymentowanie nie musi ograniczać się do współczynników konwersji na stronie internetowej - można je zastosować do każdego działania w organizacji, od badań i rozwoju, poprzez rozwój produktów, aż po wewnętrzne procesy i procedury.
4. Automatyzacja
Bardzo ważny element układanki. Każdy eksperyment to proces. Każdy z tych procesów może zawierać w sobie mikroprocesy, takie jak model raportowania, zmiana etapu eksperymentu, czy aktualizacja KPI's. Znaczną część takich elementów można zautomatyzować.
I tu ponownie, to nie muszą być duże automatyzacje. Zaoszczędzenie 10 minut tu, 15 minut tam w rezultacie pozwoli Ci wygenerować znaczną oszczędność w perspektywie tygodni czy miesięcy.
5. Załatw zgodę interesariuszy wcześniej
Niezależnie od tego, czy pracujesz w firmie, czy w agencji, istnieje duże prawdopodobieństwo, że każdy z Twoich eksperymentów będzie wymagał zatwierdzenia przez co najmniej jednego, a zazwyczaj kilku interesariuszy, zanim będzie mógł zostać uruchomiony.
Choć może to być czasem frustrujące, nie musi to samo w sobie negatywnie wpływać na szybkość przeprowadzania testów.
Problemy zaczynają się jednak pojawiać, kiedy eksperymenty są odrzucane na późniejszych etapach produkcji. W takiej sytuacji może to oznaczać, że dziesiątki godzin zostały poświęcone na eksperyment, który nigdy nie ujrzy światła dziennego. Jest to nie tylko straszne marnotrawstwo zasobów, ale także bardzo negatywnie wpływa na szybkość testowania.
Aby uniknąć takiego rezultatu, należy uzyskać zgodę interesariuszy na jak najwcześniejszym etapie procesu. Jeśli eksperyment ma zostać odrzucony, chcemy, aby został odrzucony już na etapie pomysłu. Jeśli nie jest to możliwe, to chcemy, aby nastąpiło to przynajmniej na etapie projektowania, zanim poświęcimy na niego wiele godzin.