A/B testing untuk situs trafik rendah: alternatif saat sampel tidak cukup

Mengapa sampel kecil menyesatkan

Dengan 20 konversi per bulan, selisih kecil antara dua varian bisa murni acak. Menghentikan tes lebih awal saat satu varian tampak menang adalah kesalahan paling umum.

Sebelum menguji, hitung ukuran sampel yang dibutuhkan dengan kalkulator statistik berdasarkan konversi dasar dan peningkatan minimum yang ingin dideteksi.

Alternatif yang lebih realistis

• Wawancara 5 pengguna: pola masalah biasanya muncul dari beberapa percakapan.
• Rekaman sesi dan peta panas untuk menemukan titik bingung.
• Survei satu pertanyaan di halaman terima kasih.
• Uji sebelum-sesudah dengan periode cukup panjang dan catatan faktor lain.
• Uji preferensi lima detik untuk membandingkan desain.

Meningkatkan peluang hasil valid

Fokus pada halaman dengan trafik tertinggi dan metrik yang lebih sering terjadi, seperti klik tombol, bukan hanya pembelian. Metrik antara memberi sinyal lebih cepat.

Catat setiap keputusan beserta alasannya. Seiring waktu, catatan itu menjadi basis pengetahuan yang menggantikan sebagian kebutuhan pengujian formal.

Ringkasan pendekatan sesuai trafik

Pilih metode sesuai volume trafik yang Anda miliki saat ini, bukan metode yang paling populer.

• Di bawah sekitar 1.000 pengunjung per bulan: fokus pada wawancara dan rekaman sesi.
• Beberapa ribu pengunjung: uji perubahan besar pada metrik antara.
• Puluhan ribu pengunjung: A/B test formal dengan ukuran sampel terhitung.
• Selalu catat hipotesis dan hasil setiap perubahan.

Kualitas keputusan lebih penting daripada formalitas pengujian. Bukti kualitatif yang kuat tetap berharga untuk situs kecil.

Kesalahan yang perlu dihindari

Kesalahan paling sering adalah menyimpulkan pemenang dari beberapa lusin kunjungan. Kesalahan lain adalah menguji perubahan sangat kecil yang tidak mungkin terdeteksi pada trafik terbatas.

Hindari juga mengganti banyak elemen sekaligus lalu mengklaim satu penyebab. Tanpa isolasi variabel, hasil tidak bisa dipelajari.