Cara Melakukan A/B Testing Landing Page: Menentukan Hipotesis, Menjalankan Eksperimen, dan Membaca Hasil

Mengubah landing page karena merasa headline kurang menarik, tombol CTA terlalu kecil, atau desainnya terlihat membosankan adalah hal yang cukup umum.

Masalahnya, perubahan tersebut belum tentu benar-benar meningkatkan konversi.

Bisa saja versi baru terlihat lebih bagus, tetapi justru menghasilkan lebih sedikit leads. Atau sebaliknya, hasilnya terlihat naik dalam beberapa hari, tetapi ternyata hanya kebetulan karena traffic yang masuk belum cukup banyak.

Di sinilah A/B testing landing page menjadi penting.

A/B testing bukan sekadar membuat dua versi landing page lalu melihat mana yang lebih bagus. Ini adalah proses eksperimen untuk menguji apakah sebuah perubahan benar-benar memberikan dampak terhadap perilaku pengunjung.

Karena itu, yang paling penting bukan hanya menjalankan test. Tetapi tahu apa yang ingin diuji, mengapa diuji, bagaimana menentukan prioritas, dan kapan hasilnya layak dipercaya.

Apa Itu A/B Testing?

A/B testing adalah metode eksperimen dengan membandingkan dua versi halaman untuk melihat apakah salah satunya menghasilkan performa yang lebih baik.

Misalnya Anda memiliki landing page versi A. Kemudian Anda membuat versi B dengan satu perubahan:

• Headline berbeda
• CTA berbeda
• Form lebih pendek
• Social proof ditampilkan lebih awal
• Struktur pricing berbeda

Pengunjung kemudian dibagi ke dalam dua kelompok.

Traffic
   ↓
 ┌───────┐
 │ 50%   │ → Versi A
 └───────┘

 ┌───────┐
 │ 50%   │ → Versi B
 └───────┘

Setelah mendapatkan data yang cukup, performanya dibandingkan. Misalnya:

Secara sederhana, versi B terlihat lebih baik. Tetapi A/B testing tidak berhenti di sini. Pertanyaannya adalah: Apakah peningkatan tersebut benar-benar disebabkan oleh perubahan yang kita test, atau hanya terjadi secara kebetulan?

Itulah alasan A/B testing harus diperlakukan sebagai eksperimen, bukan sekadar perbandingan angka.

A/B Testing Bukan Tebak-Tebakan

Kesalahan yang sering terjadi adalah: “Menurut saya headline ini lebih bagus. Kita coba saja.”
Itu bukan hipotesis yang kuat. A/B testing yang baik dimulai dari dugaan yang memiliki alasan.

Misalnya: “Pengunjung belum memahami manfaat utama layanan dalam beberapa detik pertama.”
Kemudian dugaan tersebut diterjemahkan menjadi hipotesis yang bisa diuji.

Contohnya: “Jika headline menjelaskan hasil yang didapat pelanggan secara lebih spesifik, maka conversion rate akan meningkat dibandingkan headline yang lebih umum.”

Sekarang perubahan tersebut bisa diuji.

Kapan Landing Page Layak Diuji?

Tidak semua landing page perlu langsung masuk A/B testing. Bahkan, pada kondisi tertentu, A/B testing justru belum menjadi prioritas.

Misalnya landing page baru mendapatkan 20 pengunjung per hari dan hanya menghasilkan satu leads setiap beberapa hari. Kalau langsung melakukan A/B test, Anda akan membutuhkan waktu sangat lama untuk mendapatkan data yang cukup.

Sebelum testing, periksa dulu beberapa hal.

1. Tracking Sudah Berfungsi

Pastikan Anda bisa mengukur:

• jumlah pengunjung
• conversion
• form submission
• klik CTA
• sumber traffic
• device
• dan event penting lainnya

Jangan sampai Anda menjalankan eksperimen selama sebulan lalu baru sadar tracking conversion ternyata salah.

2. Conversion Terjadi Cukup Sering

A/B testing membutuhkan data. Semakin jarang conversion terjadi, semakin lama eksperimen biasanya perlu berjalan untuk mendapatkan sinyal yang cukup jelas.

Misalnya landing page hanya menghasilkan 5 leads per bulan. Membandingkan dua versi dengan kondisi seperti ini akan jauh lebih sulit dibandingkan landing page yang menghasilkan ratusan conversion per bulan.

3. Masalah yang Ingin Diuji Sudah Jelas

Jangan melakukan testing hanya karena: “Sudah lama tidak melakukan eksperimen.” Lebih baik memiliki alasan yang jelas.

Contohnya:

• Banyak pengunjung sampai hero section tetapi sedikit yang lanjut.
• Banyak yang mengklik CTA tetapi tidak menyelesaikan form.
• Conversion rate mobile jauh lebih rendah.
• Traffic dari iklan tinggi tetapi leads rendah.
• Pengunjung berhenti sebelum melihat offer utama.

Dengan begitu, eksperimen memiliki tujuan yang jelas.

4. Perubahan yang Diuji Memiliki Potensi Dampak

Tidak semua perubahan layak mendapatkan prioritas. Mengubah warna border dari #E5E7EB menjadi #D1D5DB mungkin bisa dites.

Tetapi jika masalah terbesar adalah offer tidak jelas, perubahan tersebut kemungkinan bukan prioritas.

Cara Menentukan Hipotesis A/B Testing

Ini adalah salah satu bagian paling penting dalam eksperimen. Jangan mulai dari: “Apa yang harus kita ubah?”
Mulailah dari: “Masalah apa yang mungkin sedang terjadi?”

Misalnya Anda melihat conversion rate rendah. Jangan langsung mengganti headline. Cari dugaan penyebabnya. Contoh:

Data:
Conversion rate rendah

Observasi:
Pengunjung banyak yang keluar setelah melihat hero section

Dugaan:
Value proposition belum cukup jelas

Hipotesis:
Jika headline menjelaskan manfaat utama
secara lebih spesifik, maka conversion rate
akan meningkat.

Eksperimen:
Headline A vs Headline B

Perhatikan bahwa headline bukan titik awalnya. Masalah adalah titik awalnya.

Gunakan Format Hipotesis yang Jelas

Anda bisa menggunakan format sederhana: Jika [perubahan], maka [metrik] akan [berubah] karena [alasan].

Contohnya: Jika headline menjelaskan hasil yang lebih spesifik, maka conversion rate akan meningkat karena pengunjung dapat memahami value proposition dengan lebih cepat.

Atau: Jika form dikurangi dari 7 field menjadi 4 field, maka form completion rate akan meningkat karena friction yang dirasakan pengunjung lebih rendah.

Format seperti ini membuat eksperimen lebih mudah dievaluasi.

Hipotesis Harus Bisa Dibuktikan atau Dibantah

Hipotesis yang bagus bukan “Desain baru akan lebih bagus.” Karena “lebih bagus” terlalu subjektif. Lebih baik “Mengurangi jumlah field form dari 7 menjadi 4 akan meningkatkan completion rate form.”

Sekarang Anda memiliki sesuatu yang bisa diukur. Dan hasil akhirnya bisa saja:

• Hipotesis terbukti.
• Hipotesis tidak terbukti.
• Data belum cukup untuk mengambil kesimpulan.

Ketiganya adalah hasil eksperimen yang valid.

Cara Menentukan Prioritas Testing

Anda mungkin memiliki puluhan ide eksperimen. Masalahnya: Mana yang harus dites lebih dulu?

Jangan memilih berdasarkan ide yang paling menarik. Gunakan framework untuk menentukan prioritas. Beberapa pendekatan yang bisa digunakan adalah PIE, ICE, atau PXL.

PIE

PIE merupakan pendekatan yang menilai:

• Potential — seberapa besar potensi peningkatannya?
• Importance — seberapa penting halaman atau masalah tersebut?
• Ease — seberapa mudah eksperimen dilakukan?

Biasanya masing-masing diberi skor. Misalnya 1–10. Contoh:

Eksperimen	Potential	Importance	Ease	Skor Rata-rata
Ubah headline	8	9	10	9
Ubah warna tombol	3	5	10	6
Ubah struktur form	8	8	6	7,3

Eksperimen dengan skor lebih tinggi dapat diprioritaskan.

ICE

ICE menggunakan:

• Impact
• Confidence
• Ease

Contohnya: Mengurangi field form diperkirakan memiliki impact tinggi, confidence sedang, dan cukup mudah dilakukan.

Skornya kemudian digunakan untuk membandingkan beberapa ide eksperimen. ICE berguna ketika Anda membutuhkan cara yang cepat dan sederhana untuk melakukan prioritas.

PXL

PXL sedikit berbeda karena mencoba membuat proses prioritas lebih berbasis bukti.

Daripada sekadar bertanya: “Menurut kita perubahan ini berdampak besar atau tidak?” Anda bisa menggunakan indikator yang lebih konkret. Misalnya:

• Ada data analytics yang mendukung masalah.
• Ada evidence dari user research.
• Perubahan berada di area penting halaman.
• Perubahan mudah dilakukan.
• Perubahan memiliki potensi impact tinggi.

Ini membuat keputusan testing tidak terlalu bergantung pada opini.

Jangan Terlalu Terobsesi dengan Framework

PIE, ICE, dan PXL bukan alat untuk menemukan jawaban yang sempurna.

Tujuannya sederhana: Membantu tim memilih eksperimen yang paling layak dikerjakan lebih dulu.

Kalau sebuah eksperimen punya potensi besar, didukung data, dan relatif mudah dilakukan, biasanya eksperimen tersebut lebih menarik daripada perubahan kosmetik kecil.

Cara Menjalankan A/B Testing

Setelah hipotesis dan prioritas ditentukan, barulah eksperimen dijalankan. Ada beberapa hal yang perlu diperhatikan.

1. Tentukan Control dan Variation

Versi lama menjadi control. Versi baru menjadi variation. Misalnya:

A = Headline lama
B = Headline baru

Keduanya harus mendapatkan kondisi traffic yang sebanding.

2. Gunakan Pembagian Traffic yang Konsisten

Pembagian 50/50 sering digunakan.

100% Traffic
     ↓
 ┌───────────┐
 │    50%    │ → A
 └───────────┘

 ┌───────────┐
 │    50%    │ → B
 └───────────┘

Tujuannya bukan karena 50/50 selalu wajib. Tujuannya adalah agar kedua versi mendapatkan kesempatan yang adil untuk menghasilkan data.

3. Jangan Mengubah Banyak Variabel Sekaligus

Misalnya versi A memiliki:

• Headline lama
• CTA lama
• Form 7 field
• Hero image lama

Sedangkan versi B mengubah semuanya. Kemudian conversion rate naik. Pertanyaannya: Apa yang sebenarnya menyebabkan kenaikan?

Kita tidak tahu. Bisa headline. Bisa CTA. Bisa form. Bisa kombinasi semuanya. Untuk eksperimen yang sederhana, lebih baik mengisolasi perubahan.

A:
Headline lama

B:
Headline baru

Kemudian eksperimen berikutnya bisa menguji elemen lain.

Ada kondisi tertentu di mana multi-variable atau multivariate testing masuk akal, tetapi kebutuhan traffic dan kompleksitas analisisnya juga jauh lebih tinggi.

4. Tentukan Primary Metric Sebelum Test

Sebelum eksperimen berjalan, tentukan metrik utama.

Misal primary metric nya adalah landing page conversion rate. Jangan setelah melihat hasil baru memilih metrik yang terlihat paling bagus.

Contohnya: Conversion rate turun, tetapi CTR naik.
Lalu kita berkata: “Tapi CTR naik, berarti eksperimennya berhasil.”

Ini bisa menghasilkan kesimpulan yang bias. Tentukan metrik utama sejak awal.

5. Perhatikan Sample Size

Jumlah pengunjung saja tidak selalu cukup. Anda juga membutuhkan jumlah conversion yang memadai. Misalnya:

• A mendapat 5.000 visitors dan 20 conversions.
• B mendapat 5.000 visitors dan 25 conversions.

Perbedaannya terlihat cukup besar secara persentase. Tetapi jumlah conversion sebenarnya masih relatif kecil untuk membuat kesimpulan yang kuat.

Karena itu, jangan menentukan kemenangan hanya berdasarkan: “Versi B naik 25%.” Yang lebih penting adalah apakah perbedaan tersebut cukup kuat secara statistik.

6. Jangan Menghentikan Test Terlalu Cepat

Ini salah satu jebakan terbesar. Misalnya:

Hari 1: B menang +40%.
Hari 3: B masih menang +25%.

Kemudian test langsung dihentikan. Seminggu kemudian ternyata B justru performanya sama atau lebih buruk.

Kenapa?

Karena hasil awal bisa sangat dipengaruhi oleh variasi acak. A/B testing membutuhkan waktu dan data yang cukup untuk mengurangi kemungkinan mengambil keputusan berdasarkan noise.

Cara Membaca Hasil A/B Testing

Setelah eksperimen selesai, jangan hanya melihat siapa yang memiliki conversion rate paling tinggi. Ada beberapa hal yang perlu diperhatikan.

Conversion Rate

Formula sederhananya:

Conversion Rate =
Jumlah Conversion ÷ Jumlah Visitor × 100%

Misalnya:

A:

100 conversion
÷ 5.000 visitor
= 2%

B:

120 conversion
÷ 5.000 visitor
= 2,4%

B terlihat lebih tinggi. Tetapi pertanyaan berikutnya adalah: Apakah perbedaan 0,4 percentage point tersebut cukup kuat untuk dianggap sebagai hasil eksperimen?

Di sinilah statistical significance atau pendekatan statistik lainnya digunakan.

Statistical Significance

Secara sederhana, statistical significance membantu menjawab: “Seberapa masuk akal perbedaan yang kita lihat hanya terjadi karena kebetulan?”

Namun jangan menyederhanakannya menjadi: “Significant = pasti benar.” Statistical significance bukan jaminan bahwa perubahan tersebut akan selalu bekerja di masa depan.

Ia hanya memberikan dasar statistik untuk menilai apakah perbedaan yang diamati cukup kuat dibandingkan variasi acak dalam eksperimen tersebut.

Confidence

Anda mungkin juga menemukan istilah confidence level. Misalnya 95%.

Secara praktis, ini sering digunakan untuk menggambarkan tingkat keyakinan statistik terhadap hasil eksperimen, tetapi interpretasinya bergantung pada metode statistik yang digunakan.

Karena itu, jangan hanya melihat angka confidence tanpa memahami metode yang menghasilkan angka tersebut.

Statistical Significance Bukan Segalanya

Misalnya versi B secara statistik signifikan. Tetapi peningkatannya hanya: +0,05%. Secara statistik mungkin menarik. Tetapi secara bisnis belum tentu penting.

Misalnya:

Conversion rate:
A = 3,00%
B = 3,05%

Kalau perubahan tersebut membutuhkan waktu development dua minggu, desain ulang total, dan maintenance tambahan, belum tentu layak diterapkan.

Karena itu, selalu hubungkan hasil eksperimen dengan business impact.

Waspadai False Winner

Salah satu masalah dalam A/B testing adalah false winner. Ini terjadi ketika sebuah versi terlihat menang berdasarkan data awal, tetapi sebenarnya belum memiliki bukti yang cukup kuat.

Misalnya:

Hari ke-2

A = 2,1%
B = 3,2%

B menang!

Tim langsung menerapkan B. Padahal jumlah conversion masih sedikit. Beberapa hari kemudian:

A = 2,8%
B = 2,9%

Keunggulan B hampir hilang. Inilah alasan mengapa keputusan tidak seharusnya dibuat hanya berdasarkan snapshot hasil pada satu titik waktu.

Hindari “Peeking” yang Berlebihan

Peeking berarti terus-menerus memeriksa hasil eksperimen dan menghentikannya begitu terlihat menguntungkan.

Masalahnya, semakin sering Anda melihat data dan membuat keputusan berdasarkan fluktuasi sementara, semakin besar risiko mengambil keputusan yang keliru. Lebih baik menentukan aturan eksperimen sejak awal:

• Apa yang diuji?
• Primary metric apa?
• Berapa lama minimal test berjalan?
• Kondisi apa yang digunakan untuk menentukan pemenang?
• Kapan eksperimen dianggap tidak meyakinkan?

Dengan begitu, keputusan tidak dibuat berdasarkan emosi saat melihat dashboard.

Kesalahan yang Sering Terjadi Saat A/B Testing

A/B testing terlihat sederhana. Tetapi justru karena terlihat sederhana, banyak eksperimen dilakukan dengan cara yang kurang tepat.

• Test Terlalu Cepat. Baru beberapa hari berjalan, hasil terlihat bagus. Langsung declare winner. Padahal data belum cukup.
• Menguji Terlalu Banyak Variabel. Headline berubah. CTA berubah. Form berubah. Layout berubah. Image berubah. Lalu hasil naik. Tidak jelas penyebabnya.
• Traffic Terlalu Sedikit. Traffic kecil membuat eksperimen membutuhkan waktu lebih lama untuk menghasilkan sinyal yang cukup kuat.
• Hanya Melihat Conversion Rate. Conversion rate penting. Tetapi bukan satu-satunya metrik.
• Mengubah Eksperimen Saat Test Berjalan. Hari pertama: Headline A vs B. Hari kelima: “Sekalian kita ganti CTA.” Sekarang eksperimennya sudah berubah menjadi sulit dibandingkan secara konsisten.
• Mengabaikan Segmentasi. Versi B mungkin menang secara keseluruhan. Tetapi bagaimana performanya di mobile? desktop? organic traffic? paid traffic? returning visitors? new visitors?

Tetapi bagaimana performanya di:

• mobile?
• desktop?
• organic traffic?
• paid traffic?
• returning visitors?
• new visitors?

Roadmap Experiment Berkelanjutan

A/B testing sebaiknya tidak diperlakukan sebagai proyek sekali jalan. Landing page yang terus mendapatkan traffic sebenarnya bisa menjadi sumber pembelajaran yang terus berjalan.

Siklusnya kira-kira seperti ini:

Collect Data
     ↓
Identify Problem
     ↓
Create Hypothesis
     ↓
Prioritize
     ↓
Run Experiment
     ↓
Analyze Result
     ↓
Learn
     ↓
New Hypothesis
     ↓
Repeat

Misalnya eksperimen pertama adalah: Headline yang lebih spesifik meningkatkan conversion rate. Setelah hasilnya keluar, Anda mendapatkan pembelajaran baru. Misalnya headline memang meningkatkan conversion.

Sekarang pertanyaan berikutnya bisa menjadi: Apakah positioning offer juga memengaruhi conversion? Kemudian eksperimen berikutnya dilakukan. Dengan cara ini, setiap eksperimen tidak berdiri sendiri.

Hasil eksperimen sebelumnya menjadi bahan untuk eksperimen berikutnya.

Buat Experiment Backlog

Simpan semua ide eksperimen dalam satu backlog. Contohnya:

Dengan sistem seperti ini, Anda tidak perlu memulai dari nol setiap kali ingin melakukan eksperimen.

A/B Testing Bukan Tentang Mencari Desain yang “Lebih Bagus”

Ini bagian yang sering disalahpahami. Tujuan A/B testing bukan mencari landing page yang menurut tim marketing terlihat lebih bagus. Tujuannya adalah mencari perubahan yang didukung oleh evidence.

Misalnya Anda yakin: “Headline B pasti lebih bagus.” Tetapi hasil eksperimen menunjukkan tidak ada perbedaan yang berarti. Itu bukan kegagalan. Anda baru saja mengetahui bahwa hipotesis tersebut tidak mendapatkan dukungan dari data.

Begitu juga ketika eksperimen menghasilkan peningkatan. Jangan hanya mencatat: “B menang.” Catat juga:

• Apa yang diubah?
• Masalah apa yang ingin diselesaikan?
• Apa hipotesisnya?
• Data apa yang mendukung hipotesis?
• Apa hasil eksperimennya?
• Apa yang bisa dipelajari?
• Eksperimen berikutnya apa?

Lama-kelamaan Anda tidak hanya memiliki landing page yang lebih optimal. Anda juga memiliki knowledge base tentang apa yang bekerja untuk audiens Anda.

Kesimpulan

A/B testing landing page bukan sekadar membuat dua versi halaman dan memilih mana yang conversion rate-nya lebih tinggi. Proses yang baik dimulai jauh sebelum eksperimen dijalankan.

Mulai dari:

1. menemukan masalah,
2. membuat hipotesis,
3. menentukan prioritas eksperimen,
4. menentukan primary metric,
5. menjalankan test dengan kondisi yang terkontrol,
6. mengumpulkan data yang cukup,
7. membaca hasil secara statistik,
8. menghindari false winner,
9. dan menjadikan hasil eksperimen sebagai input untuk eksperimen berikutnya.

Yang paling penting, jangan menjadikan A/B testing sebagai cara untuk membuktikan bahwa ide Anda benar.

Jadikan A/B testing sebagai cara untuk mengetahui apakah asumsi Anda benar. Karena dalam optimasi landing page, tujuan akhirnya bukan memenangkan eksperimen.

Tujuannya adalah mengurangi ketidakpastian dan membuat keputusan berdasarkan evidence.