A/B Testi Nasıl Yapılır? Adım Adım Rehber

A/B testi, bir değişikliğin gerçekten işe yarayıp yaramadığını öğrenmenin tek güvenilir yoludur. Ancak yanlış kurulan testler, yanlış kararları veriyle doğrulanmış gibi gösterdiği için hiç test yapmamaktan daha zararlı olabilir. Bu rehber, hipotez kurmadan sonuçları yorumlamaya kadar sağlam bir test disiplinini anlatıyor.

A/B testi nedir?

A/B testi, ziyaretçilerin rastgele iki veya daha fazla gruba ayrılıp her gruba farklı bir sürümün gösterilmesi ve sonuçların karşılaştırılmasıdır.

Yöntemin gücü rastgeleliktedir: gruplar rastgele oluşturulduğu için aralarındaki tek sistematik fark, test edilen değişikliktir. Bu, gözlenen farkın nedenini o değişikliğe bağlamayı mümkün kılar.

Bu, diğer tüm analiz yöntemlerinden temel farkıdır: analitik verisi ilişki gösterir, test ise nedensellik kurar. “Bu sayfayı görenlerin dönüşüm oranı yüksek” ile “bu sayfa dönüşümü artırıyor” arasındaki fark tam olarak budur.

Neden gerekli?

Test yapılmadığında değişiklikler, deneyime ve sezgiye dayanarak uygulanır ve etkileri bilinmez.

Sorun şudur: değişiklikten sonra dönüşüm oranı değişmiş olabilir ama bu değişimin nedeni yapılan değişiklik olmayabilir. Trafik karışımı, mevsimsellik, rekabet ve kampanya dönemleri de aynı anda etkilidir.

Öncesi ve sonrası karşılaştırması, bu etkenleri ayıramaz. Test ise ayırır çünkü iki grup aynı dönemde ve aynı koşullarda ölçülür.

Ayrıca testler, işe yaramayan değişiklikleri de ortaya çıkarır. Bu, en az kazandıran değişiklikleri bulmak kadar değerlidir: uygulanmayan kötü bir değişiklik, kazanılmış bir zarardır.

Ne zaman test edilmeli?

Test yapmanın anlamlı olduğu durumlar bellidir.

Uygun durumlar: yüksek trafikli sayfalardaki değişiklikler, dönüşüm akışına dokunan düzenlemeler, maliyeti yüksek geliştirmeler, ekip içinde görüş ayrılığı olan kararlar, ve sonucu öngörülemeyen tasarım tercihleri.

Özellikle dördüncü madde pratikte değerlidir: test, tartışmayı fikir düzeyinden veri düzeyine taşıyarak karar süresini kısaltır.

Ayrıca büyük değişikliklerden önce test yapılması, riski sınırlar: değişiklik tüm trafiğe uygulanmadan önce küçük bir grupta denenmiş olur.

Ne zaman test edilmemeli?

Her değişiklik test edilmemelidir; bazı durumlarda test, zaman kaybıdır.

Test edilmemesi gereken durumlar: açık teknik hatalar ve kırık bağlantılar, tartışmasız kullanılabilirlik sorunları, yasal zorunluluklar, çok düşük trafikli sayfalar, ve etkisi çok küçük olacağı belli olan değişiklikler.

Düşük trafik en yaygın sınırdır: yeterli veri toplanamayacak bir sayfada yapılan test, aylarca sürer ve sonuçsuz kalır.

Bu durumlarda doğru yaklaşım, en iyi uygulamalara ve nitel araştırmaya dayanarak değişikliği uygulamak ve genel eğilimi izlemektir.

Test fikri nereden gelir?

İyi test fikirleri rastgele üretilmez; belirli kaynaklardan sistematik olarak çıkarılır.

Kaynaklar: analitikteki kayıp noktaları, ısı haritası ve oturum kaydı bulguları, müşteri hizmetlerine gelen sorular, site içi arama terimleri, kullanıcı anketleri, form analizi sonuçları, ve daha önceki testlerden çıkan öğrenmeler.

En verimli kaynak, nicel ve nitel verinin kesişimidir: analitik nerede kaybedildiğini gösterir, davranış araçları nedenini işaret eder, test ise çözümü doğrular.

Rakip incelemesi de bir kaynaktır ama dikkatle kullanılmalıdır: rakibin uyguladığı bir çözüm, onların da test etmediği bir tercih olabilir. Detay için davranış analizi rehberimize bakabilirsiniz.

Hipotez yazmak

Her test, yazılı bir hipotezle başlamalıdır. Hipotezsiz testler, sonuç ne çıkarsa çıksın ona uygun bir açıklama üretilmesiyle sonuçlanır.

İyi bir hipotezin bileşenleri: gözlenen sorun ve dayandığı veri, önerilen değişiklik, beklenen etki ve yönü, ve etkinin gerekçesi.

Gerekçe kısmı en değerlidir çünkü öğrenmeyi mümkün kılan odur: test kaybederse, yanlış olanın değişiklik mi yoksa gerekçe mi olduğu tartışılabilir.

Ayrıca hipotez, beklenen etkinin büyüklüğüne dair bir tahmin içermelidir. Bu tahmin, örneklem büyüklüğü hesabının girdisidir.

Testleri önceliklendirmek

Test fikirleri her zaman kapasiteden fazladır; bir önceliklendirme yöntemi gerekir.

Değerlendirme boyutları: beklenen etki büyüklüğü, etkilenen trafik hacmi, uygulama zorluğu, ve kanıt gücü (fikrin dayandığı verinin sağlamlığı).

Bu boyutlara puan verilerek oluşturulan basit bir sıralama, kararı öznellikten çıkarır.

Uygulamada en sık yapılan hata, kolay uygulanabilir ama etkisi küçük testlere öncelik vermektir. Düğme rengi testleri bu kategoridedir: hızlı kurulur, nadiren anlamlı sonuç üretir ve test kapasitesini tüketir.

Birincil metrik seçimi

Her testin tek bir birincil metriği olmalıdır ve bu metrik test başlamadan önce seçilmelidir.

Doğru metrik, testin amacına en yakın iş sonucudur: dönüşüm oranı, sipariş başına gelir veya tamamlanma oranı gibi.

Yanlış metrik seçimleri: tıklama oranı (dönüşümü garanti etmez), sayfada kalma süresi (yorumu belirsiz), ve sayfa görüntüleme sayısı (artması iyi de olabilir kötü de).

Birincil metrik sonradan değiştirilmemelidir. Test bittikten sonra “aslında şu metrikte iyileşme var” denmesi, istatistiksel olarak geçersiz bir sonuç üretir.

İkincil ve koruyucu metrikler

Birincil metriğin yanında izlenmesi gereken başka metrikler de vardır.

İkincil metrikler: davranışın nasıl değiştiğini anlamak için. Sepete ekleme, adım tamamlama gibi.

Koruyucu metrikler: istenmeyen yan etkileri yakalamak için. İade oranı, iptal oranı, destek talebi sayısı, sayfa hızı gibi.

Koruyucu metrikler sık atlanır ama kritiktir: bir değişiklik dönüşümü artırırken iade oranını da artırıyorsa, net etki olumsuz olabilir.

Bu metrikler karar için değil, kazanan sürümün uygulanmasında risk kontrolü için kullanılır.

Test türleri

Uygulama biçimine göre birkaç test türü vardır.

• Klasik A/B testi: aynı adreste iki farklı sürüm gösterilir.
• Bölünmüş yönlendirme: kullanıcılar farklı adreslere yönlendirilir.
• Çok değişkenli test: birden çok öğenin kombinasyonları test edilir.
• Sunucu tarafı test: sürüm sunucuda belirlenir.

Seçim, değişikliğin kapsamına ve teknik imkânlara bağlıdır. Küçük görsel değişikliklerde klasik yöntem, kapsamlı yeniden tasarımlarda bölünmüş yönlendirme uygundur.

Bölünmüş yönlendirme testi

Bu yöntemde iki sürüm farklı adreslerde bulunur ve kullanıcılar rastgele birine yönlendirilir.

Uygun olduğu durumlar: sayfanın tamamen yeniden tasarlanması, farklı sayfa yapılarının karşılaştırılması, ve teknoloji değişikliği içeren testler.

Avantajı, titreme sorununun olmamasıdır: her sürüm kendi adresinde normal biçimde yüklenir.

Dikkat edilmesi gerekenler: arama motorları için kanonik etiketlerin doğru ayarlanması, yönlendirmenin hızlı olması, ve kullanıcı deneyiminde adres değişikliğinin sorun yaratmaması.

Çok değişkenli test

Bu yöntemde birden çok öğe aynı anda test edilir ve tüm kombinasyonlar karşılaştırılır.

Avantajı, öğeler arasındaki etkileşimi göstermesidir: iki değişikliğin birlikte etkisi, ayrı ayrı etkilerinin toplamından farklı olabilir.

Dezavantajı ise ciddidir: kombinasyon sayısı hızla artar ve her kombinasyonun yeterli veri toplaması gerekir. Üç öğenin ikişer varyantı sekiz kombinasyon üretir.

Bu nedenle çok değişkenli testler yalnızca çok yüksek trafikli sayfalarda anlamlıdır. Diğer durumlarda sıralı A/B testleri daha hızlı sonuç verir.

Örneklem büyüklüğü

Testin ne kadar veri toplaması gerektiği, başlamadan önce hesaplanmalıdır.

Hesaplamayı belirleyen etkenler: mevcut dönüşüm oranı, tespit edilmek istenen minimum fark, istenen güven düzeyi, ve istenen tespit gücü.

İlişki sezgiseldir: küçük farkları tespit etmek çok daha fazla veri gerektirir. Dönüşüm oranını yüzde ellilik bir farkla değiştiren bir etkiyi görmek kolaydır; yüzde birlik bir farkı görmek ise çok büyük örneklem ister.

Bu hesap yapılmadan başlatılan testler, ya çok erken sonlandırılır ya sonsuza kadar sürer. Ayrıca hesap, düşük trafikli sayfalarda testin hiç anlamlı olmadığını da gösterebilir.

Test süresi

Süre, yalnızca örneklem büyüklüğüne göre değil, dönemsel etkilere göre de belirlenmelidir.

Dikkate alınması gerekenler: haftanın günleri arasındaki davranış farkı, maaş dönemleri, kampanya günleri, ve satın alma karar süresi.

Genel ilke, testin tam haftaları kapsamasıdır: yarım hafta süren testler, gün etkisini sonuca karıştırır.

Ayrıca satın alma kararı uzun süren ürünlerde, testin bitiminden sonra da bir süre dönüşüm gelmeye devam eder. Bu gecikme hesaba katılmazsa, sonuçlar eksik ölçülür.

Trafik dağılımı

Trafiğin gruplara nasıl dağıtılacağı, testin hızını ve riskini belirler.

Eşit dağılım, en hızlı sonuç veren yöntemdir çünkü her grup aynı hızda veri toplar.

Dengesiz dağılım ise riski azaltır: yeni sürüme küçük bir pay verilerek olası olumsuz etki sınırlanır. Ancak bu, testin süresini uzatır.

Dağılımın test ortasında değiştirilmemesi gerekir: dağılım değişikliği, gruplar arasındaki karşılaştırılabilirliği bozar ve sonucu geçersiz kılar. Bu, en sık yapılan geçersizleştirici müdahaledir.

Teknik kurulum

Test kurulumu, kullanılan araca göre değişir ama ortak kontrol noktaları vardır.

Doğrulanması gerekenler: kullanıcıların rastgele atandığı, aynı kullanıcının hep aynı sürümü gördüğü, atamanın cihazlar arasında değil oturum bazında tutarlı olduğu, ve ölçümün her iki grup için aynı biçimde çalıştığı.

İkinci madde kritiktir: kullanıcı her ziyaretinde farklı sürüm görüyorsa, deneyim bozulur ve sonuçlar anlamsızlaşır.

Ayrıca test kurulumunun onay yönetimiyle uyumlu çalışması gerekir; test araçları da kullanıcı verisi işler.

Titreme sorunu

İstemci tarafında çalışan test araçlarında, orijinal içeriğin kısa süre görünüp sonra değişmesi sorunu ortaya çıkar.

Bu, iki nedenle zararlıdır: kullanıcı deneyimini bozar ve test sonuçlarını çarpıtır. Titreme gören kullanıcılar, değişikliğin kendisinden bağımsız olarak farklı davranabilir.

Azaltma yolları: test kodunun sayfanın en üstünde ve engelleyici biçimde yüklenmesi, gizleme katmanı kullanılması, ve mümkünse sunucu tarafı test tercih edilmesi.

Ancak gizleme katmanının süresi de sınırlı olmalıdır: uzun süre boş ekran gösteren bir kurulum, titremeden daha büyük zarar verir.

SEO açısından dikkat

Testler, arama motoru görünürlüğünü olumsuz etkilememelidir.

Uygulanması gerekenler: arama motoru robotlarına farklı içerik gösterilmemesi, bölünmüş yönlendirme testlerinde kanonik etiketlerin asıl sayfayı işaret etmesi, geçici yönlendirme kullanılması, ve testin makul bir sürede sonlandırılması.

Son madde önemlidir: aylarca çalışan testler, arama motorları için kalıcı bir yapı izlenimi verir.

Ayrıca test sürümlerinin site hızını belirgin biçimde düşürmemesi gerekir; hız, hem sıralama hem dönüşüm için doğrudan bir etkendir.

Cihaz ve segment tutarlılığı

Test sonuçları, farklı segmentlerde farklı çıkabilir ve bu bilgi değerlidir.

İncelenmesi anlamlı segmentler: cihaz türü, yeni ve dönen ziyaretçiler, trafik kaynağı, ve coğrafya.

Ancak segment analizi dikkatle yapılmalıdır: her segment ayrı bir karşılaştırma anlamına gelir ve rastlantısal olarak anlamlı görünen sonuçlar üretme olasılığı artar.

Doğru yaklaşım, segment analizini karar için değil hipotez üretmek için kullanmaktır: bir segmentte farklı bir sonuç görüldüyse, bu ayrı bir testle doğrulanmalıdır.

İstatistiksel anlamlılık

İki grup arasındaki farkın rastlantı olup olmadığı, istatistiksel olarak değerlendirilmelidir.

Anlamlılık, gözlenen farkın şans eseri oluşma olasılığının düşük olduğunu gösterir. Yaygın uygulamada bu eşik yüzde doksan beş güven düzeyidir.

Ancak anlamlılık, önemlilik değildir: istatistiksel olarak anlamlı ama iş açısından önemsiz bir fark mümkündür. Bu nedenle farkın büyüklüğü de değerlendirilmelidir.

Ayrıca anlamlılık, sonucun kesin olduğu anlamına gelmez; belirli bir hata payıyla birlikte gelir. Bu nedenle önemli kararlarda testin tekrarlanması değerlidir.

Erken bakma tuzağı

Test sürerken sonuçlara sürekli bakmak ve anlamlılık göründüğü anda testi durdurmak, en yaygın ve en zararlı hatadır.

Nedeni istatistikseldir: test süresince sonuçlar dalgalanır ve herhangi bir anda rastlantısal olarak anlamlılık eşiği aşılabilir. Sürekli bakılıp ilk anlamlılıkta durdurulan testlerde, yanlış pozitif oranı ciddi biçimde yükselir.

Önleme yolları: örneklem büyüklüğünün önceden belirlenmesi, süre dolmadan karar verilmemesi, ve ara bakışların yalnızca teknik sorun kontrolü için yapılması.

Bazı araçlar, ara bakışa izin veren istatistiksel yöntemler kullanır; bu yöntem kullanılıyorsa aracın hangi yaklaşımı uyguladığı bilinmelidir.

Çoklu karşılaştırma sorunu

Aynı testte çok sayıda varyant veya çok sayıda metrik karşılaştırıldığında, rastlantısal olarak anlamlı sonuç bulma olasılığı artar.

Örnek olarak, yirmi farklı metriğe bakıldığında, gerçekte hiçbir etki olmasa bile bir tanesinin anlamlı görünmesi beklenen bir sonuçtur.

Önleme yolları: birincil metriğin önceden tek olarak belirlenmesi, varyant sayısının sınırlı tutulması, ve keşifsel bulguların ayrı testlerle doğrulanması.

Bu sorun, özellikle segment analizlerinde ortaya çıkar ve raporlanan “şu segmentte büyük iyileşme” bulgularının önemli bir kısmının kaynağıdır.

Sonuçları yorumlamak

Test bittiğinde yorumlama, önceden tanımlanmış çerçeveye göre yapılmalıdır.

Kontrol edilecekler: hedeflenen örneklem büyüklüğüne ulaşıldı mı, test tam periyotları kapsadı mı, birincil metrikte anlamlı fark var mı, farkın büyüklüğü iş açısından önemli mi, koruyucu metriklerde olumsuz etki var mı, ve teknik bir sorun yaşandı mı?

Bu kontroller tamamlanmadan sonuç ilan edilmemelidir.

Ayrıca sonuç, hipotezle birlikte değerlendirilmelidir: beklenen yönde mi çıktı, beklenen büyüklükte mi? Bu değerlendirme, bir sonraki testin kalitesini belirler.

Kazanan çıkmadığında

Testlerin önemli bir bölümü anlamlı fark üretmez ve bu, başarısızlık değildir.

Sonuçsuz bir test şunları öğretir: test edilen unsurun düşünüldüğü kadar belirleyici olmadığı, hipotezin dayandığı varsayımın yanlış olabileceği, ve kaynağın başka alanlara yönlendirilmesi gerektiği.

Yapılmaması gereken şey, sonuç çıkmayınca testi uzatmak veya metrik değiştirmektir. Bu, sonucu zorlamaktır ve üretilen bulgu güvenilir olmaz.

Ayrıca sonuçsuz testlerde varsayılan davranış, mevcut sürümde kalmaktır: değişiklik faydasını kanıtlayamamıştır ve uygulama maliyeti gereksizdir.

Kazananı uygulamak

Test kazandığında, sonucun kalıcı hâle getirilmesi gerekir ve bu adım sık aksar.

Yapılması gerekenler: kazanan sürümün kalıcı olarak kodlanması, test aracının o sayfadan kaldırılması, uygulamadan sonra metriklerin izlenmesi, ve etkinin beklenen düzeyde olup olmadığının kontrolü.

Son madde önemlidir: test ortamındaki kazanç, kalıcı uygulamada her zaman aynı düzeyde görünmez. Bunun nedenleri arasında yenilik etkisi ve test dönemine özgü koşullar bulunur.

Ayrıca test araçları üzerinden kalıcı olarak yayınlanan değişiklikler, sayfa hızını gereksiz yere düşürür ve teknik borç üretir.

Testi tekrarlamak

Bazı durumlarda testin tekrarlanması gerekir ve bu, kaynak israfı değildir.

Tekrar gerektiren durumlar: sonuç beklenenden çok farklı çıktığında, karar yüksek riskli olduğunda, sonuç sınırda anlamlı olduğunda, ve farklı bir dönemde geçerliliğinin kontrol edilmesi gerektiğinde.

Tekrarlanan testler, ilk sonucun rastlantı olup olmadığını gösterir. Özellikle şaşırtıcı sonuçlar, doğrulanmadan uygulanmamalıdır.

Ayrıca mevsimsel işlerde, bir dönemde kazanan bir değişiklik başka bir dönemde aynı etkiyi göstermeyebilir. Bu nedenle önemli değişikliklerin farklı dönemlerde doğrulanması değerlidir.

Öğrenmeyi biriktirmek

Testlerin asıl değeri, tekil sonuçlarda değil zamanla oluşan bilgi birikimindedir.

Kaydedilmesi gerekenler: hipotez, test edilen değişiklik, süre ve örneklem, birincil ve koruyucu metrik sonuçları, karar, ve çıkarılan ders.

Bu arşiv birkaç işlev görür: aynı testin tekrar yapılmasını önler, yeni hipotezlere zemin sağlar, ve ekibe katılan kişilerin geçmiş öğrenmelere erişmesini mümkün kılar.

Kaybeden testlerin de kaydedilmesi gerekir; hatta bunlar çoğu zaman kazananlardan daha öğreticidir çünkü varsayımların nerede yanlış olduğunu gösterirler.

Test kültürü kurmak

Sürdürülebilir bir test pratiği, araçtan çok kültürle ilgilidir.

Kültürün bileşenleri: kararların veriyle desteklenmesi beklentisi, sonuçsuz testlerin başarısızlık sayılmaması, hipotezlerin yazılı olması, ve öğrenmelerin paylaşılması.

En büyük engel genellikle sabırsızlıktır: testlerin sonuçlanmasını beklemek yerine değişikliklerin doğrudan uygulanması yönünde baskı oluşur.

Bu baskıyı azaltmanın yolu, test kapasitesini artırmak ve düşük riskli değişiklikleri test dışında tutmaktır. Her değişikliğin test edilmesi gerekmez; kritik olanların test edilmesi yeterlidir.

Sık yapılan 12 hata

• Hipotez yazmadan test kurmak. Her sonuca açıklama üretilir.
• Örneklem büyüklüğünü hesaplamamak. Test erken veya geç biter.
• Anlamlılık görünce testi durdurmak. Yanlış pozitif oranı yükselir.
• Birincil metriği sonradan değiştirmek. Sonuç geçersiz olur.
• Tıklama oranını karar ölçütü yapmak. Dönüşümü garanti etmez.
• Yarım hafta süren test yapmak. Gün etkisi sonuca karışır.
• Test ortasında trafik dağılımını değiştirmek. Karşılaştırma bozulur.
• Koruyucu metrikleri izlememek. Yan etkiler görünmez.
• Titremeyi çözmemek. Hem deneyim hem sonuç bozulur.
• Segment bulgularını doğrudan uygulamak. Çoklu karşılaştırma tuzağı.
• Kazananı test aracında bırakmak. Teknik borç ve hız kaybı.
• Kaybeden testleri kaydetmemek. En öğretici bulgular kaybolur.

Glowy, İstanbul merkezli bir dijital pazarlama ajansı olarak site içi dönüşüm akışını GA4 ve oturum verisiyle inceler, değişiklikleri A/B testleriyle doğrular. Ayrıntılar için dönüşüm optimizasyonu sayfamıza bakabilirsiniz.

Sıkça sorulan sorular

A/B testi ne kadar sürmeli?

Süre iki şeye göre belirlenir: önceden hesaplanan örneklem büyüklüğü ve dönemsel etkiler. Genel ilke, testin tam haftaları kapsamasıdır; yarım hafta süren testler gün etkisini sonuca karıştırır. Ayrıca satın alma kararı uzun süren ürünlerde, test bittikten sonra da bir süre dönüşüm gelmeye devam eder ve bu gecikme hesaba katılmalıdır. En önemlisi şudur: süre ve örneklem başlamadan önce belirlenmeli, sonuçlara bakarak durdurma kararı verilmemelidir.

Test sonucu anlamlı çıktı, hemen uygulayabilir miyim?

Önce birkaç kontrol yapılmalıdır: hedeflenen örneklem büyüklüğüne ulaşıldı mı, test tam periyotları kapsadı mı, farkın büyüklüğü iş açısından önemli mi, koruyucu metriklerde olumsuz etki var mı ve teknik bir sorun yaşandı mı? İstatistiksel anlamlılık ile iş açısından önemlilik farklı şeylerdir; anlamlı ama önemsiz bir fark mümkündür. Ayrıca sonuç şaşırtıcıysa veya sınırda anlamlıysa, uygulamadan önce testin tekrarlanması değerlidir.

Düşük trafikli sitede A/B testi yapabilir miyim?

Genellikle hayır. Örneklem büyüklüğü hesabı, düşük trafikli sayfalarda testin aylarca süreceğini veya hiç sonuçlanmayacağını gösterir. Bu durumda doğru yaklaşım, en iyi uygulamalara ve nitel araştırmaya dayanarak değişikliği uygulamak ve genel eğilimi izlemektir. Ayrıca ısı haritaları, oturum kayıtları ve site içi anketler gibi nitel araçlar, düşük trafikte de değerli bulgular üretir ve karar için daha uygun bir zemin sağlar.

Test sonuçsuz çıktı, ne yapmalıyım?

Testlerin önemli bir bölümü anlamlı fark üretmez ve bu başarısızlık değildir. Sonuçsuz bir test, test edilen unsurun düşünüldüğü kadar belirleyici olmadığını veya hipotezin dayandığı varsayımın yanlış olabileceğini öğretir. Yapılmaması gereken şey, sonuç çıkmayınca testi uzatmak veya metrik değiştirmektir; bu, sonucu zorlamaktır ve üretilen bulgu güvenilir olmaz. Varsayılan davranış mevcut sürümde kalmaktır: değişiklik faydasını kanıtlayamamıştır.

Aynı anda birden çok test çalıştırabilir miyim?

Testler sitenin farklı ve birbirini etkilemeyen bölümlerindeyse evet. Aynı akış üzerinde çalışan testler ise birbirinin sonuçlarını etkileyebilir; bu durumda ya sıralı çalıştırılmalı ya da testler arasındaki etkileşim hesaba katılmalıdır. Ayrıca çok sayıda eş zamanlı test, çoklu karşılaştırma sorununu büyütür ve rastlantısal olarak anlamlı görünen sonuçların olasılığını artırır. Kapasiteyi test sayısıyla değil test kalitesiyle ölçmek daha doğru bir yaklaşımdır.

Testte titreme sorununu nasıl çözerim?

Titreme, istemci tarafında çalışan test araçlarında orijinal içeriğin kısa süre görünüp sonra değişmesidir; hem deneyimi bozar hem sonuçları çarpıtır. Azaltma yolları: test kodunun sayfanın en üstünde ve engelleyici biçimde yüklenmesi, gizleme katmanı kullanılması ve mümkünse sunucu tarafı test tercih edilmesi. Ancak gizleme katmanının süresi sınırlı olmalıdır; uzun süre boş ekran gösteren bir kurulum, titremeden daha büyük zarar verir.

Terimler sözlüğü

• Varyant: Testte karşılaştırılan sürümlerden biri.
• Kontrol grubu: Mevcut sürümü gören grup.
• Birincil metrik: Kararın dayandığı tek ölçüt.
• Koruyucu metrik: İstenmeyen yan etkileri yakalayan gösterge.
• Örneklem büyüklüğü: Testin ihtiyaç duyduğu ziyaretçi sayısı.
• İstatistiksel anlamlılık: Farkın rastlantı olma olasılığının düşük olması.
• Titreme: Orijinal içeriğin kısa süre görünüp değişmesi.
• Yanlış pozitif: Gerçekte olmayan bir etkinin var görünmesi.

Özet

A/B testi, bir değişikliğin etkisini nedensel olarak ölçebilen tek yöntemdir. Analitik verisi ilişki gösterir; test, nedenselliği kurar. Bu fark, önemli kararlarda test yapmayı vazgeçilmez kılar.

Sağlam bir test disiplininin üç ayağı vardır: yazılı hipotez, önceden belirlenmiş örneklem ve süre, ve tek bir birincil metrik. Bu üçü olmadan yapılan testler, yanlış kararları veriyle doğrulanmış gibi göstererek zarar üretir.

Son olarak öğrenmeyi biriktirin. Kaybeden testler de kaydedilmelidir; hatta bunlar çoğu zaman daha öğreticidir çünkü varsayımların nerede yanlış olduğunu gösterirler. Asıl değer tekil sonuçlarda değil, zamanla oluşan bu birikimdedir.

İlgili içerikler: dönüşüm oranı optimizasyonu, davranış analizi, artımsallık testi, dönüşüm takibi.