Artımsallık Testi: Kanal Gerçekten Katkı Üretiyor mu?

Reklam platformları hangi dönüşümlerin kendilerine ait olduğunu raporlar. Ancak asıl soru başkadır: bu reklam hiç yayınlanmasaydı, bu satışlar yine olur muydu? Atıf modelleri bu soruyu yanıtlayamaz; yalnızca deney yanıtlar. Bu rehber, artımsallık testinin nasıl kurulacağını, yorumlanacağını ve bütçe kararlarına nasıl dönüştürüleceğini anlatıyor.

Artımsallık nedir?

Artımsallık, bir pazarlama çalışmasının var olması sayesinde oluşan ek sonuçtur. Kısaca: o çalışma olmasaydı gerçekleşmeyecek satışlar.

Bu tanım, platformların raporladığı dönüşümlerden farklıdır. Platform raporu, “bu reklamla temas etmiş kullanıcıların yaptığı satışları” gösterir; artımsallık ise “bu reklam sayesinde oluşan ek satışları” gösterir.

İkisi arasındaki fark, reklamla temas etmiş ama zaten satın alacak olan kullanıcılardan kaynaklanır. Bu kullanıcılar platform raporunda görünür ama artımsal katkı üretmezler.

Neden atıf yetmez?

Atıf modelleri, bir dönüşümü hangi temasa yazacağına karar verir. Ancak hiçbiri, o temasın olmaması durumunda ne olacağını bilemez.

Bu, yöntemsel bir sınırdır: atıf gözlenen veriye bakar, artımsallık ise gözlenmeyen bir senaryoyla karşılaştırma gerektirir.

Sonuç şudur: veriye dayalı en gelişmiş atıf modeli bile, kanalın artımsal değerini ölçemez. Yalnızca gözlenen temasları bölüştürür. Ajansla çalışırken bu ayrımı nasıl soracağınızı veri odaklı dijital pazarlama ajansı yazısında ele aldık.

Bu nedenle büyük bütçe kararları atıf raporuna değil, deney sonuçlarına dayanmalıdır. Atıf modelleri rehberimiz bu sınırı ayrıntılandırıyor.

Yamyamlaştırma sorunu

Artımsallığı düşüren temel mekanizma, kanalların birbirinin satışını üstlenmesidir.

Örnek durum: bir kullanıcı markayı zaten biliyor ve satın almaya karar vermiş. Arama yaparken üstte bir reklam görüyor ve ona tıklıyor. Satış, reklam kanalına yazılıyor.

Oysa reklam olmasaydı, kullanıcı organik sonuca tıklayacak ve yine satın alacaktı. Bu durumda reklam, artımsal satış üretmemiş, yalnızca ücretsiz bir tıklamayı ücretli hâle getirmiştir.

Bu mekanizma, farklı kanallar arasında da işler: sosyal reklam ile e-posta, yeniden pazarlama ile doğrudan trafik arasında benzer örtüşmeler oluşur.

Nerede en çok görülür?

Düşük artımsallık riski, bazı kampanya türlerinde belirgin biçimde yüksektir.

Yüksek riskli alanlar: marka arama kampanyaları, yeniden pazarlama, sepet terk hatırlatmaları, mevcut müşterilere yönelik kampanyalar, ve karşılaştırma sitelerinden gelen trafik.

Bu alanların ortak özelliği, zaten satın alma niyeti oluşmuş kullanıcılara ulaşmalarıdır. Yüksek raporlanan getiri, tam olarak bu nedenle oluşur.

Düşük riskli alanlar ise yeni kitlelere ulaşan keşif kampanyaları ve markasız arama çalışmalarıdır: bu kampanyalar, aksi hâlde markayla temas etmeyecek kullanıcılara ulaşır.

Ölçüm yöntemleri

Artımsallık, kontrollü bir karşılaştırma gerektirir: bir grup reklamı görür, diğeri görmez ve sonuçlar karşılaştırılır.

Uygulamada birkaç yöntem kullanılır: coğrafi bölünmüş testler, kitle bazlı testler, zaman bazlı karşılaştırmalar, ve platformların kendi deney araçları.

Yöntem seçimi; kanalın türüne, hedefleme imkânlarına ve işletmenin ölçeğine bağlıdır.

Ortak ilke hepsinde aynıdır: karşılaştırılan gruplar arasındaki tek sistematik fark, test edilen kanalın varlığı olmalıdır.

Coğrafi bölünmüş test

Bu yöntemde iller veya bölgeler iki gruba ayrılır: bir grupta kampanya çalışır, diğerinde durdurulur.

Avantajları: platformdan bağımsızdır, tüm kanallara uygulanabilir, ve toplam satış üzerinden ölçüm yapar.

Dezavantajları: bölgeler arasında doğal farklar vardır, yeterli sayıda bölge gerekir, ve bölgeler arası etkileşim olabilir.

Bu yöntem, çevrimdışı satışı olan ve ülke geneline yayılmış işletmeler için özellikle uygundur çünkü toplam satış verisi bölge bazında zaten mevcuttur.

Kitle bazlı test

Bu yöntemde kullanıcılar rastgele iki gruba ayrılır ve bir gruba reklam gösterilmez.

Avantajı, rastgele atama sayesinde grupların benzer olmasıdır; bu, en temiz karşılaştırmayı sağlar.

Dezavantajı, uygulama zorluğudur: bir kullanıcıya reklam gösterilmemesini garanti etmek, platform desteği gerektirir.

Ayrıca kontrol grubuna hiç reklam gösterilmemesi, potansiyel gelir kaybı anlamına gelir. Bu maliyet, testin bütçesi olarak kabul edilmelidir ve elde edilecek bilginin değeriyle karşılaştırılmalıdır.

Zaman bazlı test

En basit ama en zayıf yöntemdir: kampanya bir süre durdurulur ve öncesi ile sonrası karşılaştırılır.

Avantajı, hiçbir teknik kurulum gerektirmemesidir.

Dezavantajı temeldir: aynı dönemde başka etkenler de değişir. Mevsimsellik, rekabet, kampanya dönemleri ve diğer kanalların performansı sonucu etkiler ve ayrıştırılamaz.

Bu yöntem yalnızca güçlü sinyal durumlarında anlamlıdır: kampanya durdurulduğunda toplam satış belirgin biçimde düşüyorsa, bu bir gösterge sayılabilir.

Ancak küçük etkiler, bu yöntemle güvenilir biçimde tespit edilemez.

Platform içi deney araçları

Reklam platformlarının bir kısmı, artımsallık ölçümü için yerleşik deney araçları sunar.

Avantajları: kurulumu kolaydır, rastgele atama platform tarafından yapılır, ve raporlama otomatiktir.

Sınırları: yalnızca o platformun kendi kanallarını kapsar, ölçüm platformun kendi verisine dayanır, ve platform kendi kanalının değerini ölçen taraf konumundadır.

Bu araçlar kullanışlıdır ama sonuçları, mümkün olduğunda kendi sipariş sisteminizden alınan toplam satış verisiyle doğrulanmalıdır. Bağımsız doğrulama, sonucun güvenilirliğini belirgin biçimde artırır.

Hangi yöntem ne zaman?

Yöntem seçimi, birkaç ölçüte göre yapılır.

Coğrafi test: çevrimdışı satış varsa, çok kanallı ölçüm gerekiyorsa, veya platform desteği yoksa.

Kitle bazlı test: platform destekliyorsa ve temiz bir karşılaştırma gerekiyorsa.

Zaman bazlı test: yalnızca büyük etkiler bekleniyorsa ve diğer yöntemler mümkün değilse.

Platform içi deney: hızlı bir ön gösterge gerekiyorsa.

Yüksek bütçeli kanallarda, birden çok yöntemle doğrulama yapılması değerlidir: farklı yöntemlerin benzer sonuç vermesi, güvenilirliği artırır.

Test tasarımı

Test başlamadan önce tasarımın tamamlanması gerekir.

Belirlenmesi gerekenler: test edilecek kanal veya kampanya, kontrol ve test gruplarının nasıl oluşturulacağı, test süresi, ölçülecek birincil metrik, beklenen etki büyüklüğü, ve karar kuralı.

Son madde kritiktir: hangi sonuçta ne karar verileceği önceden yazılmalıdır. Aksi hâlde sonuç, mevcut inanca uygun biçimde yorumlanma eğilimi gösterir.

Ayrıca test süresince kampanyada başka değişiklik yapılmaması gerekir: bütçe, hedefleme veya kreatif değişiklikleri sonucu geçersiz kılar.

Grupların eşleştirilmesi

Karşılaştırılacak grupların birbirine benzer olması, testin geçerliliğinin temelidir.

Kitle bazlı testlerde bu, rastgele atamayla sağlanır ve ek işlem gerekmez.

Coğrafi testlerde ise bölgeler doğal olarak farklıdır; eşleştirme gerekir. Yöntem, geçmiş satış verilerine bakarak benzer davranış gösteren bölgeleri çiftler hâlinde eşleştirmek ve her çiftten birini teste, diğerini kontrole atamaktır.

Eşleştirme kalitesi, test öncesi dönem verisiyle kontrol edilmelidir: iki grubun test öncesindeki satış eğilimleri paralel seyretmelidir. Paralel seyretmiyorsa, eşleştirme yeniden yapılmalıdır.

Test büyüklüğü

Testin ne kadar veri toplaması gerektiği, tespit edilmek istenen etki büyüklüğüne bağlıdır.

İlişki şudur: küçük etkileri tespit etmek çok daha fazla veri gerektirir. Toplam satışta yüzde ellilik bir değişimi görmek kolaydır; yüzde beşlik bir değişimi görmek ise büyük hacim ister.

Bu hesap yapılmadan başlatılan testler, sonuçsuz kalır ve “etki bulunamadı” sonucu yanlış yorumlanır: etki olmadığı değil, tespit edilemediği anlamına gelir.

Düşük hacimli işletmelerde artımsallık testi, yalnızca büyük etkiler için anlamlıdır. Bu sınırın baştan kabul edilmesi, boşa harcanan test döneminden korur.

Test süresi

Süre, iki etkene göre belirlenir: yeterli veri birikimi ve gecikmeli etkilerin yakalanması.

İkinci madde artımsallık testlerine özgüdür: bir kanal durdurulduğunda etkisi hemen görünmeyebilir. Özellikle bilinirlik odaklı kanallarda, etki haftalar sonra ortaya çıkar.

Bu nedenle testin, karar süresinin birkaç katı bir dönemi kapsaması gerekir.

Ayrıca test bittikten sonra da bir süre izleme yapılmalıdır: durdurulan kanal yeniden açıldığında satışların toparlanması, kanalın etkisine dair ek kanıt sağlar.

Ölçülecek metrik

Artımsallık testinde metrik seçimi, sonucun anlamını belirler.

Doğru metrik, toplam iş sonucudur: toplam sipariş sayısı, toplam gelir veya toplam nitelikli talep.

Yanlış metrikler: platformun raporladığı dönüşüm sayısı, kanal bazlı getiri, ve kanal içi tıklama metrikleri.

Nedeni açıktır: test grubunda kanal çalıştığı için platform raporunda dönüşüm görünecektir. Bu, kanalın çalıştığını gösterir, artımsal katkı ürettiğini değil.

Toplam satış verisi, sipariş sisteminden alınmalıdır. Bu, testin bağımsız bir zeminde ölçülmesini sağlar.

Kirlenme riski

Kontrol grubunun teste maruz kalması, sonucu geçersiz kılar ve bu risk her yöntemde farklı biçimde ortaya çıkar.

Kirlenme kaynakları: coğrafi testlerde bölge sınırlarının kesin olmaması, kitle testlerinde kullanıcıların farklı cihazlardan gelmesi, ve kanalın diğer kanallarla örtüşen kitleye ulaşması.

Ayrıca kontrol grubundaki kullanıcıların, test grubundaki kişilerden markayı duyması da bir kirlenme biçimidir.

Kirlenme tamamen ortadan kaldırılamaz ama azaltılabilir. Önemli olan, kirlenmenin sonucu hangi yönde etkileyeceğini bilmektir: kirlenme genellikle gerçek etkiyi olduğundan küçük gösterir.

Uygulama adımları

Test uygulaması sırasında izlenecek sıra bellidir.

1. Test öncesi dönem verisi toplanır ve grupların paralel seyrettiği doğrulanır.
2. Gruplar oluşturulur ve kampanya ayarları yapılır.
3. Test başlatılır ve kampanyada başka değişiklik yapılmaz.
4. Test süresince yalnızca teknik sorun kontrolü yapılır.
5. Süre dolduğunda veriler toplanır ve karşılaştırma yapılır.
6. Sonuç, önceden tanımlanan karar kuralına göre yorumlanır.

Dördüncü adım özellikle önemlidir: test sürerken sonuçlara bakıp erken karar vermek, en yaygın geçersizleştirici davranıştır.

Artımsallığı hesaplamak

Hesaplama mantığı basittir: test grubundaki sonuç ile kontrol grubundaki sonuç karşılaştırılır.

Aradaki fark, kanalın artımsal katkısıdır. Bu fark, test grubunun platform raporundaki dönüşüm sayısına oranlandığında, artımsallık oranı elde edilir.

Bu oran, platform raporunun ne kadarının gerçek katkı olduğunu gösterir. Düşük bir oran, raporlanan dönüşümlerin büyük bölümünün zaten gerçekleşecek satışlar olduğu anlamına gelir.

Hesaplama yapılırken grup büyüklüklerinin normalleştirilmesi gerekir: gruplar eşit büyüklükte değilse, karşılaştırma oranlar üzerinden yapılmalıdır.

Artımsal edinme maliyeti

Artımsallık testinin en kullanışlı çıktısı, gerçek edinme maliyetinin hesaplanabilmesidir.

Hesaplama: kanala harcanan tutar, artımsal dönüşüm sayısına bölünür.

Bu rakam, platform raporundaki edinme maliyetinden genellikle belirgin biçimde yüksektir çünkü payda küçülmüştür.

Bütçe kararları bu rakama göre verilmelidir: artımsal edinme maliyeti, kabul edilebilir sınırın üzerindeyse kanal kârlı çalışmıyordur, platform raporu ne gösterirse göstersin.

Bu hesap, kanallar arası bütçe dağılımını da doğru zemine oturtur.

Sonuçları yorumlamak

Sonuç yorumlanırken birkaç kontrol yapılmalıdır.

Kontroller: gruplar test öncesinde paralel seyretti mi, test süresince başka bir değişiklik oldu mu, fark istatistiksel olarak anlamlı mı, ve etki büyüklüğü iş açısından önemli mi?

Ayrıca sonucun yönü kadar büyüklüğü de değerlendirilmelidir: artımsallığın var olması yeterli değildir, maliyetini karşılayacak düzeyde olması gerekir.

Son olarak sonucun geçerlilik alanı belirtilmelidir: test belirli bir dönemde, belirli bir bütçe seviyesinde ve belirli bir kampanya kurgusunda yapılmıştır. Farklı koşullarda sonuç değişebilir.

Artımsallık düşük çıkarsa

Düşük artımsallık, kanalı hemen kapatmak anlamına gelmez; önce nedeni araştırılmalıdır.

Olası nedenler: kampanyanın zaten dönüşecek kullanıcıları hedeflemesi, diğer kanallarla örtüşme, bütçenin doygunluk noktasının üzerinde olması, ve hedeflemenin çok dar olması.

Yapılabilecekler: hedeflemenin daha az niyetli kitlelere genişletilmesi, mevcut müşterilerin hariç tutulması, bütçenin kademeli azaltılıp etkinin izlenmesi, ve kampanya kurgusunun değiştirilip testin tekrarlanması.

Kanalın tamamen kapatılması, yalnızca bu düzenlemeler sonuç vermediğinde değerlendirilmelidir.

Artımsallık yüksek çıkarsa

Yüksek artımsallık, kanalın gerçekten değer ürettiğini gösterir ve bütçe artışı için gerekçe oluşturur.

Ancak dikkat edilmesi gereken nokta, artımsallığın bütçe seviyesine bağlı olmasıdır: mevcut bütçede yüksek artımsallık gösteren bir kanal, bütçe artırıldığında aynı verimi göstermeyebilir.

Nedeni doygunluktur: kanal önce en değerli kitleye ulaşır, bütçe arttıkça daha az uygun kitlelere yayılır.

Bu nedenle bütçe artışı kademeli yapılmalı ve her kademede etki izlenmelidir. Ayrıca artımsallık testinin farklı bütçe seviyelerinde tekrarlanması, doygunluk noktasını belirlemeyi sağlar.

Sonuç belirsizse

Testlerin bir kısmı net sonuç üretmez ve bu durumun doğru yorumlanması gerekir.

Belirsiz sonuç şu anlama gelir: mevcut veri hacmiyle, aranan büyüklükteki bir etki tespit edilememiştir. Bu, etkinin olmadığı anlamına gelmez.

Yapılabilecekler: testin daha uzun süre çalıştırılması, test grubunun büyütülmesi, ve daha büyük bir müdahale ile tekrarlanması.

Yapılmaması gereken şey, belirsiz sonucu istenen yönde yorumlamaktır. “Etki bulunamadı” ifadesi ile “etki yok” ifadesi arasındaki fark, karar açısından belirleyicidir.

Testin maliyeti

Artımsallık testinin bir maliyeti vardır ve bu maliyet kabul edilmelidir.

Maliyet kalemleri: kontrol grubunda kaybedilen potansiyel satış, test süresince optimizasyon yapılamaması, kurulum ve analiz emeği, ve öğrenme döneminin kesintiye uğraması.

Bu maliyet, elde edilecek bilginin değeriyle karşılaştırılmalıdır. Yüksek bütçeli bir kanalda, artımsallığın bilinmemesinin maliyeti genellikle test maliyetinden çok daha büyüktür.

Düşük bütçeli kanallarda ise test yapmak ekonomik olmayabilir; bu durumda kanal, diğer kanıtlarla değerlendirilmelidir.

Ne sıklıkla tekrarlanmalı?

Artımsallık, sabit bir özellik değildir; koşullar değiştikçe değişir.

Değişime yol açan etkenler: bütçe seviyesindeki değişiklikler, rekabet yoğunluğu, mevsimsellik, kampanya kurgusundaki değişiklikler, ve marka bilinirliğindeki gelişme.

Son madde özellikle önemlidir: marka bilinirliği arttıkça, marka arama kampanyalarının artımsallığı genellikle düşer çünkü kullanıcılar markayı zaten bulmaktadır.

Bu nedenle önemli kanallarda testin dönemsel olarak tekrarlanması gerekir. Yılda bir veya iki kez yapılan bir doğrulama, çoğu işletmede uygun bir ritimdir.

Karma modellemeyle ilişki

Pazarlama karması modelleme, artımsallığa yaklaşan bir başka yöntemdir ve iki yaklaşım birbirini tamamlar.

Farkları: karma modelleme geçmiş veriye dayanır ve deney gerektirmez; artımsallık testi ise ileriye dönük bir deneydir.

Karma modelleme tüm kanalları aynı anda değerlendirebilir ama nedensellik kurmaz; artımsallık testi nedensellik kurar ama tek seferde bir kanalı ölçer.

En güçlü kullanım, ikisinin birlikte kullanılmasıdır: karma modelleme genel bir tablo çizer, artımsallık testleri kritik kanallarda bu tabloyu doğrular ve modeli kalibre eder.

Bütçe kararına dönüştürmek

Test sonucunun karara dönüşmesi, önceden tanımlanmış bir çerçeve gerektirir.

Karar çerçevesi: artımsal edinme maliyeti hesaplanır, kabul edilebilir sınırla karşılaştırılır, ve sonuca göre bütçe artırılır, korunur veya azaltılır.

Ayrıca sonuç, diğer kanallarla karşılaştırılmalıdır: bütçe kararı mutlak değil göreli bir karardır. Bir kanal kârlı olsa bile, başka bir kanal daha kârlıysa marjinal bütçe oraya kaymalıdır.

Son olarak kararlar kademeli uygulanmalı ve etkileri izlenmelidir. Test sonucuna dayanarak yapılan büyük ve ani bütçe kaymaları, öngörülmeyen ikinci derece etkiler üretebilir.

Sonucu kuruma anlatmak

Artımsallık testleri, kurum içinde yerleşmiş inançlarla çelişen sonuçlar üretebilir ve bu, sonucun kabul edilmesini zorlaştırır.

Zorluğun kaynağı nettir: platform raporlarında yıllardır yüksek getiri gösteren bir kanalın artımsal katkısının düşük çıkması, hem o kanalı yöneten ekip hem de bütçeyi onaylayan yönetim için rahatsız edicidir.

Direnci azaltan yaklaşımlar: karar kuralının test öncesinde yazılı olarak paylaşılması, testin tasarımının ilgili taraflarla birlikte gözden geçirilmesi, ve sonucun kanalın kapatılması değil kurgusunun iyileştirilmesi çerçevesinde sunulması.

Ayrıca sonucun sınırları açıkça belirtilmelidir: test belirli bir dönemde, belirli bir bütçe seviyesinde ve belirli bir kurguda yapılmıştır. Bu çerçeveleme, sonucun aşırı genellenmesini önler ve tartışmayı yapıcı tutar.

Deneysiz yaklaşık göstergeler

Tam bir artımsallık testi her zaman mümkün değildir. Bu durumlarda kesin olmayan ama yön gösteren birkaç yaklaşım kullanılabilir.

Kullanılabilecek göstergeler: kanal bütçesindeki değişimlerle toplam sipariş sayısındaki değişimin karşılaştırılması, marka ve markasız trafiğin ayrı izlenmesi, yeni müşteri oranının kanal bazında incelenmesi, ve doğrudan trafik ile marka arama hacmindeki eğilimler. Bu göstergeleri bilinirlik açısından okumayı marka bilinirliği nasıl ölçülür yazısında ayrıntılı anlattık.

Özellikle üçüncüsü kullanışlıdır: bir kanalın getirisi yüksek görünürken getirdiği müşterilerin büyük bölümü mevcut müşteriyse, artımsal katkısının sınırlı olduğuna dair güçlü bir işaret vardır.

Bu göstergeler deneyin yerini tutmaz ve nedensellik kurmaz. Ancak hangi kanallarda test yapılmasının öncelikli olduğunu belirlemek için değerlidirler ve test kapasitesini doğru yere yönlendirirler.

Sık yapılan 12 hata

• Platform dönüşümünü metrik olarak kullanmak. Test grubunda zaten görünür.
• Grupların paralel seyrettiğini kontrol etmemek. Karşılaştırma geçersiz olur.
• Test sırasında kampanyayı değiştirmek. Sonuç yorumlanamaz.
• Gecikmeli etkiyi hesaba katmamak. Bilinirlik kanalları eksik ölçülür.
• Test büyüklüğünü hesaplamamak. Sonuçsuzluk, etkisizlik sanılır.
• Erken karar vermek. Dalgalanma sonuç sanılır.
• Belirsiz sonucu “etki yok” saymak. Farklı iki ifade.
• Düşük artımsallıkta kanalı hemen kapatmak. Önce kurgu düzeltilmeli.
• Sonucu tüm bütçe seviyelerine genellemek. Artımsallık doygunlukla değişir.
• Testi hiç tekrarlamamak. Artımsallık koşullarla değişir.
• Kirlenmeyi görmezden gelmek. Etki olduğundan küçük ölçülür.
• Karar kuralını sonradan belirlemek. Sonuç mevcut inanca uydurulur.

Glowy, İstanbul merkezli bir dijital pazarlama ajansı olarak GA4, Google Tag Manager ve sunucu taraflı ölçüm kurulumlarını veri katmanından başlayarak yapar. Ayrıntılar için ileri analitik sayfamıza bakabilirsiniz.

Sıkça sorulan sorular

Artımsallık testi ile atıf arasındaki fark nedir?

Atıf, gözlenen temasları bölüştürür: bir dönüşümü hangi temasa yazacağına karar verir. Artımsallık ise gözlenmeyen bir senaryoyla karşılaştırma gerektirir: bu kanal olmasaydı bu satış yine olur muydu? Bu, yöntemsel bir sınırdır; veriye dayalı en gelişmiş atıf modeli bile kanalın artımsal değerini ölçemez. Bu nedenle büyük bütçe kararları atıf raporuna değil deney sonuçlarına dayanmalıdır.

Hangi kanallarda artımsallık en düşük çıkar?

Zaten satın alma niyeti oluşmuş kullanıcılara ulaşan kampanyalarda: marka arama kampanyaları, yeniden pazarlama, sepet terk hatırlatmaları ve mevcut müşterilere yönelik kampanyalar. Bu alanlarda raporlanan getirinin yüksek olması tam da bu nedenledir. Örneğin markayı bilen ve satın almaya karar vermiş bir kullanıcı, reklam olmasaydı organik sonuca tıklayıp yine satın alacaktı; bu durumda reklam ücretsiz bir tıklamayı ücretli hâle getirmiştir.

Artımsallık testinde neyi ölçmeliyim?

Toplam iş sonucunu: toplam sipariş sayısı, toplam gelir veya toplam nitelikli talep. Platformun raporladığı dönüşüm sayısı kullanılmamalıdır çünkü test grubunda kanal çalıştığı için orada dönüşüm zaten görünecektir; bu, kanalın çalıştığını gösterir, artımsal katkı ürettiğini değil. Toplam satış verisi sipariş sisteminden alınmalıdır; bu, testin bağımsız bir zeminde ölçülmesini sağlar.

Artımsallık düşük çıktı, kanalı kapatmalı mıyım?

Hemen değil; önce nedeni araştırılmalıdır. Olası nedenler: kampanyanın zaten dönüşecek kullanıcıları hedeflemesi, diğer kanallarla örtüşme, bütçenin doygunluk noktasının üzerinde olması ve hedeflemenin çok dar olması. Yapılabilecekler: hedeflemeyi daha az niyetli kitlelere genişletmek, mevcut müşterileri hariç tutmak, bütçeyi kademeli azaltıp etkiyi izlemek ve kurguyu değiştirip testi tekrarlamak. Kapatma, bu düzenlemeler sonuç vermediğinde değerlendirilmelidir.

Küçük bir işletme artımsallık testi yapabilir mi?

Sınırlı olarak. Küçük etkileri tespit etmek çok fazla veri gerektirir; düşük hacimli işletmelerde yalnızca büyük etkiler ölçülebilir. Bu sınırın baştan kabul edilmesi, boşa harcanan bir test döneminden korur. Ayrıca testin bir maliyeti vardır: kontrol grubunda kaybedilen potansiyel satış, optimizasyon yapılamaması ve öğrenme döneminin kesintiye uğraması. Düşük bütçeli kanallarda bu maliyet, elde edilecek bilginin değerini aşabilir.

Artımsallık testini ne sıklıkla tekrarlamalıyım?

Artımsallık sabit bir özellik değildir; bütçe seviyesi, rekabet yoğunluğu, mevsimsellik, kampanya kurgusu ve marka bilinirliği değiştikçe değişir. Son etken özellikle önemlidir: marka bilinirliği arttıkça marka arama kampanyalarının artımsallığı genellikle düşer çünkü kullanıcılar markayı zaten bulmaktadır. Bu nedenle önemli kanallarda dönemsel doğrulama gerekir; yılda bir veya iki kez yapılan bir test çoğu işletmede uygun bir ritimdir.

Terimler sözlüğü

• Artımsallık: Bir çalışmanın var olması sayesinde oluşan ek sonuç.
• Kontrol grubu: Test edilen kanala maruz kalmayan grup.
• Yamyamlaştırma: Bir kanalın diğerinin satışını üstlenmesi.
• Coğrafi bölünmüş test: Bölgelerin gruplara ayrıldığı deney.
• Kirlenme: Kontrol grubunun teste maruz kalması.
• Artımsal edinme maliyeti: Harcamanın artımsal dönüşüme bölünmesi.
• Doygunluk: Bütçe arttıkça marjinal verimin azalması.
• Karma modelleme: Toplam harcama ve sonuç ilişkisinin istatistiksel modellenmesi.

Özet

Artımsallık, pazarlama ölçümünün en zor ama en değerli sorusunu yanıtlar: bu kanal olmasaydı ne olurdu? Atıf modelleri bu soruyu yapısal olarak yanıtlayamaz; yalnızca kontrollü deney yanıtlar.

Testin geçerliliği üç şeye bağlıdır: grupların karşılaştırılabilir olması, ölçülen metriğin toplam iş sonucu olması, ve test süresince başka değişiklik yapılmaması. Bu üçünden biri sağlanmazsa sonuç yorumlanamaz.

Testin en kullanışlı çıktısı, artımsal edinme maliyetidir. Bu rakam platform raporundaki maliyetten genellikle belirgin biçimde yüksektir ve bütçe kararlarının doğru zemini budur. Ayrıca artımsallık sabit değildir: bütçe seviyesi ve marka bilinirliği değiştikçe değişir, bu nedenle dönemsel olarak yeniden ölçülmelidir.

İlgili içerikler: atıf modelleri, A/B testi, KPI belirleme, yeniden pazarlama.