Pazarlama kararları için eldeki bilgilerin, araştırmaların ve analizlerin tartışıldığı şahit olduğum bir çok durumda hep rakamların, analizlerin doğruluğunun sorgulandığını gördüm. Özellikle online ölçüm sonuçları sözkonusu olduğunda rakamlara ve ölçümlere güvensizliğin daha da arttığını görüyorum. İster reklamverenin önüne gelen medya planındaki rakamlar olsun, ister bir editörün sorumlu olduğu içeriğin ölçüm sonuçlarına ilişkin “yok canım”lı bakışları düşünüyorum. Terimler, rakamlar, metodlar birbirine karışmış halde. Keşke pazarlama araştırmaları yaparken duyduğumuz “aman biz de öğrenciyken anketörlük yapar, soruları kantinden doldururduk” gibi “ açık bir tutum olsa. Olamıyor çünkü web ölçümlerinin elle tutulamaması ve teknik bir sürü detay içermesinden dolayı üstünü kalın bir belirsizlik sisş kapatmış. Pek çok kişiye göre rakibinin rakamları atmasyon gibi geliken kendi sitesinin ölçümlerinde tuhaf bir düşüklük görüyor.

2001’de Mynet’te Andersen ile ölçüm denetimlerini başlatırken bunu çözmeyi umuyordum. İlk adım olarak “ölçüm süreçlerini” denetlettirip uluslararası standardlara uyduğumuzu göstermek ve ikinci adımda da “rakamlarımızı” da denetlettirme aşamasına gelecektik. Reklam satış önermesi olarak denetim raporumuzu heryerde kullandık. Basın bültenimizi yayınlayan bir sitenin sahibinin bir rakip portalın yöneticisince oldukça sinirli yorumları ile karşılaştığını hatırlıyorum o zamanlar. “Bunlar yalan” demiş. Bunların ötesinde çok ciddi bir etkisi olmadı ölçüm süreci denetimlerinin. 1.5-2 yıl kadar sürdürdüğümüzü hatırlıyorum. Hiçbir zaman İngiltere’deki Abc Electronics ile rakam denetimlerine geçemedik. Doğru rakamları üretmeye çalışmak neredeyse yok sayıldı. Pek çok kez internet ölçümlerinin eksik olmasının online reklamcılığı engellediğine dair geyiklerin o zamanlar pek ciddiye alınmaması gerektiğini anlayamamıştım:)

Şimdi geriye baktığımda doğruluğun –en azından reklam satan ve reklam alan bağlamında- o kadar da önemli olmadığını görüyorum. Hepimiz en doğru analize, ölçümlere ve araştırmalara ulaşmak isteriz. Ancak pazarlama kararlarında kullanılan pek çok bilgi hiç bir zaman tam ve kesin doğruları içermez. Hep bir hata payı, bir özetleme, basitleştirme, eksiklik olacak. Karar vermenin güçlüğü bu bilgi eksikliği içinde yolumuzu bulabilmekten geçiyor. Beğensek de beğenmesek de yaşadığımız dünya bu.

Peki yolumuzu nasıl buluyoruz? Elimizdeki en önemli yaklaşım trendlere bakmak.

Bir örnek üzerinde konuşalım. Diyelim ki her 3 ayda bir müşteri tatmini anketleri yaptıran tipik bir firmasınız. Biliyorsunuzki firmanızın müşterileri dünyanın en memnun müşterileri değil, ama genelde de iyi bir hizmet aldıklarını ve işlerinin görüldüğünü biliyorlar. Pek çoğu sorularda genellikle 4 civarında yanıtlar verirler. Az sayıda 2-3 veren, sorunlar yaşamış olanları ise gerçekten çok memnun az sayıdaki müşterinin 5leri dengeleyecektir. En son anketin sonucu olarak hiç de sürpriz olmayan bir 4.13 çıktı diyelim. Bunun hiç bir anlamı yok. Ancak her 3 ayda bir tekrar edilen bu ankette sırasıyla 4.30, 4.22, 4.15 ve en sonunda 4.13 almışsanız (ve istatiksel olarak bunlar anlamlı bir fark gösteriyorsa) 4.13 size bir şey söylemeye başlar. Belki tüm müşterilerinize ulaşabilmiş, en doğru soruları sormuş, onların tam olarak odaklanıp en doğru yanıtları vermiş oldukları, araştırmanın bütün sapmalarının yok edilebildiği en ideal ve mükemmel araştırmayı yapabildiğinizi varsayalım. Hatta müşteri tatmininin 5lik ölçekte gösterilebilen bir şey olduğunu varsayalım. Gerçek puanın 4.25 yada 3.25 olmasının artık hiç bir önemi kalmamıştır.Tabii 3 ayda bir tekrarladığınız tüm bu anketleri aynı sorular, aynı örnekleme metodu, aynı yöntemle bu anketleri gerçekleştirmiş olmanız gerekir ki, KARŞILAŞTIRILABİLİR olsun. Karşılaştırabilme sadece zaman bazında değil oranlar biçiminde de kullanışlıdır. Yüksek puan ve düşük pauna veren müşterileri yada yüksek puan alınan ve düşük puan alınan soruları karşılaştırmak da mutlak puanı kovalamaktan çok daha kullanışlı olacaktır.

Aynı durum için reklam etkinliği araştırmalarını düşünün. Perakende panellerini düşünelim. Radyo, tv, basın, outdoor gibi mecraların ulaştığı izleyici ölçümlerini ele alın, hepsinde aynı yaklaşımın gerektiğini göreceksiniz. Bütün bu ölçme yaklaşımlarının içindeki sapmaları, kısıtları görebilmek için uzman olmak gerekmez. Ama veri kalitesini sağlamak her bir veri sağlayıcının aynı titizlikle yaklaştığını, ölçümler her tekrarlandığında aynı standardı koruduğunu düşünün. Artık bu bilgiler –yöntemin eksiklerini ve kısıtlarını da bildiğimize göre-bize bir şeyler söylemeye başlayacaktır. Örneğin AGB verilerinin hangi tür TV kanallarını iyi ölçip hangilerini ölçemediğini biliyorsak ve paneller tutarlı biçimde yürütülmüşse oldukça kullanışlı olacaktır. Bir kanalın ratingini gerçekten ne kadar hatalı ölçtüğünün önemi kalmıyor. Bunu tüm taraflar da gayet iyi biliyor ve buna göre işlerini yürütebiliyorlar. Yani elimizdeki yöntemin zaaflarını ve güçlü yönlerini iyi bilmek de önemlidir. Bir perakende paneli tablosunu, bir TV rating sonucunu, yada kalitatif araştırma raporunu okuyabilmek ve buna göre karar verebilmek için her bir yöntemi iyi tanımak ve tabii ki tecrübe gerekir.

Sonuçta ölçümlerin doğruluğu hakkında üç önemli konu olduğunu gördük:
• Her zaman eksik, gedik, hatalı bilgilerle karar vermek zorundayız
• Ancak karar verebilmek için elimizdeki bilgiler karşılaştırılabilir olmalı
• Ve kullandığımız yöntemin kısıtlarını, eksiklerini ve güçlü yönlerini iyi bilmek gerek.

En son olarak ölçümlere, rakamlara vereceğimiz karardan geriye giderek yaklaşmak gerek. Vereceği kararı etkilemeyeceği halde gereksiz bilgi toplamaya çalışan ve aklı karışan pek çok kişiye rastlamışızdır. Müşteri tatmini anketi örneğine dönersek, yaptığımız anketin örneklem sayısının arttırılması hatayı azaltacağından hareketle örneklemi büyütmek ve soru sayısını arttırmak için ek bütçe peşinde koşmak böyle bir yaklaşım olurdu. Doğru yaklaşım müşteri tatmin puanında en önemli düşüşlerin yaşandığı müşteri grupları, ve soruları belirleyip bunlar üzerinde detaylı çalışma yapmak olacaktı. Elbetteki daha büyük bir örneklem ve daha ayrıntılı bir soru formunun yararları olacaktır ancak elimizdeki mevcut bilgini bize bağıra bağıra söylediklerine kulağımız tıkamanın pek bir faydası olmayacaktır.

İlk ciddi yazımda uzun uzun anlattığım bütün bu dolambaçlı şeylerin webmetri ile ilgisini gelecek yazımda kuracağım: precision vs. accuracy