Bugün yüksek oranda ziyaretçisi internet cafeleri kullanan bir sitenin tekil ziyaretçi ölçümlerinin abartılı olup olamayacağı soruldu bana. Sanırım ölçüm metodlarının farkları ve kısıtları konusuna bu örnekten giriş yapabiliriz.

Evet, internet cafelerde yüksek bir penetrasyona ulaşan özel yönetim yazılımları tekil ziyaretçi ölçümlerinde sapma yaratabilir. Ancak bundan sakınmanın yolları da var.

Sektörde, özellikle reklam veren ve medya planlama tarafında site trafikleri ile ilgili genel kabul “aylık trafikler”. “Filanca sitenin tekil ziyaretçi sayısı ……..dır.” derken kastedilen aylık rakamlardır. Internet kafeden her gün aynı siteye giren bir kullanıcı her geldiğin internet cafe yönetimi yazılımı tarayıcının hafızasındaki tüm cookieleri silip temizleyecektir. Dolayısı ile kullanıcı siteye her giriş ölçüm sistemi ona yeni bir cookie atacak ve yeni bir kullanıcı olarak kabul edecektir. Böyle bir kullanıcı aylık raporlarda 30 tekil ziyaretçi olarak kaydedilecektir. Internet cafelerde bu yazılımlar yaygınlaşmadan evvel ise tam tersi bir durum vardı. Bir bilgisayarı kullanan 30 ayrı müşteri aynı siteye girmesine karşın ölçüm sistemleri tek bir tekil ziyaretçi olarak sayıyorlardı :)

Benzer bir sıkıntıyı, daha seyrek olmakla beraber çok sıkı güvenlik politikaları olan şirketlerden gelen trafiğin tekil ziyaretçi adetleri ölçümünde de yaşıyoruz. Bu şirketler çalışanlarının oyun, email, sosyal network gibi sitelere girişlerini engellemek ve güvenlik sağlamanın kısa yolu olarak cookieleri engelleyebilmekteler. Bu durumda Google Analytics gibi ölçüm sistemleri hiç bir trafik ölçmemekte iken, Web Trends tarzı log analiz yazılımları (konfigurasyonlarına bağlı olmakla birlikte genellikle) ziyaretçinin IP adresi, tarayıcı versiyonu gibi tekilliği belirlemekte problemleri olan bir yönteme geçerler. Bu tarz kullanıcıya sahip sitelerde Google Analytics ile Web Trends/AW Stats ölçümleri arasındaki makas genişler.

Peki cookielerle ilgili böyle problemler varken sitelerin trafik verilerini nasıl karşılaştırabiliriz? Burada odaklanacağımız nokta ölçüm periyodu olacak. Yani özellikle tekil ziyaretçi ölçümlerinde aylık konsolide rakamlar yerine günlük tekil ziyaretçi adetlerini baz almak gerek. Neden?

(devamı…)

Ölçümün doğruluğunun ikiz yüzünü tartışacağım bugün. Sözlüklere baktığımızda accuracy ve precision için birbirine benzer Türkçe karşılıklar görüyoruz. Accuracy ölçmeye çalıştığımız gerçek değere ne kadar yakın bir değere ulaştığımızdır. Precision ise ölçümü tekrarladığımızda birbiri ile tutarlı sonuçlar almamızdır. Brian Clifton‘ın bu konudaki yazısında dikkat çektiği bir ayrım bu. Wikipedia’daki güzel bir yazıda accuracy ve precision kavramlarının farkı çok güzel örneklenmiş.

Ölçüm yapmayı bir hedefe ok atmaya benzetelim. Eğer attığımız okları hedefe çok yakın halkalara isabet ettirebilimişsek bu “accuracy” oluyor. Wikipedia’da bu konuda bahettiğim yazıda kullanılan soldaki resime bakalım.Gerçekten de atışlar hedefe en yakın halkaya isabet etmiş. Ancak her bir atış birbirinden uzak noktalara isabet etmiş.Sağdaki resimde ise precision örneklenmiş. Bu sefer atışlar hedeften uzağa düşmüşler.

Ancak hepsi birbirine yakında noktalara düşmüş. Yani ölçümümüzün sonuçları tekrarlanabilir ve her zaman aynı seviyede sapma ile ölçmektedir. Precision varsa trendler gözlenebilir, karşılaştırılabilir verilere sahip olabiliriz. Atışlarımız hedefe çok çok yakın olmasa da makul bir mesafede tutturduktan sonra precision sağlamak accuracy’den çok daha yararlı olacaktır. Ayrıca web ölçümlerinde precison sağlamak tam bir accuracy sağlamaktan çok daha kolay sağlanabilir.Okların düştüğü noktalar ile hedef arasındaki mesafe ise ölçüm metodumuzun özünden kaynaklanan sapmaları ve eksikleridir. Örneğin bir anketteki örneklemin seçilme biçimi ve büyüklüğü yada nitel bir araşrtırma yaparken (focus gruplar gibi) istatistiksel olarak genelleştirilemeyecek bilgiler topluyor olmak gibi kısıtlar bu sapmaya yol açar.Kullandığımız yönteme hakim olmak, çok abartmadan makul bir doğruluk (accuracy) ile ölçümümüzü yapıp, çok sıkı bir duyarlılık (precision) ile tutarlı ölçümler yapıyorsak kararlarımızı çok daha sağlıklı ve doğru biçimde verebiliriz. Her bir ölçüm yönteminin özündeki problemlerden artık korkmamıza gerek kalmaz.Tabii ölçüm metodunu seçerken de her birinin özündeki sapmaları, eksiklikleri, zayıflıkları yapacağımız atışa göre değerlendirmek gerek.

Kişisel olarak gözlemim, bir çok konuda asıl sıkıntı precision iken, ağırlıklı olarak karar vericiler problemi accuracy olarak tanımlamaktalar. Web ölçümlerinde accuracy ve precision konusuna gelecek yazımda değineceğim.

Pazarlama kararları için eldeki bilgilerin, araştırmaların ve analizlerin tartışıldığı şahit olduğum bir çok durumda hep rakamların, analizlerin doğruluğunun sorgulandığını gördüm. Özellikle online ölçüm sonuçları sözkonusu olduğunda rakamlara ve ölçümlere güvensizliğin daha da arttığını görüyorum. İster reklamverenin önüne gelen medya planındaki rakamlar olsun, ister bir editörün sorumlu olduğu içeriğin ölçüm sonuçlarına ilişkin “yok canım”lı bakışları düşünüyorum. Terimler, rakamlar, metodlar birbirine karışmış halde. Keşke pazarlama araştırmaları yaparken duyduğumuz “aman biz de öğrenciyken anketörlük yapar, soruları kantinden doldururduk” gibi “ açık bir tutum olsa. Olamıyor çünkü web ölçümlerinin elle tutulamaması ve teknik bir sürü detay içermesinden dolayı üstünü kalın bir belirsizlik sisş kapatmış. Pek çok kişiye göre rakibinin rakamları atmasyon gibi geliken kendi sitesinin ölçümlerinde tuhaf bir düşüklük görüyor.

2001’de Mynet’te Andersen ile ölçüm denetimlerini başlatırken bunu çözmeyi umuyordum. İlk adım olarak “ölçüm süreçlerini” denetlettirip uluslararası standardlara uyduğumuzu göstermek ve ikinci adımda da “rakamlarımızı” da denetlettirme aşamasına gelecektik. Reklam satış önermesi olarak denetim raporumuzu heryerde kullandık. Basın bültenimizi yayınlayan bir sitenin sahibinin bir rakip portalın yöneticisince oldukça sinirli yorumları ile karşılaştığını hatırlıyorum o zamanlar. “Bunlar yalan” demiş. Bunların ötesinde çok ciddi bir etkisi olmadı ölçüm süreci denetimlerinin. 1.5-2 yıl kadar sürdürdüğümüzü hatırlıyorum. Hiçbir zaman İngiltere’deki Abc Electronics ile rakam denetimlerine geçemedik. Doğru rakamları üretmeye çalışmak neredeyse yok sayıldı. Pek çok kez internet ölçümlerinin eksik olmasının online reklamcılığı engellediğine dair geyiklerin o zamanlar pek ciddiye alınmaması gerektiğini anlayamamıştım:)
(devamı…)