Öncelikle, yaklaşık olarak ikisi de benzeri şeyleri ölçtükleri varsayılıyor: Kaç sayfa gösterildiği. Genel yaklaşım ise kaç sayfa gösteriliyorsa, o kadar çok reklam gösterilir ve bu sebeple de bu rakamların birbirlerini tutması gerektiğidir.

Her zaman öyle olmuyor ama.

Öncelikle page views tanım olarak kullanıcının her bir kliklemesini kapsamalıdır. Her kullanıcı kliklemesinde açılan sayfada banner bulunmayabilir. Ayrıca klikleme durumunda sayfada bazı içerikler güncellense bile yeni bir banner yüklenmeyebilir. Örneğin bir klikleme ile sayfanın içinde bir form açılıp, post edilebilir. Yada bir anket için oy kullanılabilir. Ziyaretçi sayfa içinde kalır ve yeni bir banner gösterimini bu işlem tetiklemediği için farklar başlar.

Tam tersine page views olmayan ama banner gösteriminin olduğu durumlarda var. Bir oyun sitesi düşünün, flash yada java bir oyunun olduğu sayfa ziyaretçi uzun süre zaman geçirse bile açık kalır ve yeni bir page view yaratmaz. Ancak bu tip bir sayfada örneğin 5 dakikada bir bannerın kendi kendine yeniden yüklendiğini ve farklı bannerların geldiğini düşünün. Pageviews düşük ancak ad impressions yüksek çıkacaktır.

Bir diğer ölçüm farkı ise metodolojiden kaynaklanır. Web trafik ölçüm yazılımınız yada Google Analytics gibi kullandığınız hizmetin sistematiği ile kullandığınız reklam sunucusunun çalışma ve ölçme esaslarındaki farklar da dikkate alınmalı. Log analizi yazılımı kullanıyorsanız page view olarak htm, asp yada php gibi uzantılı sayfanın ziyaretçi tarafından istenmesini baz alır. Öte yandan bu, reklamın yüklendiği anlamına gelmez. Reklam sunucuları uzmanlık alanım değil, ancak reklamın tam ve doğru olarak yüklendiğini saptamak için bazı kendine özgü kontrollere sahip olabilir. Ayrıca sahte gösterimleri ve kilkleri engellemek için de bazı algoritmalar kullanıyor olabilir. Örneğin, aynı kullanıcıdan gelen iki gösterim arasında belli bir süreden az varsa ilk gösterilen reklamın görüntülenmediğini varsayarak ad impression adetlerini düşürebilir. Reklam sunucuları ve sayımı apayrı bir uzmanlık alanı ve kendine özgü standardları. Örneğin ABD’deki Media Rating Council ad impression ölçümü açısından reklam sunucusu yazılımlarını akredite etmektedir. Ayrıca Interactive Advertising Burea da bu konuda geniş kabul gören standardları belirliyor. Yukarıdaki örnekteki uygulama “Activity -based Filtration” olarak adlandırılan bu standardlar kapsamındaki uygulamalardan biridir. Web ölçüm sistemleri genellikle bu aktiviteleri ayıklamazlar.

Peki ölçüm metodundan kaynaklanan farklar ne kadar olabilir? Bu fark kullanıcı davranışları, kullandığını yazılımlar, altyapınız gibi bir çok değişkene bağlı olsa da genellikle gördüğüm, konuştuğum kişiler %20 civarında bir farkı makul karşılarlar. Eğer ölçüm birimlerinin tanımları ve ölçülen alanların yol açtığı farklar çıktıktan sonra page viewlarınız ve ad impressionlarınız arasında %20′ye kadarki farklar makul olarak görülebilir. Bunun üzerine çıkan farklar varsa web ölçüm sisteminizin kalitesini ve ayarlarını mercek altına almak gerek.

İlerideki yazılarımda ölçüm ayarlarındaki sık karşılaşılan problemler ve bunların saptamak için bazı ipuçlarını paylaşacağım.

Evet, internet cafelerde yüksek bir penetrasyona ulaşan özel yönetim yazılımları tekil ziyaretçi ölçümlerinde sapma yaratabilir. Ancak bundan sakınmanın yolları da var.

Sektörde, özellikle reklam veren ve medya planlama tarafında site trafikleri ile ilgili genel kabul “aylık trafikler”. “Filanca sitenin tekil ziyaretçi sayısı ……..dır.” derken kastedilen aylık rakamlardır. Internet kafeden her gün aynı siteye giren bir kullanıcı her geldiğin internet cafe yönetimi yazılımı tarayıcının hafızasındaki tüm cookieleri silip temizleyecektir. Dolayısı ile kullanıcı siteye her giriş ölçüm sistemi ona yeni bir cookie atacak ve yeni bir kullanıcı olarak kabul edecektir. Böyle bir kullanıcı aylık raporlarda 30 tekil ziyaretçi olarak kaydedilecektir. Internet cafelerde bu yazılımlar yaygınlaşmadan evvel ise tam tersi bir durum vardı. Bir bilgisayarı kullanan 30 ayrı müşteri aynı siteye girmesine karşın ölçüm sistemleri tek bir tekil ziyaretçi olarak sayıyorlardı :)

Benzer bir sıkıntıyı, daha seyrek olmakla beraber çok sıkı güvenlik politikaları olan şirketlerden gelen trafiğin tekil ziyaretçi adetleri ölçümünde de yaşıyoruz. Bu şirketler çalışanlarının oyun, email, sosyal network gibi sitelere girişlerini engellemek ve güvenlik sağlamanın kısa yolu olarak cookieleri engelleyebilmekteler. Bu durumda Google Analytics gibi ölçüm sistemleri hiç bir trafik ölçmemekte iken, Web Trends tarzı log analiz yazılımları (konfigurasyonlarına bağlı olmakla birlikte genellikle) ziyaretçinin IP adresi, tarayıcı versiyonu gibi tekilliği belirlemekte problemleri olan bir yönteme geçerler. Bu tarz kullanıcıya sahip sitelerde Google Analytics ile Web Trends/AW Stats ölçümleri arasındaki makas genişler.

Peki cookielerle ilgili böyle problemler varken sitelerin trafik verilerini nasıl karşılaştırabiliriz? Burada odaklanacağımız nokta ölçüm periyodu olacak. Yani özellikle tekil ziyaretçi ölçümlerinde aylık konsolide rakamlar yerine günlük tekil ziyaretçi adetlerini baz almak gerek. Neden?

Gerek kendi yaptığım testlerde gerekse başka okuduğum araştırmalarda farklı yazılımların, ayarlamaların ve ölçüm metodlarının tekil ziyaretçi sonuçları üzerindeki etkilerini düşünüyorum. Gözlediğim genel eğilim raporun kapsadığı zamanı uzattıkça, cookie silinme ve farklı ölçüm metodlarının sebep olduğu ölçüm farkları giderek artmakta ve işin içinden çıkmak neredeyse imkansız hale gelmekte. Günlük tekil ziyaretçi trafiklerini kullanmak ölçüm sistemleri, ayarlamaları ve müşterilerin bağlantı tiplerinden kaynaklanan farkları azaltacaktır. Çünkü internet kafe kullanıcısı bir ay boyunca bir çok kez siteyi ziyaret edecekken, aynı gün içinde ortalama ziyaret sayısı çok daha düşük olacaktır. Aynı durum cookielerini silen, bilgisayarını yeniden yükleyen yada bir kaç farklı bilgisayardan giren kullanıcılar için de geçerli olacaktır. Tek bir gün içinde saptırıcı faktörler tamamen engellenemese bile etkileri çok daha sınırlı olacaktır.

Günlük ölçümleri kullanmanın bir diğer yararı ise internet bağlantı noktalarının sayısı, hızı ve kullanıcıların interneti benimseme seviyelerinin bu kadar arttığı, broadband döneminini yaşamamız. Aylık 10 saatlik dial-up erişim paketlerinin satıldığı, CPM’in cost per month olduğu dönemden kalma kötü bir alışkanlık olarak aylık rakamlara bakmak bence artık bize yakışmıyor. Internet kullanıcıları artık hemen her gün internete giriyor, online ortamda daha çok zaman geçiriyorlar ve çok daha çeşitli servisleri kullanıyorlar.

Tekil ziyaretçi rakamlarını aylık değil, günlük olarak kullanmanın bir diğer yararı ise reklamverenin artan miktarda günlük sabit banner yayınlama talebinin karşılığı olması. Reklamverene ne satıyorsanız onu sunmuş oluyorsunuz aslında.

Günlük tekil ziyaretçi ölçümlerinin çok da gerekli olmadığı yada önemli bir fayda sağlamayacağı bazı durumlar da var. Dikkat edin, yukarıda sakıncalarından bahsettiğim durum çok sayıda düzenli kullanıcı kazanmış bir site için geçerlidir. Bunlar ya email, sosyal ağ, sohbet, oyun gibi bağımlılık geliştiren servislerdir, yada gazeteler gibi ciddi markalı içerik sunan yayıncılardır. Düzenli ziyaretçi oranı düşük veya trafikleri düşük olduğu için gerçekten aylık bazda bannerlar satan küçük siteler için günlük tekil ziyaretçi ölçümü fazla bir yarar sağlamayacaktır.

Tabii, sektör genelinde ölçüm işine bir standard gelmesi bunların hepsinden de yararlı olacaktır ancak ne yazıkki yıllardır konuşulan bu konuda hiç bir ilerleme olmadı. Bu da online reklamcılığın ve dolayısı ileTürkçe online içerik ve servislerin gelişmesini engelliyor.

Bir sonraki yazımda farklı ölçüm metodları, ve özellikle birbirlerinden ayrıldıkları tekil ziyaretçi takibi konusu üzerinde duracağım.

Ölçüm yapmayı bir hedefe ok atmaya benzetelim. Eğer attığımız okları hedefe çok yakın halkalara isabet ettirebilimişsek bu “accuracy” oluyor. Wikipedia’da bu konuda bahettiğim yazıda kullanılan soldaki resime bakalım.Gerçekten de atışlar hedefe en yakın halkaya isabet etmiş. Ancak her bir atış birbirinden uzak noktalara isabet etmiş.Sağdaki resimde ise precision örneklenmiş. Bu sefer atışlar hedeften uzağa düşmüşler.

Ancak hepsi birbirine yakında noktalara düşmüş. Yani ölçümümüzün sonuçları tekrarlanabilir ve her zaman aynı seviyede sapma ile ölçmektedir. Precision varsa trendler gözlenebilir, karşılaştırılabilir verilere sahip olabiliriz. Atışlarımız hedefe çok çok yakın olmasa da makul bir mesafede tutturduktan sonra precision sağlamak accuracy’den çok daha yararlı olacaktır. Ayrıca web ölçümlerinde precison sağlamak tam bir accuracy sağlamaktan çok daha kolay sağlanabilir.Okların düştüğü noktalar ile hedef arasındaki mesafe ise ölçüm metodumuzun özünden kaynaklanan sapmaları ve eksikleridir. Örneğin bir anketteki örneklemin seçilme biçimi ve büyüklüğü yada nitel bir araşrtırma yaparken (focus gruplar gibi) istatistiksel olarak genelleştirilemeyecek bilgiler topluyor olmak gibi kısıtlar bu sapmaya yol açar.Kullandığımız yönteme hakim olmak, çok abartmadan makul bir doğruluk (accuracy) ile ölçümümüzü yapıp, çok sıkı bir duyarlılık (precision) ile tutarlı ölçümler yapıyorsak kararlarımızı çok daha sağlıklı ve doğru biçimde verebiliriz. Her bir ölçüm yönteminin özündeki problemlerden artık korkmamıza gerek kalmaz.Tabii ölçüm metodunu seçerken de her birinin özündeki sapmaları, eksiklikleri, zayıflıkları yapacağımız atışa göre değerlendirmek gerek.

Kişisel olarak gözlemim, bir çok konuda asıl sıkıntı precision iken, ağırlıklı olarak karar vericiler problemi accuracy olarak tanımlamaktalar. Web ölçümlerinde accuracy ve precision konusuna gelecek yazımda değineceğim.

2001’de Mynet’te Andersen ile ölçüm denetimlerini başlatırken bunu çözmeyi umuyordum. İlk adım olarak “ölçüm süreçlerini” denetlettirip uluslararası standardlara uyduğumuzu göstermek ve ikinci adımda da “rakamlarımızı” da denetlettirme aşamasına gelecektik. Reklam satış önermesi olarak denetim raporumuzu heryerde kullandık. Basın bültenimizi yayınlayan bir sitenin sahibinin bir rakip portalın yöneticisince oldukça sinirli yorumları ile karşılaştığını hatırlıyorum o zamanlar. “Bunlar yalan” demiş. Bunların ötesinde çok ciddi bir etkisi olmadı ölçüm süreci denetimlerinin. 1.5-2 yıl kadar sürdürdüğümüzü hatırlıyorum. Hiçbir zaman İngiltere’deki Abc Electronics ile rakam denetimlerine geçemedik. Doğru rakamları üretmeye çalışmak neredeyse yok sayıldı. Pek çok kez internet ölçümlerinin eksik olmasının online reklamcılığı engellediğine dair geyiklerin o zamanlar pek ciddiye alınmaması gerektiğini anlayamamıştım:)

Şimdi geriye baktığımda doğruluğun –en azından reklam satan ve reklam alan bağlamında- o kadar da önemli olmadığını görüyorum. Hepimiz en doğru analize, ölçümlere ve araştırmalara ulaşmak isteriz. Ancak pazarlama kararlarında kullanılan pek çok bilgi hiç bir zaman tam ve kesin doğruları içermez. Hep bir hata payı, bir özetleme, basitleştirme, eksiklik olacak. Karar vermenin güçlüğü bu bilgi eksikliği içinde yolumuzu bulabilmekten geçiyor. Beğensek de beğenmesek de yaşadığımız dünya bu.

Peki yolumuzu nasıl buluyoruz? Elimizdeki en önemli yaklaşım trendlere bakmak.

Bir örnek üzerinde konuşalım. Diyelim ki her 3 ayda bir müşteri tatmini anketleri yaptıran tipik bir firmasınız. Biliyorsunuzki firmanızın müşterileri dünyanın en memnun müşterileri değil, ama genelde de iyi bir hizmet aldıklarını ve işlerinin görüldüğünü biliyorlar. Pek çoğu sorularda genellikle 4 civarında yanıtlar verirler. Az sayıda 2-3 veren, sorunlar yaşamış olanları ise gerçekten çok memnun az sayıdaki müşterinin 5leri dengeleyecektir. En son anketin sonucu olarak hiç de sürpriz olmayan bir 4.13 çıktı diyelim. Bunun hiç bir anlamı yok. Ancak her 3 ayda bir tekrar edilen bu ankette sırasıyla 4.30, 4.22, 4.15 ve en sonunda 4.13 almışsanız (ve istatiksel olarak bunlar anlamlı bir fark gösteriyorsa) 4.13 size bir şey söylemeye başlar. Belki tüm müşterilerinize ulaşabilmiş, en doğru soruları sormuş, onların tam olarak odaklanıp en doğru yanıtları vermiş oldukları, araştırmanın bütün sapmalarının yok edilebildiği en ideal ve mükemmel araştırmayı yapabildiğinizi varsayalım. Hatta müşteri tatmininin 5lik ölçekte gösterilebilen bir şey olduğunu varsayalım. Gerçek puanın 4.25 yada 3.25 olmasının artık hiç bir önemi kalmamıştır.Tabii 3 ayda bir tekrarladığınız tüm bu anketleri aynı sorular, aynı örnekleme metodu, aynı yöntemle bu anketleri gerçekleştirmiş olmanız gerekir ki, KARŞILAŞTIRILABİLİR olsun. Karşılaştırabilme sadece zaman bazında değil oranlar biçiminde de kullanışlıdır. Yüksek puan ve düşük pauna veren müşterileri yada yüksek puan alınan ve düşük puan alınan soruları karşılaştırmak da mutlak puanı kovalamaktan çok daha kullanışlı olacaktır.

Aynı durum için reklam etkinliği araştırmalarını düşünün. Perakende panellerini düşünelim. Radyo, tv, basın, outdoor gibi mecraların ulaştığı izleyici ölçümlerini ele alın, hepsinde aynı yaklaşımın gerektiğini göreceksiniz. Bütün bu ölçme yaklaşımlarının içindeki sapmaları, kısıtları görebilmek için uzman olmak gerekmez. Ama veri kalitesini sağlamak her bir veri sağlayıcının aynı titizlikle yaklaştığını, ölçümler her tekrarlandığında aynı standardı koruduğunu düşünün. Artık bu bilgiler –yöntemin eksiklerini ve kısıtlarını da bildiğimize göre-bize bir şeyler söylemeye başlayacaktır. Örneğin AGB verilerinin hangi tür TV kanallarını iyi ölçip hangilerini ölçemediğini biliyorsak ve paneller tutarlı biçimde yürütülmüşse oldukça kullanışlı olacaktır. Bir kanalın ratingini gerçekten ne kadar hatalı ölçtüğünün önemi kalmıyor. Bunu tüm taraflar da gayet iyi biliyor ve buna göre işlerini yürütebiliyorlar. Yani elimizdeki yöntemin zaaflarını ve güçlü yönlerini iyi bilmek de önemlidir. Bir perakende paneli tablosunu, bir TV rating sonucunu, yada kalitatif araştırma raporunu okuyabilmek ve buna göre karar verebilmek için her bir yöntemi iyi tanımak ve tabii ki tecrübe gerekir.

Sonuçta ölçümlerin doğruluğu hakkında üç önemli konu olduğunu gördük:
• Her zaman eksik, gedik, hatalı bilgilerle karar vermek zorundayız
• Ancak karar verebilmek için elimizdeki bilgiler karşılaştırılabilir olmalı
• Ve kullandığımız yöntemin kısıtlarını, eksiklerini ve güçlü yönlerini iyi bilmek gerek.

En son olarak ölçümlere, rakamlara vereceğimiz karardan geriye giderek yaklaşmak gerek. Vereceği kararı etkilemeyeceği halde gereksiz bilgi toplamaya çalışan ve aklı karışan pek çok kişiye rastlamışızdır. Müşteri tatmini anketi örneğine dönersek, yaptığımız anketin örneklem sayısının arttırılması hatayı azaltacağından hareketle örneklemi büyütmek ve soru sayısını arttırmak için ek bütçe peşinde koşmak böyle bir yaklaşım olurdu. Doğru yaklaşım müşteri tatmin puanında en önemli düşüşlerin yaşandığı müşteri grupları, ve soruları belirleyip bunlar üzerinde detaylı çalışma yapmak olacaktı. Elbetteki daha büyük bir örneklem ve daha ayrıntılı bir soru formunun yararları olacaktır ancak elimizdeki mevcut bilgini bize bağıra bağıra söylediklerine kulağımız tıkamanın pek bir faydası olmayacaktır.

İlk ciddi yazımda uzun uzun anlattığım bütün bu dolambaçlı şeylerin webmetri ile ilgisini gelecek yazımda kuracağım: precision vs. accuracy

Webmetri.com web ölçümü ve özellikle Google Analytics’e odaklı, işin içinde birilerinin (şimdilik sadece benim) tecrübeleri, önerileri ve ipuçlarını paylaştığı bir blog olacak.

Bir diğer amacım ise “web analytics” dediğimiz bu alanda en iyi kaynakları, en iyi ipuçlarını meşgul ve sıkıntılı internet profesyonelleri için elemek, özetlemek ve sindirilebilir bir halde paylaşmak.

İlk yazım birazdan geliyor. Klasik olacak ama, temel bazı ölçüm kavramları ve web analiz sonuçlarına nasıl yaklaşılabileceği üzerine olacak.

Görüşmek üzere