Bu aralar, Google Sitemap üzerine epeyce bir araştırmak yaptıktan sonra, yaptığım bu araştırmaların bir yazılımcı arkadaşlara ve diğer webmaster arkadaşlarıma da bir faydası olsun istedim. Edindiğim bilgileri sizlerle paylaşmaktan mutluk duyacağım.

Google SiteMaps i gerektiren şey neydi? Neden böyle birşeye ihtiyaç duyuldu? Bunun cevabını verebilmemiz için öncelikle şu çok temel soruya cevap bulmamız gerekiyor: Bir arama motoru nasıl çalışır? Farzedinki bir anasayfası ve beş-on alt sayfası olan bir web siteniz var. Ana sayfa ve alt sayfalar birbirlerine link verdikleri gibi, diğer sitelere de link veriyor olsun. Öyle ya! Link vermek zorundayız! Mesela bir Hakkımızda, Biz kimiz? Ne iş yaparız gibi bilgieri içeren ayrı alt sayfalar olacak ve ana sayfadan bu sayfalara link vereceğiz ki ziyaretçilerimiz bu sayfalara ulaşabilsinler.

Sitenizi hiç tanımayan bir kişi eğer alt sayfaların adreslerini de bilmiyorsa, adres çubuğuna o sayfaların adreslerini yazıp o alt sayfalara doğrudan giremeceğine göre ve sizde o alt sayfalara ana sayfadan veya herhangi bir başka sayfadan link vermediğiniz sürece ziyareçileriniz asla göremeyecekler. Demekki temel nokta her sayfaya erişilebilir kılacak bir link verilmesidir.

Hikaye de tam da bu noktadan başlıyor zaten: Link verilmesi! Arama motorları, bir sitenin HTML kodlarını kendine çeker. HTML kodlarında geçen tüm linkleri kendi içinde bir listede saklar. Bu linkler, sitenin kendi içindeki bir noktayı da işaret ediyor olabilir başka bir siteyi de işaret ediyor olabilir. Site içerisindeki tüm linkler gezilir ve linklerin gösterdiği sayfaların HTML leri çekilir ve normal kelimeler ile HTML kodları ayrıştırılarak tasnif edilir. Linkler, kelimeler, HTML kodları ayrı ayrı ele alınır ve site için bir indeskleme karnesi oluşturulur ve siteye bir derece (PageRank) verilir. PageRank ayrı bir yazının konusu, biz SiteMap a devam edelim.

Googlebot’ları site içerisindeki tüm linkeri dolaşırlar ve sayfa içeriklerini çeker ve kendi veritabanlarına kaydederler. Bu linkler başka siteyi gösteriyorsa ve o site henüz indekslenmemişse onuda bu sayede indekslemiş ve sitenin bilgilerini kaydetmiş olur. Bu şekilde, Google tüm İnternet’teki tüm sayfaları dolaşır. An ve an katrilyonlarca sayfa işlenir ve indekslenir.  Daha önce indekslenmiş bir sayafada değişiklik varsa, o sayfa yeniden yorumlanır ve bir derece(PageRank) verilebilir. Google tüm İnternet’i dolaşamayı ve tüm sayfaları kendine çekmeye çalışır. Bunu  yaparken çok büyük bantgenişliğini kullanır ve işlediği sayfalar her zamanda değerli sayfalar olmayabilir.

Gerçektende Googlebot larının işlediği sayfaların ciddi miktarı çöptür denebilir. Bu webmasterlar içinde bir problemdir. Googlebotları bir web sitesine geldiğinde, site sunucu makinelerinde bir yük oluştururlar ve lüzumlu lüzumsuz birçok bilgiyi çekerler. Bu webmasterlar içinde iyi bir yöntem değildir. Gerekli ve hedefe yönelik bilgiler yanında çöp verilerde Googlebotlarınca indekslenmesi verim kaybına yolaçar. Çok büyük siteler için bu çok ciddi sorunlara kilitlenmelere dahi yolaçabilir.

Bu sıkıntıların giderilmesi, sitelerdeki kaliteli ve istenen içeriğin indekslenmesi için Google’ın dünyadaki tüm webmasterlarla irtibata geçip onlardan önemli içeriği alması gerekirdi ki bu mümkün değildi. Bunun yerine, webmasterlara sitelerindeki önemli içeriği, Googlebot’larına gösterebilecekleri bir yöntem sunmalıydı. Bu düşünceyle , hem bantgenişliğinden hem de zamandan tasarruf edilmesi düşüncesiyle Google SiteMaps  servisini hizmete sundu.

Google, SiteMap oluşturabilmek için bir SiteMap oluşturma yazılımını da hizmete sundu. Phyton 2.2 veya daha üst versiyonu yüklü sunucularda bu programcık çalışabilmekteydi. Sonrasında, başka programcılar tarafından SiteMap için tanımlanmış protokole uygun farklı dillerde yazılmış birçok hazır SiteMap Oluşturucu programcıklar ortaya kondu.