Crawler
Crawler, kullanıcılar ile aradıkları bilgi arasında köprü görevi gören, kullanıcıların istedikleri bilgilere doğru, hızlı ve kolay bir şekilde ulaşmalarına yardımcı olan, World Wide Web’deki bağlantıları izleyen mekanizmalardır. Türkçe örümcek, robot ya da botlar anlamına gelmektedir. Crewler’in “örümcekler” olarak adlandırılmasının nedeni, gerçek örümceklerin örümcek ağlarında gezinmesi gibi Web'in her yerinde gezinmesinden gelmektedir.
Crawler nedir ve nasıl çalışır sorusuna en kısa yanıt ise; arama motorlarının web siteleriyle ilgili gerekli bilgileri toplayan bir yazılımdır cevabı verilebilir. Amaçları, internetteki tüm web sitelerinin içeriğini indekslemektir. Böylece, bu web siteleri arama motoru sonuçlarında görünebilir. Web yazılımcıları, seo ile ilgilenen kişiler sıklıkla Crewler sisteminden yararlanırlar.
Web’de tonlarca bilgi ve öneriler bulunur. Bu bilgiler sürekli olarak değişmekte ve sayıları gün geçtikçe çoğalmaktadır. Arama motorları, internette hangi web sitelerinin bulunduğunu sihirli bir şekilde bilemez. Programlar, anahtar kelimeler ve kelime öbekleri için doğru sayfaları veya insanların yararlı bir sayfa bulmak için kullandıkları kelimeleri sunmadan önce bunları taramalı ve dizine eklemelidir. Örümcekler de bütün interneti gezip sayfa ve sayfalardaki kelimeleri çıkartma, arama motorlarının arka planında bilgileri izleme görevini üstlenmişlerdir. Arama motorlarının doğuşu ile beraber ortaya çıkmıştır.
Crawler, bilgilere bakıp, her bir sayfadaki köprüleri takip eder. Bütün bilgiler örümceğin veri tabanına kaydedilir. Bilgileri inceledikten sonra arama sonuçlarını belirli bir düzene göre sıralar. Bunu genelde web sitesindeki her bir kelimenin analizine bakarak ve elde edilen verilerin kalitesi doğrultusunda sıralar. Ayrıca, içeriğin sorguyla alakalı bilgilere sahip olup olmadığını veya başka bir çevrimiçi içeriğin doğrudan bir kopyası olup olmadığını inceler ve Google gibi arama motorlarına girdi sağlayarak arama motoru optimizasyonunu (SEO) etkiler.
Crawler Örnekleri
Google, Yandex ve Bing gibi tüm arama motorlarının ardında bir crawler bulunur. Büyük arama motorlarının belirli odaklara sahip birden çok tarayıcısı bulunur. Karşılaşabileceğiniz arama motoru ve kullandığı crawler şöyledir:
-
GoogleBOT
Google tarafından geliştirilen ve en ünlü web tarama botlarından birisidir. Derin Bot (Deepbot) ve Yenileyici Bot (Freshbot) olmak üzere iki çeşidi bulunur. Bunlardan bir tanesi masaüstü cihaz kullanan kullanıcıyı simüle eden masaüstü tarayıcı ve diğeri de mobil cihaz kullanan bir kullanıcıyı simüle eden mobil tarayıcıdır.
Web siteleri hem Googlebot Masaüstü hem de Googlebot Akıllı Telefon tarafından taranır. Google verilerin tamamını bu web tarama botu ile oluşturur. Bu bot web sitelerinin içeriği, kodları, diğer web siteleri ile linkler yoluyla bağlantısı gibi birçok konuyu sürekli olarak tarar.
Web sitesine ne kadar sıklıkla yeni içerik yüklenirse GoogleBOT da sizi o kadar sık aralıklarla ziyaret etmeye başlar. Ayrıca GoogleBOT ile ilgili daha fazla bilgi için bu makaleyi okuyabilirsiniz.
-
Bingbot
Microsoft tarafından geliştirilen web tarama botudur. Amacı, arama sonuçlarını Bing dizinine eklemektir. Bing aramasında daha üst sıralarda yer almaya ve organik erişimi artırmaya yardımcı olmaktır. Bing arama motorunun dizinleride web sitesini görmek için Bingbot için de düzenlemeler yapılmalıdır.
-
Yandex Bot
Yandex tarafından geliştirilmiş arama motoruna ait BOT’a verilen isimdir. YandexBot’un çok sayıda versiyonu bulunur. YandexBot'lar sürekli olarak internette bulunan sayfaları tarar ve elde ettiği bilgileri arama motorunun haznesine sunarlar. Yandex Bot’u kullanmak Yandex arama motorunda daha üst sıralarda yer almaya ve organik erişimi artırmaya yardımcı olur.
Ayrıca, Baidu Spider (Baidu), Slurp (Yahoo), DuckDuckBot (DuckDuckGo), Exabot (Exalead) gibi farklı web tarama botları da bulunmaktadır.
Crewler SEO'yu Nasıl Etkiler?
SEO nedir sorusunun cevabı, bir web sitesi hakkında arama motorları için yapılan tüm iyileştirme çalışmaları olarak tanımlanabilir. SEO, ilgili anahtar kelimelerle arama motorlarında daha üst sıralarda yer alarak bu kelimelere ait arama trafiğinde en yüksek ziyaretçi sayısına ulaşmayı hedefler.
Crewler bir web sitesini taramazsa, dizine ekleyemez ve web sitesi arama sonuçlarında görünmez. Bu nedenle, bir web sitesi sahibi arama sonuçlarından organik trafik almak istiyorsa web tarayıcı botlarını engellememesi gerekir. Web tarayıcılarını anlamak, web site performansını önemli ölçüde artırabilecek etkili teknik SEO'nun yalnızca bir parçasıdır.
Web Tarama Botlarının Kullanım Alanları Nelerdir?
İndeksleme
Web taramasının temel amacı, Web’de bulunan tüm sitelerin güncel bir veri tabanını tutmaktır.
Veri madenciliği
Crawler, bir veri kümesi içindeki yararlı bilgileri belirlemek için büyük hacimli verilerden bilgi çıkarma işlemi olan veri madenciliği alanında da kullanılır.
Site Sağlığı
Crawler, site iyileştirmelerinde, web sitesindeki bozuk köprülerin bulunmasında ve bunların düzeltmesinde de kullanılır.
