Arama Motoru Robotları

| 12 Temmuz 2011 |






Arama Motoru Robotları yani Ajanlar

Arama Motorlarının bir parçası olan örümcekler yani BOT olarak tabir edilen sistemler bir endexleme aracıdır. Bot aslında robot anlamındadır ve bizim web sayfalarımızın kök dizininde kullandığımız robots.txt dosyasıda bu BOT ‘ları yönlendiren dosyalarımızdır. Amaçları bu dosyaya göre dizinilerimizi taramak ve arama motorlarının arşivlerinde yer almasını sağlamakdır. Örneğin sayfalarınızda reklam kullanıyorsanız Reklam robotları yazının içeriğine göre ilişkili reklamların yayınlanması için bu kendi adına bir tarama yapar. Aslında bir ajan gibi davranır ve çok websahibinin bu ziyaretlerden haberi bile olmayabilir. İçerikleriniz güncellendikçe yada sayfalarınızın ziyaret edilmelerine göre belli aralıklarla sayfalarınız indexlenir. Benim sayfalarımız ziyaret eden bazı botları veriyorum. Eğer konu hoşunuza gittiyse sizde eklemelerde bulunabilirsiniz.

Makine adı: crawl-66-249-66-25.googlebot.com googlebot.com

Makine adı: srv53.trwww.com wordpress Makine adı: spider06.yandex.ru yandex

Makine adı: imparser10.yandex.ru YandexImages

Makine adı: ec2-50-19-100-86.compute-1.amazonaws.com java

Makine adı: ec2-50-19-100-86.compute-1.amazonaws.com htmlparser

Makine adı: baiduspider-123-125-71-97.crawl.baidu.com Baiduspider

Makine adı: llf320030.crawl.yahoo.net Yahoo!Slurp

Makine adı: msnbot-65-52-110-87.search.msn.com bingbot

Makine adı: ec2-174-129-237-157.compute-1.amazonaws.com ia_archiver

Makine adı: out-sw250.tfbnw.net facebookexternalhit

Makine adı: msnbot-207-46-12-162.search.msn.com MSNBot

Makine adı: scratchy.w3.org W3C_Validator



Kategori: Internet, Webmaster

Bora M. Deniz ()

Teknoloji, internet, ve bilişim gibi konularda paylaşımlarım ve yazılarımla 2011 den beri teknorapor.com dayım. Sosyal medya da yararlı bulduğunuz yazılarımı paylaşmanız dileklerimle... The author shares and writings IT, internet and technology news blog offering

Bir Cevap Yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir