Robots.txt Nedir? Robots.txt Nasıl Oluşturulur?

Robots.txt siteyi ziyaret eden robotların (botların) sayfanızda hangi bölümlerin taranıp hangi bölümlerin taranmayacağını belirler. Arama motorları sitelere robotlar göndererek sitenizin güncel olup olmadığını belirler güncel olan içeriklerin indekslenmesini sağlar. Bu robot sizin vereceğiniz komutlar ile çalışır. Bu komut Follow ve Unfollow gibi iki emir alır.
Follow dediğimizde arama motorlarının robotları sitenizde ilgili dosya ve dökümanları takip eder ve bunları indeksler. Unflollow dediğimiz zaman bu robotlar unfollow dediğimiz dökümanlara uğramaz. Neyin follow neyin unfollow olacağı biraz karışık gibi görünse de çok kolaydır. Neyin follow neyin unfollow olacağını şöyle belirleyebiliriz. Başkalarının aramalarında görünmesini istemediğiniz ve admin dosyalarınızın bulunduğu dosya ve klasörleri unfollow,  ziyaretçilerin görmesini istediğiniz dökümanlarıda follow olarak yazarsak işlem tamamdır.
Robots.txt oluşturmak SEO faaliyetleri açısından çok önemlidir. Sitenizde robot bulunması, arama motorlarına komut verdiğinden birçok arama motoru bu dosyanın bulunmasına önem verir. Bu konuyu sitemap.xml dosyasından farklı düşünmemek gerekir. Daha önceden sitemap.xml konusunda anlatmıştım fakat yine de kısaca söyleyeyim sitemap.xml sayfanızdaki dosyaların linklerinin haritasını tutar ve bunu arama motorlarına gösterir. Böylece arama motorlarının robotları sayfanızda istediğiniz yerleri gezer ve ona göre indeksler ve ziyaretçilere bu içerikleri sunar.

Erdoğan CiN

1991 yılında Denizli'nin Çameli ilçesinde dünyaya geldi. İlkokulu memleketimde, liseyi Acıpayam'da tamamladı. Mehmet Akif Ersoy Üniversitesi'nde Bilgisayar Programcılığı bölümünü bitirdikten sonra Entuğ Spor Dünyası' nda E-Ticaret Uzmanı olarak işe başladı, ardından Fark ve Fark Tekstil' de Web Yazılım Geliştirici olarak çalışmaya devam etmektedir.

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

This site uses Akismet to reduce spam. Learn how your comment data is processed.