Robots.txt Dosyası Nasıl Oluşturulur

Robots.txt web yöneticilerinin robotlara web sitelerinde sayfaları nasıl tarama ve dizine alma talimatı vermek için oluşturduğu bir metin dosyasıdır.

Google gibi arama motorları, web içeriğini endekslemek için robots.txt’yi kullanır. Web sitesi veya blog sahipleri web sitelerinde neyin indeksleneceğini ve neyin indekslenmeyeceğine ilişkin. Web tarama botlarına talimat vermek için robotstxt’yi kullanır.

Robots.txt dosyası nasıl kullanılır?

Robots.txt dosyasının formatı oldukça basittir. İlk satır genellikle bir kullanıcı aracısına sahiptir. Kullanıcı aracısı, iletişim kurmaya çalıştığınız arama botunun adıdır.

Örneğin:

• Googlebot
• Bingbot
• Yandexbot

Tüm botlara talimat vermek için yıldız işareti * kullanabilirsiniz.

Bir sonraki satır, arama motorları için İzin Ver veya İzin Verme talimatlarını izler, böylece hangi kısımların indekslenmesini istediğinizi ve hangilerinin indekslenmesini istemediğinizi bilirler. Aşağıda standart bir robot dosyasının görüntüsü bulunmaktadır.

User agent: *
Disallow: /

SEO için Robots Dosyanızı Düzenleyin

WordPress’teki robots.txt dosyasını SEO’ya optimize etmek için izleyebileceğiniz birkaç adım vardır. Bize göre en basit olanı bir WordPress Eklentisi‘nin yardımıdır.

Robot dosyasını düzenlemek için kullanabileceğiniz WordPress eklentileri vardır. Ayrıca Yoast SEO eklentisi gibi arşiv sayfalarınızda nofollow ve noindex gibi meta etiketleri de ekleyebilirsiniz. Arşiv sayfalarınızın küçültülmesini istemiyoruz, ancak bunu yapmak istiyorsanız, doğru şekilde yapmanın yoludur.

• Birinci adım: Tüm botlara izin vermek için Kullanıcı Aracısını etkinleştirin

Belirli bir botun web sitenizi taramasına izin verebilirsiniz. Örneğin “googlebot” veya tüm botlara Kullanıcı Aracısı’ndan sonra bir yıldız işareti koyarak izin verebilirsiniz.

User-agent: * or

User-agent: Googlebot

• İkinci adım:

Web sitenizin belirli bölümlerinin taranmasına izin vermeyin. Robot dosyanızdaki readme.html dosyasına izin vermemeniz önerilir. Bu benioku dosyası, kötü niyetli kişiler tarafından. Döngü açıkları bulmak için hangi WordPress sürümünü kullandığınızı belirlemek için kullanılabilir. Ayrıca, web sitenizin güvenliğini artırmak için eklenti dizininize izin vermeyebilirsiniz.

Disallow: /wp-content/plugins/
Disallow: /readme.html

• Üçüncü adım:

XML Sitemap dosyanızı Robot dosyanıza ekleyin. XML sitemap oluşturmak için Yoast SEO eklentisini kullandığınızı varsayarsak. Eklentiniz otomatik olarak site haritanızı robots.txt dosyasına eklemeye çalışır.

Ancak yoksa, site haritanıza giden bağlantıları robot dosyanıza manuel olarak şu şekilde ekleyebilirsiniz:

Sitemap: http://www.siteadi.com/post-sitemap.xml
Sitemap: http://www.siteadi.com/page-sitemap.xml

Birçok blog farklı site haritalarına sahip olduğundan, talimatlarımızı izlerseniz, nihai sonuç aşağıdakine benzer bir şey olmalıdır.

User-agent: *
Disallow: /wp-content/plugins/
Disallow: /readme.html
Allow: /wp-admin/admin-ajax.php

Sitemap: http://www.siteadi.com/post-sitemap.xml
Sitemap: http://www.siteadi.com/page-sitemap.xml

Robotstxt dosyası oluşturmak için yeni bir metin belgesi açın ve adını robots olarak adlandırın.

Metin belgesinin içine yukarıdaki robot komutlarını yazın ve kaydedin. Daha sonra dosyayı FTP programı yoluyla sitenizin ana klasörüne yükleyin. Tüm işlemler bittiğinde robot dosyanıza ulaşmak için: http://siteadi.com/robots.txt adresini girin ve kontrol edin.

Konu hakkında sorularınız varsa aşağıya yorum yazabilir veya twitter @bahususcom hesabımızdan destek alabilirsiniz.

İlginizi çekebilir:

• Htaccess Dosyası Nedir – Tanımı, Çalışması ve Kullanımı
• FileZilla indir – En iyi Ücretsiz FTP Programı
• En İyi 3 WordPress SEO Eklentisi
• WordPress Nedir ve WordPress Nasıl Kullanılır