Robots.txt Dosyası Nedir Nasıl Oluşturulur

Robots.txt Dosyası Nasıl Oluşturulur

Robots.txt web yöneticilerinin robotlara web sitelerinde sayfaları nasıl tarama ve dizine alma talimatı vermek için oluşturduğu bir metin dosyasıdır.

Google gibi arama motorları, web içeriğini endekslemek için robots.txt’yi kullanır. Web sitesi veya blog sahipleri web sitelerinde neyin indeksleneceğini ve neyin indekslenmeyeceğine ilişkin. Web tarama botlarına talimat vermek için robotstxt’yi kullanır.

 

Robots.txt dosyası nasıl kullanılır?

Robots.txt dosyasının formatı oldukça basittir. İlk satır genellikle bir kullanıcı aracısına sahiptir. Kullanıcı aracısı, iletişim kurmaya çalıştığınız arama botunun adıdır.

Örneğin:

  • Googlebot
  • Bingbot
  • Yandexbot

Tüm botlara talimat vermek için yıldız işareti * kullanabilirsiniz.

Bir sonraki satır, arama motorları için İzin Ver veya İzin Verme talimatlarını izler, böylece hangi kısımların indekslenmesini istediğinizi ve hangilerinin indekslenmesini istemediğinizi bilirler. Aşağıda standart bir robot dosyasının görüntüsü bulunmaktadır.

User agent: *
Disallow: /

 

SEO için Robots Dosyanızı Düzenleyin

WordPress’teki robots.txt dosyasını SEO’ya optimize etmek için izleyebileceğiniz birkaç adım vardır. Bize göre en basit olanı bir WordPress Eklentisi‘nin yardımıdır.

Robot dosyasını düzenlemek için kullanabileceğiniz WordPress eklentileri vardır. Ayrıca Yoast SEO eklentisi gibi arşiv sayfalarınızda nofollow ve noindex gibi meta etiketleri de ekleyebilirsiniz. Arşiv sayfalarınızın küçültülmesini istemiyoruz, ancak bunu yapmak istiyorsanız, doğru şekilde yapmanın yoludur.

  • Birinci adım: Tüm botlara izin vermek için Kullanıcı Aracısını etkinleştirin

Belirli bir botun web sitenizi taramasına izin verebilirsiniz. Örneğin “googlebot” veya tüm botlara Kullanıcı Aracısı’ndan sonra bir yıldız işareti koyarak izin verebilirsiniz.

User-agent: * or

User-agent: Googlebot

  • İkinci adım:

Web sitenizin belirli bölümlerinin taranmasına izin vermeyin. Robot dosyanızdaki readme.html dosyasına izin vermemeniz önerilir. Bu benioku dosyası, kötü niyetli kişiler tarafından. Döngü açıkları bulmak için hangi WordPress sürümünü kullandığınızı belirlemek için kullanılabilir. Ayrıca, web sitenizin güvenliğini artırmak için eklenti dizininize izin vermeyebilirsiniz.

Disallow: /wp-content/plugins/
Disallow: /readme.html

  • Üçüncü adım:

XML Sitemap dosyanızı Robot dosyanıza ekleyin. XML sitemap oluşturmak için Yoast SEO eklentisini kullandığınızı varsayarsak. Eklentiniz otomatik olarak site haritanızı robots.txt dosyasına eklemeye çalışır.

Ancak yoksa, site haritanıza giden bağlantıları robot dosyanıza manuel olarak şu şekilde ekleyebilirsiniz:

Sitemap: http://www.siteadi.com/post-sitemap.xml
Sitemap: http://www.siteadi.com/page-sitemap.xml

Birçok blog farklı site haritalarına sahip olduğundan, talimatlarımızı izlerseniz, nihai sonuç aşağıdakine benzer bir şey olmalıdır.

User-agent: *
Disallow: /wp-content/plugins/
Disallow: /readme.html
Allow: /wp-admin/admin-ajax.php

Sitemap: http://www.siteadi.com/post-sitemap.xml
Sitemap: http://www.siteadi.com/page-sitemap.xml

Robotstxt dosyası oluşturmak için yeni bir metin belgesi açın ve adını robots olarak adlandırın.

metin belgesi

Metin belgesinin içine yukarıdaki robot komutlarını yazın ve kaydedin. Daha sonra dosyayı FTP programı yoluyla sitenizin ana klasörüne yükleyin. Tüm işlemler bittiğinde robot dosyanıza ulaşmak için: http://siteadi.com/robots.txt adresini girin ve kontrol edin.

Konu hakkında sorularınız varsa aşağıya yorum yazabilir veya twitter @bahususcom hesabımızdan destek alabilirsiniz.

 

İlginizi çekebilir:

Leave a Reply

Your email address will not be published. Required fields are marked *

peri hokiperihokiclarustologisticsrimashaop.comangelpaintingtools.co.invrjanaenergies.comingin cuan cepat joki profesional gates of olympus perihokijalan perihoki pasti cuan dari spin scatter hitam mahjong ways 2 pgsoftmahjong wins 3 sukses dengan teknik pancingan gacor perihkibanyak jalan alternatif baccarat online di perihokikemenangan substansial mahjong ways 2 keuntungan nyata perihokiscatter hitam mahjong wins 3 spin perihoki pasti jeperahasia rtp live pola pragmatic gates of olympus duta76trik duta7 pgsoft mahjong ways 2 modal receh maxwingampang meraih keberuntungan di mahjong wins 3 duta76cara dapat saldo lewat jalur pintas dadu sicbo duta76spin mahjong ways 2 pgsoft scatter hitam maxwin duta76duta76 berikan kemenangan konsisten di mahjong wins 3pola mahjong kakek menang fantastisstrategi lucky neko modal 50ributurbo spin mahjong ways rp131 jutartp pgsoft 997 mahjong ways cuanbimo sukses raup 25juta dengan modal 23kgebrakan terbaru mahjong wins3modal 50ribu menuju cuan 5jutasenyum selalu terpancar keuntungan mahjong gak ada habisnyatren baru mahjong menarik minat warga kalimantan baratketerkaitan manajer proyek bangunan dengan strategi mahjongmahjong wins mengubah jalan menuju cuanpetualangan ajaib mahjong ways scatter hitamstrategi cerdas bermain mahjong dengan modal minimaltukang becak raih rejeki di mahjong