WordPress robots.txt

WordPress robots.txt, SEO için çok önemlidir. Sitenizin arama motoru sonuçlarında iyi bir sıralamaya sahip olduğundan emin olmak için, en önemli sayfalarını arama motorlarının “robotlarını” (“botlar”) aramak ve dizine eklemek için uygun hale getirmeniz gerekir. İyi yapılandırılmış bir robots.txt dosyası, bu botları dizine eklemek istediğiniz sayfalara yönlendirmeye yardımcı olacaktır.

Bu yazıda bu tür soruları açığa çıkaracağız:

• robots.txt dosyası nedir ve neden önemlidir?
• WordPress robotları txt konumu
• WordPress için en iyi robotlar txt'si
• robots.txt dosyası nasıl oluşturulur
• robots.txt dosyası nasıl kontrol edilir ve Google Arama konsoluna gönderilir.

WordPress için robots.txt dosyası nedir ve neden önemlidir?

Yeni bir web sitesi oluşturduğunuzda, arama motorları robotlarını taramak ve tüm sayfalarının bir haritasını oluşturmak için gönderir. Bu şekilde, birisi alakalı anahtar kelimeler aradığında sonuç olarak hangi sayfaların gösterileceğini bilecekler. Temel düzeyde, bu oldukça basittir (ayrıca bu faydalı gönderiye bakın – WordPress varsayılan .htaccess dosyası).

Sorun, modern web sitelerinin sayfaların yanı sıra birçok başka öğe içermesidir. WordPress, örneğin, genellikle kendi dizinleri olan eklentileri yüklemenize izin verir. İçerikle eşleşmediği için bunun arama sonuçlarında gösterilmesine gerek yoktur.

Robots.txt dosyasının yaptığı, arama robotları için bir dizi yönerge sağlamaktır. Onlara şöyle diyor: “Buraya bakın ve bu sayfaları indeksleyin, ancak başka alanlara girmeyin!”. Bu dosya istediğiniz kadar ayrıntılı olabilir ve yeni başlayan biri olsanız bile oluşturması çok kolaydır.

Uygulamada, bir robots.txt dosyası oluşturmasanız bile arama motorları sitenizi taramaya devam edecektir. Ancak, yaratmamak çok mantıksız bir adımdır. Bu dosya olmadan, sitenizin tüm içeriğini dizine eklemesi için robotları bırakırsınız ve sitenizin tüm bölümlerini, hatta genel erişimden gizlemek istediklerinizi bile göstermeniz gerektiğine karar verirler (ayrıca, - En iyi WordPress e-Ticaret eklentilerini kontrol edin) ).

Daha da önemlisi, robots.txt dosyası olmadan web siteniz, sitenizin robotlarından çok sayıda isabet alacaktır. Bu, performansını olumsuz yönde etkileyecektir. Sitenize katılım hala az olsa da sayfa yüklenme hızı her zaman öncelikli ve en üst düzeyde olması gereken bir şeydir. Sonunda, insanların web sitelerini yavaş yüklemekten daha çok sevmediği birkaç şey var.

WordPress robotları txt konumu

Bir WordPress web sitesi oluşturduğunuzda, otomatik olarak bir robots.txt dosyası oluşturulur ve sunucudaki ana dizininizde bulunur. Örneğin, siteniz burada bulunuyorsa – wpdevart.com, onu wpdevart.com/robots.txt adresinde bulabilir ve şöyle bir şey görebilirsiniz:

Bu, en basit robots.txt dosyasına bir örnektir. Kullanıcı tarafından okunabilir bir dile çevrilerek, Kullanıcı aracısından sonraki sağ taraf: beyan eder
kurallar hangi robotlar içindir. Yıldız işareti, kuralın evrensel olduğu ve tüm robotlar için geçerli olduğu anlamına gelir. Bu durumda, dosya robotlara wp-admin ve wp-includes dizinlerini tarayamayacaklarını söyler. Bu kuralların anlamı, bu dizinlerin genel erişime karşı koruma gerektiren birçok dosya içermesidir (ayrıca, WordPress Geri Sayım eklentimize bakın).

Elbette dosyanıza daha fazla kural ekleyebilirsiniz. Bunu yapmadan önce, bunun sanal bir dosya olduğunu anlamanız gerekir. Genellikle, WordPress robots.txt, genellikle public_html veya www (veya web sitenizin adıyla) olarak adlandırılan kök dizinde bulunur:

Varsayılan olarak oluşturulan WordPress robots.txt dosyasına herhangi bir dizinden erişilemediğine dikkat edilmelidir. Çalışıyor ama değişiklik yapmak istiyorsanız kendi dosyanızı oluşturup kök dizine yüklemeniz gerekiyor.

WordPress için bir robots.txt dosyası oluşturmanın birkaç yolunu inceleyeceğiz. Şimdi dosyaya hangi kuralların ekleneceğini nasıl belirleyeceğimizi tartışalım.

WordPress için en iyi robotlar txt'si

WordPress web siteniz için en iyi robots txt dosyasını hazırlamak o kadar da zor değil. Peki robots.txt dosyasına hangi kuralların eklenmesi gerekiyor. Önceki bölümde, WordPress tarafından oluşturulan bir robots.txt dosyası örneğini gördük. Yalnızca iki kısa kural içerir, ancak çoğu site için yeterlidir. İki farklı robots.txt dosyasına bir göz atalım ve her birinin ne yaptığını görelim.

İşte ilk WordPress robots.txt dosyası örneğimiz:

 User-agent: * Allow: / # Disallowed Sub-Directories Disallow: / payout / Disallow: / photos / Disallow: / forums /

Bu robots.txt dosyası forum için oluşturulmuştur. Arama motorları genellikle her forum başlığını indeksler. Forumunuzun konusuna bağlı olarak indekslemeye izin vermemek isteyebilirsiniz. Örneğin, Google yüzlerce kısa kullanıcı tartışmasını dizine eklemez. Ayrıca, hariç tutmak için belirli bir forum başlığına işaret eden kurallar ayarlayabilir ve arama motorlarının geri kalanını dizine eklemesine izin verebilirsiniz.

Ayrıca dosyanın üst kısmında Allow: / ile başlayan bir satır görürsünüz. Bu satır, robotlara aşağıda belirtilen kısıtlamalar dışında sitenizin tüm sayfalarını tarayabileceklerini söyler. Ayrıca, sanal WordPress robots.txt dosyasında olduğu gibi bu kuralları evrensel (yıldızlı) olacak şekilde belirlediğimizi fark ettiniz (ayrıca WordPress Fiyatlandırma tablosu eklentimize de göz atabilirsiniz).

Başka bir örnek WordPress robots.txt dosyasına göz atalım:

 User-agent: * Disallow: / wp-admin / Disallow: / wp-includes / User-agent: Bingbot Disallow: /

Bu dosyada, varsayılan olarak WordPress'e giden aynı kuralları belirledik. Bununla birlikte, Bing arama robotlarının sitemizi taramasını engelleyen yeni bir dizi kural da ekliyoruz. Bingbot, gördüğünüz gibi robotun adı.

Erişimlerini kısıtlamak/izin vermek için diğer arama motorlarının adlarını da yazabilirsiniz. Pratikte elbette Bingbot çok iyidir (Googlebot kadar iyi olmasa da). Ancak, birçok kötü niyetli robot var.

Kötü haber ise robots.txt dosyasındaki talimatları her zaman izlememeleridir (hala teröristler gibi çalışırlar). Çoğu robot bu dosyada verilen talimatları kullanacak olsa da, onları buna zorlayamazsınız.

Konunun derinliklerine inerseniz, WordPress sitenizde nelere izin verip neleri engelleyeceğiniz konusunda birçok öneri bulacaksınız. Her ne kadar deneyimlerimize göre, daha az kural genellikle daha iyidir. İşte bir örnek
WordPress web sitesi için en iyi robots txt, ancak farklı web sitesi için farklı olabilir:

 User-agent: * Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: /wp/ Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */embed Disallow: */wlwmanifest.xml Disallow: /xmlrpc.php Disallow: *utm*= Disallow: *openstat= Allow: */uploads Sitemap: https://wpdevart.com/sitemap.xml

Geleneksel olarak WordPress, wp-admin ve wp-include dizinlerini kapatmayı sever. Ancak, bu artık en iyi çözüm değil. Ayrıca, resimlerinize tanıtım (SEO) amacıyla meta etiketler eklerseniz, robotlara bu dizinlerin içeriğini dizine eklememelerini söylemenin bir anlamı yoktur.

Robots.txt dosyanızın ne içermesi gerektiği, sitenizin ihtiyaçlarına bağlı olacaktır. Bu yüzden daha fazla araştırma yapmaktan çekinmeyin!

robots.txt nasıl oluşturulur

Bir metin dosyası (txt) oluşturmaktan daha basit ne olabilir? Tek yapmanız gereken favori düzenleyicinizi (Not Defteri veya TextEdit gibi) açmak ve birkaç satır girmek. Ardından robots ve txt uzantısını (robots.txt) kullanarak dosyayı kaydedin. Birkaç saniye sürecektir, bu nedenle eklenti kullanmadan WordPress için bir robots.txt oluşturmak isteyebilirsiniz.

Bu dosyayı yerel olarak bilgisayara kaydettik. Kendi dosyanızı oluşturduktan sonra sitenize FTP yoluyla (belki FileZilla ile) bağlanmanız gerekir.

Sitenize bağlandıktan sonra public_html dizinine gidin. Şimdi tek yapmanız gereken robots.txt dosyasını bilgisayarınızdan sunucuya yüklemek. Bunu, yerel FTP gezgininde dosya üzerinde farenin sağ tuşuna tıklayarak veya farenizi kullanarak basitçe sürükleyerek yapabilirsiniz.

Sadece birkaç saniye sürer. Gördüğünüz gibi, bu yöntem eklentiyi kullanmaktan daha kolaydır.

WordPress robots.txt nasıl kontrol edilir ve Google Arama Konsoluna gönderilir

WordPress robots.txt dosyanız oluşturulduktan ve yüklendikten sonra, Google Arama Konsolunda hataları kontrol edebilirsiniz. Search Console, içeriğinizin arama sonuçlarında nasıl göründüğünü takip etmenize yardımcı olmak için tasarlanmış bir dizi Google aracıdır. Bu araçlardan biri robots.txt dosyasını kontrol eder, onu Google web yöneticisi araçları yönetici sayfasında kolayca bulabilirsiniz (ayrıca The 50 Best WordPress Plugins 2020'ye bakın).

Burada, WordPress robots.txt dosyanızın kodunu ekleyebileceğiniz düzenleyici alanını bulacaksınız ve sağ alt köşedeki Gönder'e tıklayın. Google Arama konsolu size yeni kodu kullanmak mı yoksa web sitenizden bir dosya indirmek mi istediğinizi soracaktır.

Artık platform, dosyanızda hata olup olmadığını kontrol edecektir. Bir hata bulunursa, bununla ilgili bilgiler size gösterilecektir. WordPress robots.txt dosyasının birkaç örneğini gördünüz ve şimdi mükemmel robots.txt dosyanızı oluşturmak için daha da fazla şansınız var!