robots.txt WordPress

Robots.txt WordPress sangat penting untuk SEO. Untuk memastikan bahwa situs Anda memiliki peringkat yang baik dalam hasil mesin pencari, Anda perlu membuat halaman terpentingnya nyaman untuk mencari dan mengindeks "robot" ("bot") mesin pencari. File robots.txt yang terstruktur dengan baik akan membantu mengarahkan bot ini ke halaman yang ingin Anda indeks.

Dalam artikel ini kami akan mengungkapkan pertanyaan seperti itu:

• Apa itu file robots.txt dan mengapa itu penting
• Lokasi robot txt WordPress
• Robot txt terbaik untuk WordPress
• Cara membuat file robots.txt
• Cara memeriksa file robots.txt dan mengirimkannya ke Google Search console.

Apa itu file robots.txt untuk WordPress dan mengapa itu penting?

Saat Anda membuat situs web baru, mesin pencari akan mengirim robot mereka untuk memindai dan membuat peta dari semua halamannya. Dengan cara ini, mereka akan tahu halaman mana yang akan ditampilkan sebagai hasil ketika seseorang mencari kata kunci yang relevan. Pada tingkat dasar, ini cukup sederhana (juga, periksa posting berguna ini – file .htaccess default WordPress).

Masalahnya adalah situs web modern mengandung banyak elemen lain selain halaman. WordPress memungkinkan Anda untuk menginstal, misalnya, plugin yang sering memiliki direktori sendiri. Tidak perlu menampilkan ini di hasil pencarian, karena tidak cocok dengan konten.

Apa yang dilakukan file robots.txt adalah menyediakan seperangkat pedoman untuk robot pencarian. Dia memberi tahu mereka: "Lihat di sini dan indeks halaman ini, tetapi jangan masuk ke area lain!". File ini bisa sedetail yang Anda inginkan dan sangat mudah dibuat, bahkan jika Anda seorang pemula.

Dalam praktiknya, mesin pencari akan tetap memindai situs Anda, meskipun Anda tidak membuat file robots.txt. Namun, tidak menciptakannya adalah langkah yang sangat tidak rasional. Tanpa file ini, Anda membiarkan robot mengindeks semua konten situs Anda dan mereka memutuskan bahwa Anda perlu menampilkan semua bagian situs Anda, bahkan yang ingin Anda sembunyikan dari akses publik (juga, periksa – Plugin eCommerce WordPress Terbaik ).

Poin yang lebih penting, tanpa file robots.txt, website Anda akan mendapatkan banyak hits dari robot-robot situs Anda. Ini akan berdampak buruk pada kinerjanya. Sekalipun kehadiran situs Anda masih kecil, kecepatan pemuatan halaman adalah sesuatu yang harus selalu menjadi prioritas dan di level tertinggi. Pada akhirnya, hanya ada beberapa hal yang tidak disukai orang selain memuat situs web secara perlahan.

Lokasi robots txt WordPress

Saat Anda membuat situs web WordPress, file robots.txt secara otomatis dibuat dan terletak di direktori utama Anda di server. Misalnya, jika situs Anda berada di sini – wpdevart.com, Anda dapat menemukannya di wpdevart.com/robots.txt dan melihat sesuatu seperti ini:

Ini adalah contoh file robots.txt yang paling sederhana. Menerjemahkan ke dalam bahasa yang dapat dibaca manusia, sisi kanan setelah Agen-pengguna: menyatakan
untuk robot mana aturannya. Tanda bintang berarti bahwa aturan tersebut bersifat universal dan berlaku untuk semua robot . Dalam hal ini, file memberi tahu robot bahwa mereka tidak dapat memindai direktori wp-admin dan wp-includes. Arti dari aturan ini adalah bahwa direktori ini berisi banyak file yang memerlukan perlindungan dari akses publik (juga, periksa plugin WordPress Countdown kami).

Tentu saja, Anda dapat menambahkan lebih banyak aturan ke file Anda. Sebelum Anda melakukan ini, Anda perlu memahami bahwa ini adalah file virtual. Biasanya, robots.txt WordPress terletak di direktori root, yang sering disebut public_html atau www (atau dengan nama webiste Anda):

Perlu dicatat bahwa file robots.txt untuk WordPress, yang dibuat secara default, tidak dapat diakses oleh Anda dari direktori mana pun. Ini berfungsi, tetapi jika Anda ingin membuat perubahan, Anda perlu membuat file Anda sendiri dan mengunggahnya ke direktori root.

Kami akan melihat beberapa cara untuk membuat file robots.txt untuk WordPress. Sekarang mari kita bahas cara menentukan aturan mana yang akan disertakan dalam file.

Robot txt terbaik untuk WordPress

Tidak begitu sulit untuk membuat robot txt terbaik untuk situs WordPress Anda. Jadi aturan apa yang perlu dimasukkan dalam file robots.txt. Di bagian sebelumnya, kita melihat contoh file robots.txt yang dibuat oleh WordPress. Ini hanya mencakup dua aturan singkat, tetapi untuk sebagian besar situs itu sudah cukup. Mari kita lihat dua file robots.txt yang berbeda dan lihat apa yang dilakukan masing-masing file tersebut.

Berikut adalah contoh pertama dari file robots.txt WordPress:

 User-agent: * Allow: / # Disallowed Sub-Directories Disallow: / payout / Disallow: / photos / Disallow: / forums /

File robots.txt ini dibuat untuk forum. Mesin pencari biasanya mengindeks setiap utas forum. Tergantung pada topik forum Anda, Anda mungkin ingin melarang pengindeksan. Misalnya, Google tidak akan mengindeks ratusan diskusi pengguna singkat. Anda juga dapat menetapkan aturan yang mengarah ke utas forum tertentu untuk mengecualikannya, dan mengizinkan mesin telusur untuk mengindeks sisanya.

Anda juga melihat baris yang dimulai dengan Allow: / di bagian atas file. Baris ini memberi tahu robot bahwa mereka dapat memindai semua halaman situs Anda, kecuali untuk batasan yang ditetapkan di bawah. Anda juga memperhatikan bahwa kami menetapkan aturan ini menjadi universal (dengan tanda bintang), seperti yang ada di file robots.txt WordPress virtual (juga, Anda dapat memeriksa plugin tabel Harga WordPress kami).

Mari kita lihat contoh file robots.txt WordPress lainnya:

 User-agent: * Disallow: / wp-admin / Disallow: / wp-includes / User-agent: Bingbot Disallow: /

Dalam file ini kami menetapkan aturan yang sama yang masuk ke WordPress secara default. Meskipun kami juga menambahkan seperangkat aturan baru yang memblokir robot pencari Bing merayapi situs kami. Bingbot, seperti yang Anda lihat, adalah nama robot.

Anda dapat mengetikkan nama mesin pencari lain untuk membatasi / mengizinkan akses mereka juga. Dalam praktiknya, tentu saja, Bingbot sangat bagus (walaupun tidak sebagus Googlebot). Namun, ada banyak robot jahat.

Berita buruknya adalah mereka tidak selalu mengikuti instruksi di file robots.txt (mereka masih bekerja seperti teroris). Perlu diingat bahwa, meskipun sebagian besar robot akan menggunakan instruksi yang diberikan dalam file ini, Anda tidak dapat memaksa mereka untuk melakukannya.

Jika Anda masuk lebih dalam ke topik, Anda akan menemukan banyak saran tentang apa yang diizinkan dan apa yang harus diblokir di situs WordPress Anda. Meskipun, dari pengalaman kami, lebih sedikit aturan seringkali lebih baik. Berikut adalah contoh dari
robot txt terbaik untuk situs web WordPress, tetapi untuk situs web yang berbeda bisa berbeda:

 User-agent: * Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: /wp/ Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */embed Disallow: */wlwmanifest.xml Disallow: /xmlrpc.php Disallow: *utm*= Disallow: *openstat= Allow: */uploads Sitemap: https://wpdevart.com/sitemap.xml

Secara tradisional WordPress suka menutup direktori wp-admin dan wp-includes. Namun, ini bukan lagi solusi terbaik. Plus, jika Anda menambahkan tag meta untuk gambar Anda untuk tujuan promosi (SEO), tidak ada gunanya memberitahu robot untuk tidak mengindeks isi direktori ini.

Apa yang harus berisi file robots.txt Anda akan tergantung pada kebutuhan situs Anda. Jadi jangan ragu untuk melakukan lebih banyak penelitian!

Cara membuat robots.txt

Apa yang bisa lebih sederhana daripada membuat file teks (txt). Yang harus Anda lakukan adalah membuka editor favorit Anda (seperti Notepad atau TextEdit) dan memasukkan beberapa baris. Kemudian Anda menyimpan file menggunakan robot dan ekstensi txt (robots.txt). Ini akan memakan waktu beberapa detik, jadi Anda mungkin ingin membuat robots.txt untuk WordPress tanpa menggunakan plugin.

Kami menyimpan file ini secara lokal di komputer. Setelah Anda membuat file Anda sendiri, Anda perlu terhubung ke situs Anda melalui FTP (mungkin dengan FileZilla).

Setelah terhubung ke situs Anda, buka direktori public_html. Sekarang, yang perlu Anda lakukan adalah mengunggah file robots.txt dari komputer Anda ke server. Anda dapat melakukannya dengan mengklik tombol kanan mouse pada file di navigator FTP lokal atau hanya dengan menyeretnya menggunakan mouse Anda.

Hanya butuh beberapa detik. Seperti yang Anda lihat, metode ini lebih mudah daripada menggunakan plugin.

Cara memeriksa robots.txt WordPress dan mengirimkannya ke Google Search Console

Setelah file robots.txt WordPress Anda dibuat dan diunggah, Anda dapat memeriksa kesalahan di Google Search Console. Search Console adalah seperangkat alat Google yang dirancang untuk membantu Anda melacak bagaimana konten Anda muncul di hasil pencarian. Salah satu alat ini memeriksa robots.txt, Anda akan dengan mudah menemukannya di halaman admin alat webmaster Google (juga, periksa 50 Plugin WordPress Terbaik 2020).

Di sana Anda akan menemukan bidang editor tempat Anda dapat menambahkan kode untuk file robots.txt WordPress Anda, dan klik Kirim di sudut kanan bawah. Konsol Google Search akan menanyakan apakah Anda ingin menggunakan kode baru atau mengunduh file dari situs web Anda.

Sekarang platform akan memeriksa file Anda untuk kesalahan. Jika kesalahan ditemukan, informasi tentang ini akan ditampilkan kepada Anda. Anda melihat beberapa contoh file robots.txt WordPress, dan sekarang Anda memiliki lebih banyak peluang untuk membuat file robots.txt yang sempurna !