How to Start a Blog? Panduan Membuat Website Hanya 30 Menit

Cara Optimalkan Robots.txt untuk SEO Friendly WordPress

Jika anda ingin meningkatkan SEO Website WordPress Anda, maka robots.txt merupakan faktor yang sangat diperlukan untuk dibahas. Jadi, apa itu robots.txt, mengapa begitu penting, dan bagaimana Anda dapat mengoptimalkan file robots.txt untuk SEO WordPress agar blog Anda lebih ramah pada mesin pencari atau SEO friendly? Jika Anda tidak tahu tentang jawaban atas pertanyaan ini, maka pada artikel kali ini saya akan memberikan artikel atas semua jawaban dalam bahasa yang sederhana dan mudah.

Baca : 10 Syarat SEO yang Perlu anda Pelajari

Apa itu Robots.txt?

Robots.txt adalah file teks sederhana yang mengontrol bagaimana mesin pencari berperilaku dengan situs web Anda. Ini mengarahkan mesin pencari tentang di mana mereka diizinkan untuk indeks dan di mana mereka tidak dapat mengindeks. Ketika robot mesin pencari melakukan perayapan ke website atau blog Anda, Mesin pencari terlebih dahulu akan mengikuti perintah dari robots.txt.

Optimasi Robots.txt WordPress

Secara default, search engine atau mesin pencari dirancang untuk mengindeks informasi sebanyak yang mereka bisa dan robots.txt bisa membatasi semua itu. Anda mungkin bertanya-tanya mengapa Anda harus membatasi mesin pencari untuk memperoleh informasi lebih dari situs Anda, bukankan itu akan semakin banyak kesempatan website Snda bisa memiliki tempat peringkat yang baik pada hasil pencarian, berikut jawabanya.

Secara total, ada tiga alasan untuk menggunakan file robots.txt ini :

  • Pertama : Jika membuka semua data ke mesin pencari, maka akan membuat situs Anda rentan dan mudah untuk di-hack.
  • Kedua : Memungkinkan mesin pencari untuk mengakses situs Anda unrestrictedly dapat mengkonsumsi sejumlah besar bandwidth dan sebagai efeknya, membuat situs web Anda menjadi lambat.
  • Ketiga : Semakin banyak halaman di website Anda maka akan semakin banyak juga halaman yang akan dirayapi oleh mesin pencari. Hal ini akan menjadikan mesin pencari memakan banyak waktu untuk merayapi situs Anda. Membatasi perayapan pada bagian yang terpenting saja akan menentukan seberapa cepat mesin pencari menangkap perubahan situs Anda – dan dengan demikian seberapa cepat Anda mendapat peringkat

Cara Optimalkan WordPress SEO dengan Robots.txt?

Setelah membaca semua informasi di atas, Anda mungkin memiliki pemahaman yang jelas tentang definisi dan fungsi dari robots.txt dan mengapa Anda harus menggunakannya untuk website WordPress Anda. Kendala yang berlebihan terhadap perilaku mesin pencari mungkin memiliki dampak negatif pada SEO sementara terlalu banyak kebebasan bagi mereka dapat menempatkan website Anda dalam bahaya.

Oleh karena itu, Anda perlu menentukan solusi yang dapat memberikan pertimbangan dalam menggunakan file robots.txt yaitu untuk keamanan website dan SEO. Berikut ini, contoh membuat file robots.txt Anda agar dapat membatasi perilaku mesin pencari dan meningkatkan SEO WordPress.

Pertama, login ke cPanel web hosting Anda. File robots.txt ini berada pada folder root dari situs WordPress Anda. Namun, jika Anda tidak menemukan file robots.txt tersebut, silahkan untuk membuat file baru dan beri nama sebagai robots.txt , atau anda bisa membaca artikel di bawah ini untuk cara membuat file baru di cPanel.

Baca : Cara Mencari dan Membuat File .htaccess WordPress di cPanel

Kemudian, Anda perlu klik kanan pada file robots.txt Anda dan klik kode sunting atau edit. Kemudian, pilih utf-8 sebagai pengkodean karakter dan klik edit.

Seperti apa file robots.txt yang ideal?

Format untuk file robots.txt sangat sederhana. Baris pertama biasanya memberi nama agen pengguna. Agen pengguna atau (User-Agent) adalah nama bot pencarian yang ingin Anda ajak berkomunikasi. Misalnya, Googlebot atau Bingbot. Anda bisa menggunakan tanda asterisk * untuk menginstruksikan semua bot.

Baris berikutnya berikut dengan petunjuk Allow atau Disallow untuk mesin pencari, jadi mereka tahu bagian mana yang Anda inginkan untuk diindeks, dan bagian mana yang tidak ingin diindeks.

Inilah contohnya:

User-Agent: *
Allow: /?display=wide
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /refer/

Sitemap: https://www.centerklik.com/post-sitemap.xml
Sitemap: https://www.centerklik.com/page-sitemap.xml
Sitemap: https://www.centerklik.com/deals-sitemap.xml

Catatan : Jika Anda menggunakan plugin seperti Yoast atau All in One SEO, Anda mungkin tidak perlu menambahkan bagian sitemap, karena mereka mencoba melakukannya secara otomatis. Jika gagal, Anda bisa menambahkannya secara manual seperti pada contoh di atas.

Apa yang harus saya Disallow atau Noindex?

Dalam pedoman webmaster Google, mereka menyarankan agar webmaster tidak menggunakan file robots.txt mereka untuk menyembunyikan konten berkualitas rendah. Jadi, menggunakan file robots.txt Anda untuk menghentikan Google mengindeks kategori, tanggal, dan halaman arsip Anda lainnya mungkin bukan pilihan yang bijak.

Robots.txt WordPress

Ingat, tujuan robots.txt adalah menginstruksikan bot apa yang harus dilakukan dengan konten yang mereka jelajahi di situs Anda. Ini tidak menghentikan mereka merayapi situs Anda.

Selain itu, Anda tidak perlu menambahkan halaman login WordPress, direktori admin, atau halaman registrasi ke robots.txt karena halaman login dan registrasi memiliki tag noindex yang ditambahkan secara otomatis oleh WordPress.

Namun, saya merekomendasikan bahwa Anda melarang berkas readme.html di file robots.txt Anda. File readme ini dapat digunakan oleh seseorang yang mencoba mengetahui versi WordPress yang Anda gunakan. Karena siapa saja dapat dengan mudah mengakses file dengan hanya browsing ke sana. Dana juga menempatkan tag “Disallow” dapat memblokir serangan berbahaya.

Selain itu, Anda juga dapat melarang (Disallow) pada direktori plugin WordPress Anda untuk meningkatkan keamanan situs Anda terhadap siapa pun yang mencari plugin rentan untuk dieksploitasi.

Bagaimana cara mengirimkan file robots.txt WordPress ke Google?

Setelah Anda memperbarui atau membuat file robots.txt Anda, Anda dapat mengirimkannya ke Google menggunakan Google Search Console.

Namun, sebaiknya uji dulu menggunakan alat uji robots.txt Google disini.

Robots.txt testing google

Jika Anda tidak melihat versi yang Anda buat di sini, Anda harus mengupload ulang file robots.txt yang Anda buat ke folder root situs WordPress Anda.

Anda Terbantu artikel ini? Silahkan bergabung dengan centerklik di Twitter dan Facebook+.

Daftar isi Tutorial WordPress Terlengkap Gratis
10 top hosting!

Register Now: TOP 10 Hosting

Dapatkan Hosting Murah dengan Kualitas Terbaik. For Serious Blogger! View Deals

Niagahoster

Rp.26.000/Bln Free Domain, Unlimited Space & Bandwidth Get Host

IDCloudhost

Rp.30.000/Bln Free Domain, Unlimited Space & Bandwidth Get Host

Bluehost Hosting

$2.95/Month Free Domain, Unlimited Space & Bandwidth Get Host

iPage Hosting

$1.99/Month Free Domain, Unlimited Space & Bandwidth Get Host

SiteGround Hosting

$3.45/Month Free Domain, Unlimited Space & Bandwidth Get Host

Hostgator

$3.95/Month Free Domain, Unlimited Space & Bandwidth Get Host

37 Comments

Add a Comment

Your email address will not be published. Required fields are marked *