Cara Optimalkan Robots.txt untuk SEO Friendly WordPress
|Jika anda ingin meningkatkan SEO Website WordPress Anda, maka robots.txt merupakan faktor yang sangat diperlukan untuk dibahas. Jadi, apa itu robots.txt, mengapa begitu penting, dan bagaimana Anda dapat mengoptimalkan file robots.txt untuk SEO WordPress agar blog Anda lebih ramah pada mesin pencari atau SEO friendly? Jika Anda tidak tahu tentang jawaban atas pertanyaan ini, maka pada artikel kali ini saya akan memberikan artikel atas semua jawaban dalam bahasa yang sederhana dan mudah.
Apa itu Robots.txt?
Robots.txt adalah file teks sederhana yang mengontrol bagaimana mesin pencari berperilaku dengan situs web Anda. Ini mengarahkan mesin pencari tentang di mana mereka diizinkan untuk indeks dan di mana mereka tidak dapat mengindeks. Ketika robot mesin pencari melakukan perayapan ke website atau blog Anda, Mesin pencari terlebih dahulu akan mengikuti perintah dari robots.txt.
Secara default, search engine atau mesin pencari dirancang untuk mengindeks informasi sebanyak yang mereka bisa dan robots.txt bisa membatasi semua itu. Anda mungkin bertanya-tanya mengapa Anda harus membatasi mesin pencari untuk memperoleh informasi lebih dari situs Anda, bukankan itu akan semakin banyak kesempatan website Snda bisa memiliki tempat peringkat yang baik pada hasil pencarian, berikut jawabanya.
Secara total, ada tiga alasan untuk menggunakan file robots.txt ini :
- Pertama : Jika membuka semua data ke mesin pencari, maka akan membuat situs Anda rentan dan mudah untuk di-hack.
- Kedua : Memungkinkan mesin pencari untuk mengakses situs Anda unrestrictedly dapat mengkonsumsi sejumlah besar bandwidth dan sebagai efeknya, membuat situs web Anda menjadi lambat.
- Ketiga : Semakin banyak halaman di website Anda maka akan semakin banyak juga halaman yang akan dirayapi oleh mesin pencari. Hal ini akan menjadikan mesin pencari memakan banyak waktu untuk merayapi situs Anda. Membatasi perayapan pada bagian yang terpenting saja akan menentukan seberapa cepat mesin pencari menangkap perubahan situs Anda – dan dengan demikian seberapa cepat Anda mendapat peringkat
Cara Optimalkan WordPress SEO dengan Robots.txt?
Setelah membaca semua informasi di atas, Anda mungkin memiliki pemahaman yang jelas tentang definisi dan fungsi dari robots.txt dan mengapa Anda harus menggunakannya untuk website WordPress Anda. Kendala yang berlebihan terhadap perilaku mesin pencari mungkin memiliki dampak negatif pada SEO sementara terlalu banyak kebebasan bagi mereka dapat menempatkan website Anda dalam bahaya.
Oleh karena itu, Anda perlu menentukan solusi yang dapat memberikan pertimbangan dalam menggunakan file robots.txt yaitu untuk keamanan website dan SEO. Berikut ini, contoh membuat file robots.txt Anda agar dapat membatasi perilaku mesin pencari dan meningkatkan SEO WordPress.
Pertama, login ke cPanel web hosting Anda. File robots.txt ini berada pada folder root dari situs WordPress Anda. Namun, jika Anda tidak menemukan file robots.txt tersebut, silahkan untuk membuat file baru dan beri nama sebagai robots.txt , atau anda bisa membaca artikel di bawah ini untuk cara membuat file baru di cPanel.
Baca : Cara Mencari dan Membuat File .htaccess WordPress di cPanel
Kemudian, Anda perlu klik kanan pada file robots.txt Anda dan klik kode sunting atau edit. Kemudian, pilih utf-8 sebagai pengkodean karakter dan klik edit.
Seperti apa file robots.txt yang ideal?
Format untuk file robots.txt sangat sederhana. Baris pertama biasanya memberi nama agen pengguna. Agen pengguna atau (User-Agent) adalah nama bot pencarian yang ingin Anda ajak berkomunikasi. Misalnya, Googlebot atau Bingbot. Anda bisa menggunakan tanda asterisk * untuk menginstruksikan semua bot.
Baris berikutnya berikut dengan petunjuk Allow atau Disallow untuk mesin pencari, jadi mereka tahu bagian mana yang Anda inginkan untuk diindeks, dan bagian mana yang tidak ingin diindeks.
Inilah contohnya:
User-Agent: * Allow: /?display=wide Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /readme.html Disallow: /refer/ Sitemap: https://www.centerklik.com/post-sitemap.xml Sitemap: https://www.centerklik.com/page-sitemap.xml Sitemap: https://www.centerklik.com/deals-sitemap.xml
Catatan : Jika Anda menggunakan plugin seperti Yoast atau All in One SEO, Anda mungkin tidak perlu menambahkan bagian sitemap, karena mereka mencoba melakukannya secara otomatis. Jika gagal, Anda bisa menambahkannya secara manual seperti pada contoh di atas.
Apa yang harus saya Disallow atau Noindex?
Dalam pedoman webmaster Google, mereka menyarankan agar webmaster tidak menggunakan file robots.txt mereka untuk menyembunyikan konten berkualitas rendah. Jadi, menggunakan file robots.txt Anda untuk menghentikan Google mengindeks kategori, tanggal, dan halaman arsip Anda lainnya mungkin bukan pilihan yang bijak.
Ingat, tujuan robots.txt adalah menginstruksikan bot apa yang harus dilakukan dengan konten yang mereka jelajahi di situs Anda. Ini tidak menghentikan mereka merayapi situs Anda.
Selain itu, Anda tidak perlu menambahkan halaman login WordPress, direktori admin, atau halaman registrasi ke robots.txt karena halaman login dan registrasi memiliki tag noindex yang ditambahkan secara otomatis oleh WordPress.
Namun, saya merekomendasikan bahwa Anda melarang berkas readme.html di file robots.txt Anda. File readme ini dapat digunakan oleh seseorang yang mencoba mengetahui versi WordPress yang Anda gunakan. Karena siapa saja dapat dengan mudah mengakses file dengan hanya browsing ke sana. Dana juga menempatkan tag “Disallow” dapat memblokir serangan berbahaya.
Selain itu, Anda juga dapat melarang (Disallow) pada direktori plugin WordPress Anda untuk meningkatkan keamanan situs Anda terhadap siapa pun yang mencari plugin rentan untuk dieksploitasi.
Bagaimana cara mengirimkan file robots.txt WordPress ke Google?
Setelah Anda memperbarui atau membuat file robots.txt Anda, Anda dapat mengirimkannya ke Google menggunakan Google Search Console.
Namun, sebaiknya uji dulu menggunakan alat uji robots.txt Google disini.
Jika Anda tidak melihat versi yang Anda buat di sini, Anda harus mengupload ulang file robots.txt yang Anda buat ke folder root situs WordPress Anda.
Anda Terbantu artikel ini? Silahkan bergabung dengan centerklik di Twitter dan Facebook+.
Daftar isi Tutorial WordPress Terlengkap GratisRegister Now: TOP 10 Hosting
Dapatkan Hosting Murah dengan Kualitas Terbaik. For Serious Blogger! View Deals
Sangat informatif dan mencerahkan.
Untuk plugin robot txt lebih baik buat sendiri atau pake bawaan plugi ?
terima kasih juragan, sangat membantu.
sukses selalu. Aamiin
makasih sangat bermanfaat penjelasanya
mantap makasih atas sarannya bosku
Makasih, saya coba aplikasikan
Terima kasih sangat membantu saya yang baru belajar main web, klo baca2 artikel disini,ternyata masih bnyak yang harus saya pelajari.
nyarai robot.txt gak ketemu
kalau gak ketemu ya dibikin sendiri gan.
teknik ini memang bagus untuk optimasi seo onpage pada saat ini. makasih gan ilmunya
terima kasih mas, saya masih pemula di wordpress. Tapi, semoga bisa paham lebih dalam dan jadi jago seperti centerklik. Makasih sekali lagi 🙂
Terimakasih gan jadi lebih tau nih tentang cara gunain robot.txt
Baris 8,9,10 boleh ditambah lagi kah, misalkan ada /sitemap_index.xml gitu
ada tools untuk pembuat robots txt yang ramah SEO nggak gan?
oiya min.. kan di plugin yoast tools buat bikin robot.txt apakah sama saja atau tetap buat sendiri di cpanel ?
kalau kita menggunakan plugin …lalu bagaimana dengan robot txt di webmaster gan…apa dua2nya bisa bekerja…atau webmasternya tidak digunakan…karena punya saya robot txt memblock url postingan saya dan lom tahu cara memperbaikinya
Terimakasih om.
oh iyah. saya settingnya melalui plugin All in one Seo Pack sama aja kan om? kalo ditutorial ini kan om langsung masuk via cpanelnya. mohon jawabannya om.
kalau robot txt untuk toko online bagaimana ya?
admin
veeshop.web.id
hapus aja, biarin kosong seperti semula
kalo nggak berhasil, cukup gunain plugin seo all in one atau seo yoast udah cukup gan. yang terpenting artikelnya bagus sama jangan lupa keyword nya harus tepat.
makasih kang 🙂
artikelnya page 1 google, jadinya rekomendasitips bgt nih..
btw skrg ada update an apa lagi tentang robots.txt wordpress terbaru.
terima kasih sudah mau berbagi cara setting robots.txt bua twp nya gan, salam kenal, newbie pengguna baru wp 😀
ohh, gitu yaa caranya. filenya robots.txt ditaruh di public_html kan gan?
Thanks sebelumnya.
Kalau mas centerklik pake robot.txt yang ini juga yah? please share ya mas thank sblmnya
iya saya juga menggunakannya.
mantep dah, makasih gan . . .
Baru bikin blog gan. Tutornya dari sini semua..
Thanks bgt…
Sama-sama gan, semoga blognya sukses dan menginspirasi. 🙂
saya suka Tutornya Mas John Mamad… tapi saya masih sedikit ada kebingungan dan memamangan kalau di Cpanel robots.txt ditaruh dimana ya Mas John ? makasih
izin comot dlu setingan txtnya…
di cpanel , public_html kang
setelah googling kesana kemari ternyata ada yang buat tutor yg sangat detail. cocok untuk Newbie seperti saya. makasih mas/ salam kenal.
Thanks brother.
Cari solusi di web asing gak ketemu. tapi ketemunya disini. Ijin untuk implementasi ya brother.
web saya
Gitu ya gan gunanya robotex, itu kode yang digunakan sama kaya diatas ya tinggal ganti urlnya aja.
Iya gan tinggal ganti URL dengan URL agan. 🙂
Mantep, makasih Gan salam Kenal. http://seputarti.com
menarik sekali gan artikelnya ,,, sangat membantu ,kebetulan ane lagi belajar bikin blog walaupun cuma hosting
makasih gan ats tutor nye,,,ane nyimak dan ane ngikutin ape kate ente gan