Bulan lalu, saya melihat crawler dari perusahaan AI seperti OpenAI dan AI Google di analitik situs web saya. Reaksi pertama saya adalah kekhawatiran: Apakah konten saya dicuri tanpa izin saya? Saya juga khawatir terlalu banyak permintaan dari AI atau crawler pencarian dapat memperlambat situs saya bagi pengunjung.

Tapi kemudian saya mulai berpikir: Bagaimana jika saya benar-benar bisa mengubah ini menjadi peluang? Bagaimana jika saya bisa memandu alat AI—seperti ChatGPT—ke konten yang saya ingin mereka lihat?

Saat itulah saya menemukan sesuatu yang disebut llms.txt. Ini adalah format file baru yang dirancang untuk membantu model bahasa besar (LLM) memahami halaman mana di situs Anda yang paling berguna. Ini dapat meningkatkan cara konten Anda muncul dalam jawaban yang dihasilkan AI dan bahkan membantu situs Anda disebutkan sebagai sumber.

Dalam panduan ini, saya akan menunjukkan cara membuat file llms.txt menggunakan plugin atau metode manual. Baik Anda menginginkan visibilitas AI yang lebih baik atau sekadar kontrol yang lebih besar, ini adalah cara yang bagus untuk mulai membentuk bagaimana AI berinteraksi dengan konten Anda.

Apa Itu Berkas llms.txt dan Mengapa Anda Membutuhkannya?

Berkas llms.txt adalah standar baru yang diusulkan yang memberikan alat AI seperti ChatGPT atau Claude daftar terstruktur konten situs web yang ingin Anda gunakan saat menghasilkan jawaban.

Berkas ini memungkinkan Anda mengarahkan ke postingan, tutorial, atau halaman arahan yang paling bermanfaat—konten yang jelas, tepercaya, dan ramah AI.

Anggap saja seperti keset selamat datang untuk AI. Anda berkata: “Jika Anda akan menggunakan situs saya dalam jawaban Anda, inilah yang saya sarankan untuk Anda lihat terlebih dahulu.”

Berkas itu sendiri berada di root situs Anda (seperti example.com/llms.txt) dan ditulis dalam Markdown biasa. Berkas ini dapat menyertakan tautan ke peta situs Anda, konten utama, atau apa pun yang ingin Anda kutip.

Menyertakan peta situs Anda memastikan alat AI dapat menemukan indeks lengkap situs Anda—meskipun tidak mengikuti setiap tautan yang tercantum satu per satu.

Ini adalah bagian dari pendekatan yang lebih luas yang disebut Optimasi Mesin Generatif (GEO). Anda mungkin juga mendengarnya disebut penyemaian LLM, optimasi konten AI, atau visibilitas pencarian AI. Idenya adalah untuk membantu model AI memberikan jawaban yang lebih baik—dan meningkatkan peluang situs Anda ditautkan sebagai sumber.

Perlu diingat bahwa llms.txt masih merupakan format yang sedang berkembang. Belum semua perusahaan AI mendukungnya, tetapi ini merupakan langkah cerdas jika Anda ingin membentuk peran konten Anda dalam hasil pencarian AI.

llms.txt vs. robots.txt: Apa Bedanya?

Anda mungkin bertanya-tanya bagaimana llms.txt dibandingkan dengan robots.txt, karena kedua file tersebut menangani bot dan visibilitas.

Perbedaan utamanya adalah ini:

robots.txt memberi tahu perayap apa yang boleh mereka indeks dan simpan dalam cache.
llms.txt memberi model AI daftar konten yang dikurasi yang ingin mereka rujuk saat menghasilkan jawaban bertenaga AI.

Untuk strategi AI yang lengkap, Anda dapat menggunakan kedua berkas secara bersamaan. Anda dapat menggunakan llms.txt untuk menyambut bot AI yang Anda inginkan, sementara menggunakan robots.txt untuk memblokir bot yang tidak Anda inginkan.

Panduan saya akan menunjukkan cara menggunakan kedua berkas untuk mengelola strategi konten AI Anda. Anda dapat menggunakan tautan cepat di bawah ini untuk langsung ke metode yang paling sesuai dengan strategi Anda:

Membuat Berkas llms.txt Secara Manual

Jika Anda tidak ingin menggunakan plugin, Anda masih dapat membuat berkas llms.txt yang bermanfaat secara manual. Pendekatan ini melibatkan pembuatan berkas teks dengan daftar tautan ke konten terpenting Anda.

Penting: Sebelum membuat berkas manual, Anda perlu memastikan tidak ada plugin lain yang sudah membuatkan berkas untuk Anda. Jika Anda menggunakan AIOSEO untuk fitur SEO lainnya, Anda harus menonaktifkan generator file llms.txt bawaannya terlebih dahulu dari halaman All in One SEO » Pengaturan Umum » Lanjutan.

Langkah 1. Buat File Teks Baru

Pertama, Anda perlu membuka editor teks biasa di komputer Anda (seperti Notepad di Windows atau TextEdit di Mac).

Buat file baru dan simpan dengan nama llms.txt.

Langkah 2. Tambahkan Tautan Konten Anda

Selanjutnya, Anda perlu menambahkan tautan ke konten yang ingin Anda lihat oleh bot AI. Tujuannya adalah untuk membuat peta situs Anda yang sederhana dan jelas menggunakan judul dan daftar markdown.

Meskipun Anda dapat mencantumkan URL terpenting Anda, praktik terbaiknya adalah mengaturnya menjadi beberapa bagian. Anda harus selalu menyertakan tautan ke peta situs XML Anda, karena ini adalah cara paling efisien untuk menampilkan semua konten publik Anda kepada bot.

Kemudian, Anda dapat membuat bagian terpisah untuk menyorot postingan dan halaman terpenting Anda.

Berikut adalah templat yang lebih terstruktur yang dapat Anda salin dan tempel ke berkas llms.txt Anda. Pastikan untuk mengganti URL contoh dengan URL Anda sendiri:

# My Awesome Website
## Sitemaps
- [XML Sitemap](https://example.com/sitemap.xml)
## Key Pages
- [About Us](https://example.com/about-us/)
- [Contact Us](https://example.com/contact/)
## Key Posts
- [Important Guide](https://example.com/important-guide/)
- [Key Article](https://example.com/key-article/)

Langkah 3. Unggah Berkas ke Situs Web Anda

Setelah Anda menyimpan berkas, Anda perlu mengunggahnya ke direktori root situs web Anda. Direktori ini biasanya bernama public_html atau www.

Anda dapat melakukannya menggunakan klien FTP atau Pengelola Berkas di dasbor hosting WordPress Anda. Cukup unggah berkas llms.txt dari komputer Anda ke folder ini.

Langkah 4. Verifikasi Berkas Anda Sudah Aktif

Terakhir, Anda dapat memverifikasi bahwa berkas Anda berfungsi dengan benar dengan mengunjungi yourdomain.com/llms.txt di peramban Anda.

Anda akan melihat daftar tautan yang baru saja Anda buat.

Cara Memblokir Bot AI Menggunakan Berkas robots.txt Anda

Meskipun menggunakan llms.txt untuk memandu bot AI sangat bagus untuk GEO, Anda mungkin memutuskan untuk memblokirnya. Jika tujuan Anda adalah mencegah perusahaan AI menggunakan konten Anda untuk pelatihan, maka metode resminya adalah menambahkan aturan ke berkas robots.txt Anda.

Berkas robots.txt adalah alat canggih yang memberikan instruksi kepada perayap web. Untuk ikhtisar lengkap, saya merekomendasikan panduan lengkap kami tentang cara mengoptimalkan file robots.txt WordPress Anda.

Edit robots.txt Secara Manual melalui FTP

Anda dapat mengedit berkas ini secara manual di file hosting Anda menggunakan klien FTP atau File Manager di akun hosting Anda.

Pertama, temukan berkas robots.txt Anda di folder root situs Anda dan unduh. Jangan dihapus.

Selanjutnya, buka berkas tersebut di editor teks biasa. Tambahkan aturan pemblokiran yang Anda inginkan di akhir berkas.

Misalnya, untuk memblokir perayap AI Google, Anda perlu menambahkan:

User-agent: Google-Extended
Disallow: /

Setelah Anda menyimpan berkas, unggah kembali ke direktori root yang sama, dan timpa berkas lama.

Bot AI Umum yang Perlu Diblokir

Berikut daftar agen pengguna AI umum yang mungkin ingin Anda blokir:

• GPTBot (OpenAI)
• Google-Extended (Google AI)
• anthropic-ai (Anthropic / Claude)
• CCBot (Common Crawl)

Anda dapat menambahkan blok aturan terpisah untuk masing-masing bot di file robots.txt Anda.

Kesimpulan

Dunia AI dan Optimasi Mesin Generatif berubah dengan cepat. Jadi, saya sarankan untuk memeriksa strategi Anda setiap beberapa bulan.

Bot yang Anda blokir hari ini bisa menjadi sumber lalu lintas utama di masa mendatang, jadi bersiap untuk beradaptasi adalah kuncinya. Anda selalu dapat beralih dari memblokir ke memandu (atau sebaliknya) seiring perkembangan tujuan bisnis Anda.

Saya harap panduan ini membantu Anda membuat keputusan yang tepat tentang masa depan konten Anda di dunia AI. Jika Anda merasa bermanfaat.

Baca : WPLP: Solusi Praktis Kepatuhan GDPR & Cookie untuk WordPress

Anda Terbantu artikel ini? Silahkan bergabung dengan centerklik di Twitter dan Facebook+.