Robots.txt merupakan kode petunjuk arah untuk bot mesin pencari dalam proses akses ke halaman situs web. Pemanfaatannya sendiri bergantung pada cara membuat robot txt yang berhasil atau tidak.
Fungsi dari robots.txt sendiri sangat krusial bagi berforma SEO. Melalui arahan yang jelas, maka Googlebot tidak akan membuang waktu untuk memeriksa halaman yang tidak penting dalam website.
Cara Membuat Robots.txt Lengkap
Meskipun fungsi robot txt terdengar simple, tapi untuk merasakan dampaknya perlu susunan cara yang sistematis. Ada lima tahapan yang bisa menjadi panduan dasar untuk pemula, dan berikut susunannya:
1. Buat File Robots.txt
Langkah atau cara membuat robot txt yang pertama adalah dengan membuat file terlebih dahulu. Buka dulu aplikasi text editor seperti Notepad, TextEdit, atau Visual Studio Code sesuai kenyamanan masing-masing.
Penggunaan aplikasi pengolah kata seperti Microsoft Word di sini sangat tidak disarankan karena bisa memuat format kode tersembunyi. Oleh sebab itu, format plain text atau (.txt) adalah pondasi dasar.
2. Tentukan Aturan Bot dan Tulis Perintah
Saat file sudah siap, langkah lanjutan adalah menentukan aturan dan menulis perintah robots txt sesuai kebutuhan. Kode perintah dasar untuk robots.txt ada beberapa jenis, berikut beberapa pilihan dan artinya:
- User-agent: (artinya semua robot/mesin pencari).
- Allow: / (artinya halaman lain boleh di-crawl atau dijelajahi).
- Disallow: /wp-admin/ (artinya folder ini dilarang di-crawl).
- Sitemap: [https://domainmu.com/sitemap.xml] (https://domainmu.com/sitemap.xml) (artinya kasih jalan ke bot agar langsung menemukan struktur website yang tepat).
Contoh sederhananya seperti ini. Apabila pemilik website ingin mengizinkan Googlebot mengakses semua halaman tapi tidak untuk folder private, maka perintahnya bisa seperti ini:
User-agent: Googlebot
Disallow: /private/
Jadi untuk membuat arahan yang jelas, harus tahu dulu apa kebutuhannya. Tentukan dulu apakah akses ke semua halaman diperbolehkan, ada pembatasan tertentu, atau memang tanpa batasan.
3. Simpan File
Cara membuat robot txt selanjutnya adalah dengan menyimpan file berisi perintah tersebut. Untuk penamaan sendiri wajib “robots.txt”. Semua harus huruf kecil tanpa ada spasi atau karakter lain agar bisa terbaca oleh sistem.
Lalu pastikan juga untuk format yang terpilih adalah “.txt” atau “Text Document”. Apabila penamaan ini tidak sesuai, maka akan sulit masuk proses selanjutnya dan justru bisa membawa dampak buruk untuk website.
4. Cek Robots.txt Pada Website
Sebelum benar-benar mengupload file robots txt ke server, baiknya melakukan pengecekan terlebih dahulu. Hal ini penting agar tidak ada kesalahan konfigurasi atau sampai halaman sensitif terakses dengan mudah.
Cara cek yang pertama bisa dengan browser biasa. Buka browser, kemudian masukkan URL https://www.domainmu.com/robots.txt. Jika nanti file yang muncul sesuai apa yang tadi tersusun, maka artinya sudah benar.
Pengecekan juga bisa melalui Google Search Console. Caranya dengan membuka Google Console, masuk ke “Settings” dan pilih “Robots.txt”, lalu hasilnya terlihat. Opsi lain bisa cek langsung di alat online yang tersedia.
5. Upload ke Server
Rangkaian cara membuat robot txt bisa selesai setelah upload ke server. Media paling umum adalah melalui cPanel, di bagian File Manager. Nantinya akan ada folder utama bernama “Public_html”, dan itulah lokasinya.
File robots.txt ini wajib ada di root directory atau folder paling luar. Tujuannya adalah mesin pencari bisa langsung menemukannya saat pertama kali berkunjung. Oleh sebab itu penempatannya tidak boleh sembarangan.
Alternatif lain bisa dengan memanfaatkan aplikasi FTP client. Langkah ini bisa menjadi solusi saat tidak ingin masuk ke cPanel, tapi tetap ingin membuat robots.txt sampai benar-benar selesai.
Penutup
Keberhasilan dari cara membuat robot txt tersebut akan berpengaruh besar pada optimasi SEO website. Namun jika masih kesulitan soal optimasi tersebut, maka bisa mengunjungi Braikter.com sebagai referensi alternatif cara praktis buat file robots.txt.
Sumber:
https://www.exabytes.co.id/blog/apa-itu-robots-txt-dan-cara-membuatnya/#Cara-Membuat-Robotstxt
https://www.rumahweb.com/journal/robots-txt-adalah/
Komentar