Cara Membuat Robots.txt di Wordpress Self Hosting

Cara Membuat Robots.txt perlu diterapkan pada blog wordpress self hosting. Cara membuat robots.txt di wordpress tidak sama dengan cara membuat robots.txt di blogspot. Membuat file robots.txt adalah salah satu strategi untuk meningkatkan kualitas SEO pada situs wordpress. Salah satu funsi dari robots.txt ini adalah informasi rambu-rambu bagi robot google yang akan merayapi situs anda. File robots.txt ini akan memberi petunjuk pada google tentang halaman yang boleh dan tidak boleh diindex.

Apa Itu Robots.txt

Robots.txt adalah file yang memuat rambu-rambu untuk robot google search. Di dalam file ini, akan berisi tentang halaman mana yang akan di index atau tidak di index. File Robots.txt juga bisa menjadi pintu masuk bagi robot perayap apa saja yang diizinkan.

Setiap kali bot mesin pencari datang ke situs Anda, ia membaca file robots.txt dan mengikuti petunjuknya. Dengan menggunakan file ini, anda dapat memberitahukan bot google bagian mana dari situs anda untuk dirayapi dan bagian mana yang harus dihindari. Namun, jika file robots.txt tidak ada pada wordpress anda maka bot google akan merayapi semua halaman situs anda.

Mengapa Tidak Membiarkan Google Merayapi Semua Halaman Situs?

Robot google telah dirancang secanggih mungkin untuk merayapi dan mengindeks informasi sebanyak mungkin dari sebuah situs.

Mungkin anda pasti akan bertanya mengapa tidak membiarkan saja robot google untuk mengindeks semua halaman web kita? Bukankah semakin banyak yang dirayapi maka semakin banyak pula yang terindex oleh google?

Pertanyaan anda sama dengan pertanyaan saya pertama kali belajar ngeblog. Saya sempat gagal faham tentang penggunaan fitur robots.txt ini. Ternyata, setelah saya analisa ada beberapa hal yang secara umum kita tidak boleh membiarkan robot google untuk mengindex semua halaman postingan kita.

Alasan tersebut yaitu:

1. Jika semua data di rayapi oleh robot google dan terindex, maka sama halnya kita menampakkan isi dalam rumah yang akan membuat orang jahat mengincar keselamatan anda. Sama halnya dengan situs, jika semua data di indekx ke mesin pencari maka hal ini akan membuat situs kita gampang untuk di hacker. Hacker tentu akan senang mendapat informasi tentang situs kita dengan mudah hanya dari google index.
2. Jika robot google berlama-lama di situs kita maka hal ini akan membuat konsumsi bandwidth semakin besar pula. Imbasnya, situs kita menjadi lambat.
3. Menghindari robot google berlama-lama disitus kita adalah penting. Maksudnya begini, kita berupaya agar ketika robot google datang untuk merayapi halaman web kita, robot tersebut langsung mendapat informasi yang memang harus diindekx tanpa membiarkan robot tersebut berlama-lama merayapi halaman-halaman yang tidak penting. Dengan demikian maka google akan lebih cepat dalam mengindeks halaman website kita.

Cara Membuat Robots.txt di Wordpress Self Hosting

Jika sudah mengerti fungsi dari robots.txt itu sendiri maka selanjutnya bagaimana kita dapat membuat robots.txt itu sendiri. File robots.txt sebenarnya berada di folder public_html. Jika belum ada, maka tugas kita adalah membuat file dengan nama "robots.txt" dan menyimpannya di folder public_html tadi.

File robots.txt berisi tentang perintah yang diizinkan dan yang tidak diizinkan atau yang kita kenal dengan instilah "Allow" dan Disallow".

Halaman yang tidak kita inginkan untuk diindex selalu berada di baris disallow dan semau yang di izinkan selalu berada dibaris allow. Berikut ini contoh penerapan file robots.txt.

User-Agent: *
Allow: /?display=wide
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /refer/
Sitemap: https://www.bumianoa.com/post-sitemap.xml

Penerapan file robots.txt sebenarnya sangat sederhana. Baris pertama biasanya berisi nama agen penguna atau user agent. User agent adalah robot perayap yang ingin diberitahu misalnya googelbot, bingbot, dll. User agent biasanya disimbolkan dengan tanda * yang artinya semua bot.

Baris pertama biasanya memberi nama agen pengguna. Agen pengguna atau (User-Agent) adalah nama bot pencarian yang ingin Anda ajak berkomunikasi. Misalnya, Googlebot atau Bingbot. Anda bisa menggunakan tanda asterisk * untuk menginstruksikan semua bot.

Dari contoh kode diatas kita melihat bahwa ada beberapa halaman dan file yang tidak diizinkan untuk di indeks robot perayap.

Salah satu yang perlu diperhatikan dalam menerapkan file robots.txt di wordpress yaitu agar tidak menyembunyikan konten berkualitas rendah dengan robots.txt. Kemuadian jangan menggunakan file robots.txt Anda untuk menghentikan google mengindeks kategori, tanggal, dan halaman arsip Anda lainnya. File robot.txt hanya akam memberikan instruksi tetapi tidak akan menghentikan perayapan.

Halaman login wordpress, direktori admin, atau halaman registrasi juga tidak perlu lagi ditambahkan dalam baris disallow file robots.txt karena telah memiliki tag nonindex yang otomatis dari wordpress.

Untuk alasan keamanan diharapkan agar menambahkan anda menambahkan file readme.html di baris disallow robots.txt. File ini sering digunakan oleh seseorang ingin mengetahui versi wordpress yang anda gunakan.

Anda juga perlu menambahkan direktori plugin wordpress untuk menghindari seseorang yang akan mengeksploitasi file-file plugin wordpress anda.

User-agent: *
Allow: /
Allow: /wp-admin/admin-ajax.php
Disallow: /cgi-bin/
Disallow: /archives/
disallow: /*?*
Disallow: *?replytocom
Disallow: /comments/feed/
Disallow: /wp-register.php
Sitemap: https://www.bumianoa.com/post-sitemap.xml

Silahkan anda modifikasi sesuai kebutuhan pada situs anda. Jika sudah selesai, tunggu beberapa saat dan anda ke webmaster tool untuk menguji dan mengirimkan robots.txt di google.

Subscribe to receive free email updates: