Cara Setting Robots.txt - Mungkin sobat sudah sering mendengar istilah robots.txt. Apa sih robots.txt itu? apakah perlu di setting? bagaimana kalau saya biarkan saja? mungkin masih banyak pertanyaan lain.
Untuk lebih memahami pengertian dan cara kerja robots.txt, supaya lebih difahami, akan saya buat soal jawab seperti pada artikel
Seputar Algoritma Hummingbird.
Apa itu robots.txt?
Robots.txt adalah perintah bagi robot mesin pencari untuk menelusuri atau tidak menelusuri halaman pada blog kita. Boleh dikatakan
robots.txtadalah filter blog kita dari mesin pencari.
Apakah setiap blog mempunyai robots.txt?
Ya, semua blog sudah mempunyai robots.txt yang diberikan oleh blogger. Secara default robots.txt pada blog seperti ini :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED
Untuk melihat robots.txt default, silahkan ketik dibrowser
http://namablogsobat.blogspot.com/robots.txt
Apa arti dari kode-kode di atas?
User-agent: Mediapartners-GoogleRobot Google Adsense merayapi blog
Disallow:Yang tidak diperbolehkan tidak ada
User-agent: *Semua robot Search Engine / mesin pencari
Disallow: /searchTidak diperbolehkan merayapi folder search dan setrusnya, seperti
..../search/label dan
... search/search?updated...Allow: /Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATEDsitemap atau alamat feed blog kita.
Kenapa label tidak dimasukan ke pencarian?
Dengan penulisan kode default
Disallow: /search, artinya perayapan untuk label seperti alamat http://namablog.com/search/label/Tutorial, nantinya tidak akan dirayapi oleh mesin pencari karena Label bukan URL yang real menuju satu halaman tertentu.
Bagaimana cara mencegah robot pada halaman tertentu?
Untuk mencegah google merayapi halaman tertentu di blog sobat, katakan sobat tidak ingin halaman about me diindex oleh mesin pencari. Untuk URL about me pada blog sobat misal : http://namablogsobat.blogspot.com/p/about.html
Maka untuk robots.txt, silahkan copy kode defaut di atas, tambahakan halaman yang tidak diperbolehkan, hasilnya seperti ini :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/about.html
Allow: /
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED
Dimana cara edit robots.txt?
Untuk menambahkan atau editing robots.txt, masuk ke
Setelan >
Preferensi Penelusuran, pada Robots.txt klik
Edit kemudian klik
Ya, kemudian tulis kode robots.txt yang diinginkan >
Simpan Perubahan
Saya tidak pernah utak atik robots.txt, bagaimana?
Tidak apa-apa, blog sobat tetap akan dirayapi oleh robot-robot mesin pencari karena seperti saya sebutkan sebelumnya, setiap blog sudah mempunya robots.txt default.
Hati2 dengan penggunaan robots.txt, apabila salah penulisan bisa jadi blog sobat diabaikan oleh mesin pencari.
.gif "Bisnis Online")
