Cara Mengatur Robot.txt dan Tag tajuk Robot di Blogspot Agar Lebih SEO Friendly
Sebelum masuk pada ke topik pembahasan cara setting atau mengatur robot.txt agar lebih SEO Friendly. Apa itu robot.txt? adalah robot atau biasa di sebut protocol robot.txt. robot.txt berfungsi untuk membantu pengguna blogspot mencegah web crawler untuk mengakses sebagian atau keseluruhan bagian untuk di tidak di beri izin pengindexsan.
Apa fungsi dari robot.txt? fungsi robot.txt adalah agar dapat mengontrol sebuah halaman tertentu dalam sebuah blog atau situs untuk tidak diberi izin penulusuran oleh mesin pencari, atau mesin situs jaringan media social, seperti facebook, Friendster, twitter dan lain sebagainya.
Apa robot.txt itu penting? Robot.txt penting atau tidak-Nya tergantung dari masing – masing pengguna, sesuai dengan kebutuhan masing – masing pengguna. Nah dengan mengganti robot.txt bawaan blogger akan memberikan dampak pada SEO friendly, dengan mengganti robot.txt bawaan pengguna dapat menentukan apa – apa saja yang harus di izinkan untuk di index dan apa saja yang tidak di perbolehkan untuk di index.
Nah berikut ini langkah – langkah dalam mengaur atau merubah robot.txt bawaan blogger, silahkan di baca baik – baik.
1. Login Ke Akun Blogger
2. Klik Stelan
3. Preferensi Penelusuran
4. Cari Robot.txt Khusus
5. Klik Edit
6. Aktifkan Robot.txt Khusus? Klik YA
Sekarang pastekan robot.txt di kolom yang telah di sediakan, teman tinggal memilih robot.txt yang teman – teman ingikan di bawah ini.
1. Menggunakan Robot.txt Bawaan Blogger
Menggunakan robot.txt bawaan blogger, robot.txt bawaan blogger ini sangat aman dan paling efektif, pada saat pertama kali membuat blog robot.txt ini sudah aktif karena robot.txt ini adalah robot.txt bawaan blogger sendiri. Nah berikut ini robot.txt bawaan dari blogger.
Untuk Keterangan
User-agent: Mediapartners-Google, sebagai penanda jika blog kita menggunakan adsense
Disallow:, sebagai yang tidak diperbolehkan yang tidak ada
User-agent: *, di isinkan untuk semua mesin pencari
Disallow: /search, agar tidak memberikan izin alamat url setelah /search misalnya label
Allow: /, untuk mengisinkan untuk di rayapi oleh mesin pencari
Sitemap: https://LINK.blogspot.com/sitemap.xml, peta situs blog
2. Menggunakan Robot.txt Custom
Menggunakan robot.txt bawaan dari blogger sebenar-Nya sudah cukup, namu jika teman – teman ingin menggunakan memodifikasi robot.txt, maka teman – teman bisa mengikuti robot.txt berikut ini.
User-agent: Mediapartners-Google
Disallow: User-agent: *
Disallow: /search
Allow: /
Sitemap: https://domainblog.com/sitemap.xml
Disallow: User-agent: *
Disallow: /search
Allow: /
Sitemap: https://domainblog.com/sitemap.xml
Untuk Keterangan
User-agent: Mediapartners-Google, sebagai penanda jika blog kita menggunakan adsense
Disallow:, sebagai yang tidak diperbolehkan yang tidak ada
User-agent: *, di isinkan untuk semua mesin pencari
Disallow: /search, agar tidak memberikan izin alamat url setelah /search misalnya label
Allow: /, untuk mengisinkan untuk di rayapi oleh mesin pencari
Sitemap: https://LINK.blogspot.com/sitemap.xml, peta situs blog
2. Menggunakan Robot.txt Custom
Menggunakan robot.txt bawaan dari blogger sebenar-Nya sudah cukup, namu jika teman – teman ingin menggunakan memodifikasi robot.txt, maka teman – teman bisa mengikuti robot.txt berikut ini.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Disallow: /p/contact.html
Allow: /
Sitemap: https://LINK.blogspot.com/sitemap.xml
Disallow:
User-agent: *
Disallow: /p/about.html
Disallow: /p/contact.html
Allow: /
Sitemap: https://LINK.blogspot.com/sitemap.xml
Menggunakan robot.txt Custom di atas dapat membatasi spider mesin pencari untuk merayapi halaman – halaman yang tidak di ingin di dirayapi oleh spider mesin pencari, seperti pada contoh robot.txt di atas untuk tidak memberikan izin kepada spider mesin pencari untuk merayapi halaman about dan contact. Nah untuk menambah halaman yang tidak ingin di telusuri silahkan menambah dengan mengikuti contoh di atas.
3. Mengatur Tag Tajuk Robot Khusus
Berikut cara Untuk mengaktifkan tag tajuk robot khusus
1. Login Ke Akun Blogger
2. Klik Stelan
3. Preferensi Penelusuran
4. Tag Tajuk Robot Khusus
5. Klik edit dan aktifkan
Silahkan teman - teman mengikuti tag tajuk robot khusus pada gambar di bawah ini.
Menguji RoboT.txt
Untuk menguji robot.txt teman – teman bisa masuk ke webmaster tools kemudian klik Perayapan/Crawl => Penguji Robot.txt/ Robot.txt Tester. Untuk lebih jelas-Nya lihat gambar di bawah ini.
Kesimpulan
Ada yang harus teman – teman ingat dalam mengatur robot.txt khusus yaitu “Peringatan! Gunakan dengan hati-hati. Penggunaan yang tidak tepat dari fitur tersebut dapat mengakibatkan blog Anda diabaikan oleh mesin telusur”. Nah Mungkin itu sedikit ulasan tentang mengatur Robot.txt khusus pada blog agar lebih SEO Frandly, semoga bermanfaat.