Masalah Diindeks diblokir oleh robots-txt
kali ini saya akan sedikit membahas mengenai permasalahan notifikasi Diindeks meski diblokir oleh robots.txt di Google Search Console.
Di sini saya tidak hanya menjelaskan cara mengatasi permasalahan ini, tapi juga akan menjelaskan kenapa permasalahan ini bisa terjadi. Harapannya tentunya supaya sobat lebih paham mengenai cara kerja mesin pencari, khususnya Google.Langsung saja ke topik pembahasan.
ternyata blogger uga sampai saat ini masih menggunakan file robots.txt untuk mencegah halaman tertentu supaya tidak terindex di mesin pencari.
Halaman tersebut adalah halaman pencarian dan halaman label.
Pada file robots.txt diatas tertulis perintah :
Disallow: /search
Perintah tersebut berfungsi untuk memberitahu mesin pencari supaya tidak mengindex URL yang diawali dengan /search setelah alamat blog.
URL yang diawali dengan /search pada blogger digunakan untuk halaman label dan halaman pencarian.
Contoh URL halaman label = https://adstrikslink.blogspot.com/search/label/Gmail
Contoh URL halaman pencarian = https://adstrikslink.blogspot.com/search?q=gmail
Ada beberapa metode yang bisa digunakan untuk mengatasi permasalahan ini.
pada robots.txt yang digunakan pada fitur custom robots.txt di blogger.
Cara ini dapat menghapus diindeks meski diblokir oleh robots.txt pada google search console.Namun kenyataan nya halaman label dan pencarian masih tetap bisa terindex di halaman pencarian. kita tidak ingin halaman label dan pencarian terindex di halaman pencarian karena halaman tersebut termasuk halaman berkualitas rendah.
Sampai saat ini google masih mendukung tag header robot, dengan kata lain tag header robot tidak diabaikan seperti file robots.txt.
Akhir akhir ini “Tag tajuk robot khusus” di blogger sudah tidak lagi bekerja sebagaimana mestinya. Sudah tidak otomatis tampil tag header robot noindex padavhalaman arsip, label, dan pencarian.
Karena cara tersebut sudah tidak lagi bekerja, maka solusi lain bisa dengan memasang tag meta robot langsung di dalam template.
Caranya Langsung saja salin kode di bawah ini :
Letakan kode tersebut tepat di bawah kode <head> di dalam template.
Hapus perintah Disallow: /search pada file robots.txt.
Mengapa harus hapus Disallow: /search , robot Google tidak daat membaca perintah dari tag meta robot yang sudah dipasang sebelumnya.
Cara menghapusnya masuk ke dashboard blogger > setelan > Crawler dan pengindeksan > Aktifkan fitur robots.txt kustom.
Tambahkan custom robot.txt
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Sitemap: https://adstrikslink.blogspot.com/sitemap.xml
Kemudian save
“Validasi Perbaikan” di dashboard Search Console. tunggu sampai notifikasi “Diindeks meski diblokir oleh robots.txt” hilang.
Beberapa pesan notifikasi lain
Selain notifikasi “Diindeks meski diblokir oleh robots.txt”, hampir dipastikan di Google Search Console juga muncul notifikasi-notifikasi lainnya.
Berikut adalah beberapa notifikasi yang paling umum:
Anomali crawling
Notifikasi ini muncul biasanya karena ada URL postingan yang awalnya sudah terindex di mesin pencari namun sudah dihapus di blog.
Cara mengatasinya bagaimana,Bisa dibiarkan saja atau jika sobat risih sobat bisa mengalihkan URL postingan yang error ke postingan lain dengan menggunakan fitur pengalihan khusus di blogger.
Di-crawl – saat ini tidak diindeks
Peringatan ini biasanya karena ada URL RSS feed yang tidak ditampilkan di hasil pencarian.
Cara mengatasinya bagaimana, Cek daftar URL yang mendapatkan notifikasi ini.
URL RSS feed contohnya seperti ini: https://adstrikslink.blogspot.com/feeds/posts/default
Halaman canonical
peringatan ini muncul karena adanya URL versi mobile dengan seperti ?m=1 di belakang URL.
Ketika kita mengakses blog melalui perangkat mobile, di belakang URL akan otomatis ada tambahan paremeter ?m=1.
Tag kanonis ini pada intinya memberi tahu mesin pencari bahwa URL dengan tambahan ?m=1 dan yang tidak ada tambahannya adalah satu halaman/postingan yang sama, sehingga tidak menyebabkan duplicate content.
Di sini saya tidak hanya menjelaskan cara mengatasi permasalahan ini, tapi juga akan menjelaskan kenapa permasalahan ini bisa terjadi. Harapannya tentunya supaya sobat lebih paham mengenai cara kerja mesin pencari, khususnya Google.Langsung saja ke topik pembahasan.
Kesalahan Diindeks meski diblokir oleh robots.txt
Mungkin banyak yang belum tahu, penyebab utama munculnya peringatan ini adalah karena mesin pencari Google sudah mengabaikan perintah noindex menggunakan file robots.txt.ternyata blogger uga sampai saat ini masih menggunakan file robots.txt untuk mencegah halaman tertentu supaya tidak terindex di mesin pencari.
Halaman tersebut adalah halaman pencarian dan halaman label.
Disallow: /search
Perintah tersebut berfungsi untuk memberitahu mesin pencari supaya tidak mengindex URL yang diawali dengan /search setelah alamat blog.
URL yang diawali dengan /search pada blogger digunakan untuk halaman label dan halaman pencarian.
Contoh URL halaman label = https://adstrikslink.blogspot.com/search/label/Gmail
Contoh URL halaman pencarian = https://adstrikslink.blogspot.com/search?q=gmail
cara mengatasi TerIndex nya URL diawali dengan /search
Ada beberapa metode yang bisa digunakan untuk mengatasi permasalahan ini.
1. Cara Pertama
Cara paling mudah adalah dengan menghapus perintah Disallow: /searchpada robots.txt yang digunakan pada fitur custom robots.txt di blogger.
Cara ini dapat menghapus diindeks meski diblokir oleh robots.txt pada google search console.Namun kenyataan nya halaman label dan pencarian masih tetap bisa terindex di halaman pencarian. kita tidak ingin halaman label dan pencarian terindex di halaman pencarian karena halaman tersebut termasuk halaman berkualitas rendah.
2. Cara Kedua
Optimasi penggunaan tag header robot untuk memberitahu Google supaya tidak mengindex halaman label dan pencarian.Sampai saat ini google masih mendukung tag header robot, dengan kata lain tag header robot tidak diabaikan seperti file robots.txt.
Akhir akhir ini “Tag tajuk robot khusus” di blogger sudah tidak lagi bekerja sebagaimana mestinya. Sudah tidak otomatis tampil tag header robot noindex padavhalaman arsip, label, dan pencarian.
Karena cara tersebut sudah tidak lagi bekerja, maka solusi lain bisa dengan memasang tag meta robot langsung di dalam template.
Caranya Langsung saja salin kode di bawah ini :
<!-- Meta Robot -->
<b:if cond="data:view.isSearch or data:view.isArchive">
<meta content='noindex, noarchive' name='robots'/>
</b:if>Letakan kode tersebut tepat di bawah kode <head> di dalam template.
Hapus perintah Disallow: /search pada file robots.txt.
Mengapa harus hapus Disallow: /search , robot Google tidak daat membaca perintah dari tag meta robot yang sudah dipasang sebelumnya.
Cara menghapusnya masuk ke dashboard blogger > setelan > Crawler dan pengindeksan > Aktifkan fitur robots.txt kustom.
Tambahkan custom robot.txt
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Sitemap: https://adstrikslink.blogspot.com/sitemap.xml
Kemudian save
“Validasi Perbaikan” di dashboard Search Console. tunggu sampai notifikasi “Diindeks meski diblokir oleh robots.txt” hilang.
Beberapa pesan notifikasi lain
Selain notifikasi “Diindeks meski diblokir oleh robots.txt”, hampir dipastikan di Google Search Console juga muncul notifikasi-notifikasi lainnya.
Berikut adalah beberapa notifikasi yang paling umum:
Anomali crawling
Notifikasi ini muncul biasanya karena ada URL postingan yang awalnya sudah terindex di mesin pencari namun sudah dihapus di blog.
Cara mengatasinya bagaimana,Bisa dibiarkan saja atau jika sobat risih sobat bisa mengalihkan URL postingan yang error ke postingan lain dengan menggunakan fitur pengalihan khusus di blogger.
Di-crawl – saat ini tidak diindeks
Peringatan ini biasanya karena ada URL RSS feed yang tidak ditampilkan di hasil pencarian.
Cara mengatasinya bagaimana, Cek daftar URL yang mendapatkan notifikasi ini.
URL RSS feed contohnya seperti ini: https://adstrikslink.blogspot.com/feeds/posts/default
Halaman canonical
peringatan ini muncul karena adanya URL versi mobile dengan seperti ?m=1 di belakang URL.
Ketika kita mengakses blog melalui perangkat mobile, di belakang URL akan otomatis ada tambahan paremeter ?m=1.
Tag kanonis ini pada intinya memberi tahu mesin pencari bahwa URL dengan tambahan ?m=1 dan yang tidak ada tambahannya adalah satu halaman/postingan yang sama, sehingga tidak menyebabkan duplicate content.
Post a Comment for "Masalah Diindeks diblokir oleh robots-txt"