File robots.txt Kustom Blogger untuk Meningkatkan SEO Blog pada tahun 2023
Setiap bot perayapan Mesin telusur pertama kali berinteraksi dengan file robots.txt dan aturan perayapan situs web. Itu berarti robots.txt memainkan peran penting dalam optimasi mesin pencari blog Blogger. Artikel ini akan menjelaskan cara membuat file robots.txt kustom yang sempurna di Blogger dan mengoptimalkan blog untuk mesin pencari.
Apa fungsi dari file robots.txt?
File robots.txt menginformasikan mesin pencari tentang halaman yang harus dan yang tidak boleh dirayapi. Oleh karena itu memungkinkan kita untuk mengontrol fungsi bot mesin pencari.
Dalam file robots.txt, umumnya kita mendeklarasikan fungsi user-agent, allow, disallow, sitemap untuk mesin pencari seperti Google, Bing, Yandex, dll. Sekarang mari kita pahami arti dari semua istilah ini.
Biasanya, kita menggunakan tag meta robot untuk semua mesin pencari yang merayapi bot untuk mengindeks posting blog dan halaman di seluruh web. Tetapi jika Anda ingin menghemat waktu perayapan, memblokir bot mesin pencari di beberapa bagian situs web, Anda harus memahami file robots.txt untuk blog Blogger.
Analisis file Robots.txt default dari Blog Blogger
Untuk membuat file robots.txt khusus yang sempurna untuk blog Blogger. Pertama, kita harus memahami struktur blog Blogger dan menganalisis file robots.txt default.
Secara default, file ini terlihat seperti:
- Baris pertama (User-Agent) dari file ini menyatakan tipe bot. Ini dia Google AdSense, yang tidak diperbolehkan (dinyatakan di baris ke-2). Itu artinya iklan AdSense dapat muncul di seluruh situs web.
- User-agent berikutnya adalah *, yang berarti semua bot mesin pencari tidak diizinkan ke / halaman pencarian. Itu berarti tidak diizinkan untuk semua halaman pencarian dan label (struktur URL yang sama).
- Dan izinkan tag menentukan bahwa semua halaman selain bagian yang Disallow akan diizinkan untuk dirayapi.
- Baris berikutnya berisi peta situs posting untuk blog Blogger.
Ini adalah file yang hampir sempurna untuk mengontrol bot mesin pencari dan memberikan instruksi agar halaman dapat dirayapi atau tidak dirayapi. Harap dicatat, di sini, apa yang diizinkan untuk dirayapi tidak akan memastikan bahwa halaman akan diindeks.
Tetapi file ini memungkinkan untuk mengindeks halaman arsip, yang dapat menyebabkan masalah duplikat konten. Artinya akan membuat sampah bagi blog Blogger.
Cara membuat file robots.txt kustom Sempurna untuk Blog Blogger.
Kita harus memahami bagaimana file robots.txt default menjalankan fungsinya untuk blog Blogger. Mari kita optimalkan untuk SEO terbaik.
Robots.txt default memungkinkan arsip untuk mengindeks yang menyebabkan masalah duplikat konten. Kita dapat mencegah masalah duplikat konten dengan menghentikan bot agar tidak merayapi bagian arsip. Untuk ini,
/search* akan menonaktifkan perayapan semua halaman pencarian dan label.
Terapkan aturan Disallow /20* ke dalam file robots.txt untuk menghentikan crawling bagian arsip.
Aturan /20* akan memblokir perayapan semua posting, Jadi untuk menghindarinya, Anda menerapkan aturan Izinkan baru untuk bagian /*.html yang memungkinkan bot merayapi posting dan halaman.
Peta situs default menyertakan posting, bukan halaman. Jadi Anda harus menambahkan peta situs untuk halaman yang terletak di bawah https://example.blogspot.com/sitemap-pages.xml atau https://www.example.com/sitemap-pages.xml untuk domain khusus.
Jadi file robots.txt kustom baru yang sempurna untuk blog Blogger akan terlihat seperti ini.
Anda harus mengganti www.example.com dengan domain Blogger atau nama domain khusus Anda. Misalnya, nama domain kustom Anda adalah www.akudankau.com, maka peta situs akan berada di https://www.akudankau.com/sitemap.xml. Setelah itu, Anda dapat memeriksa robots.txt saat ini di https://www.example.com/robots.txt.
File di atas, pengaturannya adalah praktik robots.txt terbaik untuk SEO. Ini akan menghemat waktu perayapan situs web dan membantu blog Blogger muncul di hasil pencarian. Anda harus menulis konten yang SEO-friendly untuk muncul di hasil pencarian.
Bagaimana cara mengedit file robots.txt dari blog Blogger?
File Robots.txt ini terletak di tingkat akar situs web. Tapi di Blogger tidak ada akses root, jadi bagaimana cara mengedit file robots.txt ini?
Blogger menyediakan semua pengaturan file root di bagian pengaturannya seperti file robots.txt dan ads.txt. Anda harus masuk ke akun Blogger dan mengedit file robots.txt.
- Buka Dashboard Blogger dan klik opsi pengaturan,
- Gulir ke bawah ke bagian perayap dan pengindeksan,
- Aktifkan robots.txt khusus dengan tombol sakelar.
- Klik pada robots.txt khusus, sebuah jendela akan terbuka, tempel file robots.txt, dan perbarui.
Setelah memperbarui file robots.txt khusus untuk blog Blogger, periksa dengan mengunjungi https://www.example.com/robots.txt, di mana www.example.com harus diganti dengan alamat domain Anda.
Kesimpulan.
Anda harus memahami fungsi file robots.txt dan membuat file robots.txt khusus yang sempurna untuk blog Blogger. Pengguna blog Blogger dapat mengatur file robots.txt di atas untuk hasil terbaik.
Di file robots.txt default, bagian arsip juga diizinkan untuk dirayapi, yang menyebabkan masalah konten duplikat untuk mesin telusur. Dan karenanya mesin pencari menjadi bingung tentang apa yang akan ditampilkan dalam hasil pencarian dan tidak mempertimbangkan halaman Anda untuk hasil pencarian.
Ini berarti tag Robot sangat penting untuk SEO situs web. Anda dapat mempertimbangkan untuk menggabungkan robots.txt dan tag meta robots di blog Blogger untuk hasil terbaik.
