Cara Setting robots.txt di Blogspot yang Baru

KOMPTIK - Cara setting robot.txt di Blogspot bertujuan agar mesin pencari google (search engine) mudah merayapi (crawling) blog, sehingga membuat artikel atau postingan blog mudah terindex cepat. Jika dilakukan pemasangan dengan benar tentu akan membuat blog menjadi SEO friendly, namun sebaliknya jika diabaikan akan membuat blog dan artikel tidak muncul di search engine.

{tocify} $title={Table of Contents}

Sebagai seorang yang dikatakan blogger pasti ingin artikelnya mudah terindex dan mendapatkan peringkat pertama google. Untuk itu baiknya perlu dilakukan setting robots txt, lanjut bagaimana cara settingnya? Kita simak pembahasannya.

Apa itu robots.txt?

Robots.txt adalah file text yang berisi beberapa baris kode sederhana yang memberi tahu crawler mesin telusur atau file nama yang dapat dan tidak dapat diminta dari situs. File kode ini digunakan untuk menghindarkan situs kamu dari beban berlebih yang terlampau banyak, file yang bukan merupakan mekanisme untuk menyembunyikan halaman web dari Google. (sumber: developers google).

Fungsi dari robots.txt itu apa?

Berdasarkan dari cakupan (sumber: developers google) robots.txt digunakan terutama untuk mengelola trafik crawler ke situs kamu, atau biasanya untuk menyembunyikan halaman dari google.

Setting Robots.txt di Dashboard Blogger Baru

Jika kamu mencari pencarian google tentang cara setting robots.txt atau yang berkaitan dengan kode text robots.txt di blog pasti akan menemukan banyak tutorial yang berbeda. Salah satunya pada pembahasan kali ini, sebenarnya cara setting robots.txt tidak berbeda hanya saja tampilan blogger yang baru sudah berbeda dari tampilan sebelumnya.

Jadi, bila kamu terlewat untuk melihat dashboard blogger bagian setting robots.txt akan sedikit kebingungan, karena tampilan tutorial yang kamu temui berbeda dengan tampilan blogger baru. 

Baiklah, buat kamu yang merasa terlewat dan agak kebingungan langsung saja cara setting robots.txt di dashboard blogger yang baru berikut ini. 

1. Login ke blogger kamu, blogspot.com

2. Pilih menu setelan/ settings - crawlers and indexing 

3. Aktifkan custom robot.txt dan header tags (geser buttom ke kanan) 

4. Pada custom robot.txt isikan dengan text kode berikut: 

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://www.komptik.id/sitemap.xml 

{codeBox}

Ganti "www.komptik.id" dengan alamat blog kamu.

5. Pada bagian Home page tags silahkan pilih all 

6. Pada bagian Archive and search page tags silahkan pilih semua kecuali all dan unavailable_after 

7. Pada bagian Post and page tags silahkan pilih all 

Terakhir dari semua settingan diatas jangan lupa untuk menyimpannya dengan klik simpan/ save.

Cara Memeriksa Robots.txt File

Robots.txt dapat kamu test di browser yang nanti akan menampilkan text kode yang kamu isikan pada custom robots.txt di akhir URL.

Sebagai contoh URL:

https://www.komptik.id/robots.txt {codeBox}

Note. custom robots.txt juga bisa digunakan untuk mengcrawl kesalahan "error index google" atau error di tolak google saat meminta inspeksi URL, seperti error server 5xx. {alertInfo}

Gambar artikel asli: https://www.wahyuiwe.com/2021/01/cara-setting-robot-txt-di-blogger-terbaru.html.html

sampai jumpa di artikel-artikel selanjutnya. Semoga bermanfaat.

Blog menggunakan terjemahan otomatis Google