Cara Cepat Mengatasi URL yang Dicekal Robots.txt

INVHO.com - Mengenai pengertian, fungsi dan sebagainya tentang robots.txt silahkan kunjungi atau klik tautan berikut: Bantuan Search Console.

Ilustrasi-Robots.txt-Google
source www.republika.co.id
Untuk mengetahui apakah ada URL dalam blog Anda yang cekal oleh robots.txt maka Anda harus berkunjung ke webmaster tools. Gambar di bawah ini ada 1 URL yang di cekal oleh robots.txt:

1 URL dicekal robots.txt
 
Cara cepat untuk melihat blog Anda ada URL yang dicekal robots.txt di webmaster tools, silahkan copy link berikut ke tab baru:

https://www.google.com/webmasters/tools/index-status?hl=in&siteUrl=http://www.nama-blog.com/&is-view=a&is-indx=true&is-rbt=true

*Note: Ganti yang berwarna merah dengan alamat blog Anda dan pastikan Anda sudah login sebelum menuju link nya.

Jika tidak ada URL yang di cekal robots.txt maka tidak perlu ada perbaikan, namun jika ada URL yang dicekal robots.txt maka langkah selanjutnya yang Anda lakukan adalah segera memperbaikinya. Mengapa segera? karena dampak dari URL yang di cekal di situs Anda sangat berpengaruh terhadap trafik, trafik akan mengalami penurunan secara drastis. Berikut 5 step cara mengatasinya:

Pertama, silahkan login ke dashboard blogger Anda.

Kedua, klik Settings - Search preferences - Custom robots.txt kemudian klik edit dan pilih yes. Lihat gambar:

Custom Robots.txt
 
Ketiga, pada menu edit silahkan masukkan robot.txt berikut lalu save:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: https://www.domain.com/sitemap.xml

**Note: Ganti yang berwarna merah dengan domain blog Anda.

Keempat, klik pada custom robots header tags dan pilih edit pilih yes. Lihat gambar:

Custom Robots Header Tags
Custom Robots Header Tags
***Note: Centang dan pastikan sesuai gambar, kemudian save.

Kelima, selesai dan selebihnya Anda bersabar saja dan tetap seperti rutinitas biasanya yaitu menulis artikel. Dalam beberapa hari URL yang di cekal robots.txt akan segera hilang dengan sendirinya.

Itulah penjelasan singkat dari saya tentang "Cara Cepat Mengatasi URL yang Dicekal Robots.txt". Semoga bermanfaat dan dapat membantu Anda.

1 comment for "Cara Cepat Mengatasi URL yang Dicekal Robots.txt"

  1. Kak, buat 2020 ini masih work gak tutorialnya ini ya?

    ReplyDelete