Cara Mengaktifkan Dan Setting Robots.txt Blogger

The Robot Exclusion Standard, juga dikenal sebagai Robots Exclusion Protocol atau robots.txt protokol, adalah konvensi untuk mencegah web crawler bekerja sama dengan robot web lain untuk mengakses semua atau bagian dari sebuah website yang jika dilihat secara terbuka. Robot sering digunakan oleh mesin pencari untuk mengkategorikan dan arsip situs web, atau webmaster untuk mengoreksi kode sumber. Standar berbeda, tetapi dapat digunakan bersama, Sitemaps, inklusi robot standar untuk website.

Jika seorang pemilik situs ingin memberikan instruksi kepada robot web mereka harus menempatkan sebuah file teks yang disebut robots.txt di root dari hirarki situs web (misalnya www.example.com /robots.txt). File teks harus berisi petunjuk dalam format tertentu. Robot yang memilih untuk mengikuti instruksi mencoba untuk mengambil file ini dan membaca petunjuk sebelum mengambil file lainnya dari situs web. Jika file ini tidak ada robot web berasumsi bahwa pemilik web ingin tidak memberikan instruksi spesifik.

Sebuah file robots.txt pada sebuah situs web akan berfungsi sebagai permintaan agar robot tertentu mengabaikan file tertentu atau direktori ketika merangkak dalam sebuah situs. 

Untuk website dengan beberapa subdomain, subdomain masing-masing harus memiliki file robots.txt sendiri. Jika example.com memiliki file robots.txt tapi a.example.com tidak, aturan yang akan berlaku untuk example.com tidak akan berlaku untuk a.example.com

Langkah-langkah setting Robots.txt untuk Blogger :

1. Login ke akun Blogger Anda

2. Klik Setelan > Preferensi Penelusuran

3. Pada Tab Perayapan dan Pengindeksan muncul menu robots.txt khusus pilih edit

 

4. Kemudian masukkan perintah dibawah ini :

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.mas-adhie.web.id/feeds/posts/default?orderby=UPDATED

Ganti www.mas-adhie.web.id dengan alamat URL blog Anda. kemudian klik Simpan untuk menyimpan  dan mengaktifkan robots.txt