Optimasi SEO Blogspot Dengan Robots.txt

Sekarang untuk Optimasi SEO di blog sudah sangat mudah, tidak seperti dulu pada tampilan blogspot lama masih terkesan rumit. Optimasi SEO Blogspot dengan Robots.txt memanng sangat perlu dilakukan agar Google makin ramah dengan blog kita.  Kali ini saya akan sedikit share tentang Optimasi SEO Blogspotdengan Robots.txt. Apa itu Robots.txt dan apa fungsinya.

Apa fungsi dan Peran Robot.txt dalam Mengoptimalkan SEO?

Robot.txt merubakan sebuah virtual file yang dapat disetting secara Onpage. Fungsinya ibarat rambu-rambu lalu lintas bagi crawler mesin pencari seperti googlebot saat sedang merayapi seluruh isi blog kita. File robot.txt ini memungkinkan kita untuk mengontrol dan memberikan izin bagi crawler mesin pencari, mana yang boleh diakses dan mana yang tidak boleh. untuk pengaturan robot.txt ini hanya dikenal dua perintah yaitu ALLOW untuk perintah "diizinkan" dan DISALLOW untuk perintah "tidak mengizinkan".


Robots.txt

Custom Robot.txt Untuk Optimasi SEO Blogspot

Sebelum kita mengaktifkan fitur robot.txt ini pengaturan meta index (noindex dan nofollow) untuk optimasi SEO Blogger dilakukan melalui update meta tag pada dokumen HTML template, dengan adanya fitur ini sekarang pengaturannya menjadi semakin mudah, secara default robots.txt memiliki dua baris perintah seperti di bawah ini :
User-agent: *
Disallow:
Perintah pada baris pertama di atas adalah identifikasi user-agent atau crawler search engine, agregator maupun robot pengindex lainnnya seperti googlebot dan lain-lain. Sedangkan perintah pada baris ke dua adalah perintah larangan bagi robot pengindex untuk mengindex konten blog.

Perintah di atas jika diterjemahkan :
User-agent: * = Seluruh robot peng-index dibolehkan untuk mengindex blog atau situs
Disallow: = Seluruh konten blog atau situs dari root directory sampai ke sub directory termasuk archive dan halaman statis, diperbolehkan untuk diindex. Jika ingin melakukan pelarangan anda tinggal menambahkan karakter slash (/) pada baris kedua sehingga bentuknya akan menjadi seperti ini :
User-agent: *
Disallow: /
Perintah ini akan melarang seluruh robot peng-index dari search engine, agregator dan lain-lain untuk mengindex seluruh konten blog atau situs

Robots.txt

Nah untuk mengaktifkannya silahkan login keblog anda kemudian pilih Setelan > Preferensi Penelusuran. Pada bagian aktifkan Preferensi penelusuran pilih ya dan pada bagian kolom yang tersedia isi dengan perintah seprti dibawah ini:
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /
Sitemap: http://namabloganda.blogspot.com/feeds/posts/default?orderby=updated
Jika perintas diatas diterjemahkan:

User-agent: Mediapartners-Google
Disallow:

Untuk baris diatas artinya adalah memberikan izin pada user agent google adsense untuk mengcrawl seluruh konten blog agar bisa menampilkan iklan yang relevan. Ini sangat penting jika blog menggunakan Google Adsense  tentu perintah ini dibutuhkan agar iklan yang ditampilkan relevan dan tepat sasaran.

User-agent: *
Disallow: /search
Allow: /


Perintas diatas artinya mengizinkan seluruh user-agent Search Engine untuk mengcrawl seluruh konten blog, kecuali direktory yang berisi label blog karena ada perintah DISALLOW yang melarang robot Search Engine mengcrawl direktory ini.

Sitemap: http://namabloganda.blogspot.com/feeds/posts/default?orderby=updated

Untuk perintah ini adalah perintah yang menambahkan sitemap dimana feeds ditambah perintah orderby, berisi list dari update terbaru. Perintah ini akan membantu mempercepat pengideksan blog pada mesin pencari

Itulah sedikit yang saya share tentang Optimasi SEO Blogspot dengan Robots.txt. Semoga bisa bermanfaat.