Menggunakan Robot.txt Untuk Optimalkan SERP

Jocker ID - Untuk mengoptimalkan SERP (Search Engine Result Page) anda harus menyaring setiap artikel atau halaman situs anda dari yang namanya broken link. Broken link itu beragam dan mungkin beberapa kodenya belum sempat berkenalan dengan anda. Tapi untuk sesi ini saya hanya membahas error yang umum terjadi saja, karena memang error seperti kode selain 404 ini jarang terjadi pada blog. 

Tak bisa dipungkiri bahwa setiap situs maupun blog akan selalu mendapati halaman yang tak ditemukan, entah itu karena dihapus oleh Google atau bisa saja anda sendiri yang menghapusnya. Nah, seperti para master berkata "Hapuslah broken link 404 tersebut menggunakan webmaster tool supaya SEO Friendly.". Saya setuju dengan yang mereka katakan tapi hanya sedikit yang bisa membuat saya nyaman. Kembali kepada pengalaman pemirsa (harus ingat, pengalaman adalah guru paling hebat di dunia), Riset saya membuktikan bahwa URL yang telah anda hapus di Webmaster Tool tak sepenuhnya terhapus atau kata lainnya tidak permanen (jadi, kata siapa permanen), mungkin hanya beberapa link saja yang sukses terhapus, tapi jangan panik bila anda mendapatinya kembali di dasbor Webmaster dengan kode 404.

Baiklah, akan saya bagikan caranya agar link-link mati, URL yang tak ada kontennya, halaman tak ditemukan yang muncul di SERP bisa anda hilangkan secepat kelinci berlari sehingga tak muncul kembali di halaman pencarian Google. Caranya sangat mudah tapi hanya sebagian orang yang menyadarinya.

Contoh: Saya akan menghapus satu halaman yang beralamat seperti ini http://jocker-id.blogspot.com/2013/11/cara-blokir-gambar-google-chrome-disable-image-tips.html. Dengan sedikit editor, ambil sebagian dari url tersebut dimulai dari tahun dan bulan yang seperti saya warnai kuning di atas (jangan sampai tertinggal garis miring setelah dot com). Bila anda sudah mendapatkannya, silakan konversikan ke bahasa Robot.txt dengan penulisannya seperti ini

Disallow: /2013/11/cara-blokir-gambar-google-chrome-disable-image-tips.html

Simpan kode seperti di atas di pengaturan robot.txt, Blogger - Setelan - Preferensi penelusuran - robot.txt khusus - simpan kode tersebut di akhir baris hingga susunan lengkapnya seperti ini

User-agent: *
Disallow:
Disallow: /cgi-bin/
Disallow: /search/
Disallow: /feeds/comments/default
Disallow: /2013/11/cara-blokir-gambar-google-chrome-disable-image-tips.html

Jelasnya seperti gambar di bawah:

Image: Jepret Kelinci

Dengan melakukan seperti hal di atas, halaman yang telah terhapus tidak akan pernah diindeks lagi oleh Google (karena telah dicekal oleh Robot.txt / Disallow code) dan pastinya takkan pernah muncul di SERP (Search Engine Result Page) sehingga tidak akan memberikan kesan menipu kepada para pengunjung yang datang. Semoga bermanfaat.