Setelah membahas dan melakukan optimasi pada robot.txt, optimasi SEO lainnya yang bisa dilakukan adalah mengisi robot meta tag. Dengan menggunakan robot.txt, hal-hal duplikasi content (konten) di situs sendiri dapat diminimalisir. Namun tidak semua hal bisa diblokir walaupun telah melakukan optimasi pada robot.txt seperti yang pernah dibahas pada postingan sebelumnya.

Dinamisnya WordPress (WP) membuat banyak content yang saling bersaing 1 sama lainnya. Permalink yang tidak dapat diblokir contohnya adalah :  /2009/, /2009/11, /search/judul-post, dsb.

Untuk menghindari hal tersebut, kita dapat melakukan sedikit perubahan (tweak) pada header.php theme yang Anda gunakan. Tambahkan di antara tag <head></head> (untuk gampang nya, copy paste code di bawah ini tetap sebelum </head> ) :

<?php if((is_single()||is_page()||(is_home()&&!is_paged()))&&!is_attachment()) { ?>
<meta name=”googlebot” content=”index,follow” />
<meta name=”robots” content=”all,index,follow” />
<meta name=”msnbot” content=”all,index,follow” />
<?php } else { ?>
<meta name=”googlebot” content=”noindex,noarchive,follow” />
<meta name=”robots” content=”noindex,follow” />
<meta name=”msnbot” content=”noindex,follow” />
<?php } ?>

Perintah atau coding di atas memberitahukan kepada googlebot, msnbot dan robot search engine lainnya hanya melakukan index dan follow pada post itu sendiri, page pada wordpress dan pada attachment.  Selain itu tidak akan diindex, walaupun tetap di-follow.