Cara Setting Plugin Robot Meta Tag dan Membuat Robots.txt

Robot meta adalah salah satu plugin yang sangat bagus untuk seo selain all in seo yang begitu popular.Plugin ini tak kalah pentingnya karena meringankan tugas seorang blogger dalam mengontrol robot meta tag dan atribut untuk link.Untuk mengontrol atribut link mungkin ada juga yang harus dilakukan secara manual andaikata plugin ini tidak mengontrol link tersebut.Untuk melihat dan memastikan segalanya berjalan sesuai yang diinginkan,selalu lihat sourcenya dengan memakai seo quake.

Saya juga sekalian menjelaskan cara untuk membuat file robot.txt berikut dengan konfigurasinya yang pastinya akan berbeda tergantung kebutuhan anda dan tergantung isi dari home directory/public_html.Berikut adalah detailnya

Cara setting plugin robot meta tag dan membuat robots.txt 

 Cara Setting Plugin Robot Meta Tag dan Membuat Robots.txt 

Di kolom ini kita dapat mengatur apakah comment RSS dan juga semua RSS untuk di index atau tidak,sebaiknya comment rss feed disetting agar tidak diindex

The site result page = ini untuk mengatur apakah search engine akan mengindex halaman hasil pencarian di situs kita atau tidak.Sebaiknya di centang,dan bila di centang plugin ini akan menambahkan meta robot “noindex,follow” agar halaman hasil pencarian di situs kita tidak di index namun search engine masih akan menjelajah link yang terdapat di halaman tersebut.

All admin pages= Sebaiknya di centang agar search engine tidak mengindex semua halaman admin di situs kita

Sub pages= Bila di centang maka mesin pencari tidak akan mengindex sub halaman kita,sebaiknya jangan di centang

Author archives= Sebaiknya di centang agar link menuju halaman author archieve tidak di index,karena halaman archieve tak jauh berbeda dengan homepage.ini berguna untuk mecegah duplikasi konten

Data-base archieves= Kurang lebih sama seperti diatas,hanya ini arsip berdasarkan tanggal

Category archievse= Bila di cek berarti halaman kategori tidak akan diindex oleh mesin pencari.Ini tergantung lagi kepada anda apakah menggunakan kategori sebagai alat navigasi untuk bagaimana user menemukan situs anda melalui mesin pencari ,bila ya maka biarkan kategori untuk di index agar tampil di hasil pencarian mesin pencari

tag archieve= Sama seperti diatas,hanya kata “kategori” diganti dengan tag.Namun sebaiknya jangan gunakan kategori dan tag agar keduanya di index,lagi-lagi karena kedua halaman itu bisa jadi mirip dan pastikan untuk memberi atribut nofollow pada salah satunya seperti yang akan diterangkan setelah kolom indexing ini.

Oh dan pastikan settingan ini di sinkronkan dengan settingan yang ada di plugin All in one seo pack agar tidak ada dua meta robot yang sama atau kontra,jadi bila di AIO seo di centang ,maka di plugin ini jangan dan sebaliknya.

add no archieve meta tag=Ini untuk mencegah berbagai robot sperti Web archieve atau Open Directory Project atau biasa disebut DMOZ (bila memang situs anda di submit ke DMOZ) dan juga Google sendiri agar tidak membuat cache untuk halaman-halaman di situs kita,biasa tampil kalau di hasil pencarian dengan nama “tembolok” Tapi bisa jadi juga ini tidak berjalan sesuai yang diinginkan malah mencegah total mesin pencari untuk mengindex situs kita dengan kode request http 403 forbidden.

Di skrinsut di atas saya tidak mencentang pilihan ini karena pas waktu nulis post ini saya lagi trouble shooting tentang apa kira-kira yang menyebabkan 403 forbidden di situs saya ini.Pastikan anda mengecek segalanya di webmaster tools.

DMOZ dan Yahoo! directory=Sebaiknya di centang agar mesin pencari lainnya tidak menggunakan deskripsi tentang situs kita menggunakan deskripsi dari DMOZ dan juga Yahoo! directory di halaman  hasil pencarian mereka.Plugin ini akan menambahkan meta robot tag “noodp” no open directory project dan “noydir” no yahoo directory

Enforce a trailing slash….=bila di centang plugin ini akan memaksa wordpress menambahkan karakter slash”/” pada akhir setiap permalink.Bila memang settingan permalink anda adalah menggunakan akhiran ekstensi saja seperti .html atau .php atau .htm atau .aspx dan juga tidak ditutup dengan karakter slash maka centang pilihan ini,karena setiap URL yang “seo banget” harus diakhiri dengan slash

Redirect attachment URL’s….=Ini untuk meredirect URL dari attacment kembali pada post tempat ia di sematkan.Terserah mau di centang atau tidak.

Disable author and data-based archieves=sebaiknya dicentang,sama penjelasannya seperti yang ada di kolom “prevent indexing”

Redirect search result…= Bila ada pengunjung yang datang langsung melalui link dari hasil pencarian di situs kita maka akan di alihkan ke homepage bila pilihan ini di centang.Juga untuk mencegah seeorang menempatkan link dari hasil pencarian di situs di halaman web manapun,kalau untuk image istilah ini kurang lebih seperti hot linking.Sebaiknya di centang saja.

Semua pilihan di kolom ini saya centang,tak lain adalah menjaga kestabilan pagerank yang ingin kita capai nantinya.Namun pilihan no outbound link sebaiknya jangan dicentang karena bisa-bisa blogroll pun ikut jadi nofollow(entar yang udah tukeran link pada marah) tapi walau di centang semua , link yang ada di homepage saya ga berubah alias tetap dofollow dan yang nofollow hanya link menuju komen aja.

Entah ini karena kontra denga AIO seo ataupun plugin lainnya atau bisa juga karena templatenya.Tapi soal outbound link ini kita bisa mengontrolnya secara manual,mana yang dofollow mana yang dijadiin nofollow,seperti link untuk mail delivery dari feedburner  bila fungsi ini terintegrasi dengan tema maka anda bisanya harus melihat ke header.php dan mengubah atributnya.

Kini untuk mengatur dan membuat file robots.txt,file ini tidak ada secara default jadi anda harus membuatnya dulu dengan notepad dan kasih nama robots.ini contoh robots text file situs saya ini

User-agent: *
Disallow: /xxx
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /author
Disallow: /_xxx
Disallow: /_xxxx
Disallow: /_xxxxx
Disallow: /_xxxxxx
Disallow: /_xxxxxxx
Disallow: /_xxxxxxxx
Disallow: /_xxxxxxxxx
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
User-agent: ia_archiver-web.archive.org
Disallow: /
User-agent: duggmirror
Disallow: /
Sitemap: http://www.blogindoku.com/sitemap.xml
 

Di line pertama User agent di set ke wild card (tanda bintang),artinya semua robot dilarang mengindex diektori yang saya tulis setelah  disallow:   Ini perlu untuk mencegah spider robot “nakal” atau bad bot mengindex direktori situs kita

Tapi saya  mengijinkan varian dari google bot yang lain untuk mengindex Googlebot-Image untuk mengindex image ,Adsbot-Google untuk mengindex halaman agar iklan yang ditampilkan relevan(itupun bila kita memasang adsense),mengijinkan mitra Google untuk mengindex dan juga mengijinkan Googlebot-mobil untuk menangkap halaman situs kita agar disesuaikan untuk peramban mobile,ODP dilarang dan dugg miror juga di larang.Saya menetapkan sitemap.xml sebagai sitemap yang harus diikuti oleh mesin pencari.Setelah ini ditulis,maka save sebagai robots dengan encoding UTF-8 dan upload ke home directory/public_html kita >Dan si spider robot pun akan menuruti perintah yang ada di file tersebut.