Cara Setting Optimal File Robot.txt

Setting optimal robot.txtSebagai webmaster sebuah situs, Anda tentu sudah mengerti dan mengetahui apa itu robot.txt dan kegunaannya kan? Ya…file robot.txt adalah sebuah file dengan format text yang diletakkan dalam root domain situs di server hosting kita. Ini berlaku jika kita menggunakan WordPress self hosting yang menggunakan hosting Anda sendiri alias bukan yang gratisan seperti menggunakan wordpress.com

File robot.txt digunakan untuk mengontrol indexing robot crawler mesin pencari untuk semua folder file situs Anda ataupun hanya postingan dalam blog Anda. Dalam postingan, fungsi terpentingnya adalah untuk menghindari duplikat konten dimana duplikat konten dalam satu situs sangat berbahaya dan cenderung kena penalti Google yang mengakibatkan blog Anda rawan sandbox atau banned.

Folder admin dalam file blog seharusnya tidak di index oleh robot crawler dengan menempatkan sebuah perintah tertentu dalam file robot.txt yang membatasi atau melarang spider robot menjelajahi folder tersebut.

Bagi pengguna WordPress, Anda bisa dengan mudah melakukan setting robot.txt ini yaitu dengan menginstal plugin kbrobots yang bisa langsung didownload di direktori plugin wordpress. Untuk cara manualnya, Anda bisa membuat memasukkan perintah dibawah ini dan menyimpannya dalam format.txt dengan menggunakan notepad kemudian upload menggunakan aplikasi FTP seperti Filezilla ke dalam root domain blog Anda.

sitemap: http://handokotantra.com/sitemap.xml

User-agent: *
Allow: /

User-agent: *
# disallow all files in these directories
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /go/
Disallow: /archives/
disallow: /*?*
Disallow: /wp-*
Disallow: /author
Disallow: /comments/feed/

User-agent: Mediapartners-Google*
Allow: /

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /

Untuk setting robot.txt diatas adalah contoh penggunaan untuk blog saya ini, untuk menggunakannya buat blog Anda, silakan ganti nama domain untuk lokasi sitemapnya. Selanjutnya Anda bisa mengecek status robot.txt di Google Webmaster melalui Google webmaster tool > Under tools > Analyze robots.txt

Setting di atas akan mencegah robot menjelajahi file admin yang diikuti oleh feeds, trackbacks, comments feed, pages dan comments.

Selamat mencoba.

40 pemikiran pada “Cara Setting Optimal File Robot.txt”

  1. terima kasih utk artikelnya nih. Saya punya setting dasar di blog seperti ini
    User-agent: *
    Allow: /
    Disallow: /cgi-bin/
    Disallow: /wp-
    Disallow: /trackback
    Disallow: /feed
    Disallow: */feed
    Disallow: /feed/$
    Disallow: /rss/
    Disallow: /comments/
    Disallow: */trackback
    Disallow: /*/trackback/$
    Disallow: */comments
    Disallow: /*/comment-page
    Disallow: /*?*
    Disallow: /*?s=
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /search/

    # Google Image
    User-agent: Googlebot-Image
    Disallow:
    Allow: /*

    # Google AdSense
    User-agent: Mediapartners-Google*
    Disallow:
    Allow: /*

    User-agent: duggmirror
    Disallow: /

    Yg jadi pertanyaan saya, kenapa trafik yg datang dari google hanya image saja, yah Pak. Kalau utk mengijinkan google bot mengindex artikel saya, apakah fungsi robots seperti ini bisa berjalan.

    # Google bot
    User-agent: Googlebot
    Disallow:
    Allow: /*
    Disallow: /cgi-bin/
    Disallow: /wp-
    Disallow: /trackback
    Disallow: */feed
    Disallow: /feed/$
    Disallow: /comments/
    Disallow: */trackback
    Disallow: /*/trackback/$
    Disallow: */comments
    Disallow: /*/comment-page
    Disallow: /*?*
    Disallow: /*?s=
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /search/

    Contohnya, utk artikel yang sudah saya tulis dalam waktu 3-7 hari sebelumnya, kemudian artikel tsb saya copas di search enggine, kenapa masih belum muncul di search enggine yah. Kalau dulu, setting allow semua, sih bisa.

    Atas bantuannya , thanks banget Mas Handoko

    Balas

Tinggalkan komentar