Mengatur Robot.txt dan Tag Tajuk Robot Khusus SEO Friendly - Kali ini saya akan kembali membahas seputar SEO. Topik yang akan kita bahas kali ini adalah mengatur Robot.txt dan Tag Tajuk Robot Khusus agar mejadi lebih SEO Friendly. Bagi anda yang menggunakan platform blogger mungkin pernah menemui Robot.txt dan Tag Tajuk Robot Khusus ini di setelah Prefenrensi Penelusuran. Namun bagi blogger baru seperti saya ini, pasti akan bertanya - tanya untuk apa sih pengaturan Robot.txt dan Tag Tajuk Robot Khusus ini. Setelah membaca referensi di beberapa blog akhirnya saya cukup paham untuk apa fungsi mereka berdua. Selama ini saya tidak cukup berani otak atik Robot.txt dan Tag Tajuk Robot Khusus ini, karena sering saya membaca warning jika tidak terlalu paham tentang Robot.txt dan Tajuk Tag Robot Khusus ini akan berakibat fatal pada Search Engine terutama Google.
Baca Juga :
Baca Juga :
Apa Fungsi Robot.txt?
Fungsi Robot.txt adalah sebagai rambu - rambu bagi Crawl Robot Search Engine dalam mengindex blog kita, dalam Robot.txt kita bisa memberikan rambu mana halaman yang boleh untuk di index dan mana halaman yang dicegah atau tidak perlu untuk di index. Pengaturan Robot.txt dalam SEO adalah salah satu yang krusial, penting bagi anda untuk mengatur Robot.txt ini agar apa yang muncul pada search engine tentang situs anda dapat terkontrol. Dalam SEO sebaiknya tidak semua halaman pada blog kita harus masuk index google misalkan halaman pencarian berdasarkan label atau mungkin daftar isi juga lebih baik dicegah untuk tidak di index search engine. Di beberapa tutorial ada yang menggunakan Robot.txt ini untuk memblokir double index (biasanya versi Web dan Mobile), biasanya yang diblok adalah yang versi mobile. Namun disini saya ingin mengataka Jangan Blokir Versi Mobile, alasannya adalah saat ini SEO yang paling menjanjikan adalah SEO yang multi platform, baik versi Web atau Mobile. Jika anda memblokir atau mencegah versi Web di Robot.txt ini akan merugikan anda sendiri. Jika yang jadi masalah adalah tampilan versi mobilenya anda bisa membaca artikel Cara Menonaktifkan Mobile Version Pada Blogger, Namun untuk crawl robot search engin jangan pernah diblokir dalam Robot.txt.
Cara Mengatur Robot.txt
Untuk mengatur Robot.txt silahkan anda login dulu pada akun blogger anda kemudian masuk pada menu Setelan > Preferansi Penelusuran dan klik Edit pada Robot.txt Khusus, untuk jelasnya lihat pada gambar berikut.
Bila anda ingin memblokir halaman tertentu anda bisa memasukkannya pada baris Disallow. sebagai contoh saya memiliki halaman www.omahblog.com/p/tidak penting.html. maka ketika saya aplikasikan kedalam robot.txt akan menjadi seperti ini.
Secara Default Robot.txt yang ada pada blog ketika diaktifkan adalah sebagai berikut.
Dari Robot.txt diatas perhatikan tulisan yang saya blok warna kuning dan tulisan warna merah. Disallow digunakan untuk memblokir atau mencegah Robot Search Engine merayapi atau crawl suatu halaman. Secara default robot.txt memblokir semua Sub Direktori /Search jadi setiap Url halaman anda dimulai dengan Http://urlanda.com/search/....... akan dicegah untuk dirayapi oleh robot search engine. Biasanya yang banyak digunakan untuk sub direktori /Search ini adalah Label. untuk Allow adalah halaman yang boleh untuk dirayapi. untuk tulisan yang berwarna merah adalah sesuai dengan alamat blog anda. Agar hasil pencarian di Search Engin anda menjadi SEO, anda bisa memasukkan Robot.txt berikut pada kolom Robot.txt.User-agent: Mediapartners-GoogleDisallow:User-agent: *Disallow: /searchAllow: /Sitemap: http://omahblog.com/feeds/posts/default?orderby=UPDATED
Robot.txt diatas mengizinkan semua untuk dicrawl kecuali direktori search update dan search label. Dengan Robot.txt diatas maka hasil dalam SERP (Search Engine Result Page) tidak akan menampilkan halaman Label anda dan Update anda. Untuk pemasangan anda tinggal masukkan Robot.txt diatas pada Setting di blog anda, ubah tulisan berwarna merah sesuai dengan alamat blog anda lalu Simpan. Anda bisa melihat pada gambar berikut untuk contoh pemasangan.User-agent: Mediapartners-GoogleDisallow:User-agent: GooglebotDisallow: /search?updated-min=Disallow: /search?updated-max=Disallow: /search/label/*?updated-min=Disallow: /search/label/*?updated-max=Allow: /Sitemap: http://omahblog.com/feeds/posts/default?orderby=UPDATE
Bila anda ingin memblokir halaman tertentu anda bisa memasukkannya pada baris Disallow. sebagai contoh saya memiliki halaman www.omahblog.com/p/tidak penting.html. maka ketika saya aplikasikan kedalam robot.txt akan menjadi seperti ini.
Halaman yang saya ingin cegah saya letakkan persis seperti yang saya blok warna kuning pada robot.txt diatas.User-agent: Mediapartners-GoogleDisallow:User-agent: GooglebotDisallow: /search?updated-min=Disallow: /search?updated-max=Disallow: /search/label/*?updated-min=Disallow: /search/label/*?updated-max=Disallow: /p/tidak penting.htmlAllow: /Sitemap: http://omahblog.com/feeds/posts/default?orderby=UPDATE
Cara Mengatur Tag Tajuk Robot Khusus
Selain mengatur Robot.tx mengatur Tag Tajuk Robot Khusus juga penting untuk SEO. sebenarnya Tag Tajuk Robot Khusus ini sama fungsinya dengan Robot.txt yakni untuk mencegah apa yang boleh dirayapi dan apa yang tidak boleh. untuk mengaturnya menjadi lebih SEO Friendly anda masuk pada menu Setelan > Preferansi Penelusuran dan klik Edit pada Tag Tajuk Robot Khusus. Sesuaikan setting anda dengan gambar berikut.
Setelah anda sesuaikan setting seperti pada gambar diatas anda bisa Simpan. Itulah bagaimana cara mengatur Robot.txt dan Tag Tajuk Robot Khusus agar menjadi lebih SEO Friendly. Sekian artikel saya kali ini semoga bermanfaat.
8 comments
spertinya caranya cukup mudah ya mas untuk Mengatur Robot.txt dan Tag Tajuk Robotagar blog SEO Friendly
dulu saya sempet bingung juga ngaturnya mas sekalipun terlihat mudah :D
kalau saya biarin aja dech semua dirayapi oleh search engine ..:)
Hahahaha, gak masalah sih mas :D . artikel diatas untuk lebih SEO friendly aja dan hindarin banyak error di webmaster
Nice share bro , btw user agent untuk googlebot gak dimasukkan bro ??
makasih infonya gan.. settingan tentang Robot.txt ini yang selama ini saya cari..
wkwkwkwk. ketinggalan om, maklum penulis pemula :D
Makasih ilmunya ya gan