CaraGokil.Com – Jika anda adalah blogger pemula atau baru
membuat blog pasti akan mencari tahu apa itu robots.txt?, apa fungsinya dan
bagaimana cara membuatnya agar SEO. Dan artikel ini kami buat khusus untuk para
pemula agar bisa sedikit membantu.
Apa itu Robots.txt?
Robots.txt disebut juga dengan protokol pengecualian robot
(protokol robots.txt), robots.txt ini sangat penting didalam sebuah website
atau blog karena fungsinya yang sangat super. Dengan sebuah robots.txt ini kita
bisa menentukan mana saja bagian web / blog yang boleh di crawl dan di index
oleh robot pencarian seperti google, bing dll.
Settingan robots.txt di blog
 |
| Cara Setting robot.txt |
Login ke akun Blogger / blogspot
Klik menu Settings >> Shearch Preferences >>
Crawlers and Indexing >> Custom Robots.txt >> Edit >> Yes (
Masukan Script )
Simpan dengan klik Save Changes
Settingan Robots.txt Default
Kalian bisa pakai setiingan
robots.txt yang aman dengan menggunakan script ini. Berikut adalah settingan
robots.txt default dari blogger.
|
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
|
Keterangan:
User-agent: Mediapartner-Google ( adalah tanda jika blog
kita menggunakan partner Adsense )
Disallow: ( Tidak diijinkan / tidak dirayap)
User-agent: * (Semua robot mesin pencari )
Disallow: /search (tidak mengijinkan perayapan setelah url
/search ... atau url/serach/label )
Allow: / ( Yang boleh dirayapi oleh mesin pencari google,
bing dll)
Sitemap: https://url.blogspot.com/sitemap.xml
(Sitemap / peta situs blog kalian)
Kesimpulan : semua ulr yang ada di blog kalian akan dirayapi
google seperti sitemap, category dll kecuali halaman search.
Terimakasih telah berkunjung ke situs CaraGokil dengan
artikel tentang Cara Terbaru Setting robot.txt. Semoga materi yang kami bagikan bisa membantu dan
bermanfaat serta menambah wawasan kita semua. Situs CaraGokil.Com hanya
memberikan informasi untuk menambah wawasan saja dan tidak bertujuan untuk
merugikan pihak lain, dan jika ada pertanyaan bisa langsung memberikan
komentar.