Apakah Anda pernah mendengar tentang Googlebot? Pada kesempatan kali ini, kami akan mengupas tuntas 7 fakta tentang Googlebot yang sangat menarik untuk Anda ketahui. Mulai dari pengertian Googlebot, jenis, dan fungsinya, semua bakal Anda temukan di sini.
(1) Ternyata Sebuah Nama Generik
Googlebot dikenal juga sebagai robot Google. Namun, tahukah Anda Googlebot ini jenis robot yang seperti apa?
Faktanya, Googlebot adalah nama generik dari perayap web Google atau Google web’s crawler dan menjadi robot perayap utama Google. Selain perayap, Googlebot ini juga sering disebut dengan “spider” atau “laba-laba”.
(2) Terdiri dari Dua Tipe Perayap Web
Untuk dapat bekerja secara maksimal, Google memiliki dua tipe Googlebot yaitu Googlebot Desktop dan Googlebot Smartphone.
Googlebot Desktop bertugas untuk melakukan perayapan website dengan tampilan dekstop. Sementara itu, perayapan website dengan tampilan mobile dilakukan oleh Googlebot Smartphone.
Untuk mempermudah penyebutannya, kedua tipe perayap web ini disingkat menjadi Googlebot.
(3) Sistem Perayaapan yang Unik!
Pernahkan terlintas di pikiran Anda, bagaimana cara Googlebot melakukan perayapan? Ketika terdapat dua tipe perayap web, lantas tipe manakah yang akan “mengunjungi” website Anda?
Apakah kedua Googlebot ini akan melakukan perayapan? Atau hanya satu tipe Googlebot saja yang bergerilya? Mengutip penjelasan dari Google, Googlebot akan melakukan perayapan berdasarkan tipe tampilan website.
Apabila website Anda sudah mobile-friendly, perayapan pada website tersebut akan didominasi oleh Google Smartphone. Meskipun begitu, Google Desktop juga akan mengambil sedikit bagian.
Berbeda cerita kalau website masih dalam tampilan dekstop saja dan belum dikonversi ke tampilan mobile. Nantinya, Googlebot Desktop yang akan banyak melakukan perayapan web di website tersebut. Sementara itu, Googlebot Smartphone juga akan tetap melakukan perayapan, tetapi porsinya hanyalah sedikit.
Perayapan minor ini hanya dilakukan dengan mengikuti URl yang sudah lebih dulu dikunjungi oleh perayap mayor.
(4) Visi Googlebot: Melakukan Perayapan Tanpa Membebani Bandwidth
Seiring dengan tumbuh pesatnya dunia web, Googlebot mempunyai tantangan baru. Mereka dituntut untuk melakukan perayapan secara maksimal demi kepuasaan si user. Bagaimana caranya?
Google menjalankan banyak robot perayapan di ribuan mesin. Dengan begitu, performa dan jangkauan perayapan dapat meningkat pesat.
Tak cukup di situ saja, lho. Google pun dengan sengaja menggunakan mesin yang lokasinya dekat dengan website. Harapannya, proses perayapan Googlebot ini dapat mengurangi beban kerja bandwidth.
Nantinya, Googlebot dapat melakukan perayapan sebanyak mungkin tanpa perlu membebani kinerja server bandwidth.
(5) Googlebot Bisa Di-block?
Tak peduli seberapa rapat Anda menyembunyikan website, semua usaha ini akan menjadi sia-sia di mata Googlebot. Selama website Anda mengandung link, Googlebot dapat dengan leluasa menjelajahi website Anda.
Namun, tenang saja. Google tidaklah se-ignorant itu, kok. Google menawarkan beberapa fitur untuk membatasi gerak Googlebot. Jadi, Anda dapat mengatur bagian mana saja di website yang dapat di-crawl oleh Googlebot.
Anda dapat memanfaatkan “robots.txt file” untuk memblokir page tertentu agar tidak dirayapi oleh Googlebot.
Misalnya, Anda tidak ingin menu “About Us” dan “Contact Us” dirayapi Googlebot. Anda pun dapat memasukkan pengecualian crawling pada kedua menu ini dengan menggunakan “Disallow”. Dengan begitu, performa page lain bisa di-boosting peringkatnya di Google.
(6) Tidak Semua URL Bakal Di-crawl, lho!
Fakta mengejutkan, Googlebot tidak akan melakukan perayapan pada semua URL, lho. Googlebot dikenal selektif dalam memilih URL website yang akan dikunjunginya. Maka dari itu, Googlebot sering dijadikan indikator apakah website atau konten sudah berkualitas atau belum.
Mengapa Googlebot terkesan pilih kasih? Selain karena alasan kualitas, Google juga memiliki pertimbangan lain. Pertama, pembatasan ini dilakukan untuk menghindari risiko munculnya crashing di server pengguna.
Kedua, Googlebot memang tidak memiliki resources yang cukup. Jadi, Googlebot tak memiliki pilihan lain selain lebih selektif dalam melakukan perayapan.
(7) Tidak Semua Diindeks Googlebot
Googlebot juga memiliki kebiasaan unik. Walaupun ia sudah melakukan perayapan, Googlebot belum tentu melakukan pengindeksan ulang. Pasalnya, Googlebot memang tidak akan melakukan pengindeksan setiap kali recrawling dilakukan.
Apabila Anda melakukan sedikit perubahan pada isi konten, sistem Googlebot dapat mengetahui kalau pengindeksan ulang tidak diperlukan.
Dengan mengetahui 7 fakta Googlebot ini, Anda pun dapat mengoptimasi blog secara maksimal.
Referensi:
Image by macrovector on Freepik
Back To Top