Mengenal Mesin Crawling GOOGLE

Google sampai saat ini masih dianggap sebagai Search Engine nomer satu, dan juga terfavorit dibanding kebanyakan search engine yang lain. Selain memiliki tampilan situs yang sangat sederhana, Google juga menyediakan hasil pencarian yang akurat. Sistem pengindeksan-nya yang otomatis membuat Google nyaris tanpa kompromi dan adil, artinya tanpa campur tangan manusia, semua situs dan blog entah besar dan kecil, pemain baru atau lama mendapatkan kesempatan yang nyaris sama.



Google berjalan pada jaringan terdistribusi ribuan komputer murah sehingga dapat melaksanakan pemrosesan paralel dengan cepat. Pengolahan paralel adalah metode perhitungan di mana banyak perhitungan dapat dilakukan secara simultan, secara signifikan mempercepat pengolahan data.

Selamat menyimak

Quote:

Mari kita simak dengan seksama Agar kita mendapat ilmu yg bermanfaat Integritas Search Engine Quote: Salah satu alasan kenapa search engine yang ada sebelum Google menurun popularitas dan kegunaannya adalah munculnya Paid Listing. Di mana search engine yang "lapar" akan bayaran/penghasilan menjual posisi dalam hasil pencarian kepada para pemasang iklan. Pelemahan terhadap obyektivitas tersebut meracuni hasil pencarian dan meremehkan prinsip popularitas yang dimiliki situs web. Perbedaan antara search engine, yang seharusnya menampilkan hasil yang anda cari, dengan saluran browser, yang membawa anda ke bisnis affiliasi, mengabur. Walaupun banyak search engine yang menolak menjual posisi dalam hasil pencarian mereka, keraguan dan ketidakpercayaan telanjur menyebar di hati para pengguna. Integritas Google terlihat dari halaman situs mereka yang bersih dari segala macam tetek-bengek, dan semata-mata menonjolkan satu hal yaitu kata "Search". Memang Google menerima iklan, tetapi iklan yang mereka terima dipisahkan dari hasil pencarian. Mungkin tidak semua orang setuju dengan cara Google merangking hasil pencarian, tetapi tidak ada seorang pun yang mengira bahwa rangking teratas di hasil pencarian Google bisa dibeli.

Bagaimana sebenarnya cara kerja Google & search engine secara umum ?
Thread ini bermaksud menjawab hal tersebut secara sederhana.

Quote:

Cara Kerja Dasar Search Engine Quote: Semua search engine (mesin pencari) bekerja dengan cara dasar yang sama : mereka "merayapi" (crawl) halaman web dengan software robot otomatis disebut Spider (laba-laba) atau Crawler (perayap) yang menghasilkan/menciptakan Indeks (daftar) isi web yang bisa dicari/ditemukan oleh para pengguna. Setiap search engine mengijinkan para penggunanya untuk mencari di dalam daftar (indeks) yang mesin pencari itu miliki, untuk sebuah Keyword (kata kunci) atau sekumpulan keyword. Hasil pencarian ditampilkan dalam berbagai bentuk daftar, tetapi kebanyakan menampilkan sedikit informasi mengenai setiap web yang masuk dalam daftar dan link yang mengarah ke web tersebut. Cara setiap search engine membuat daftar sangat unik, berkat pemrograman mesin spider yang berbeda satu sama lain. Unsur utama dalam pemrograman spider adalah pada algoritma mesin pencari tersebut, yang menentukan rangking dari setiap halaman web yang didaftar. Sistem rangking tersebut menentukan cara hasil pencarian ditampilkan.

Quote:

Cara Kerja Google Quote: Aset teknologi utama Google adalah pada sistem algoritma yang mereka miliki, formula sistem rangking rumit yang memberikan pada para pemakai, hasil pencarian yang bagus dan seringkali terkesan seolah Google mampu membaca pikiran dari setiap orang yang mencari lewat mesin pencari raksasa ini. Hasil dari sistem algoritma dirangkum dalam sebuah statistik rangking tunggal yang disebut PageRank, Google sangat merahasiakan formula PageRank ini, tetapi perusahaan tersebut mempromosikan pentingnya PageRank, dan menawarkan pada para Webmaster petunjuk-petunjuk umum untuk meningkatkan PageRank. Google menunjukkan sistem penilaian rata-rata dari setiap situs (dalam skala 0-10) dalam toolbar Google. Walaupun formula tepat dirahasiakan, tetapi ramuan dasar PageRank ini dikenal publik.

Quote:

Kapan Google Mengindex atau Merayap ? Quote: Google merayapi situs di Internet dengan kedalaman berbeda dan dengan pengaturan jadwal lebih dari sekali. Yang disebut Deep Crawl (merayap dalam) dilakukan paling tidak sekali dalam 1 bulan. Berkaitan dengan rumitnya proses pembuatan daftar dan kebutuhan akan pembuatan daftar isi web secara ekstensif, diperlukan waktu lebih dari 1 minggu untuk melakukan perayapan. Karena itu diperlukan waktu 6 minggu untuk sebuah web atau blog baru supaya masuk dalam daftar Google.

Quote:

Deep Crawler & Fresh Crawler

Quote:

Google bergantung sepenuhnya pada deep crawl ini, tetapi hasil dari deep crawl bisa cepat kadaluarsa terkait dengan cepatnya perubahan di dunia internet. Karenanya Google meluncurkan fresh crawl yang secara singkat mengunjungi situs-situs di Internet lebih sering daripada deep crawl. Memang hasil fresh crawl ini tidak akan mengubah keseluruhan indeks yang dimiliki Google, tapi akan mengupdate isi dari sebagian web/blog. Google tidak mengumumkan jadwal fresh crawl ini dan situs/blog apa yang dijadikan target, tetapi para Webmaster bisa mengetahui jadwal tersebut lewat penyelidikan yang seksama.

Google tidak punya kewajiban untuk mengunjungi URL khusus apapun, dengan fresh crawl mereka. Situs-situs dan blog bisa meningkatkan kesempatan untuk lebih sering dikunjungi Google dengan mengupdate konten mereka secara teratur. Ingat sisi kedangkalan dari fresh crawl, Google mungkin mengunjungi halaman depan dari situs atau blog anda, tetapi mungkin tidak mengunjungi halaman lain.

Deep Crawl bersifat lebih otomatis dan tanpa pertimbangan serta lebih teliti daripada Fresh Crawl. Kesempatan baik datang bila saat jadwal deep crawl, link-link dari halaman baru sudah tercantum di halaman utama, sehingga deep crawl akan mengindeks halaman baru itu juga. Tidak semua halaman dari sebuah situs akan dimasukkan dalam indeks oleh Google, proses pertimbangannya adalah rahasia perusahaan tersebut. Karenanya, bila anda merasa ada sebuah halaman atau artikel penting yang anda miliki tidak terindeks di Google, yang bisa anda lakukan adalah memaksimalkan promosi.

http://www.kaskus.us/showthread.php?t=10333360