Perbedaan beberapa Searh Engine

Search Engine adalah program komputer yang dirancang untuk membantu seseorang menemukan file-file yang disimpan dalam komputer, misalnya dalam sebuah server umum di web (WWW) atau dalam komputer sendiri. Mesin pencari memungkinkan kita untuk meminta content media dengan kriteria yang spesifik (biasanya yang berisi kata atau frasa yang kita tentukan) dan memperoleh daftar file yang memenuhi kriteria tersebut. Mesin pencari biasanya menggunakan indeks (yang sudah dibuat sebelumnya dan dimutakhirkan secara teratur) untuk mencari file setelah pengguna memasukkan kriteria pencarian. Terdapat bermacam-macam Search Engine seperti : Google, Yahoo, Alltheweb, AltaVista, dll. Kesemuanya memiliki kemampuan seperti yang di jelaskan di atas, akan tetapi dari beberapa Search Engine tersebut kesemuanyapun mempunyai keunggulan dan kekurangannya masing-masing. Berikut adalah karakteristik-karakteristik dari beberapa Search Engine tersebut.


Google : Google : Google dikenal sebagai alat pencarian yang paling cerdas. Meski kita hanya secara sederhana melakukan pencarian dengan memasukkan kata atau beberapa kata saja, Google akan secara otomatis melakukan pencarian dengan logika Boolean dengan menggunakan batasan-batasan AND, NOT, PHRASE, dan OR. Google tidak mendukung pemotongan (truncation), penambahan dan tidak membedakan bentuk huruf besar atau kecil (case sensitive). Kelebihan lain ialah Google menggunakan relevansi dan linking, yaitu jumlah tertentu halaman-halaman sejenis yang berhubungan dengan halaman yang dicari. Google bahkan memungkinkan kita melakukan pencarian dengan menggunakan simbol-simbol tertentu, misalnya untuk stock quotes, peta , dan memberikan pilihan 60 bahasa. Google juga menyediakan file-file berekstensi PDF yang jarang dihasilkan oleh alat-alat pencari lainnya.

Altavista : Altavista : Ciri utama AltaVista yang dapat mengindeks sebanyak lebih dari 550 juta halaman situs ialah penggunaan analisa relevansi teks dan juga penggunaan logika Boolean. Pencarian dapat dilakukan dengan menggunakan kata atau frasa yang tepat sesuai dengan topik yang dicari. Pencarian dapat dibatasi hanya pada bagian-bagian tertentu, misalnya judul, jangkar (anchor), host, link, applet, gambar, dan URL. Keunggulan utama Alta Vista ialah kemampuan menggabung pencarian hanya dengan satu kali pencarian saja.

Alltheweb : Alltheweb : Metode pencarian dalam web ini menggunakan logika Boolean. Kita dapat membatasi pencarian hanya pada judul, teks, nama link, URL, link, bahasa dan domain. Ranking pencarian didasarkan pada relevansi, analisa link, penempatan teks pada halaman tertentu, dan penggunaan kata kunci.

Yahoo : yahoo : Yahoo tidak menggunakan robot dalam membuat direktori informasi, web ini bergantung pada jumlah web site yang didaftarkan di direktori mereka. Sekalipun demikian Yahoo sangat selektif dalam menerima situs-situs yang didaftarkan. Karena Yahoo tidak mempunyai jangkauan yang luas, maka web ini menyediakan mesin pencarian milik Google sebagai pelengkap.

KELEBIHAN (+) & KEKURANGAN (-)

KELEBIHAN (+)

1. keunggulan dalam hal pencarian halaman web, video, gambar, MP3, dan file audio lainnya. Dalam pencarian berita pun Altavista mampu mencari berita teraktual.
2. Altavista mampu menetapkan berapa umur maksimal yang akan ditampilkan.

KEKURANGAN (-)

1. Dalam hal pencarian data yang kurang bagus. Sering kali mesin pencari ini menampilkan hasil yang sama sekali tidak ada kaitannya dengan tema yang dicari.

SEJARAH ALTAVISTA

AltaVista diciptakan oleh para peneliti di Digital Equipment Corporation 's Western Research Laboratory yang mencoba untuk memberikan layanan untuk membuat file penemuan tentang jaringan publik lebih mudah. Walaupun ada beberapa perselisihan tentang siapa yang bertanggung jawab atas ide asli,dua peserta kunci Louis Monier , yang menulis crawler , dan Michael Burrows , yang menulis pengindeks . Nama AltaVista dipilih dalam kaitannya dengan lingkungan perusahaan mereka di Palo Alto. AltaVista adalah publik diluncurkan sebagai mesin pencari internet pada tanggal 15 Desember 1995 di altavista.digital.com.
Saat peluncuran, layanan itu memiliki dua inovasi yang mengaturnya depan mesin pencari lainnya; Ini digunakan cepat, multi-threaded crawler (Scooter) yang dapat mencakup banyak halaman Web lebih dari yang diyakini ada pada saat itu dan berjalan efisien pencarian back-end pada hardware lanjut.Pada tahun 1998, digunakan 20 multi-prosesor mesin menggunakan-bit 64 DEC Alpha prosesor. Bersama-sama, mesin back-end memiliki 130 GB RAM dan 500 GB hard disk space, dan menerima 13 juta query per hari.Ini AltaVista membuat pertama dicari, full-text database dari sebagian besar dari World Wide web . Fitur yang membedakan AltaVista adalah antarmuka minimalis dibandingkan dengan mesin pencari lain waktu, sebuah fitur yang hilang ketika menjadi sebuah portal , namun kembali ketika upaya memfokuskan kembali pada fungsi pencarian.
AltaVista situs adalah sebuah kesuksesan. Lalu lintas terus meningkat dari 300.000 hits di hari pertama lebih dari 80 juta hits sehari dua tahun kemudian.Kemampuan untuk mencari web, dan itu layanan AltaVista khususnya, menjadi subyek berbagai artikel dan bahkan beberapa buku. AltaVista sendiri menjadi salah satu tujuan utama di web, dan pada tahun 1997 akan menghasilkan US $ 50 juta dalam sponsor pendapatan .
Pada tahun 1996, AltaVista menjadi penyedia eksklusif hasil pencarian untuk Yahoo! . Pada tahun 1998, Digital dijual ke Compaq dan pada tahun 1999, Compaq AltaVista diluncurkan kembali sebagai web portal , berharap untuk bersaing dengan Yahoo!. AltaVista ditinggalkan dan halaman pencarian efisien terfokus pada fitur seperti belanja dan gratis. Pada bulan Juni 1998, Compaq dibayar AltaVista Teknologi Incorporated ("ATI") $ 3,3 juta untuk yang nama domain altavista.com - Jack Marshall , salah seorang pendiri ATI, telah mendaftarkan nama pada tahun 1994.
Pada bulan Juni 1999, Compaq menjual saham mayoritas di AltaVista ke CMGI , sebuah perusahaan investasi internet. CMGI mengajukan penawaran umum perdana atas AltaVista berlangsung pada bulan April 2000, tetapi sebagai gelembung internet runtuh, IPO tersebut dibatalkan. Sementara itu, menjadi jelas bahwa strategi ini AltaVista portal tidak berhasil, dan layanan pencarian mulai kehilangan pangsa pasar, terutama untuk Google . Setelah serangkaian PHK dan perubahan manajemen, AltaVista secara bertahap gudang fitur portal dan kembali fokus pada pencarian. Pada tahun 2002, AltaVista telah meningkatkan kualitas dan kesegaran hasil dan didesain ulang antarmuka pengguna. Pada Februari 2003, Altavista dibeli oleh Overture Services, Inc Pada bulan Juli 2003, Overture sendiri diambil alih oleh Yahoo.
Layanan Gratis
AltaVista menyediakan layanan terjemahan bebas, bermerek Babel Fish , yang secara otomatis menerjemahkan teks antara beberapa bahasa.. Pada bulan Mei 2008, layanan ini kembali dicap sebagai bagian dari Yahoo!.
AltaVista Salah satu Search Engine Terlama
AltaVista memiliki kehormatan menjadi salah satu mesin pencari tertua di Web, karena mulai perjalanan kembali (ini adalah waktu yang lama di tahun Internet) pada tahun 1995 dengan indeks pertama Web Internet. Just as a quick age comparison, Google started in 1998 , and Yahoo started out as an Internet guide in 1994. Sama seperti perbandingan usia cepat, Google dimulai pada tahun 1998 , dan Yahoo dimulai sebagai panduan internet pada tahun 1994.
Berikut adalah beberapa lain "pengalaman pertama" dan terkenal highlights dari AltaVista, langsung dari Tentang Kami halaman:
• Memberikan Internet pertama indeks Web (1995)
• Pertama kemampuan pencarian multibahasa di Internet
• Pertama mesin pencari Internet untuk memulai Foto, Audio, dan kemampuan pencarian Video
• Kebanyakan fitur pencarian lanjutan internet dan kemampuan: multimedia pencarian, terjemahan & pengakuan bahasa, dan pencarian khusus
• Diberikan 61 pencarian terkait paten, lebih dari perusahaan pencarian internet lainnya
AltaVista Pencarian Home Page
halaman rumah AltaVista adalah sleekly elegan. Ada bar pencarian tepat di tengah, dengan berbagai pilihan pencarian tab, termasuk Foto, MP3/Audio, Berita, dan Video.Filter Pencarian tersedia langsung, Anda dapat memilih untuk membatasi pencarian Anda hanya untuk Amerika Serikat (default), atau Anda bisa pergi di seluruh dunia. Anda juga dapat memberikan hasil dalam semua bahasa (default), atau memilih untuk pergi dengan hasil hanya bahasa Inggris atau Spanyol.

DEFINISI ALAVISTA

Altavista merupakan mesin pencari web yang dimiliki oleh Yahoo . . AltaVista pernah menjadi salah satu mesin pencari paling populer, tetapi popularitasnya menurun dengan munculnya Google .Altavista Merupakan mesin pencari untuk tujuan umum yang handal. Alta Vista menawarkan beberapa perangkat unik. Untuk mencari Situs tertentu, anda coba ketik host:domain kata-kunci, misal jika hendak mencari berita dari CNN tentang Bosnia, maka ketikkan host:cnn.com bosnia. Untuk informasi tentang negara-negara tertentu, ketikkan domain:country kata-kunci, misalnya, domain:id christian akan mem- bawa anda pada Situs-situs Kristen di Indonesia.

Altavista.com adalah salah satu veteran search engine terbesar. Selama bertahun-tahun, sebelum kelahiran situs-situs search engine di atas, Altavista.com merupakan search engine yang cukup diperhitungkan. Pada masa jayanya, Altavista.com mampu menampilkan serangkaian informasi dari database situs lain, semisal dari AskJeeves.com, RealNames.com dan LookSmart.com. Tetapi pada Mei 2001, kejayaan tersebut mulai luntur sehingga banyak dari tambahan informasi tersebut lenyap atau tidak muncul sebagai mestinya. Altavista.com pada awal Maret 2002 mengklaim dirinya telah memasukkan sekitar 500 juta informasi dan situs ke databasenya, tetapi Searchenginesshowdown.com menyatakan hanya sekitar 397 juta buah.

Selain mencari informasi di situs, Altavista.com dilengkapi dengan database informasi tentang gambar, MP3/audio, video, direktori dan berita. Keunggulan search engine ini adalah kemampuannya melakukan operasi Boolean AND, OR, NOT dan AND NOT. Kelemahannya adalah tidak banyak file komputer yang bisa diaksesnya, semisal file PDF. Alltheweb.com mampu mencari informasi ke konten dengan 15 bahasa dunia yang berbeda, tanpa bahasa Indonesia. Tersedia form isian bagi yang ingin mencantumkan situsnya ke dalam database Altavista.com. (www.altavista.com/r?h18). Search engine ini juga dilengkapi dengan fasilitas Family Filter untuk memfilter situs-situs pornografi agar tidak muncul dalam hasil pencarian (/www.altavista.com/sites/search/ffset).

Bagaimana Search Engine Bekerja?

Satu hal kenapa anda harus mempelajari tentang SEO adalah search engine
bukan manusia. Tidak seperti manusia, search engine tidak diatur oleh teks.
Walaupun teknologi berkembang dengan cepat, search engine bukanlah makhluk
yang cerdas yang bisa “merasakan” keindahan dari desain sebuah website. Search
engines melakukan banyak pekerjaan untuk mendapatkan hasil pencariannya,
seperti – crawling, indexing, processing, calculating relevancy dan retrieving.

Pertama, search engines meng-crawl website untuk melihat apa yang ada di
halaman website. Tugas ini dilakukan oleh software kecil yang disebut crawler
atau spider (atau googlebot, yang dipakai Google). Spider ini mengikuti link dari
satu halaman ke halalman lainnya dan meng-index (mennyusun) semua link
yang ditemukan. Ingat, jumlah halaman-halaman website lebih dari 20 miliar,
jadi tidak mungkin untuk spider mengunjungi suatu website setiap hari hanya
untuk melihat apakah websitenya tampil atau sudah dimodifikasi. Kadang
crawler tidak mengunjungi website anda sampai sebulan bahkan lebih, saat seperti ini usaha optimalisasi search engine tidak bermanfaat, jadi anda hanya
tinggal menunggu sampai di-crawl lagi.

Apa yang bisa anda lakukan adalah mengetahui apa yang dilihat oleh crawler.
Seperti yang sudah disebutkan, crawlers bukan manusia dan mereka tidak
melihat gambar, flash, atau javascript, jadi jika anda memasang bermacammacam
fitur di website anda, sebaiknya menggunakan Spider Simulator untuk
melihat apakah fitur-fiutr ini dapat dilihat oleh spider. Jika tidak dapat dilihat
maka tidak akan diproses spider, tidak di-index dll. Dengan kata lain tidak search
engine friendly.

Setelah halaman di-crawl, langkah selanjutnya adalah di-index. Halaman yang
di-index disimpan di database yang sangat besar, yang bisa dilihat/diambil
kembali. Proses indexing adalah mengidentifikasi kata-kata dan ekspresi yang
sesuai menggambarkan halaman website. Kadang proses ini tidak mendapatkan
informasi tentang isi website dengan tepat tapi jika anda membantu proses ini
dengan mengoptimalkan, akan lebih memudahkan untuk klasifikasi halaman
website juga untuk ranking lebih tinggi.

Saat ada permintaan search, search engine akan memproses – membandingkan
kata yang diketikkan di search engine dengan kata di halaman yang sudah
terindeks dalam database. Karena ada lebih dari miliaran halaman yang juga
memiliki kata yang sama, search engine akan menghitung relevansi dari
setiap halaman yang sudah terindeks.

Ada bermacam algoritma untuk menghitung relevansi. Setiap algoritma ini
memiliki perbedaan bobot relatif untuk faktor umum seperti tingkat kepadatan
keyword, link atau metatag. Itulah sebabnya search engine satu memberikan
hasil yang berbeda dari search engine lainnya untuk keyword yang sama.
Faktanya search engine besar seperti Yahoo!, Google, MSN, dll. secara periodik
merubah algoritma dan jika anda ingin tetap di atas, anda juga harus
menyesuaikan halaman website anda dengan perubahan algoritma terakhir.
Inilah alasan mengapa anda harus terus melakukan usaha optimalisasi search
engine jika ingin tetap di urutan atas.

Langkah terakhir search engine adalah retrieving/memunculkan hasilnya,
yaitu menampilkan hasilnya di browser, mulai dari yang paling relevan sampai
yang paling kecil relevansinya.

JENIS-JENIS MESIN PENCARI Berdasarkan cara mengumpulkan data halaman-halaman web

1. Human Organized Search Engine
Mesin pencari yang di kelola sepenuhnya oleh tangan manusia. Mesin pencari ini
menggunakan metode dengan memilah-milih informasi yang relevan dan dikelompokan
sedemikian rupa sehingga lebih bermakna dan bermanfaaat bagi penggunannya. Situs ini dalam
prakteknya memperkerjakan para pakar dalam bidang-bidang tertentu, kemudian para pakar
tersebut dapat mengkelompokan situs-situs tertentu sesuai dengan bidangnnya atau kategori situs
itu sendiri.
Search Engine Tahun Peluncuran Alamat Situs
Yahoo! 1994 www.yahoo.com
LooKSmart 1996 www.looksmart.com
About 1987 www.about.com
Open Directory 1998 Dmoz.org

2. Computer Created Search Engine
Search engine kategori ini banyak memiliki kelebihan karena banyak menyajikan
inforrmasi walaupun kadang-kadang ada beberapa informasi yang tida relevan tidak seperti yag
kita ingin kan. Search engine ini telah menggunakan software laba-laba atau spider software
yang berfungsi menyusup pada situs-situs tertentu, kemudian mengunpulkan data serta
mengelompokan dengan sedikit bantuan tangan manusia.
Search Engine TahunPeluncuran Alamat Situs
WebCrawler 1994 www.webcrawler.com
Excite 1995 www.excite.com
Inktomi 1996 www.inktomi.com
Northen Light 1997 www.nothernlight.com
Fast Search 1999 www.altheweb.com

3. Hybrid Seacrh Engine
Merupakan gabungan antara tangan manusia dengan computer, sehingga menghasilkan
hasil pencarian yang relative akurat. Peran manusia dalam hal ini adalah sebagai penelaah dalam
proses pengkoleksian database halaman web. Sebenarnya tipe ini lah yanag paling mudah
pembuatannya menurut saya karena dapat di desaingsesuai dengan keinginan kita.
Search Engine Tahun Peluncuran Alamat Situs
Lycos 1995 www.lycos.com
Alta Vista 1995 www.altavista.com
HotBot 1996 www.hotbot.com
Go To 1997 www.goto.com
Snap 1997 www.snap.com
Direct Hit 1998 www.directthit.com
Google 1998 www.google.com
Go 1999 go.com




4. MetaCrawler/Metasearch
Merupakan perantara dari mesin pencari yang sebenarnya. Mesin ini hanya akan
mengirimkan permintaan pencarian ke berbagai mesin pencari serta menampilkan hasilnya satu
di layer browser sehingga akan menampilkan banyak sekali hasil dari ber bagai mesin pencari
yang ada.
Search Engine Tahun Peluncuran Alamat Situs
SavvySearch 1995 savvysearch.com
Dogpile Tidak teridentifikasi www.dogpile.com
The Big Hub Tidak teridentifikasi www.infind.com
C4 Total Search Tidak teridentifikasi www.snap.com

Jenis - Jenis Search Engine

* Altavista (http://www.altavista.com)
* Alltheweb (http://www.alltheweb.com)
* Ask (http://www.ask.com)
* AOL (http://www.aol.com)
* Britannica (http://www.britannica.com)
* Dogpile (http://www.dogpile.com)
* Gigablast (http://www.gigablast.com)
* Google (http://www.google.com)
* HotBot (http://www.hotbot.com)
* Live Search (http://www.live.com)
* LookSmart (http://www.looksmart.com)
* Lycos (http://www.lycos.com)
* Mamma (http://www.mamma.com)
* MetaCrawler (http://www.metacrawler.com)
* MSN (http://www.msn.com)
* Netscape (http://www.netscape.com)
* Search (http://www.search.com)
* Snap (http://www.snap.com)
* Yahoo (http://www.yahoo.com)
* WebCrawler (http://www.webcrawler.com)
* Wisenut (http://www.wisenut.com)

Sejarah Search Engine

Sebelum ada web search engine(mesin pencari web), terlebih dahulu ada sebuah webserver yang memiliki daftar lengkap. Tampilan tersebut diubah oleh Tim Berners-Lee dan dimana CERN webserver menjadi tuan rumahnya. Sejarah dalam sebuah foto yang masih tersisa dari 1992. Semakin banyak webserver yang online tampilan pusat tidak dapat ikuti. Dalam NCSA server baru diumumkan dengan judul "What's New!" tetapi tidak terdapat tampilan yang lengkap lagi.

Alat yang pertama kali digunakan untuk mencari informasi di internet dinamakan Archie. Nama itu singkatan dari "archive" tanpa "v". Alat ini diciptakan pada tahun 1990 oleh Alan Emtage, seorang murid di McGill Universitas di Montreal. Program ini menyalin data dari semua file di komputer yang terletak di FTP (File Transfer Protocol) tanpa nama, menciptakan kumpulan data yang bisa ditemukan di komputer; bagaimanapun, Archie tidak memberi petunjuk dalam situs ini.

Gopher meningkat (diciptakan pada tahun 1991 oleh McCahill di Universitas Minnesota) memimpin 2 program pencari baru, Veronica dan Jughead. Seperti Archie, mereka mencari nama file dan judul yang disimpan dalam sistem index (petunjuk) Gopher. Veronica (Very Easy Rodent-Oriented Net-wide Index to Computerized Archives) menyediakan kata kunci pencarian dari kebanyakan judul menu Gopher dalam semua tampilan Gopher keseluruhan. Jughead (Jonzy's Universal Gopher Hierarchy Excavation And Display) adalah sebuah alat untuk mendapatkan informasi dari server Gopher. Sementara sebuah nama mesin pencari "Archie" bukan penunjuk untuk berbagai seri buku komik Archie, "Veronica" dan "Jughead" adalah karakter dalam berbagai seri, jadi mengarah pada pendahulu.

Pada musim panas tahun 1993, tidak ada mesin pencari untuk web saat itu, walaupun berbagai macam katalog khusus ada di tangan. Oscar Nierstrasz di Universitas Geneva menuliskan berbagai seri tulisan tangan Perl dimana akan secara berkala mencermikan halaman ini dan menuliskan kembali ke format standar yang dibentuk untuk dasar W3Catalog, web sederhana pertama mesin pencari, yang dilepaskan pada 2 September 1993.

Pada June 1993, Matthew Gray, kemudian di MIT, menghasilkan mungkin robot web pertama, the Perl -berdasarkan World Wide Web Wanderer, dan menggunakan itu untuk menghasilkan penunjuk (index) yang dinamakan 'Wandex'. Tujuan dari Wanderer adalah untuk mengukur suatu ukuran dari World Wide Web, dimana itu berlangsung sampai akhir 1995. Mesin pencari web yang kedua Aliweb muncul pada November 1993. Aliweb tidak menggunakan web robot, tetapi bergantung pada konfirmasi oleh pengelola website dari setiap situs yang ada dalam format tertentu.

JumpStation (dilepaskan pada December 1993) menggunakan web robot untuk menemukan halaman web dan membangun penunjuknya, dan menggunakan bentuk web untuk gabungkan dengan program pertanyaan. Itu adalah WWW yang pertama-penemuan alat untuk menyatukan tiga ciri khas yang penting dari mesin pencari web (crawling, indexing, dan searching). Oleh karena keterbatasan sumber yang ada dari platform, jadi (indexing) dan dengan demikian mencari yang terbatas pada judul dan topiknya yang ditemukan di halaman web bersamaan dengan crawler.

Satu dari "full text" crawler yang pertama-berdasarkan mesin pencaru adalah WebCrawler, yang keluar pada tahun 1994. Tidak seperti pendahulunya, itu membiarkan pengguna mencari kata-kata dalam berbagai halaman web, dimana telah menjadi standar dari semua mesin pencari utama. Itu juga merupakan yang pertama dikenal/terkenal oleh umum. Pada tahun 1994 Lycos (yang dimulai pada Universitas Carnegie Mellon) diluncurkan, dan menjadi usaha perdagangan komersil yang utama.

Segera setelah itu, banyak mesin pencari muncul dan bersaing untuk ketenaran. Termasuk didalamnya Magellan, Excite, Infoseek, Inktomi, Northern Light, dan AltaVista. Yahoo! adalah cara yang paling banyak diminati oleh kebanyakan orang untuk menemukan halaman web, tetapi fungsi pencarian beroperasi pada direktore web, daripada teks penuh yang disalin dari halaman web. Informasi dari para pencari dapat juga dilihat direktori daripada melakukan pencarian kata kunci.

Pada tahun 1996, Netscape sedang mencari sesuatu untuk memberikan mesin pencari single rundingan yang istimwea untuk menjadi ciri khas mesin pencari. Terdapat begitu banyak minat yang menghantam Netscape oleh 5 mesin pencari utama, 5 juta dolar per tahun setiap mesin pencari akan diputar pada halaman mesin pencari Netscape. Lima mesin ini adalah: Yahoo!, Magellan, Lycos, Infoseek dan Excite.

Mesin pencari juga terkenal sebagai beberapa bintang cemerlang dalam internet menginvestasikan (frenzy) yang terjadi pada akhir 1990an. Beberapa perusahaan memasuki pasar, menerima catatan selama persembahan umum mereka. Beberapa sudah melepas mesin pencari umum mereka dan hanya perusahaan pemasaran, seperti Northern Light. Beberapa perusahaan pencari ditangkap pada (dot-com bubble), spekulasi bom yang terjadi pada tahun 1999 dan berakhir pada tahun 2001.

Sekitar tahun 2000, mesin pencari Google bangkit untuk menjadiyang terdepan. Perusahaan mencapai hasil yang memuaslan untuk beberapa pencarian dengan penemuan yang disebut PageRank. (iterative algortihm ranks) halaman web berdasarkan angka dan PageRank dari situs web yang lain dan halaman yang berhubungan dengan itu, dengan pemisalan bahwa barang atau halaman yang menarik berhubungan lebih daripada yang lain. Google juga mempertahankan pemisahan minimal untuk mesin pencarinya. Bertentangan, beberapa pesaing tertanam pada mesin pencari di portal web.

Tahun 2000, Yahoo menyediakan layanan pencarian berdasarkan mesin pencari Inktomi. Yahoo! mendapat Inktomi pada tahun 2002 dan Overture (yang dimiliki oleh AlltheWeb dan AltaVisa) pada tahun 2003. Yahoo! (switched) ke mesin pencari Google sampai tahun 2004. ketika di luncurkan mesin pencarinya sendiri berdasarkan penggabungan teknologi dari perolehannya.

Microsoft pertama kali meluncurkan MSN Search (in the fall of) 1998 menggunakan hasil pencarian dari Inktomi. Pada permulaan 1999 situs tersebut mulai menampilkan daftarnya dari Looksmart digabung dengan hasil dari Inktomi kecuali untuk jangka pendek tahun 1999 ketika hasil dari AltaVista digunakan. Pada tahun 2004, Microsoft memulai masa peralihan untuk pencarian teknologinya, didukung oleh web crawler (dinamakan msnbot).

Microsoft memberikan merk lagi pada mesin pencari, Bing, yang diluncurkan pada 1 Juni 2009. Pada 29 July 2009, Yahoo! dan Microsoft menyelesaikan rundingan dimana Yahoo! Search didukung oleh teknologi Microsoft Bing.

Berdasarkan Hitbox, ketenaran Google memuncak pada 82.7% bulan Desember 2008. Pada July 2009 prestasi menunjukkan Google berada pada 78.45 kalah dari Baidu 8.87%, dan Bing 3.17%. Penguasaan pasar dari Yahoo! adalah 7.16% dan AOL 0.6% juga ditolak.

Di Amerika Serikat, Google memimpin pada 63.2% penguasaan pasar pada May 2009, berdasarkan Nielsen NetRatings. Republik of Cina, Baidu memegang 61.6% penguasaan pasar untuk pencarian web bulan July 2009.
Web robot yang pertama kali muncul adalah "Wandex" dari World Wide Web Wanderer, suatu aplikasi indeks yang ditemukan oleh Matthew Gray di MIT pada 1993 sampai 1995 yang digunkan untuk mengetahui seberapa besar world wide web. Kemudian muncul Aliweb dan sampai sekarang. Kemudian ada mesin lain yang bernama Lycos, lahir pada tahun 1994, yang telah berkembang pesaat menjadi usaha yang komersial. Kemudian sudah mulai muncul banyak mesin yang bersaing diantaranya adalah WebCrawler, Hotbot, Excite, Infoseek, Inktomi, dan AltaVista.

Search Engine sendiri pun terbagi atas dua kelompok yaitu Individual Search Engine yaitu mengumpulkan data dari web kemudian menampilkan hasilnya berdasarkan indeks pada basis individu. Contohnya adalah Google (www.google.com), hotbot (www.hotbot.com), FastSearch (www.fastsearch.com). Sedangkan kelompok yang lain adalah Meta Search Engine yaitu dengan cara mencari data dari beberapa individual search engine secara bersama-sama. Contohnya adalah lxquick (www.ixquick.com), Meta Crawler (www.go2net.com/search.html), QbSearch (www.qbsearch.com)

DEFINISI SEARCH ENGINE

Search Engine adalah aplikasi yang didesain untuk mencari informasi dunia world wide web/ internet. Internet terdiri dari triliun data dan informasi dalam jutaan server dan lokasi yang tersebar luas. Search engine menkoleksi data, gambar, informasi dalam bentuk indeks. Informasi yang disajikan dalam bentuk daftar kepada pencari berdasarkan info yang diberikan oleh pencari.

Cara kerja search engine berdasarkan urutan berikut ini:
1. Web Crawling
2. Indexing
3. Searching

Web crawler (disebut juga spider) adalah program komputer yang melihat-lihat/browse halaman web serta mengikuti setiap link di halaman tersebut, dan kemudian menyimpannya dalam indeks di server search engine. Isi dari halaman tersebut dianalisa untuk mendapatkan index kata-kata dari judul, header, dan meta tag. Index memungkinkan hasil query yang sepandan dengan cepat.

Saat pengguna menuliskan pertanyaan/ query ke search engine, maka search engine akan searching/ mengevaluasi index dan memberikan daftar halaman web yang paling sesuai dengan pertanyaan/ query, beserta ringkasan singkat yang terdiri dari judul dokumen dan sebagian dari teks.