Sejarah Search Engine

Sebelum ada web search engine(mesin pencari web), terlebih dahulu ada sebuah webserver yang memiliki daftar lengkap. Tampilan tersebut diubah oleh Tim Berners-Lee dan dimana CERN webserver menjadi tuan rumahnya. Sejarah dalam sebuah foto yang masih tersisa dari 1992. Semakin banyak webserver yang online tampilan pusat tidak dapat ikuti. Dalam NCSA server baru diumumkan dengan judul "What's New!" tetapi tidak terdapat tampilan yang lengkap lagi.

Alat yang pertama kali digunakan untuk mencari informasi di internet dinamakan Archie. Nama itu singkatan dari "archive" tanpa "v". Alat ini diciptakan pada tahun 1990 oleh Alan Emtage, seorang murid di McGill Universitas di Montreal. Program ini menyalin data dari semua file di komputer yang terletak di FTP (File Transfer Protocol) tanpa nama, menciptakan kumpulan data yang bisa ditemukan di komputer; bagaimanapun, Archie tidak memberi petunjuk dalam situs ini.

Gopher meningkat (diciptakan pada tahun 1991 oleh McCahill di Universitas Minnesota) memimpin 2 program pencari baru, Veronica dan Jughead. Seperti Archie, mereka mencari nama file dan judul yang disimpan dalam sistem index (petunjuk) Gopher. Veronica (Very Easy Rodent-Oriented Net-wide Index to Computerized Archives) menyediakan kata kunci pencarian dari kebanyakan judul menu Gopher dalam semua tampilan Gopher keseluruhan. Jughead (Jonzy's Universal Gopher Hierarchy Excavation And Display) adalah sebuah alat untuk mendapatkan informasi dari server Gopher. Sementara sebuah nama mesin pencari "Archie" bukan penunjuk untuk berbagai seri buku komik Archie, "Veronica" dan "Jughead" adalah karakter dalam berbagai seri, jadi mengarah pada pendahulu.

Pada musim panas tahun 1993, tidak ada mesin pencari untuk web saat itu, walaupun berbagai macam katalog khusus ada di tangan. Oscar Nierstrasz di Universitas Geneva menuliskan berbagai seri tulisan tangan Perl dimana akan secara berkala mencermikan halaman ini dan menuliskan kembali ke format standar yang dibentuk untuk dasar W3Catalog, web sederhana pertama mesin pencari, yang dilepaskan pada 2 September 1993.

Pada June 1993, Matthew Gray, kemudian di MIT, menghasilkan mungkin robot web pertama, the Perl -berdasarkan World Wide Web Wanderer, dan menggunakan itu untuk menghasilkan penunjuk (index) yang dinamakan 'Wandex'. Tujuan dari Wanderer adalah untuk mengukur suatu ukuran dari World Wide Web, dimana itu berlangsung sampai akhir 1995. Mesin pencari web yang kedua Aliweb muncul pada November 1993. Aliweb tidak menggunakan web robot, tetapi bergantung pada konfirmasi oleh pengelola website dari setiap situs yang ada dalam format tertentu.

JumpStation (dilepaskan pada December 1993) menggunakan web robot untuk menemukan halaman web dan membangun penunjuknya, dan menggunakan bentuk web untuk gabungkan dengan program pertanyaan. Itu adalah WWW yang pertama-penemuan alat untuk menyatukan tiga ciri khas yang penting dari mesin pencari web (crawling, indexing, dan searching). Oleh karena keterbatasan sumber yang ada dari platform, jadi (indexing) dan dengan demikian mencari yang terbatas pada judul dan topiknya yang ditemukan di halaman web bersamaan dengan crawler.

Satu dari "full text" crawler yang pertama-berdasarkan mesin pencaru adalah WebCrawler, yang keluar pada tahun 1994. Tidak seperti pendahulunya, itu membiarkan pengguna mencari kata-kata dalam berbagai halaman web, dimana telah menjadi standar dari semua mesin pencari utama. Itu juga merupakan yang pertama dikenal/terkenal oleh umum. Pada tahun 1994 Lycos (yang dimulai pada Universitas Carnegie Mellon) diluncurkan, dan menjadi usaha perdagangan komersil yang utama.

Segera setelah itu, banyak mesin pencari muncul dan bersaing untuk ketenaran. Termasuk didalamnya Magellan, Excite, Infoseek, Inktomi, Northern Light, dan AltaVista. Yahoo! adalah cara yang paling banyak diminati oleh kebanyakan orang untuk menemukan halaman web, tetapi fungsi pencarian beroperasi pada direktore web, daripada teks penuh yang disalin dari halaman web. Informasi dari para pencari dapat juga dilihat direktori daripada melakukan pencarian kata kunci.

Pada tahun 1996, Netscape sedang mencari sesuatu untuk memberikan mesin pencari single rundingan yang istimwea untuk menjadi ciri khas mesin pencari. Terdapat begitu banyak minat yang menghantam Netscape oleh 5 mesin pencari utama, 5 juta dolar per tahun setiap mesin pencari akan diputar pada halaman mesin pencari Netscape. Lima mesin ini adalah: Yahoo!, Magellan, Lycos, Infoseek dan Excite.

Mesin pencari juga terkenal sebagai beberapa bintang cemerlang dalam internet menginvestasikan (frenzy) yang terjadi pada akhir 1990an. Beberapa perusahaan memasuki pasar, menerima catatan selama persembahan umum mereka. Beberapa sudah melepas mesin pencari umum mereka dan hanya perusahaan pemasaran, seperti Northern Light. Beberapa perusahaan pencari ditangkap pada (dot-com bubble), spekulasi bom yang terjadi pada tahun 1999 dan berakhir pada tahun 2001.

Sekitar tahun 2000, mesin pencari Google bangkit untuk menjadiyang terdepan. Perusahaan mencapai hasil yang memuaslan untuk beberapa pencarian dengan penemuan yang disebut PageRank. (iterative algortihm ranks) halaman web berdasarkan angka dan PageRank dari situs web yang lain dan halaman yang berhubungan dengan itu, dengan pemisalan bahwa barang atau halaman yang menarik berhubungan lebih daripada yang lain. Google juga mempertahankan pemisahan minimal untuk mesin pencarinya. Bertentangan, beberapa pesaing tertanam pada mesin pencari di portal web.

Tahun 2000, Yahoo menyediakan layanan pencarian berdasarkan mesin pencari Inktomi. Yahoo! mendapat Inktomi pada tahun 2002 dan Overture (yang dimiliki oleh AlltheWeb dan AltaVisa) pada tahun 2003. Yahoo! (switched) ke mesin pencari Google sampai tahun 2004. ketika di luncurkan mesin pencarinya sendiri berdasarkan penggabungan teknologi dari perolehannya.

Microsoft pertama kali meluncurkan MSN Search (in the fall of) 1998 menggunakan hasil pencarian dari Inktomi. Pada permulaan 1999 situs tersebut mulai menampilkan daftarnya dari Looksmart digabung dengan hasil dari Inktomi kecuali untuk jangka pendek tahun 1999 ketika hasil dari AltaVista digunakan. Pada tahun 2004, Microsoft memulai masa peralihan untuk pencarian teknologinya, didukung oleh web crawler (dinamakan msnbot).

Microsoft memberikan merk lagi pada mesin pencari, Bing, yang diluncurkan pada 1 Juni 2009. Pada 29 July 2009, Yahoo! dan Microsoft menyelesaikan rundingan dimana Yahoo! Search didukung oleh teknologi Microsoft Bing.

Berdasarkan Hitbox, ketenaran Google memuncak pada 82.7% bulan Desember 2008. Pada July 2009 prestasi menunjukkan Google berada pada 78.45 kalah dari Baidu 8.87%, dan Bing 3.17%. Penguasaan pasar dari Yahoo! adalah 7.16% dan AOL 0.6% juga ditolak.

Di Amerika Serikat, Google memimpin pada 63.2% penguasaan pasar pada May 2009, berdasarkan Nielsen NetRatings. Republik of Cina, Baidu memegang 61.6% penguasaan pasar untuk pencarian web bulan July 2009.
Web robot yang pertama kali muncul adalah "Wandex" dari World Wide Web Wanderer, suatu aplikasi indeks yang ditemukan oleh Matthew Gray di MIT pada 1993 sampai 1995 yang digunkan untuk mengetahui seberapa besar world wide web. Kemudian muncul Aliweb dan sampai sekarang. Kemudian ada mesin lain yang bernama Lycos, lahir pada tahun 1994, yang telah berkembang pesaat menjadi usaha yang komersial. Kemudian sudah mulai muncul banyak mesin yang bersaing diantaranya adalah WebCrawler, Hotbot, Excite, Infoseek, Inktomi, dan AltaVista.

Search Engine sendiri pun terbagi atas dua kelompok yaitu Individual Search Engine yaitu mengumpulkan data dari web kemudian menampilkan hasilnya berdasarkan indeks pada basis individu. Contohnya adalah Google (www.google.com), hotbot (www.hotbot.com), FastSearch (www.fastsearch.com). Sedangkan kelompok yang lain adalah Meta Search Engine yaitu dengan cara mencari data dari beberapa individual search engine secara bersama-sama. Contohnya adalah lxquick (www.ixquick.com), Meta Crawler (www.go2net.com/search.html), QbSearch (www.qbsearch.com)