U ranim 90-im, milijuni dokumenata se pojavljuju na Internetu. Većina njih su bili ogromni akademski papiri koje su postavili sveučilišta. Očito je bilo da je Web brzo rastao i da je neka metoda identifikacije, arhiviranja, katalogiranja i kategoriziranja brzo rastućeg sadržaja bila potrebna. World Wide Web kakvog sada znamo, se tek trebao roditi. Sloboda informacije je pomognuta sa Archie i Veronica, a nakon njih je Gopher indeksirao i slao točne informacije na poslane zahtjeve sa prve Internetske baze podataka. 1993. se pojavio prvi “spider” – World Wide Web Wanderer, koji je aktivno tražio i katalogirao web stranice.

U početku su mnoga istraživanja i razvoje provodila Sveučilišta i slične institucije. Velike tvrtke su osjetile priliku i do 1994. Excite je kupio WebCrawler koji je koristio AOL (America OnLine) za svoj NetFind pretraživački sustav. Web je bio indeksiran…

Svejedno, bilo je problema. Rastuće posjedovanje dokumenata i često vrlo različito imenovanje je značilo da je indeksiranje nepouzdano i dezinformativno. U pokušaju da se pobijedi ovaj problem, Yahoo! je rođen.Radio je na način da je spaja ime dokumenta sa tekstualnim opisom. Ali usprkos velikoj inovaciji u kategorizaciji i poboljšanju te novijoj tehnologiji web pretraživanja i dalje je ostao problem izlistavanja relevantnih podataka.

Tada se pojavio Google. U 1998. sa svojim PageRank (PR) algoritmom za izračunavanje i “vaganje” sadržaja na web stranicama. Sergey Brin i Larry Page su ga isprogramirali dok su pohađali Sveučilište Stanford. Page Rank je mjerilo popularnosti bazirano na linkanju (poveznicama) drugih stranica. Pokušaj da se skupi demokracija na Webu; što više web stranica usmjerava posjetitelje na određenu web stranicu, to je njen PR veći. Sistem je puno kompliciraniji, ali princip ostaje isti: kvalitetan sistem glasanja za sadržaj web stranica.

Sam PageRank nije riješio problem važnosti prilikom izlistavanja na pretraživačima ali je dokazao snažan indikator točnosti sadržaja ili neke određene teme. Istraživanje podatkovnih struktura je pomoglo Google-u da izraste te efikasnije i točnije indeksira informaciju na način da koristi tisuće PC-a. Sve do danas se nalazi na vrhu web pretraživanja, dostavljajući brze, sviježe, bitne rezultate u svom SERP-u (Search engine results pages). Khm… kako ovo prevest? Stranice koje izlista Google tokom pretraživanja, rezultati pretraživanja, dakle rezultati tražilice.

Do današnjeg dana naglasak je stavljen na autoritetne web stranice čiji je sadržaj odnosno informacija točna, bitna ili generalno informativna unutar svoje strukture ili tržišta.