Il web era appena nato (1991) dalla geniale intuizione di Tim Berners-Lee ed il successo dell’idea della condivisione del sapere tramite documenti ipertestuali fa nascere nuovi problemi: tanta conoscenza era già disponibile nel web e c’era bisogno di un indice, un modo per trovare quella conoscenza in maniera rapida e semplice.

Da questa esigenza nascono i motori di ricerca, quell’indice indispensabile per trovare quello che si cerca nel mare di informazioni praticamente infinito che è il web.

Questo indice deve avere delle caratteristiche che non furono soddisfatte tutte dall’inizio

  • Essere aggiornato costantemente
  • Essere in grado di indicizzare una quantità di pagine web in costante crescita
  • I risultati della ricerca dovevano essere ordinati per importanza ovvero le pagine contenute nei siti più autorevoli per un dato argomento dovevano stare nelle prime posizioni dei risultati

I motori di ricerca a base umana

I primi indici del web furono a base umana, ovvero degli esseri umani esaminavano le varie pagine web e li classificavano: tecnicamente si trattava di directory più che di motori di ricerca veri e propri, la ricerca avveniva essenzialmente per categoria.

Malgrado i limiti del tipo di classificazione, rispondevano ad un’esigenza fondamentale dei sempre più numerosi utenti del web e fecero la fortuna di aziende come Yahoo! che inizia la sua attività in questo settore nel 1994.

I crawler

Un miglioramento fondamentale della tecnologia dei motori di ricerca si ebbe con l’introduzione dei crawler, programmi in grado di esaminare i contenuti del web automaticamente per poi classificarli in qualche modo: questo consentiva di superare i limiti dell’analisi “umana” che per sua natura non poteva che essere “finita” e male si adattava alla crescita del web. Inoltre, consentiva di esaminare periodicamente il web per aggiornare l’indice: la periodicità dell’aggiornamento dipendeva dalla dimensione del web, dall’efficienza degli algoritmi di classificazione e dalle capacità di calcolo dei computer usati.

La rivoluzione del Page Ranking e la nascita di google

Rimaneva un problema apparentemente irresolubile: i risultati dei motori di ricerca dovevano in qualche modo essere ordinati per rilevanza. Ad esempio, le parole Word Wide Web possono essere presenti in centinaia di migliaia di siti, ma il motore di ricerca deve nei suoi primi risultati puntare sui siti più importanti sull’argomento, ad esempio sul sito della Word Wide Web Foundation, la fondazione che si occupa di definirne le regole ed i protocolli del web.

Questo sembrava costringere a definire degli algoritmi in grado di esaminare le pagine web in maniera semantica, per estrarne il significato, cosa impossibile negli anni Novanta per i computer di allora, e probabilmente impossibile anche ora.  

Dall’apparizione dei primi crawler devono passare quattro anni perché due studenti dell’Università di Stanford, Larry Page e Sergey Brin, teorizzano un approccio diverso al problema: per capire l’importanza di una pagina/sito web per una data parola chiave si può utilizzare un indicatore indiretto, ovvero il numero di riferimenti a quella pagina presenti sul web, il cosiddetto Page Ranking. I due studenti decidono di sviluppare l’idea fondando Google nel 1998.

L’ipotesi di Page e Brin si rileva corretta e Google sbaraglia rapidamente la concorrenza degli altri motori di ricerca grazie all’imbattibile ordine di rilevanza dei suoi risultati.

Cosa è successo negli ultimi vent’anni

Fino alla nascita dei social network, i motori di ricerca erano di gran lunga i siti più visitati del web, il principale modo di fruire internet: ora le cose sono un po’ cambiate, ma i motori, opportunamente aggiornati e potenziati, rimangono strumenti fondamentali.

Il Page Ranking, il concetto chiave dell’indicizzazione di Google, è diventato meno importante a favore di altri indicatori di rilevanza, basati sui gusti personali e sulla posizione geografica in cui si trova chi fa la ricerca, tanto che alcuni studiosi avanzano l’ipotesi che gli algoritmi tendano a creare intorno a ciascuno di noi una “bolla informativa” in funzione dei nostri presunti interessi.

La ricerca è sempre più spesso attuata attraverso assistenti vocali, in grado non solo di comprendere il linguaggio naturale, ma anche di farne un’analisi semantica.

Nel campo professionale del Web Marketing nasce il settore del SEO (Search Engine Optimization) con lo scopo realistico di posizionare una data pagina web nel posto che le compete nella lista dei risultati naturali del motore di ricerca e lo scopo promozionale di “finire primi nei motori di ricerca”, promessa alquanto fumosa e generica perché bisognerebbe specificare per quali parole chiave ed in quale zona geografica.

Dato l’alto interesse che di solito suscita l’argomento, rimando alle raccomandazioni che Google stessa fa per il SEO.