L’indicizzazione è il processo con cui un motore di ricerca analizza il contenuto di una pagina già scaricata e decide di inserirlo nel proprio archivio consultabile. Solo le pagine presenti in questo archivio possono comparire fra i risultati: una risorsa raggiungibile dal pubblico ma non indicizzata resta di fatto invisibile alla ricerca.
Il termine viene spesso confuso con la scansione e con il posizionamento, che indicano però momenti diversi. La scansione è il prelievo del documento, l’indicizzazione è la sua archiviazione strutturata, il posizionamento è l’ordine con cui la pagina viene eventualmente mostrata per una determinata richiesta. Distinguere i tre passaggi è essenziale per diagnosticare correttamente un problema di visibilità.
Come avviene l’indicizzazione
Dopo che un crawler ha prelevato la pagina, il contenuto viene elaborato per estrarne il testo, i riferimenti, i dati descrittivi e la struttura dei titoli. Il sistema valuta poi se la risorsa meriti di essere conservata e con quali chiavi debba essere recuperabile.
Dall’analisi all’archivio
L’elaborazione comprende l’esecuzione del codice necessario a comporre la pagina nella forma vista dalle persone. Il testo risultante viene scomposto in unità e registrato in una struttura che collega ciascun termine ai documenti che lo contengono. È questa organizzazione, e non una copia integrale del web, a rendere possibile una risposta in frazioni di secondo.
Scelta della versione di riferimento
Quando più indirizzi conducono allo stesso contenuto, il motore non li archivia tutti come documenti distinti: ne elegge uno a versione di riferimento e considera gli altri varianti. La scelta tiene conto delle indicazioni fornite dal sito, ma non è vincolata a esse. Accade quindi che una pagina risulti esclusa non perché rifiutata, ma perché considerata duplicato di un’altra.
Scansione, indicizzazione e posizionamento
| Fase | Che cosa avviene | Se fallisce |
|---|---|---|
| Scansione | Il documento viene raggiunto e scaricato | La pagina non è nemmeno letta |
| Indicizzazione | Il contenuto viene analizzato e archiviato | La pagina non può comparire nei risultati |
| Posizionamento | La pagina viene ordinata rispetto alle altre | La pagina è presente ma poco visibile |
Perché una pagina non viene indicizzata
Le cause si dividono in due gruppi, con conseguenze operative molto diverse: l’esclusione voluta dal sito e quella decisa dal motore.
Esclusioni decise dal sito
Una pagina può dichiarare esplicitamente di non voler comparire nei risultati attraverso i propri metadati, oppure indicare un altro indirizzo come versione di riferimento. Un caso frequente è l’esclusione involontaria: impostazioni ereditate da un ambiente di prova, o un blocco applicato a un’intera sezione, che restano attive anche dopo la pubblicazione.
Esclusioni decise dal motore
Il motore può leggere la pagina e scegliere comunque di non archiviarla. Accade quando il contenuto replica quello di altre risorse, quando è troppo scarno per rispondere a una richiesta, o quando la pagina esiste solo come passaggio tecnico, come i risultati di una ricerca interna o le combinazioni generate da filtri. In questi casi intervenire sui file tecnici non produce effetti: occorre agire sul valore del contenuto.
Contenuti che dipendono dall’esecuzione del codice
Un caso a parte riguarda le pagine il cui testo compare solo dopo l’esecuzione di script nel browser. Il motore è in grado di gestirle, ma lo fa in un secondo momento rispetto al primo prelievo e impiegando risorse maggiori. Ne derivano due effetti pratici: l’archiviazione può avvenire con ritardo, e se lo script fallisce o dipende da risorse bloccate il contenuto risulta assente. Quando un testo è essenziale per la comprensione della pagina conviene che sia presente già nella risposta iniziale del server, lasciando all’esecuzione successiva soltanto gli elementi accessori.
Come verificare lo stato di indicizzazione
- Controllare nello strumento per i proprietari del sito il rapporto sulle pagine, che distingue quelle indicizzate da quelle escluse e ne indica il motivo.
- Ispezionare il singolo indirizzo per conoscere la versione di riferimento scelta dal motore.
- Verificare che la pagina non dichiari nei propri metadati di voler restare fuori dai risultati.
- Accertarsi che le risorse necessarie a comporre la pagina siano accessibili al crawler.
- Richiedere una nuova analisi soltanto dopo aver rimosso la causa, non come primo tentativo.
Una trattazione generale del concetto è disponibile nella voce Indicizzazione (motori di ricerca) su Wikipedia.
Domande frequenti sull’indicizzazione
Quanto tempo richiede l’indicizzazione di una pagina nuova?
Non esiste un tempo garantito. Può trattarsi di ore o di settimane, in base alla frequenza con cui il sito viene visitato e all’interesse attribuito al contenuto.
Inviare una sitemap garantisce l’indicizzazione?
No. La sitemap segnala quali indirizzi esistono e ne facilita la scoperta, ma la decisione di archiviare resta del motore.
Bloccare una pagina nel file di esclusione la rimuove dai risultati?
Non in modo affidabile. Il blocco impedisce la lettura, non l’eventuale comparsa dell’indirizzo. Per escludere una pagina occorre consentirne la lettura e dichiarare che non deve essere mostrata.
Una pagina indicizzata può uscire dall’archivio?
Sì. L’archivio viene rivisto di continuo: contenuti ritenuti duplicati, obsoleti o di scarso valore possono essere rimossi anche dopo essere stati inclusi.
Contano di più le pagine indicizzate o la loro qualità?
La qualità. Un numero elevato di pagine deboli o quasi identiche può disperdere le risorse di scansione e non porta alcun vantaggio di visibilità.