Il file robots.txt è un semplice file di testo che viene pubblicato nella directory principale di un sito web e che contiene istruzioni destinate ai programmi automatici di indicizzazione, noti come crawler o spider dei motori di ricerca. La sua funzione principale è comunicare a questi programmi quali aree del sito possono essere esplorate e quali, invece, dovrebbero essere evitate. Non si tratta di un meccanismo di sicurezza, ma di una convenzione ampiamente rispettata dai principali motori di ricerca, come Google, Bing e altri.
Il nome deriva dalla tradizione informatica di collocare nella radice di un dominio i file che definiscono regole di comportamento per gli accessi automatici. Il robots.txt viene letto prima che il crawler inizi a scaricare le pagine, e le direttive in esso contenute influenzano il modo in cui il sito viene scansionato. Comprenderne il funzionamento è fondamentale per chi si occupa di ottimizzazione per i motori di ricerca, perché una configurazione errata può impedire l’indicizzazione di contenuti importanti o, al contrario, lasciare esposte pagine che non si desidera mostrare nei risultati di ricerca.
Cosa succede quando un crawler arriva sul sito
Quando un crawler visita un sito, la prima richiesta è spesso rivolta al file robots.txt. Se il file esiste, il programma lo legge e interpreta le regole in esso contenute. Se il file non esiste, il crawler assume che non vi siano restrizioni e procede a esplorare liberamente il sito. Le regole sono espresse in un formato testuale semplice, basato su coppie di direttive e valori.
Direttive principali
Le direttive più comuni sono User-agent, che identifica il crawler a cui si applica la regola, e Disallow, che indica i percorsi che non devono essere esplorati. Esiste anche Allow, che consente di specificare eccezioni all’interno di aree vietate. È possibile inoltre usare Sitemap per indicare l’indirizzo della mappa del sito, facilitando la scoperta delle pagine.
Un file robots.txt può contenere più blocchi, ciascuno riferito a un diverso User-agent. Le regole vengono applicate in base alla corrispondenza tra l’agente dichiarato dal crawler e quello specificato nel file. In assenza di corrispondenze, si applicano le regole del gruppo contrassegnato con l’asterisco, che funge da valore predefinito.
Come si scrive un robots.txt: sintassi e regole
La sintassi del robots.txt è lineare e tollerante, ma richiede attenzione ad alcuni dettagli. Ogni riga contiene una direttiva seguita da due punti e da un valore. Le righe vuote e quelle che iniziano con il cancelletto vengono ignorate e servono come commenti. I percorsi sono sensibili alle maiuscole e minuscole e devono iniziare con una barra.
Esempio di struttura
Un file tipico può iniziare con un blocco per tutti i crawler, seguito da regole specifiche per singoli agenti. Ad esempio, si può vietare l’accesso a una cartella di amministrazione e consentire contemporaneamente l’accesso a una sottocartella necessaria. La precisione nella scrittura dei percorsi evita ambiguità e garantisce che le direttive vengano interpretate correttamente.
È importante ricordare che il robots.txt non impedisce a un crawler malevolo di accedere ai contenuti: si tratta di una richiesta, non di un obbligo. Per proteggere realmente delle aree riservate occorrono altri strumenti, come l’autenticazione o le regole di un server web.
Robots.txt, noindex e canonical: non sono la stessa cosa
Spesso il robots.txt viene confuso con altri meccanismi che regolano l’indicizzazione. È utile chiarire le differenze per evitare errori che possono compromettere la visibilità di un sito. La tabella seguente riassume le principali distinzioni.
| Strumento | Funzione | Ambito | Effetto sull’indicizzazione |
|---|---|---|---|
| robots.txt | Indica ai crawler quali percorsi esplorare | Intero sito o singole directory | Impedisce la scansione, non necessariamente l’indicizzazione |
| Meta robots | Fornisce istruzioni nella pagina | Singola pagina | Controlla l’indicizzazione e la visualizzazione |
| Direttiva noindex | Chiede di non indicizzare una pagina | Singola pagina | Rimuove la pagina dai risultati di ricerca |
| Sitemap XML | Elenca le pagine da indicizzare | Intero sito | Facilita la scoperta, non impone restrizioni |
| Intestazione HTTP | Trasmette istruzioni dal server | Risorsa singola | Può bloccare o consentire l’indicizzazione |
Gli errori da evitare e le buone pratiche
Una configurazione scorretta del robots.txt può avere conseguenze indesiderate. Tra gli errori più frequenti vi è il blocco accidentale di intere sezioni del sito, che impedisce ai motori di ricerca di scansionare contenuti rilevanti. Un altro errore consiste nel vietare l’accesso a risorse necessarie al rendering, come fogli di stile o file di immagini, compromettendo la valutazione delle pagine.
Controlli periodici
È buona norma verificare regolarmente il contenuto del file e utilizzare gli strumenti messi a disposizione dai motori di ricerca per testare le regole. In questo modo si evitano conflitti tra direttive e si mantiene il controllo sulla scansione del sito.
Robots.txt e crawler delle IA
Il robots.txt è anche lo strumento con cui si indica quali crawler delle IA possono usare i contenuti. Alcuni operatori pubblicano nomi di user-agent distinti per scopi diversi: per esempio GPTBot (OpenAI, addestramento), OAI-SearchBot (OpenAI, ricerca), ClaudeBot (Anthropic), Google-Extended (uso dei contenuti per Gemini) e PerplexityBot. Bloccare Google-Extended non incide sulla presenza in Ricerca Google. Bloccare i crawler di ricerca delle IA può invece ridurre la possibilità di essere citati nelle loro risposte: è una scelta da fare consapevolmente, anche in ottica di GEO. Il robots.txt resta una richiesta: i bot che non lo rispettano vanno bloccati a livello di server.
Come creare un file robots.txt passo dopo passo
La creazione di un file robots.txt richiede pochi passaggi, ma va eseguita con attenzione. Di seguito una sequenza operativa utile per chi si avvicina per la prima volta a questo strumento.
- Verificare se esiste già un file robots.txt nella directory principale del sito.
- Decidere quali aree del sito devono essere escluse dalla scansione.
- Aprire un editor di testo semplice e scrivere le direttive desiderate.
- Specificare lo User-agent a cui si applicano le regole.
- Inserire i percorsi da bloccare con la direttiva Disallow.
- Aggiungere eventuali eccezioni con la direttiva Allow.
- Indicare l’indirizzo della sitemap, se disponibile.
- Salvare il file con nome robots.txt e caricarlo nella directory principale.
Domande frequenti su robots.txt
Come si crea e si configura un file robots.txt?
Per creare un file robots.txt basta un editor di testo semplice: si scrivono le direttive, si salva il documento con il nome robots.txt e lo si carica nella root del sito, cioè la directory principale del dominio. La configurazione si basa su righe come User-agent, Disallow, Allow e Sitemap, ognuna seguita da due punti e dal valore. Un file di testo ben fatto inizia con un gruppo per tutti i crawler e poi aggiunge blocchi specifici. Il file deve restare raggiungibile all’indirizzo esempio.com/robots.txt, altrimenti i motori lo considerano assente. Prima di pubblicarlo conviene testarlo con gli strumenti di verifica messi a disposizione dai motori di ricerca, per evitare di bloccare per errore sezioni utili.
A cosa serve il robots.txt per la SEO e il crawl budget?
Il robots.txt serve a indirizzare la scansione dei crawler, escludendo pagine e risorse che non vuoi far esplorare e concentrando il crawl budget sulle URL importanti. In pratica permette di bloccare aree come carrelli, filtri, risultati di ricerca interni o duplicati, evitando che consumino richieste utili altrove. Va ricordato che il blocco della scansione non equivale sempre al blocco dell’indicizzazione: una pagina esclusa può comunque comparire nei risultati se è linkata da altre fonti. Per questo, quando l’obiettivo è tenere una pagina fuori dall’indice, il robots.txt da solo non basta e va abbinato ad altri strumenti. Una configurazione attenta migliora l’efficienza della scansione e la qualità dell’indicizzazione.
Quali sono i comandi e le direttive principali del robots.txt?
Le direttive principali del robots.txt sono User-agent, che indica a quale crawler si applica il blocco, Disallow, che elenca i percorsi da non esplorare, e Allow, che apre eccezioni dentro aree vietate. Sitemap segnala l’indirizzo della mappa del sito e aiuta la scoperta delle pagine. Crawl-delay non è supportato da Google, che gestisce la velocità di scansione in autonomia, ma lo leggono altri motori come Bing. Le regole si scrivono una per riga, con la direttiva seguita da due punti e dal valore, e i percorsi sono sensibili a maiuscole e minuscole. Quando più regole si applicano allo stesso URL, Google usa la più specifica (il percorso più lungo); a parità di specificità prevale la meno restrittiva.
Che cos’è il protocollo di esclusione robot e come funziona il robots.txt?
Il protocollo di esclusione robot è lo standard informale che definisce come un sito comunica ai crawler le restrizioni di accesso tramite il file robots.txt. Non è una legge né un sistema di sicurezza: è una convenzione che i principali motori di ricerca e molti altri bot rispettano volontariamente. Un crawler che legge il file interpreta le direttive e, in condizioni normali, evita i percorsi indicati con Disallow. Poiché si tratta di una richiesta e non di un obbligo, software malevoli possono ignorarla del tutto. Per proteggere davvero contenuti riservati servono autenticazione, password o regole lato server. Il protocollo resta comunque lo strumento standard per gestire le restrizioni di scansione in modo dichiarato e trasparente.
Perché il file robots.txt è importante per l’indicizzazione?
Il file robots.txt è importante perché è il primo punto di contatto tra un sito e i bot dei motori di ricerca, e le sue regole orientano l’intero processo di indicizzazione. Se il file manca, i crawler assumono che non ci siano restrizioni e esplorano liberamente; se è scritto male, può escludere pagine che vorresti far indicizzare o lasciare accessibili aree inutili. Le regole influenzano quali URL vengono scansionate e con quale frequenza, quindi incidono sulla copertura dell’indice. Un file corretto non garantisce il posizionamento, ma evita che contenuti rilevanti restino fuori per errore. Per questo va considerato parte della configurazione tecnica di base di ogni sito.
Qual è la storia e lo standard del robots.txt?
Il robots.txt nasce nel 1994 come proposta di Martijn Koster, che lo definì per coordinare l’accesso dei crawler ai server web, ed è rimasto per quasi trent’anni uno standard di fatto. Nel 2022 il protocollo è stato formalizzato dall’IETF come RFC 9309, ma resta una convenzione volontaria: nulla obbliga un crawler a rispettarlo. Nel tempo si sono aggiunte direttive come Allow e Sitemap; Google non ha mai supportato Crawl-delay. Conoscere la storia aiuta a capirne i limiti attuali.
Come creare e modificare il robots.txt e gestirne l’utilizzo in WordPress?
In WordPress il robots.txt viene generato automaticamente e di norma non esiste come file fisico sul server: è possibile vederlo aprendo il sito seguito da /robots.txt. Per creare e modificare le regole si può usare un plugin dedicato oppure, se il sito è su hosting con accesso ai file, creare un file robots.txt nella root, che in genere ha la precedenza su quello virtuale. Un generatore di robots.txt aiuta a comporre le direttive senza errori di sintassi. L’utilizzo in WordPress richiede poi un test e la risoluzione problemi con gli strumenti di verifica, perché un blocco involontario può escludere pagine importanti. Su installazioni gestite, alcune modifiche possono essere limitate dall’ambiente.
Come bloccare l’accesso ai bot e limitare la scansione con il robots.txt?
Per bloccare l’accesso ai bot con il robots.txt si usa la direttiva User Agent per identificare il crawler e Disallow per indicare le cartelle o i percorsi da non esplorare. È possibile limitare la scansione di intere directory, come aree di amministrazione o archivi interni, oppure di singoli file. Per gestire bot specifici si dichiara l’agente esatto, ad esempio Googlebot o Googlebot-Image, mentre l’asterisco vale come regola predefinita per tutti gli altri. Bloccare cartelle è utile per ridurre richieste inutili, ma va fatto con cautela: escludere risorse necessarie al rendering, come fogli di stile o immagini, può peggiorare la valutazione delle pagine. Dopo ogni modifica è buona norma verificare che le regole producano l’effetto desiderato.
Dal glossario al progettoVuoi sapere se il tuo sito ha problemi tecnici che frenano la visibilità?L’audit SEO tecnico analizza il sito per individuare errori e opportunità di posizionamento su Google e consegna un elenco di interventi con priorità.Scopri l’audit SEO tecnico
Voci correlate:
Disallow robots.txt Indicizzazione sito su google SEO tecnico avanzato indexing