Bingbot: come riconoscerlo e controllarlo

Bingbot è il crawler di Microsoft Bing: il programma che visita le pagine di un sito per scoprirle e aggiornarle nell’indice. Riconoscerlo serve a due cose opposte: non bloccarlo per errore, e non lasciare entrare chi si finge Bingbot.

La guida spiega come verificare che una visita sia autentica, quali errori controllare e come evitare che un firewall o un plugin di sicurezza tolga il sito dall’indice. Fa parte della serie sulla SEO per Bing.

Come si presenta Bingbot

Nei registri del server compare un agente utente che contiene la parola bingbot. Il problema è che questa stringa si può scrivere in qualsiasi programma: chiunque può farsi passare per Bingbot. Per questo l’agente utente da solo non prova nulla.

Come verificare che sia davvero Microsoft

Il metodo indicato da Bing usa il DNS in due passaggi:

1. DNS inverso. Parti dall’indirizzo IP che ha fatto la richiesta e cerca il nome associato. Per un vero Bingbot il nome termina con search.msn.com.
2. DNS diretto. Cerca l’indirizzo del nome trovato: deve restituire lo stesso IP di partenza.

Se i due passaggi tornano, la richiesta è autentica. Se il nome non termina con search.msn.com, o l’IP non coincide, è qualcun altro.

Su un sistema con riga di comando si può fare così (sostituisci l’IP con quello del registro):

host 40.77.167.0
host nome-trovato.search.msn.com

Perché non conviene fare elenchi di IP

Bing non pubblica un elenco di indirizzi IP e, in un suo articolo del 2012, sconsiglia di basare i permessi su elenchi fissi, perché gli indirizzi cambiano. La verifica via DNS è l’approccio affidabile. Se il tuo firewall o il servizio di sicurezza lavora per elenchi, controlla che li aggiorni da solo.

Bloccarlo per errore: i casi tipici

• Regole del firewall o del CDN che trattano i crawler come bot ostili.
• Plugin di sicurezza che limitano le richieste e rispondono con errore 403 o 429.
• Un file robots.txt con un blocco troppo largo, per esempio un’istruzione rivolta a tutti i crawler pensata per un altro motivo.
• Protezioni anti-bot che mostrano una verifica al posto della pagina.

Il sintomo è sempre lo stesso: pagine che Bing non riesce a leggere e che restano fuori o escono dall’indice (vedi la guida alle pagine non indicizzate su Bing).

Dove vedere gli errori

In Bing Webmaster Tools, nella sezione delle informazioni di scansione (Reports & Data), compaiono gli errori incontrati da Bingbot, compresi i 403. Controllala periodicamente: un picco improvviso di errori spesso coincide con una modifica a firewall, plugin o hosting. Se non hai ancora configurato lo strumento, parti dalla guida a Bing Webmaster Tools.

Come controllarlo senza escluderlo

• Per regolare cosa può visitare, usa il file robots.txt con regole specifiche, non blocchi generali.
• Per le pagine da non indicizzare usa l’istruzione noindex, che è diversa dal blocco di scansione.
• Se il server soffre sotto il carico dei crawler, intervieni sul server o sulle impostazioni dello strumento, non bloccando il crawler. Le opzioni di controllo della frequenza esistono, ma i dettagli vanno verificati nella documentazione ufficiale al momento di usarle.

Domande frequenti su Bingbot