robots.txt

Come funziona il file robots.txt

Il file robots.txt è un file di testo posizionato nella root del dominio (es. www.esempio.com/robots.txt) che fornisce ai crawler dei motori di ricerca direttive su quali sezioni del sito possono o non possono scansionare. Segue il Robots Exclusion Protocol, uno standard del 1994 che è stato successivamente codificato come RFC 9309 nel 2022. È il primo file che ogni crawler legge prima di iniziare a esplorare un sito.

La sintassi base prevede direttive per User-agent (a quale crawler si applicano le regole), Allow/Disallow (quali path autorizzare o bloccare), Sitemap (URL della sitemap XML), Crawl-delay (secondi di attesa tra richieste, ignorato da Google ma rispettato da Bing). Esempio: "User-agent: * / Disallow: /admin/ / Sitemap: https://www.esempio.com/sitemap.xml".

Importante: robots.txt è un suggerimento, non un controllo di accesso. I crawler legittimi (Googlebot, Bingbot, GPTBot, ClaudeBot) lo rispettano, ma bot malevoli possono ignorarlo. Per nascondere veramente contenuti sensibili servono autenticazione e meta noindex. Inoltre, robots.txt blocca il crawling ma non l'indicizzazione: una pagina bloccata può apparire comunque nei risultati con titolo e snippet limitati se ha link esterni.

Esempio pratico

Immagina Group struttura per i clienti file robots.txt strategici che includono: autorizzazione esplicita per crawler AI (GPTBot, PerplexityBot, ClaudeBot, Google-Extended), blocco di sezioni amministrative (/wp-admin/, /carrello/, /checkout/), riferimento a sitemap XML, gestione granulare per Bingbot e Yandex. Il file robots.txt di Immagina Group autorizza tutti i principali crawler AI e linka 6 sitemap differenziate per categoria di contenuti.

Ottimizza il tuo robots.txt

Immagina Group configura file robots.txt strategici per WordPress, WooCommerce e siti custom. Scopri il servizio SEO o richiedi un audit del tuo robots.txt.