Il crawl budget è la quantità di risorse che Google decide di dedicare alla scansione del tuo sito, e per un e-commerce B2B con un catalogo ampio non è affatto un concetto astratto: se lo sprechi, le pagine che generano fatturato restano invisibili agli occhi del motore di ricerca. Immaginiamo un e-commerce di componentistica industriale con 2.000 prodotti e un sistema di filtri per categoria, marca, diametro e materiale: ogni combinazione genera un URL nuovo, e in poche settimane Googlebot si trova a scansionare centinaia di migliaia di varianti quasi identiche invece delle schede prodotto appena caricate. Il risultato è un magazzino digitale enorme in cui il motore di ricerca fatica a trovare la merce buona: le pagine che potrebbero convertire restano fuori indice, mentre il crawler consuma tempo su duplicati privi di valore di ricerca reale, giorno dopo giorno, senza che nessuno in azienda se ne accorga fino a quando i numeri del traffico organico iniziano a scendere.
In questa guida vediamo cos'è davvero il crawl budget, perché la faceted navigation (la navigazione a filtri tipica di categorie e cataloghi e-commerce) è una delle cause più comuni e meno diagnosticate di questo spreco, e come intervenire con gli strumenti giusti: dal tag noindex al canonical, dal blocco selettivo in robots.txt alla gestione dei parametri URL in Google Search Console. Vedremo anche un framework operativo per decidere, filtro per filtro, quale intervento applicare, e come riconoscere lo spreco prima che diventi un problema di fatturato e non solo di tecnica. In Enthous partiamo sempre dalla diagnosi tecnica prima di toccare qualsiasi impostazione: la strategia viene prima degli strumenti, perché ogni correzione fatta alla cieca rischia di deindicizzare pagine che invece portano traffico qualificato.
Cos'è il crawl budget e perché per un e-commerce non è un concetto astratto
Il crawl budget è il numero di URL che Googlebot è disposto a scansionare su un dominio in un determinato periodo, prima di passare al sito successivo in coda. Non è un limite fisso: varia in base a dimensione del sito, velocità del server e domanda reale di indicizzazione dei contenuti. Per un sito vetrina da trenta pagine il tema è quasi irrilevante.
Per un e-commerce B2B con migliaia di SKU e combinazioni di filtri, diventa invece una risorsa scarsa da amministrare, come un budget media: se lo spendi su URL senza traffico né conversioni, non resta nulla per le pagine che contano. Secondo la documentazione ufficiale di Google Search Central, il problema riguarda i siti con generazione automatica di URL, e la faceted navigation è citata come una delle cause principali.
Le due leve del crawl budget: rate limit e crawl demand
Per capire dove intervenire serve distinguere due leve spesso confuse tra loro. Il crawl rate limit è il tetto tecnico: quante richieste al secondo il server regge senza rallentare, e Google si adatta per non sovraccaricarlo. Un server lento riduce questo tetto e con esso le pagine scansionabili ogni giorno: la velocità del sito incide direttamente sulla scansione, non solo sull'esperienza utente. Il crawl demand è invece la leva qualitativa: quanto Google ritiene "interessante" il sito in base a popolarità, freschezza dei contenuti e qualità complessiva. Un catalogo con migliaia di URL filtro duplicati abbassa la domanda percepita, perché il crawler impara che gran parte del sito non merita attenzione frequente.
Faceted navigation e seo: dove nasce lo spreco con i filtri prodotto
La faceted navigation è il sistema di filtri che permette di affinare una categoria per colore, taglia, marca, diametro o prezzo. È preziosa per l'esperienza di navigazione, ma è anche la fonte di spreco più sottovalutata negli e-commerce B2B, perché ogni combinazione genera un URL a sé: /categoria?colore=rosso&taglia=42, /categoria?colore=rosso&taglia=42&marca=acme, moltiplicati per ordinamento e paginazione. Su un catalogo con poche centinaia di filtri incrociabili, la combinatoria produce facilmente centinaia di migliaia di URL quasi identici alla categoria di partenza. Nasce così un fenomeno collegato: la cannibalizzazione SEO, in cui più URL simili competono invece di concentrare autorità su una sola pagina forte. Su piattaforme come PrestaShop, dove i filtri sono attivi di default, il problema resta invisibile finché le nuove schede prodotto smettono di essere indicizzate: per questo una consulenza SEO per PrestaShop parte sempre da un controllo dei filtri.
Perché ti costa traffico e margine: l'impatto per una PMI B2B
Il rischio concreto non è "avere troppi URL": è che Google scansioni le pagine sbagliate. Se il crawler dedica la maggior parte del tempo a filtri senza domanda reale, le schede prodotto nuove vengono scansionate con ritardo, a volte di settimane. Per una PMI B2B è un problema di fatturato, non solo di tecnica: se il prodotto a margine più alto resta fuori indice per un mese, quel mese di visibilità è perso. È lo stesso principio del nostro approccio alla SEO tecnica: il profitto viene prima del traffico.
Ridurre lo spreco non significa "guadagnare posizioni" in astratto: significa ridurre il tempo tra pubblicazione e indicizzazione delle pagine che contano.
Come individuare lo spreco: report di scansione, log e Search Console
Prima di intervenire serve una diagnosi, non un intervento a sensazione. Il punto di partenza è il report statistiche di scansione di Google Search Console, che mostra richieste giornaliere, tempo di risposta del server e distribuzione degli URL scansionati: se noti migliaia di richieste su URL con parametri e poche sulle pagine prodotto principali, hai già una prima conferma dello spreco. Un livello più preciso è la log analysis: l'analisi dei file di log del server, incrociata con lo stato di indicizzazione reale delle pagine, che mostra quali URL parametrici il crawler visita più spesso senza generare mai una conversione. La guida ufficiale al report statistiche di scansione spiega come leggere questi dati. In parallelo, un controllo con l'operatore site: su un campione di URL parametrici aiuta a capire quante varianti sono già indicizzate, spesso più di quante si immaginino.
Come gestire i filtri prodotto: noindex, canonical, robots.txt o parametri url?
Non esiste un'unica soluzione corretta: la scelta dipende dal tipo di filtro e dal valore di ricerca che genera. Prima di intervenire serve mappare i filtri esistenti e capire quali combinazioni hanno una domanda autonoma e quali sono solo rumore combinatorio.
Tag noindex sui filtri combinati
Il noindex dice a Google di non inserire la pagina in indice, ma non impedisce la scansione: il crawler visita comunque l'URL, legge la direttiva e la esclude dai risultati. Utile per combinazioni senza valore di ricerca, ma da solo non risolve lo spreco di crawl budget.
Canonical per varianti e ordinamenti
Il canonical indica quale versione considerare "originale" quando esistono più URL quasi identici, tipicamente le varianti di ordinamento. Consolida i segnali su un solo URL, ma Googlebot deve comunque scansionare la pagina per leggere l'indicazione.
Blocco selettivo con robots.txt
Il robots.txt è l'unico strumento che impedisce davvero la scansione, bloccando a monte intere classi di parametri. È corretto per combinazioni a valore nullo, ma va usato con attenzione: bloccare un parametro che genera pagine già posizionate significa perdere quel traffico senza recupero rapido.
Gestione dei parametri url in Search Console
Search Console permette di segnalare come trattare alcuni parametri URL, un controllo intermedio tra blocco totale e scansione libera. Utile in monitoraggio, ma non sostituisce una struttura URL pensata correttamente fin dall'origine.
Quale intervento scegliere: il framework go/no-go
La domanda giusta non è "quale strumento è il migliore" ma "quale filtro sto valutando e che valore genera". Questo framework aiuta a decidere filtro per filtro, invece di applicare la stessa regola a tutto il catalogo.
| Tipo di pagina o filtro | Intervento consigliato | Perché |
|---|---|---|
| Filtro singolo con domanda reale (es. categoria + materiale) | Pagina indicizzabile e ottimizzata | Genera traffico autonomo: merita una scheda curata |
| Combinazione di 2+ filtri senza domanda autonoma | Noindex, follow | Nessun valore di ricerca ma link interni ancora utili |
| Combinazioni ad alto volume (3+ filtri, migliaia di varianti) | Disallow in robots.txt | Lo spreco di scansione supera ogni beneficio residuo |
| Ordinamento (prezzo, novità, popolarità) | Canonical verso la categoria | Contenuto identico, cambia solo l'ordine |
| Paginazione interna a categoria o filtro | Indicizzabile, senza canonical a pagina 1 | Contenuti diversi: il canonical nasconderebbe prodotti |
Best practice per prevenire lo spreco di crawl budget
Oltre a correggere i filtri esistenti, un'architettura informativa pensata bene previene il problema a monte. Una struttura di categorie chiara, con pochi livelli di profondità, riduce la necessità di affidarsi ai filtri, perché la navigazione principale copre già i percorsi con domanda reale. Una sitemap XML pulita, con solo URL canonici, aiuta Google a capire quali pagine sono prioritarie invece di dedurlo scansionando l'intero catalogo parametrico. Anche i link interni contano: se i filtri a basso valore ricevono link quanto le schede prodotto, il crawler non ha segnali chiari su cosa sia prioritario. Infine la velocità del server resta una leva diretta sul crawl rate limit. Nessuna azione da sola risolve tutto: funzionano insieme, dentro un audit tecnico che parta dai dati reali.
Domande frequenti su crawl budget e faceted navigation
Cos'è il crawling e cosa significa crawlability?
Il crawling è il processo con cui Googlebot visita e legge le pagine per valutarne l'inserimento in indice. La crawlability è la caratteristica tecnica che facilita o ostacola la scansione: dipende da struttura URL, velocità del server e coerenza dei segnali come canonical e noindex.
Quando il crawl budget diventa davvero un problema?
Diventa concreto quando il catalogo supera qualche migliaio di URL reali e genera, tramite filtri, varianti molto più numerose delle pagine che contano. Il segnale da monitorare è il ritardo tra pubblicazione di un prodotto e comparsa nell'indice: oltre qualche settimana, vale la pena verificare quanto crawl budget viene assorbito dai filtri.
Le priorità immediate
Il crawl budget non è un tecnicismo per addetti ai lavori: è la differenza tra un catalogo che Google scopre in fretta e uno che resta parzialmente invisibile mentre i filtri assorbono la scansione. Il percorso corretto parte sempre da una diagnosi: leggere il report statistiche di scansione, incrociarlo con i log quando possibile, mappare quali filtri generano davvero domanda e applicare a ciascuno il trattamento corretto, che sia noindex, canonical, un blocco in robots.txt o la gestione dei parametri URL.
Le azioni da mettere in agenda questa settimana sono tre: verificare quanti URL con parametri vengono scansionati ogni giorno, individuare le combinazioni a più alto volume e valutare se meritano un blocco, e controllare da quanto tempo le ultime schede prodotto risultano indicizzate. Se preferisci partire da una diagnosi tecnica guidata, richiedi una consulenza a Enthous: analizziamo i tuoi dati reali di scansione prima di toccare qualsiasi impostazione, perché la strategia viene sempre prima degli strumenti. Se vuoi confrontarti sul tuo catalogo, contattaci.
