Primi su Google, configura il file robots.txt: guida per neofiti

Un file robots.txt è un insieme di istruzioni per i bot. Questo file è incluso nei file sorgente della maggior parte dei siti web. I file robots.txt servono soprattutto a gestire le attività dei bot buoni, come i web crawler, poiché è improbabile che i bot cattivi seguano le istruzioni.

Pensate a un file robots.txt come a un cartello “Codice di condotta” affisso sul muro di una palestra, di un bar o di un centro sociale: Il cartello stesso non ha il potere di far rispettare le regole elencate, ma gli avventori “buoni” seguiranno le regole, mentre quelli “cattivi” probabilmente le infrangeranno e si faranno bandire.

Un bot è un programma informatico automatizzato che interagisce con siti web e applicazioni. Esistono bot buoni e bot cattivi, e un tipo di bot buono è chiamato bot crawler. Questi bot “strisciano” le pagine web e indicizzano il contenuto in modo che possa apparire nei risultati dei motori di ricerca. Un file robots.txt aiuta a gestire le attività di questi web crawler in modo che non sovraccarichino il server web che ospita il sito o indicizzino pagine che non sono destinate alla visualizzazione pubblica.

Indice dei contenuti

primi su google

Primi su Google, configura il file robots.txt: guida per neofiti

La configurazione del robots.txt è molto importante se vuoi aspirare i tuoi siti web ad essere primi su Google o aumentare la visbilita’ online del tuo sito web. Non solo in ottica posizionamento sui motori di ricerca. Ma anche per escludere dall’indicizzazione cartelle che fanno parte del CMS (WordPress, Joomla. Drupal e altri) per evitare attacchi informatici.

Inoltre. una cattiva configurazione può penalizzare anche la visibilità di alcune parti o tutte le aree del sito web. Questo articolo ha come obbiettivo di mostrare la configurazione corretta del file