Google conferma 3 modi per far sì che Googlebot scansioni il sito

Aggiornato recentemente a Ottobre 12th, 2024 alle 06:10 pm

Google ha affermato tre fattori che possono aumentare il crawling o la scansione sito di Googlebot. Ecco come mettere in pratica queste conoscenze. Gary Illyes e Lizzi Sassman di Google hanno discusso tre fattori che determinano un aumento del crawling di Googlebot. Pur sminuendo la necessità di un crawling costante, hanno riconosciuto che esistono modi per incoraggiare Googlebot a rivisitare un sito web.

Google conferma 3 modi per far sì che Googlebot scansioni il sito

Image by freepik

Questo articolo e’tratto da Podcast Google Search Off The Record a partire dal minuto 4. Ti spiega informazioni utili su quale motivo il spider di Google torna a scansionare il sito. Ottimi consigli per aumentare il traffico organico dai motori di ricerca come Google.

Trascrizione Video

Transcrizione video:
(00:02) [Musica] ciao e benvenuto a un altro episodio di ricerca non registrata, un podcast in arrivo dal team di ricerca di Google mi chiamo John e oggi abbiamo Lizzy e Gary che dicono ciao, non dirci cosa fare sì ciao grazie grazie sei stato così gentile ad averti qui l’ultima volta che abbiamo parlato con Dave intelligente e apparentemente abbiamo anche parlato di gattonare ma non ero qui per gli ascoltatori John sta cercando di capire gli appunti di Lizzy perché Lizzy ha iniziato a leggere questo o voleva leggere
(00:56) questo e poi John era come se no, lo faccio, non mi avrebbe lasciato fare l’introduzione quindi ora ci rimane questa introduzione che è molto confusa okay vai avanti Lizzy okay quindi questa dovrebbe essere una seconda parte per le persone che non stavano seguendo, immagino uh abbiamo avuto l’episodio uno con Dave smart uh per parlare di cosa significa strisciare e abbiamo fatto una specie di sottofondo uh non so, abbiamo impostato l’ episodio sul palco e da allora Gary ha postato troppe volte sullo strisciare su
(01:26) LinkedIn quindi abbiamo pensato che forse avremmo potrei parlarne cosa cosa intendi a perché non mi è stato detto che da era la parte uno due cosa significa sto postando due troppe o troppe cose sul gattonare cosa è troppo due due a due la tua costruzione inglese è strana Ho sentito che hai pubblicato un post sulla scansione ma in realtà no sì, ho sentito che mi hai detto che hai pubblicato un post sulla scansione su LinkedIn e hai ricevuto delle risposte sorprendenti da persone uh sorprendenti in più di un senso
(02:04) sei sicuro che ne sono abbastanza sicuro eri tu [Risate] oh ho anche sentito che quest’anno avresti lavorato sul gattonare oh è proprio così è un’affermazione vera sì all’inizio dell’anno pensavi che forse avresti fatto qualcosa con il gattonare beh sì um e Voglio dire, penso che abbiamo già fatto alcune cose, ma in generale sì, penso che dovremmo fare di più sulla scansione, nel senso che dovremmo farlo più bene, dovremmo gattonare in qualche modo di meno, il che significherebbe che strisciamo di più.
(02:40) Penso che tu abbia pubblicato un post a riguardo su LinkedIn e poi Barry post cross hanno pubblicato che Google vuole eseguire la scansione di meno e poi Internet si è rotto perché erano come quello che Barry da questo è come Barry dalla tabella Eng di ricerca giusto sì, molto corto oh bello, voglio dire, è qualcosa che sento da molto dove pensano bene Google di solito esegue la scansione di più quando pensa che il mio sito sia buono Google il googlebot li tagliano googlebot accetta tutti i pronomi okay allora andava bene mi dispiace
(03:18) sei un portavoce di Google B sì okay quindi la gente pensava che googlebot di solito esegue la scansione di più quando il bot di Google ritiene che qualcosa sia buono, quindi il presupposto è che puoi anche invertire la situazione e comportarti bene, spingerò googlebot a eseguire la scansione di più e quindi googlebot penserà che il mio sito è effettivamente buono, il che no, intendo è così una cosa con l’uovo e la gallina, però, ad esempio, il tuo sito deve essere buono prima che Google lo scansioni di più
(03:54) o semplicemente Google esegue la scansione di più, quindi significa che il tuo sito è buono Non so Gary, cosa ne pensi perché io se se Posso fare in modo che Googlebot esegua la scansione del mio sito di più grazie ai miei fantasiosi robot. Il file Tex significa che il mio sito sarà migliore in SE, voglio dire, perché dovrebbe? Voglio dire, sembra che le persone lo usino come un proxy, ad esempio se Google fosse interessato al mio sito più spesso e ciò significa che le cose sono buone ma non potrebbe anche significare che c’è uno
(04:26) spazio infinito sul lato quindi è come se non fosse oh che bel trucchetto metterò uno script di calendario sul mio lato no siediti per favore è sempre stata una cosa che la gente pensa più strisciante è altrettanto buono, penso, quindi intendo in una delle presentazioni che continuiamo a fare ricerche su eventi dal vivo centrali che in realtà riguardano lo sfatamento dei miti e contiene almeno una o due domande sulla scansione e poi è come se oh Google mi stesse scansionando molto quindi il mio sito deve essere
(05:02) molto buono e non proprio simile può significare molte cose ma in generale se un sito è di o il contenuto di un sito è di alta qualità ed è utile e piace alla gente in generale, allora Google bot beh Google tende per eseguire la scansione di altri contenuti da quel sito, ma può anche significare che non so che il sito è stato violato e poi ci sono un sacco di nuovi URL di cui il bot di Google è entusiasta e poi esce e scorre come un matto o scopriamo John’s script del calendario e quindi proviamo a scansionare ogni
(05:34) singolo URL per ogni giorno fino al 20177, quindi è così, può significare anche altre cose oltre alla semplice qualità, ma d’altro canto se non stiamo scansionando molto o stiamo gradualmente rallentando con la scansione ciò potrebbe essere un segno di contenuti di bassa qualità o che abbiamo ripensato la qualità del sito perché è ma e se non cambiasse e se fosse come il contenuto, quindi andiamo a scansionarlo e non hanno fatto un cambiamento, perché dovremmo ripetere la scansione così spesso se non stanno apportando molti
(06:20) cambiamenti? Voglio dire, dobbiamo tornare indietro e vedere se è cambiato nel modo giusto, ma se notiamo che non sta cambiando, allora torniamo indietro ma ciò comporterebbe meno probabilmente degli straordinari, ma non so che John ha una s che non aggiorna da circa 72 anni um sto guardando i registri qui um e um potrebbe dire che viene ancora scansionato sì, penso è impegnativo con questo tipo di siti perché forse non è stato aggiornato negli ultimi due mesi ma forse viene aggiornato in cinque minuti, ok, quindi Google
(07:01) vuole comunque controllare nel caso in cui sia quello che ho capito, almeno sì, penso con per quanto riguarda la quantità di scansione e la percezione esterna, c’è anche l’aspetto che molti siti hanno molte pagine diverse e quindi non è tanto che Google esegue la scansione di una pagina molto spesso, a volte va bene se le hai tutte di queste pagine e Google non le ha mai scansionate, Google non sarebbe in grado di sapere cosa farne, quindi parte di quella percezione è che se solo Google potesse eseguire la scansione
(07:35) di più, vedrebbe che in realtà ho dei buoni contenuti che posso in un certo senso capisco che si tratta più di eseguire la scansione più spesso come il mio, la mia ipotesi è che molte persone guardino semplicemente il rapporto sulle statistiche di scansione nella console di ricerca o nei registri del server e guardino semplicemente il numero di richieste nel tempo e poi non lo fai non vedo necessariamente che sia come se guardasse la mia home page ogni giorno ma più come se guardasse 500 pagine ogni giorno ma quali sperano
(08:06) di vedere così aumentando nel tempo come qual è lo stato ideale dal punto di vista del proprietario del sito io la penso così perché anche questo sembra forse brutto, sai che il modulo a cui ci colleghiamo su Onie sugli sviluppatori di Google arriva come ricerca, dove puoi segnalare problemi con il bot di Google, e quei rapporti finiscono nella nostra casella di posta e lì a volte vediamo che le persone dicono: uh aumenta il nostro gattonare nel tempo um e non funziona come se non aumenteremo la scansione di nessuno
(08:44) se entra direttamente in quella forma come se ci fosse qualche emergenza di scansione allora diminuiremmo la loro um uh o il volume di scansione per quella parte, ma è abbastanza ovvio che vogliono aumentare la scansione nel tempo, alcune persone vogliono ah okay, quindi stai dicendo che il modulo è lì e dovresti usarlo solo per segnalare come troppo, come se i tuoi server fossero sovraccarichi, queste persone lo stanno compilando comunque e dicono di darmi di più sì, ma è un modulo come noi siamo abbastanza espliciti su cosa dovresti usare
(09:17) quel modulo ma poi è un modulo quindi è come se le persone andassero comunque dalle persone quindi riceviamo anche altre richieste che non possiamo soddisfare ma le riceviamo comunque come funzionerebbe o abbiamo mai considerato un metodo del genere in cui le persone non possono chiedere automaticamente sì, avevamo l’impostazione nella console di ricerca ma si trattava di limitare correttamente, quindi ridurre Li di scansione ma si tratta sempre di limitare perché la parte superiore deve essere determinata su ciò che ci
(09:51) dice il server su quanto può gestire e se dice I può gestire tutto bene non sarebbe in grado di piacerci a un certo punto schiacceremmo il server e non saremmo in grado di connetterci ad esso quindi sarebbe un segnale molto chiaro che dobbiamo rallentare okay così è si tratta più di un proprietario di un sito che non capisce quella dinamica quando, ad esempio, cosa significa richiedere di più che quell’effetto sarà quindi il crash dei loro server, penso che la parte confusa sia che ci sono due parti in questa: ciò che
(10:32) il server può gestire e poi c’è l’aspetto della qualità, il contenuto del sito uh deve essere uh di alta qualità e utile per gli utenti o utile per gli utenti um e quindi la ricerca aumenterebbe o la richiesta di scansione per la ricerca aumenterebbe um e quindi eseguiremo la scansione di più potenzialmente um e poi entra in gioco la parte tecnica, ad esempio quanto possiamo effettivamente eseguire la scansione senza danneggiare il server, okay ma non è infinito, come se dovesse esserci un limite perché il
(11:10) server non ha risorse infinite, vero, uh ma quest’anno pensavi che noi possiamo ottimizzare lì che c’è qualcosa che possiamo fare, voglio dire, ci stavamo pensando da molto tempo come se ci fossero sempre ottimizzazioni collettive in giro e se guardi i primi post su um post sul blog su su tutina su sul blog M um allora anche i primi giorni 2006 2007 erano già come Vanessa Fox ex product manager per i vecchi strumenti Web Master e il team stava già pensando a come ottimizzare di più la scansione, di solito è lo stesso tipo di
(11:55) approccio che vogliamo? per essere più efficienti in ciò che stiamo facendo o è una questione di tempistica c’è qualcosa di nuovo che potremmo fare a cui non avevamo pensato prima è una combinazione immagino come Site Maps Non so che John fosse coinvolto con sit Maps all’inizio um ma s Maps era una di quelle ottimizzazioni um e dalla nostra parte non so come 304 e se modificato da allora okay um quello era qualcosa che doveva essere implementato dalla nostra parte per il supporto, intendo fantastico um e con il senso se modificato è
(12:38) qualcosa che vedi che le persone stanno facendo correttamente o è qualcosa che gli altri dovrebbero fare diversamente aspetta se modificato SC è un’intestazione di richiesta quindi siamo noi a farlo correttamente o bene potrebbe essere potrebbe essere che il sito dice che è come oh sì, tutto è cambiato oggi oh vedo che è come se avessimo chiesto se è cambiato da ieri e abbiamo deciso sì sì è come se dovessi dare un’occhiata, capisco perché potrebbe essere qualcosa che è automaticamente a posto come sì Aggiorno
(13:11) un collegamento ma poi il mio CMS dice ok, oggi è la nuova data in cui ho pubblicato il contenuto e quindi viene interpretato che ho apportato una modifica, quindi vieni a guardarlo, quindi penso che la risposta a un SS se modificato sarebbe un 304 giusto, penso che un 304 non sia stato modificato non lo so subito dovrei chiedere al mio amico Gemini 304 non modificato Codice di risposta del server HTTP ok, quindi 304 sarebbe è come se non ci fosse Google, è come se nulla fosse cambiato qui e un 200 penso sarebbe la risposta quindi se
(13:48) va bene ecco in realtà la nuova versione giusta um penso che ci siano anche delle direttive cing con cui puoi rispondere um ecco io non ricordo il nome del modulo Apache Modulo server Apache ma ce ne sono altri anche le direttive di memorizzazione nella cache con cui puoi rispondere Penso che dalla nostra parte sia implementato esternamente non sembra essere usato abbastanza Penso che fondamentalmente le persone rispondano semplicemente con uh come anche se inviamo uh se modificato poiché uh intestazione della richiesta uh i server
(14:27) rispondono con solo 200 fondamentalmente semplicemente ignorandolo e non penso che sia necessariamente una buona cosa ma almeno su Google ci sono alcuni prodotti che probabilmente preferiscono quello MH probabilmente io come ad esempio notizie I immagino che loro non voglio soprattutto notizie dal vivo come blog dal vivo, cose che accadono davvero urgentemente, come le partite di cricket o qualcosa del genere, sì, non vogliamo incassarli, immagino di non lo so, ma questo è esattamente quello che io io io voglio uh
(15:05) analizzarlo, ad esempio quanto 304 viene utilizzato dai siti esterni quante intestazioni se modificate inviamo con i nostri recuperi um e poi cercare di incoraggiare le persone a usarlo di più perché può risparmiare un bel po’ di larghezza di banda e per definizione anche le risorse per i server come dalla nostra parte non ci interessano particolarmente le risorse per croing come fa a risparmiare risorse è perché possiamo semplicemente fare un piccolo controllo veloce e quindi non dobbiamo esaminarle completamente tutto ex sì esattamente quindi uh
(15:37) 304 risposta quello o io io se ricordo bene l’RFC lo standard lo standard dice che non inserire non inserire il corpo della risposta HTTP come se non dovrebbe esserci un corpo della risposta è solo un intestazioni quindi in pratica invii qualcosa come un byte invece di un migliaio di 100,00 morsi o qualunque cosa sia è molto più piccolo e quindi non occupa tanto spazio dal nostro lato sì e immagino che il server non ne abbia bisogno per compilare l’intera pagina sì, come se il server potesse semplicemente fare la ricerca in un
(16:12) database e come oh niente di nuovo come andare avanti senza dover effettivamente compilare il tutto quindi lo rende più efficiente immagino per entrambe le parti perché come se come se tu stai pensando al nostro CMS che stiamo utilizzando per la tutina, ci sono molte parti mobili sulla tutina, ad esempio se vai alla home page del blog Non so, quindi a sinistra o come lo chiamiamo ma il libro a sinistra hai il titolo hai i metadati che abbiamo nell’HTML uh abbiamo i metadati dal sito def il CMS che uh usiamo e
(16:47) poi hai il contenuto e poi per per tutte quelle devi fare queste strane chiamate per inserirle e compilare e poi tutte quelle chiamate um costano risorse uh ma poi se riesci a fare quella chiamata che John ha detto controlla se è cambiato qualcosa, solo una chiamata solo una chiamata e non importa se è così, fa parte del passo numero due uh per capire se qualcosa è effettivamente cambiato o meno, come se stessimo solo controllando, comunque non importa se il cambiamento è grande o no, presumo come nel passaggio successivo
(17:19) sarebbe vedere okay cosa bene cosa è cambiato beh ecco, penso che sul lato server il server in pratica dice semplicemente che qualcosa è cambiato ecco tutto non è come se qui c’è una parte della pagina che è cambiata è quel qualcosa come uno spazio teorico a cui potremmo guardare come se potessimo dire tipo ehi in realtà è stato solo questo paragrafo è lì che ho apportato la modifica non è necessario guardare tutto solo questa era la modifica, sarebbe quella utile se fosse in grado di essere compartimentato in
(17:53) qualche modo, probabilmente mi piace dal mio punto di vista, ma implementarlo sembra una notte, non lo so, forse Gary vuole farlo comunque, quello che intendo è qualcosa a cui potresti pensare o è così, no, è una follia no, non lo è, voglio dire, è una follia, ma è il tipo di follia che ci piace, che bello okay, quindi è un compito impegnativo, che può far risparmiare molte risorse per Internet, non dalla nostra parte perché ancora una volta, non direi che abbiamo risorse infinite, ma soprattutto con la scansione è come se fosse una minuscola
(18:32) frazione delle nostre risorse che ti utilizza Ho finito l’ aria la scansione è una piccola frazione del nostro utilizzo delle risorse e ma da una prospettiva esterna dove devono eseguire il rendering delle pagine sì um ed effettuare tutte quelle chiamate per creare una pagina semplicemente rimandando indietro la parte che effettivamente l’ha cambiata, sembra una cosa interessante sì e soprattutto con um uh anche nelle versioni HTTP precedenti come um penso a partire da one1 um c’è stato un trasferimento um suddiviso in blocchi,
(19:12) quindi in pratica potresti semplicemente dire che da questo uh segmento a questo segmento questa è la parte e poi potevi semplicemente darla al client dal server ma era più complicato e io penso che fosse leggermente rotto, uh come se ogni tanto i pezzi si incasinassero ma poi qualcuno ha sottolineato su LinkedIn che l’ITF sta lavorando uh o qualcuno sulla uh sulla task force di ingegneria di Internet dell’ITF che è uno standard corpo in cui vive anche il protocollo di esclusione dei robot qualcuno ha presentato una proposta
(19:51) per un nuovo tipo di trasferimento Chunk um MH um e lo sto osservando da vicino per vedere dove sta andando come ci stanno pensando attualmente è come una navigazione qui e quindi il centro della pagina è qui o è qualcosa di più simile a questa roba che cambia davvero ecco perché è il mio pensiero ingenuo Penso che sia più complesso di così e avrei bisogno di controllare la bozza attuale per dirti come come funziona effettivamente funziona, ehm, ma il mio pensiero ingenuo era che, ad esempio, ecco l’ intestazione, ecco la barra
(20:29) laterale Sono abbastanza sicuro che non sia così semplice Immagino che sia complicato perché devi quasi renderizzare la pagina per capire un Dom se dici tipo oh the l’intestazione è cambiata sì, mentre da un punto di vista tecnico se puoi dire oh i byte da 500 a 700 ora sono questa cosa allora è più semplice ma lo è ma le persone non lo inseriscono in modo affidabile nello stesso punto noi è gratuito come se fosse più interessante perché e più affidabile molto probabilmente perché non dipende dalla persona, dipende
(21:05) dal server e ovviamente puoi hackerare un server e farlo come se sia io che John avessimo fatto cose stupide con i nostri server per ingannare le persone interessanti apparentemente John non andava bene mai lo riprendo mai um come puoi fare tu puoi far fare al server cose stupide ma hai bisogno di un bel po’ di conoscenza come nel mio caso ero su Apple G riguardo a um moduli server come moduli EP e soprattutto C per essere in grado di modificare i moduli abbastanza da fargli fare qualcosa di stupido Penso che sia anche
(21:43) impegnativo perché mescola il contenuto con l’infrastruttura sì, è quasi come diversi livelli di interazione ma penso che sarebbe bello se le persone potessero dire che è così tipo oh in realtà è cambiata solo questa notizia sì o mi piace sulla pagina di un prodotto come i miei prezzi questa piccola area è come la cosa che cambia continuamente ma la descrizione di questo paio di scarpe è esattamente la stessa sì non lo so da punto di vista personale, penso che sarebbe bello, sai, e la codifica in blocchi o il
(22:18) trasferimento in blocchi, penso che sia abbastanza comune, come viene fatto anche per i video, penso che per file di grandi dimensioni devi essere grande per file di grandi dimensioni, sicuramente sì inoltre penso che i post siano metodi di post sì, non so se suona piuttosto interessante um quali altri tipi di ottimizzazioni vedi accadere per quanto riguarda la scansione forse una migliore gestione dei parametri URL cosa oh okay come hashtag oh hashtag hashtag hashtag sono complicati e abbiamo un rapporto molto complicato con loro
(23:00) penso che intendi hashtag o cose del genere che cosa sono le ancore come la sterlina oh scusa il simbolo della sterlina il simbolo del cancelletto sì, ho solo pensato che volevi dire questo scusa io, intendevo proprio così il problema con loro è che vivono solo sul lato client okay, e perché è un problema Oh, questo è perché odi JavaScript, giusto, quello che intendo sì, ma quello che sono sono usati per JavaScript, quindi per l’ intero client lato server come perché è un problema che è sul lato client è più difficile per noi
(23:36) arrivarci uh più o meno okay è più lontano da noi beh tecnicamente il bot di Google non può arrivarci senza rendering senza rendering vedo ok e il I parametri URL che hai menzionato sarebbero qualcosa come lo strumento di gestione dei parametri URL che usavamo avere di più in un formato di protocollo in cui dici che questo parametro è facoltativo o oh, è una buona idea, puoi darmi un esempio reale di sicuro come cosa cosa intendiamo con youl ham come HL equals e qualunque parametro abbiamo su Zend su support.google.com okay, ma come
(24:23) cosa renderebbe difficile, immagino il fatto che li stiamo usando perché tecnicamente puoi aggiungere il numero quasi infinito e di fatto infinito di parametri per qualsiasi URL e il server ignorerà semplicemente quelli che non alterano la risposta, in pratica li scarterà semplicemente ma ciò significa anche che per ogni singolo URL presente su quello Internet hai un numero infinito di versioni perché tutta questa roba può perché puoi semplicemente aggiungere i tuoi parametri e gli viene chiesto di ignorarli come se
(25:01) non alterasse il contenuto che restituisce, ma significa anche che quando stai eseguendo la scansione e strisciando nel senso proprio, ad esempio seguendo i link e sto citando qui, poi tutto ehm sì, perché ridi come se non stessimo seguendo i link correttamente è proprio come se stessimo raccogliendo link e poi torniamo indietro, beh, intendi che c’è un uso improprio della scansione o un modo improprio di eseguire la scansione beh sì, è il mio animale domestico, è come su Onie continuiamo a dire Google ma sta seguendo il collegamento è come
(25:33) no, non sta seguendo il collegamento sta raccogliendo collegamenti e poi torna a quelli LS non è come seguire correttamente i collegamenti come l’immagine che stiamo dipingendo è quella di Google ma è come saltare da lì perché sta andando nel territorio antropomorfo dove Google bot pensa che Google bot veda Google bot capisce capisce segue camminando su tutte e otto le gambe aspetta sei gambe a quanti piace okay non giudicare cosa intendi con ci deve essere una risposta corretta uh per i ragni no ragni
(26:09) hanno un numero pari di gambe uh parametri URL perché è un problema in termini di scansione efficiente, quindi sembra come se fosse perché non lo facciamo, forse stiamo perdendo tempo guardando le versioni dei parametri dei collegamenti quando potrebbe essere la stessa cosa ma a volte è diverso a volte è diverso e questo è il problema sì, non lo sappiamo in base a URL come se fondamentalmente dobbiamo prima eseguire la scansione per sapere che qualcosa è diverso e dobbiamo avere un ampio campione di URL per prendere la
(26:39) decisione che oh questo questi parametri sono uh sono inutili okay e non c’è modo per i proprietari di siti esterni come uh di dirlo noi come sono raggruppati adesso sì sai come ci piace rimuovere funzionalità dalla console di ricerca sì, ricordo che l’abbiamo tolta perché non era usata, penso di dire, non era usata sì e ora sembra che noi è necessario poterlo controllare, ma non stavano utilizzando lo strumento, quindi forse è necessario che ci sia qualche altro tipo di soluzione giusta, ma come se qualcuno
(27:13) si lamentasse del fatto che stiamo eseguendo la scansione eccessiva perché ne ha uno questi strani spazi URL con sì un numero infinito di parametri Euro allora potremmo semplicemente dire loro che va bene usa questo metodo per bloccare quello spazio URL che tipo di metodo come anche robot cxd potrebbe essere usato come non deve essere cioè dopo questo simbolo come non guardarlo o questa combinazione o qualcosa del genere interessante perché con Dro cxt puoi è sorprendentemente flessibile come quello che puoi fare con esso ed è
(27:50) qualcosa che potremmo fare ora o ci richiederebbe devo solo capire cosa dire oh interessante e non ho il cervello per pensarci okay oh quindi la soluzione alla scansione è più documentazione oh sicurezza del lavoro dannazione quindi aspetta aspetta aspetta non abbiamo fatto abbastanza domande a John su cosa sta facendo le idee sono sì John quali sono le tue idee continui a chiedere a Gary ma hai avuto qualche idea di hairbrain idee di hairbrain è la cosa più importante per me la più importante quindi scusa, qual è la cosa più importante per te
(28:40) um io penso che sia una sfida perché mi piace Mi piacciono le mappe dei posti a sedere, ad esempio, e a quanto pare alla gente piacciono anche le mappe dei posti a sedere e le inviano in molti modi davvero strani e interrotti, quindi questo mi rende un po’ stanco, quasi nel senso che è come se trovassimo un nuovo metodo per creare scansione più ottimale per te e poi tutti dicono eh beh, lo userò semplicemente in modo errato sì, quindi questa è una specie di sfida e d’altra parte vorrei anche fare in modo che
(29:15) Google o altri motori di ricerca non debbano farlo indovina come eseguire la scansione in modo ottimale e dovrebbe essere più chiaro e facile da seguire per gli altri motori di ricerca, ad esempio perché dobbiamo reinventare la ruota forse forse non lo so, ma penso anche che sia solo la consapevolezza di tutto ciò che riguarda la scansione Penso che faccia una grande differenza.
(29:40) L’ho notato, ad esempio, quando ho lanciato il mio primo crawler nel 1822, girava su questo oscuro sistema operativo chiamato Windows e quando l’ho lanciato inizialmente ho notato che era come quasi ogni sito che inserisci lì per provare a eseguire la scansione è come se impazzisse, trovasse tutta questa roba assurda e essenzialmente mostra quanto sia complicato il web, come tutti questi strani collegamenti e vanno in tutti i posti diversi e alcuni di sono rotti, alcuni sono infinitamente lunghi sì, e penso che in generale la consapevolezza di
(30:21) come la scansione funziona sia migliorata molto in quel periodo uh le persone usano sistemi di gestione dei contenuti comuni come WordPress ora che rendono la scansione molto più semplice e forse parte di quello la consapevolezza deve solo andare un po’ oltre per fare in modo che più persone comprendano le potenziali insidie ​​e poi pensino a questo parametro che voglio aggiungere per il monitoraggio, forse non dovrei o forse dovrei farlo in un modo diverso in modo che non influisca sulla scansione, come se
(30:54) quella che potrebbe essere la conseguenza delle mie azioni di implementazione di questa cosa potrebbe causare un effetto domino da qualche altra parte sì, penso che per i siti più piccoli come te puoi fare molte cose sbagliate e oh invece hai mille URL su 10 è così che non cambia nulla uh ma se sei un gigantesco sito di e-commerce e all’improvviso hai 100 miliardi di URL invece di 1 milione allora è una specie di grande differenza uh quindi un po’ di consapevolezza da entrambe le parti Penso che sia
(31:24) importante anche la cosa okay, ma ho abbastanza risorse quindi vai avanti e scansionali comunque, sì, lo sento, ma poi è come se potessimo dedicare quel tempo agli URL che aiuteranno effettivamente il tuo sito perché certo che non lo faccio non è come quando le persone pensano al budget di scansione ma stiamo ancora dedicando tempo alla scansione e potresti applicarlo in modo produttivo come perché sì, non è solo esponenziale, semplicemente tutto spara e catturerai anche la spazzatura che non lo fa non importa, non
(32:06) aiuta nessuno, sì, quindi se dovessi dire una cosa che vorresti che la gente non facesse o che ti darebbe fastidio, cosa sarebbe John, non ti dà fastidio, il mio piccolo fastidio è in questo momento e immagino che sia a al momento significa che di recente ho ricevuto alcuni messaggi da persone a proposito di persone che non guardano le statistiche del server in Search Console, le statistiche del server in Search Console scansionano le statistiche di scansione in Search Console perché ci sono molte informazioni lì dentro se tu
(32:42) guardalo, ad esempio, il tempo di risposta è nel loro tempo di risposta medio e, ad esempio, stanno semplicemente arrivando nella tua casella di posta e dicono a John qual è il mio tempo di risposta medio come ciao, puoi semplicemente andare a cercare o che tipo di domanda la risposta è come 792 millisecondi no no beh il problema è che il problema per me è quando non sono più millisecondi tipo oh perché non stai scansionando abbastanza il mio lato e guardo le statistiche ed è come oh ci vogliono in media tre
(33:10) secondi per ottenere una pagina da sul tuo server è come se in realtà fosse da molto tempo che non diciamo davvero alle persone a cosa dovrebbero mirare, vedi che è o è una cosa che si accende e si spegne come se funziona o non lo è e se ci vogliono 2 secondi contro 10 secondi che non sono ancora necessari, non li mostriamo come interrotti, voglio dire, diversi secondi sono in realtà abbastanza lunghi, come se volessi scansionare un milione di URL dal tuo sito web e invece di 100 millisecondi ci vogliono circa
(33:37) 10 volte di più o 20 volte di più è una grande differenza ed è qualcosa per cui se guardassi quelle statistiche potresti andare da chiunque gestisca il tuo server e dire: guarda questi numeri questi numeri sono oggettivamente cattivi sì, puoi migliorarli e poi loro hanno qualcosa su cui possono lavorare che è molto diverso da molte altre cose SEO in cui è come oh, la mia pertinenza non è eccezionale e poi qualcun altro sul lato server è come beh okay, non posso cambiare il fatto che questo sia più simile a chiaro come un è una
(34:13) specie di numero sì in bianco e nero che puoi riprendere e dire che le cose vanno male, per favore aggiustalo esattamente e puoi moltiplicare il numero di pagine sul tuo sito per il tempo di risposta sei come se fosse come se fosse un un sacco di tempo che viene sprecato MH okay, quindi apri le statistiche Coss quindi guarda la console di ricerca sì e Gary, cosa ne pensi Gary, tu hai menzionato uh la tua cosa che mi dà più fastidio erano le persone che si antropomorfizzavano, questa è la cosa che mi dà più fastidio
(34:42) che forse sì, uh ma per il resto delle persone o in generale ti dà fastidio il fatto di gattonare e vorresti che le persone lo sapessero o ti piace un malinteso che vedi come diamine se le persone facessero questo o smettessero di farlo hm, non lo so Non so se ho davvero un piccolo fastidio come ce n’è o una collina su cui morirai, quindi vorrei che le società di hosting aiutassero di più i loro clienti quando le cose vanno male perché non direi molto spesso ma ogni tanto noi vediamo i siti che si lamentano del fatto
(35:33) che Google ma non li sta scansionando e poi guardiamo cosa sta succedendo ed è come se uh uh il loro server DNS ci stesse bloccando o il loro server ci stesse bloccando o la loro rete ci stesse bloccando e poi siamo come noi non ho idea di dove stia bloccando ma sta bloccando ed è dalla tua parte e loro dicono no perché la società di hosting era come se dovesse essere come te ma non può essere come te come vediamo che non possiamo connetterci al tuo server come perché non dovremmo farlo vuoi connetterti al tuo server o al tuo DNS um o
(36:06) qualsiasi altra cosa ed è come no ma la società di hosting era come se fosse dalla tua parte e capisco che, a causa di come sono impostate le società di hosting al giorno d’oggi, sono dietro il CDN che ne divora anche un po’ delle uh informazioni commerciali um o sono su um uh cluster elastici che crescono e si restringono e um alcuni di nuovo alcune tracce vengono perse ma comunque se potessimo dedicare più tempo a dire alla gente che ci piacciono coloro che ci hanno lavorato networking o qualsiasi altra cosa uh o
(36:48) gestione del server um come vengono effettuate le connessioni e quindi aiutare le persone a capire e anche a risolvere i loro problemi sarebbe fantastico um perché come se sapessi come viene stabilita una connessione tra due tra un client e un server, allora è come dire che è dalla tua parte il problema quando un client non può uh o è dal lato client il problema quando un client non può connettersi a un server che è come un allungamento quindi quindi stai dicendo più search console cos’è una search console più
(37:25) più funzionalità in search console che Ho sentito come in video simili quando quando stai facendo qualcosa di sbagliato o qualcosa del genere dici al sito tramite Hoster che dovremmo inviare più messaggi ma dovremmo inviare tutti i messaggi in un solo giorno in un solo giorno sì, accumularli e poi non lo so, prima di tutto uh il primo giorno del mese, basta semplicemente inviare tutti i messaggi che abbiamo io.
(37:49) Ho un’idea migliore, pubblichiamo i messaggi sui social media e poi chiunque potrà risolvere qualsiasi problema, lo so, e poi taggheremo noi tagga le persone persone sì ehi questo è il tuo sito questo è il tuo sito e tagghiamo tutte le società di hosting oh per mettere mi piace ciao possiamo aggiungerli direttamente come le società no è troppo, voglio dire a volte il problema di scansione è anche dalla nostra parte certo quindi mi piace noi dobbiamo accettare che faranno la stessa cosa forse è l’ultima risorsa non siamo riusciti a contattarti tramite questo
(38:21) messaggio quindi sì, ora stiamo trasmettendo noi oh l’abbiamo fatto prima di averlo fatto prima di ho anche inviato fax prima dei fax veri e propri sì, è un’impostazione che sarebbe fantastica in realtà un’ottima impostazione nella console di ricerca sear console quindi invece di una notifica via e-mail come quale metodo vorresti ricevere una notifica un’opzione fax un numero di fax sì è scritto a mano da John scritto a mano da John aspetta vogliamo che la gente possa leggere che hai una brutta calligrafia I
(38:54) non credo di aver mai visto la tua calligrafia non posso confermare in realtà non ti ho mai visto scrivere forse è solo un parlato testo va bene, penso che siamo molto avanti nel tempo, potenzialmente il mio cronometrista non ha fatto alcun gesto, quindi non sono sicuro che abbiamo fatto un piccolo gesto e me lo sono perso perché non riesco a vedere che va bene okay, è stato divertente, è stato una bella bella discussione oh era sì oh beh doveva essere doloroso doveva essere bene era doloroso per me okay beh è tutto per questo episodio la
(39:33) prossima volta che cercheremo nel registro parleremo con Mii un altro esperto di prodotto uh riguardo al lavoro con l’ API della console di ricerca grazie gente per l’ ascolto e arrivederci arrivederci ciao ci siamo divertiti con questo podcast e spero che voi L’ascoltatore lo abbiate trovato sia divertente che approfondito sentitevi liberi di lasciarci una nota su Twitter alla ricerca di Google C o chatta con noi a uno dei prossimi eventi a cui andremo se hai qualche idea e ovviamente non dimenticare di mettere mi piace E
(40:04) iscriverti, grazie e arrivederci [Musica]

1. Impatto dei contenuti di alta qualità sulla frequenza di crawling

Una delle cose di cui si è parlato è la qualità di un sito web. Molte persone soffrono del problema del sito non individuato e non indicizzato, che a volte è causato da alcune pratiche SEO che le persone hanno imparato e che ritengono essere una buona pratica. Mi occupo di SEO dal 2015 anni e una cosa che è sempre rimasta invariata è che le best practice definite dal settore sono in genere anni indietro rispetto a ciò che fa Google. Tuttavia, è difficile capire cosa c’è di sbagliato se una persona è convinta di fare tutto bene.

Gary Illyes ha condiviso la ragione di un’elevata frequenza di crawling al minuto, spiegando che uno dei fattori scatenanti di un elevato livello di crawling sono i segnali di alta qualità che gli algoritmi di Google rilevano.

Gary ha detto

L’affermazione di cui sopra non contiene molte sfumature, ad esempio quali sono i segnali di alta qualità e utilità che inducono Google a decidere di effettuare un crawling più frequente?

Google non lo dice mai. Ma possiamo fare delle ipotesi e le seguenti sono alcune delle mie supposizioni.

Sappiamo che esistono brevetti sulla ricerca di marca che conteggiano le ricerche di marca effettuate dagli utenti come link impliciti. Alcuni pensano che i “link impliciti” siano menzioni del marchio, ma le “menzioni del marchio” non sono assolutamente ciò di cui parla il brevetto.

C’è poi il brevetto Navboost, che esiste dal 2004. Alcune persone associano il brevetto Navboost ai clic, ma se leggete il brevetto vero e proprio del 2004 vedrai che non menziona mai il tasso di clic (CTR). Parla di segnali di interazione con l’utente. I clic sono stati un argomento di ricerca intenso nei primi anni 2000, ma se si leggono i documenti di ricerca e i brevetti è facile capire cosa intendo quando non è così semplice come “la scimmia clicca sul sito web nelle SERP, Google lo posiziona più in alto, la scimmia prende la banana”.

In generale, credo che i segnali che indicano che le persone percepiscono un sito come utile, possano aiutare un sito a posizionarsi meglio. E a volte questo può significare dare alle persone ciò che si aspettano di vedere, dare alle persone ciò che si aspettano di vedere.

I proprietari dei siti mi dicono che Google classifica la spazzatura e quando li guardo capisco cosa intendono, i siti sono un po’ spazzatura. D’altro canto, però, i contenuti danno alle persone ciò che vogliono, perché non sanno come distinguere tra ciò che si aspettano di vedere e i contenuti di buona qualità (io lo chiamo l’algoritmo Froot Loops).

Cos’è l’algoritmo Froot Loops? È un effetto della dipendenza di Google dai segnali di soddisfazione degli utenti per giudicare se i risultati delle ricerche rendono felici gli utenti. Ecco quanto ho pubblicato in precedenza sull’algoritmo Froot Loops di Google:

Un esempio di sito spazzatura che soddisfa gli utenti è un popolare sito di ricette che pubblica ricette facili da cucinare che non sono autentiche e utilizzano scorciatoie come la zuppa di funghi in scatola come ingrediente. Ammetitamo che sono abbastanza esperto in cucina e quelle ricette mi fanno rabbrividire. Ma le persone che conosco amano quel sito perché non ne sanno di più, vogliono solo una ricetta facile.

La conversazione sull’utilità riguarda in realtà la comprensione del pubblico online e la possibilità di dare loro ciò che vogliono, che è diverso dal dare loro ciò che dovrebbero volere. Capire ciò che le persone vogliono e fornirglielo è, a mio avviso, ciò che i ricercatori troveranno utile e farà suonare il segnale di utilità di Google.

2. Aumento dell’attività editoriale

Un altro elemento che, secondo Illyes e Sassman, potrebbe indurre Googlebot a effettuare più crawling è una maggiore frequenza di pubblicazione, ad esempio se un sito aumenta improvvisamente la quantità di pagine pubblicate. Ma Illyes ha parlato di un sito violato che improvvisamente ha iniziato a pubblicare più pagine web. Un sito hackerato che pubblica molte pagine causerebbe un maggior numero di scansioni da parte di Googlebot.

Se facciamo uno zoom per esaminare questa affermazione dal punto di vista della foresta, è abbastanza evidente che sta implicando che un aumento dell’attività di pubblicazione può innescare un aumento dell’attività di crawling. Non è il fatto che il sito sia stato violato a far sì che Googlebot effettui più crawling, ma l’aumento delle pubblicazioni.

Qui Gary cita un’ondata di attività di pubblicazione come fattore scatenante di Googlebot:

Un gran numero di nuove pagine fa sì che Googlebot si entusiasmi e che effettui il crawling di un sito “come un matto”. Non sono necessari ulteriori approfondimenti, andiamo avanti.

3. Coerenza della qualità dei contenuti

Gary Illyes continua dicendo che Google potrebbe riconsiderare la qualità complessiva del sito e questo potrebbe causare un calo della frequenza di crawling.

Ecco cosa ha detto Gary:

Cosa intende Gary quando dice che Google “ha ripensato alla qualità del sito”? La mia opinione è che a volte la qualità complessiva di un sito può diminuire se ci sono parti del sito che non hanno lo stesso standard di qualità del sito originale. Secondo me, sulla base di quanto ho visto nel corso degli anni, a un certo punto i contenuti di bassa qualità possono iniziare a superare quelli buoni e trascinare con sé il resto del sito.

Quando le persone si rivolgono a me dicendo di avere un problema di “cannibalismo dei contenuti”, quando le guardo, quello di cui soffrono in realtà è un problema di bassa qualità dei contenuti in un’altra parte del sito.

Lizzi Sassman chiede, intorno al minuto 6, se ci sarebbe un impatto se il contenuto del sito fosse statico, senza migliorare o peggiorare, ma semplicemente senza cambiare. Gary ha resistito a dare una risposta, limitandosi a dire che Googlebot torna a controllare il sito per vedere se è cambiato e dice che “probabilmente” Googlebot potrebbe rallentare il crawling se non ci sono cambiamenti, ma ha qualificato questa affermazione dicendo che non lo sa.

Una cosa che non è stata detta, ma che è legata alla coerenza della qualità dei contenuti, è che a volte l’argomento cambia e se il contenuto è statico può perdere automaticamente rilevanza e iniziare a perdere posizioni. Per questo motivo è bene effettuare regolarmente un Content Audit per verificare se l’argomento è cambiato e, in tal caso, aggiornare i contenuti in modo che continuino a essere rilevanti per gli utenti, i lettori e i consumatori quando conversano su un argomento.

Tre modi per migliorare le relazioni con Googlebot

Come hanno chiarito Gary e Lizzi, non si tratta di punzecchiare Googlebot per farlo venire solo per il gusto di fargli fare il crawling. Il punto è pensare ai contenuti e al loro rapporto con gli utenti.

1. Il contenuto è di alta qualità?

Il contenuto riguarda un argomento o una parola chiave? I siti che utilizzano una strategia di contenuti basata su parole chiave sono quelli che vedo soffrire negli aggiornamenti dell’algoritmo centrale del 2024. Le strategie basate sugli argomenti tendono a produrre contenuti migliori e a superare gli aggiornamenti dell’algoritmo.

2. Aumento dell’attività editoriale

Un aumento dell’attività di pubblicazione può far sì che Googlebot si avvicini più spesso. Indipendentemente dal fatto che un sito sia stato violato o che stia dando più vigore alla propria strategia di pubblicazione dei contenuti, un programma regolare di pubblicazione dei contenuti è una buona cosa ed è sempre stata una buona cosa. Non esiste il “imposta e dimentica” quando si tratta di pubblicare contenuti.

3. Coerenza della qualità dei contenuti

La qualità, l’attualità e la rilevanza dei contenuti per gli utenti nel tempo sono un fattore importante e assicurano che Googlebot continui a venire a salutarli. Un calo di uno qualsiasi di questi fattori (qualità, attualità e rilevanza) potrebbe influire sul crawling di Googlebot, che a sua volta è un sintomo del fattore più importante, ovvero il modo in cui l’algoritmo di Google stesso considera il contenuto.

andrea barbieri

Andrea Barbieri è consulente SEO, svilppattore di siti web e specialista in web marketing, fondatore di BTF Traduzioni SEO Sviluppo Web. Aiuta aziende e professionisti a ottenere visibilità online con siti ottimizzati, contenuti efficaci e strategie SEO mirate. Visita la mia pagina.