E adesso un articolo su google e le risorse bloccate. Come sicuramente vi sarete accorti leggendo nel GWT o Google Web Master del vostro account, i signori di Google ne hanno introdotta una nuova e in base a questa se non la rispettate sarete penalizzati, almeno questa insomma è sempre la solita solfa che google utilizza. Ma vediamo un attimo di che si tratta incominciamo con gli antipodi, fino a questo anno era uso dei Webmaster scrivere dei robots.txt del genere. Tipico del Worpdress
User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /trackback Disallow: */trackback Disallow: /Directoty Disallow: /Directory1 Disallow: /*?utm_source # Google Image User-agent: Googlebot-Image Disallow: Allow: /* # Google AdSense User-agent: Mediapartners-Google* Disallow: Allow: /* # Internet Archiver Wayback Machine User-agent: ia_archiver Disallow: / # digg mirror User-agent: duggmirror Disallow: / Sitemap: http://www.tuosito.ext/sitemap.xml.gz
Quali sono le risorse bloccate di GWT
Che in pratica bloccava l’accesso ai crawler delle tre principali cartelle di wordpress wp-admin , wp-content, wp-includes, dove rispettivamente sono contenuti dati dell’amministrazione, dati del content ossia fra gli altri i vostri temi, e gli includes ossia file js che siano javascript o jquery o altro. Poi erano presenti i disallow *?utm_source voluti da google analitycs per monitorare gli accessi al vostro sito da parte di collegamenti provenienti principalmente dai social, ma odiati da Google Web Master che li segnalava come duplicati, e utilizzati anche in alcune pratiche Negative Seo e quindi si preferiva usare il Disallow e utilizzare dei plugin per google analytics, cgi-bin sta invece ad indicare se nel vostro sito avete dei file di tipo Perl tipicamente script. Poi potete vedere tutta una sequela di disallow relativi alle immagini e script adsense che sono obsoleti e quindi andrebbero tolti a prescindere.
Il nuovo robots.txt per evitare le risorse bloccate di Google
Vi posso garantire che il robots.txt che vedete sopra che con le nuove “idee” di Google risulta eccessivo, prima era quasi minimale. Ma cosa è accaduto questo anno. Beh anche in Italia è arrivato quello che già da qualche anno si sapeva più o meno fra le righe anche in America già da due anni. Ossia con l’avvento dei Tablet , smarthpone etc. Google ha deciso di vederci chiaro, e con questa dicitura si intende chiaramente, ossia Google vuole vedere con il suo crawl quello che vede un visitatore quando si collega alla vostra pagina, quando questo non accade si arrabbia e se andate nelle risorse bloccate del vostro GWT ve lo segnala e se non correte ai ripari vi penalizza. Un primo accenno di quello che vi sto dicendo ce lo potete avere andando su Google Page Speed dove il buon Google si prende anche la briga di dirvi se siete nel caso che la vostra pagina non è visibile correttamente. Dicitura che può significare tante cose , ma probabilmente significa che siete incorsi nei casi di cui sopra. Questa volta ve la cavate veramente con poco. Infatti la soluzione di questo caso è veramente facilissima, basterà rendere davvero minimale il vostro robots.txt e il tutto sarà risolto. Quindi il nuovo che vi consigliamo è questo.
User-agent: *
Disallow: /wp-admin/
Il Crawl di Google sarà a conoscenza di tutti i vostri cavoli e vi segnalerà che le risorse bloccate saranno diventate pochissime, non si arrabbierà e non vi penalizzerà.
Come avrete capito in questo articolo vi abbiamo spiegato cosa di fatto è la causa del problema, ma dovrete verificare caso per caso e per vedere se avete fatto la cosa giusta verificare con il Tester per Robots txt che trovate nel vostro GWT
e dopo verificate l’url
se a google GWT sta bene i cambiamenti che avete fatto vi scriverà consentito con una scritta in background verde.
Risorse Bloccate e Jet Pack
Se siete dei webmaster seri, sicuramente avrete consigliato dei plugins piuttosto che altri , uno fra i quali molto usato e molto ben realizzato e Jet Pack che come dice il nome offre tutta una serie di pacchetti che vi permetteranno fra le altre cose di leggere le statistiche del vostro sito, ma che Jet Pack blocca nel suo robots.txt e che saranno disponibili solo a voi, GWT si arrabbia perchè vorrebbe sapere ma non ci potete fare nulla voi, perchè il crawl non è bloccato nel vostro sito , ma solamente in quello di destinazione.