Come si bloccano gli Spiders nell’indicizzazione del proprio sito?
Ci sono motivi per cui è possibile non desiderare che il sito Web venga indicizzato dai motori di ricerca.
Più frequentemente, vi sono semplicemente alcune pagine che non si desidera vengano indicizzate dai principali motori di ricerca. Ma è possibile bloccare l’indicizzazione?

Qualunque sia il motivo vi sono diversi metodi per tenere lontani gli spider. Uno di questi è l’uso del file robots. Semplicemente creando un file robots.txt da inserire nella cartella principale del nostro sito è possibile dire ai motori consa non devono indicizzare.
All’interno del file dove scrivere il seguente codice specificando le cartelle che non volete vengano viste:

user-agent: *
Disallow: /clients/*
Disallow: /products/*