Robots.txt е един от най-малките файлове на уебсайта, но може да направи най-големите бъркотии.  Файлът robots.txt казва на ботовете на търсачките как да обхождат даден сайт. Най-често той изброява местата [Прочети...]