CNSearch 1.5.1
Введение
Поисковые роботы (search bots) представляют собой программы, индексирующие веб-документы в сети Internet.
В 1993-94 годах было обнаружено, что поисковые роботы зачастую индексируют сайты против воли их владельцев. Иногда, вследствие различных причин, роботы могут проиндексировать одни и те же файлы несколько раз. В некоторых случаях поисковые роботы индексируют ненужные документы - виртуальные каталоги, временные данные либо CGI-скрипты. Для решения подобных проблем был разработан Стандарт Блокирования.
