Робот (spider): Программа, которая просматривает веб-страницы, считывает (индексирует) их содержимое

• Робот (spider): Программа, которая просматривает веб-страницы, считывает (индексирует) их содержимое, следуя по ссылкам, найденным внутри документов. Возобновляет работу через определенный период времени.
Индексы: База данных о проиндексированных роботом документах. Поисковый механизм: Программа, проверяющая в соответствии с запросом пользователя содержание индексов. Следует сказать, что поисковые системы, в отличие от встроенных в каталоги поисковых д вигателей, ищут не в пределах определенной серверными настройками базы данных, а по в сей Сети, выводя страницы, находящиеся в их индексах (реестрах данных, где хранится и нформация о проиндексированных ресурсах). Именно последним и занимаются так называ емые поисковые роботы (spiders, wanderers, robots). При обращении к серверу робот прове ряет наличие файла robots.txt в его корневой директории, в котором могут быть вручную ус тановлены правила индексирования тех или иных документов текущего узла. Однако, не все роботы "умеют" читать указанную в этом файле информацию: часть из них не поддерживает специальный стандарт описания правил индексирования файлов - Standard for Robot Exclusion. К сожалению, сегодня не все веб-мастера и ведущие Интернет-проектов имеют п редставление об этом стандарте, к тому же не каждый системный администратор, настраив ающий веб-сервер, придает применению правил описания для поисковых роботов должное внимание.
•Данная статья будет посвящена не стандарту Standard for Robot Exclusion, что требует изу чения специальных параметров описания правил и работы с веб-сервером, а тому, как пра вильно подготовить веб-документ для индексирования поисковыми роботами. Поисковые серверы при регистрации Web-сервера, сайта или страницы используют инфор мацию, хранящуюся в специальных тегах МЕТА, которые помещаются между тегами и бол ьшинство начинающих Web-мастеров и Web-дизайнеров не уделяют особого внимания этим тегам - и зря. Теги МЕТА не видны при просмотре документа и заметно увеличивают его раз мер, однако без них не обойтись.

• Правильность составления МЕТА тегов делает возможным, чтобы ваш сайт было легко от ыскать при помощи поисковых систем среди огромного числа других сайтов! Для этого нео бходимо следовать следующим рекомендациям:
1. Длина содержимого тегов МЕТА "descriptions" не должна превышать 200 символов, a " keywords" - 1000 символов. Это связано с тем, что поисковые серверы, как правило, испол ьзуют именно такие величины при индексировании информации о вашем сайте. Можно получ ить отрицательный результат, если поисковые машины отбросят часть описания, превыша ющего установленные нормы, в результате чего в каталог попадет не вся желаемая инфор мация, либо сервер просто отвергнет регистрацию вашего сайта.
2. Нужно включить все наиболее часто используемые в вашем сайте термины и их синонимы в тег "descriptions". Можете включить и термины, не имеющие отношения к вашим страница м, однако в Internet такое поведение считается некорректным. В список ключевых слов мо жно вставлять и фразы. В этом случае у вашего сайта повышается шанс попасть в самое н ачало списка, выданного поисковым сервером (в случае совпадения фразы с той, что ввод ит пользователь).
3. Для увеличения рейтинга сайта и попадания его в верхнюю часть поискового списка нео бходимо каждый термин, включаемый в описание, повторять около 3 раз. Поисковые машин ы, как правило, работают с тегами МЕТА, а в случае их отсутствия - уже с содержимым стр аницы. Иногда это приводит к появлению сайта в списке top 10, но может привести ик отриц ательному результату (перед регистрацией проверьте поисковую машину, дав запрос и пр осмотрев ключевые слова у сайтов, стоящих на верхних позициях)
4. Используйте в описаниях и списке терминов как можно больше синонимов. 5. Не используйте в описаниях и в списке терминов понятия и слова, слабо связанные друг с другом.
• Как известно, одними из наиболее эффективных и результативных средств раскрутки веб- сайтов являются регистрация в каталогах Интернет-ресурсов и индексирование поисковы ми системами. Но если первый метод в большинстве случаев зависит исключительно от того, как устроена процедура занесения информации о ресурсе в базу данных каталога, то подх од пользователя к индексированию веб-документов поисковиками с полной уверенностью можно назвать индивидуальным и вполне предсказуемым. Регистрируясь в каталоге, польз ователь вносит в установленные формы данные о сайте так, как он хочет. Однако, далеко не всегда информация о ресурсе будет отображена впоследствии в каталоге в первозданн ом виде: администраторы многих подобных серверов по-своему редактируют описание рес урсов, руководствуясь при этом собственными доводами и правилами.

• Релевантность документов Когда пользователь вводит в строке запроса поисковой системы какое-то слово или слово сочетание, робот обращается ко всем проиндексированным страницам. Количество получе нных результатов может достигать десятков и даже сотен тысяч. Робот выводит результа ты по критерию наибольшего соответствия содержания документов запросу пользователя, который называется релевантностью. Другими словами, самые подходящие страницы будут размещены в начале результирующего списка, выдаваемого поисковой системой. На релев антность влияют факторы ключевых слов, речь о которых и пойдет.
• Количество ключевых слов Под количеством ключевых слов (keywords) подразумевается их частота присутствия в до кументе (не путать с указанием ключевых слов в мета-тегах, разговор о которых пойдет ч уть ниже). То есть страница, на которой робот обнаружит 15 раз запрошенное пользовател ем слово, будет более релевантна, чем та, которая содержит это слово всего 3 раза. Этот фактор как правило зависит от тематики ресурса и профессиональной этики веб-мастера. Л огично допустить, что если страница называется "Лучшие бесплатные программы для Unix", в ее тексте навряд ли можно встретить слова "эротика", "макияж" или "трубопровод". Зато "система" или "Unix" могут встретиться десятки раз. Но когда вопрос траффика перерастает в вопрос жизни или смерти, некоторые веб-мастера идут на неэтичный шаг: указывают в до кументе ключевые слова, совершенно не имеющие отношения к теме ресурса. Делается это обычно очень мелким шрифтом, в самом низу страницы или цветом, совпадающим с задним фоном. Реже эти методы берут на вооружение люди, стремящиеся искусственным путем по высить релевантность своих документов: одно и тоже ключевое слово указывается больш ое количество раз.
• Густота (плотность) ключевых слов Под густотой (плотностью) ключевых слов принято понимать степень отношения количест ва ключевых слов к остальным словам в пределах документа. Поисковые роботы считают более релевантной страницу с конкретным словосочетанием, нежели документ, в котором есть помимо этого словосочетания другие слова и фразы. Например, документ, содержащий только два слова "коммерческое предложение", будет идти в результирующем списке впер еди страницы, содержащей помимо сочетания слов "коммерческое предложение" еще и дру гие слова.

• Расположение ключевых словВеб-страница имеет ряд особых мест, поместив ключевые слова в которые, можно надеят ься на более высокую релевантность в индексах поисковых систем. Прежде всего это сам ое начало документа: текст, содержащий ключевые слова в верхней части страницы, заме тно повысит релевантность. Также часто включают ключевые слова между парными тегами <TITLE></TITLE>. Многие допускают ошибку, загромождая заголовок ключевыми словами. Такой подход имеет, как минимум, три больших минуса: во-первых, исходный размер HTML- файла заметно увеличивается, во-вторых, при выдаче результатов поисковики выводят да нные, указанные в заголовке (<TITLE></TITLE>), что делает название найденных документ ов малопривлекательными, в-третьих, пользователю будет довольно сложно поместить ст раницу с таким длинным заголовком в папку Favorites/Bookmarks. Кроме этого, на релеван тность документов влияет наличие выделенных фрагментов текста (теги форматирования <STRONG>, <B>, <EM>, <U>, <I>, <H1>, <H2> и др.) и внесение ключевых слов в коммента рии, поле альтернативного текста <ALT> и мета-теги (им будет посвящена отдельная часть статьи). Комментарии обособляются символами  и могут включать абсолютно люб ую информацию (она в окне браузера не отображается), например: ? Поле альтернативного текста <ALT>, предназначенное для появления подсказок к графиче ским элементам при наведении на них курсора, тоже имеет большой вес, когда речь заходит о релевантности страниц. Для сравнения приведу следующий пример: на странице абстрак тного предприятия "Фирма" размещена кнопка about.gif размером 5 Кб со ссылкой, ведущей в раздел, рассказывающий об истории возникновения предприятия. Три варианта использов ания поля альтернативного текста <ALT>:
<IMG SRC=about.gif ALT="about.gif, 5 Кб">
<IMG SRC=about.gif ALT="Об истории">
<IMG SRC=about.gif ALT="История возникновения ООО Фирма">
• Релевантность страниц согласно порядку применения поля будет изменяться от первого в арианта к последнему: документ, где кнопке присвоено поле "История возникновения ООО Фирма", будет иметь более высокую релевантность, чем тот, чья кнопка имеет значение те га "about.gif, 5 Кб".? Мета-теги
Мета-теги по сути имеют два основных атрибута - HTTP-EQUIV и NAME. Первый можно отож дествить с HTTP-заголовками, и мета-теги с этим атрибутом на ряде серверов могут быть а втоматически преобразованы в HTTP-заголовки. Нас больше интересует атрибут NAME, а то чнее - его значения "keywords", "description" и "robots", как влияющие на индексирование п оисковыми спайдерами.

• META NAME="keywords" CONTENT="........."
Здесь в значении атрибута CONTENT следует указывать ключевые слова и словосочетания. Делается это через запятую. Сюда можно добавить слова, которые не встречаются в доку менте (или встречаются крайне мало), но имеют отношение к тематике сайта (что снова по высит релевантность). Не стоит избегать указания словосочетаний: во-первых, многие пол ьзовательские запросы состоят из нескольких слов, а во-вторых, документ с указанием в качестве keywords целой фразы, будет иметь большую релевантность, чем страница, где в место ключевой фразы определены ее отдельные слова (например, "электронные магазин ы" или "электронные" и "магазины"). В среднем допускается указывать до 150-200 символ ов в качестве ключевых слов.
META NAME="description" CONTENT="........."
Значение атрибута CONTENT в данном случае уместно использовать, если в самом докумен те нет (или очень мало) тематического описания вашего сайта. Дело в том, что большинство поисковых систем в результирующем списке рядом с заголовком выводит 70-150 символов, относящихся к характеристике найденного документа. Если робот не обнаружит данного зн ачения, его внимание будет обращено к проверке страницы с целью нахождения текста, ха рактеризующего документ, и дальнейшего вывода этого текста в результирующем списке. Оптимальным решением является параллельное использование значений ключевых слов и описания (возможно дублировать ключевые слова в конструкции META NAME="description" CONTENT="...").
META NAME="robots" CONTENT="........."
Эта конструкция предназначена для того, чтобы указать поисковому роботу, индексирующ ему ваш сайт, что надо добавлять в индексы, а что нет. Последний случай не является редк им, т.к. существует множество ситуаций, когда просто необходимо запретить индексирован ие: чаты, баннерные показы и пр. Есть шесть возможных значений атрибута CONTENT для д анной конструкции:
• (а) ALL (разрешение индексации документа со всеми присутствующими в нем гиперсвязя ми);
(б) NONE (запрет индексации документа со всеми присутствующими в нем гиперсвязями);
(в) INDEX (разрешение индексации документа);
(г) NOINDEX (запрет индексации документа);
(д) FOLLOW (разрешение индексации присутствующих гиперсвязей);
(е) NOFOLLOW (запрет индексации присутствующих гиперсвязей);
• Если этот мета-тег пропущен или не указано значение атрибута CONTENT, то поисковый роб от понимает их отсутствие как конструкцию CONTENT="INDEX, FOLLOW" (эти два значения - INDEX и FOLLOW аналогичны ALL).