• Робот (spider): Программа, которая просматривает веб-страницы, считывает (индексирует) их содержимое, следуя по ссылкам, найденным внутри документов. Возобновляет работу через определенный период времени.
• В том случае если вы начинающий веб мастер Вам полезно будет знать, как привлечь внимание поисковых роботов, какие существуют правила и ограничения (подробно).
• На сегодняшний день стало на много труднее раскручивать сайты с помощью ухищрений и обманов поисковых роботов, и мы только можем поддержать и приветствовать такие усовершенствования. Наверняка все мастера достигшие популярности в интернете за счёт уникальности своих работ, поддержат нас. Слишком много развелось сайтов, пролезших всеми правдами и не правдами на первые страницы каталогов поисковых машин и рейтингов. С помощью поискового спама и ключевых слов, за - частую не имеющих отношения к их работам, а просто скопированных с сайтов действительно интересных и полезных. Эти бездарные горе-мастера в своём рвении получить посетителей на свои наспех сляпанные страницы не думают, что своими действиями наносят вред не только поисковым машинам, но и посетителям. Просидев пару часов и не найдя полезной информации мало кто захочет в следующий раз вернутся на посещенные страницы. А зачастую можно услышать, что все поисковики полный бред, потому как находят только мусор совершено не имеющий отношения к запросу.

• В связи с этим разработчики поисковых машин принимают меры по совершенствованию пауков. Сегодня практически все поисковые пауки умеют отсеивать поисковый спам вводимый в теги и скрытые поля. Проводить сравнительный анализ на осмысленность и соответствие содержанию ваших страниц. По этому, если в ключевые слова вы впишете слова «Москва», «Реферат», «Порно», «секс» и прочие слова, которые публикуются в списках популярных запросов, а робот не найдёт на ваших страницах материала соответствующего заголовку, то скорее всего ваш ресурс будет внесён в чёрный список и робот наведается к вам не очень скоро. Из этого следует, что страницы вашего сайта не будут проиндексированы и останутся, не известны.

• Возможности поисковых роботов не ограничиваются просмотром мета тегов, как это считалось, возможно, так и было. Сегодня робот сканирует и суммирует все страницы, сверяет их с базой данных и определяет полезность вашего ресурса. По этому если вы его просто скопировали у кого-то, кто до вас стащил этот материал у стащившего его в свою очередь, и так далее, то ваш сайт соответственно займёт ……00000, 0010 место в списках. На сегодняшний день практически не возможно понять посещал ваши страницы поисковый робот или нет. Робот оснащён функциями и возможностями присвоения себе IP адреса, прокси, уникальностью и прочими атрибутами. Со стороны и в отражении статистики посещения вашего сайта это будет просто выглядеть как посещение обычным пользователям. Иногда даже имитируется время пребывания на ваших страницах.
• Безусловно, соглашусь, что создать что-то свое на сегодняшний день практически не возможно. И всё-таки кто ищет тот - всегда найдет. Рано или поздно вы найдёте свою нишу и займете в ней свое место, наверняка не последнее. А если нет, что ж смиритесь с тем, что вы занимаетесь не своим делом.