Сейчас пишу движок для сайта на Перле и возник вопрос.… Мне нужно, что-бы поисковые системы (Rambler, Yandex, Yahoo, Google, и т.д.) могли сканировать мой сайт и успешно его обрабатывать.… Т.к. в данный момент все делается ручками и *.shtml страницами, то посковики все находят, но вот надоело уже все ручками, да ручками...
Так же, к теме, есть форум (YaBB) на Перле и поисковики его прекрасно сканируют, но мне не понятно почему...
Мой движок будет выводить каталог продуктов на страницу и всякие другие прибамбасы.… Работать он будет по похожему приципу, как и форум (вся информация хранится в *.txt файлах)….
Теперь вопрос.… Что я должен сделать, чтобы поисковые системы могли нормально сканировать мой скрипт на информацию?

Это зависит от правил работы каждого поисковика конкретно, которые как правило ими публикуются.
А в целом кажется ничего необычного нет, все тоже самое (meta тэги, описание, заголовки и текст страниц)

Например вот что поэтому поводу говорит Yandex (http://www.yandex.ru/info/webmaster7.html)

phantomas,
У меня один вообще не индексируется.… Как поисковики обрабатывают скрипты? Выполняют или тупо их читают? Мне не понятно, почему мой форум сканируется Яндексом, а скрипт каталога - нет.… Ведь они используют практически одну и ту же структуру.…

Правила тоже читал... И на Яндексе, и на Рамблере, но ответа так и не нашел...

Надо бы пообщаться с разработчиками, все-таки есть там какая-то особеность

Proof писал(а):

phantomas, Как поисковики обрабатывают скрипты? Выполняют или тупо их читают?

А как ты себе представляешь механизм "тупого чтения" серверного скрипта?

Гугл прекрасно индексирует динамические страницы, правда тока на один уровень. Дальше за деньги.

Превращение длинного и кривого урла в удобоваримый для спайдеров и людей - стандартная задача mod_rewrite апача.

на www.sitemaker.ru есть доходчивая статья про mod_rewrite...

Насчет "тупо читать" - этого они не могут, как и любые посетители сайта, поисковики ходят по ссылкам и получают html-код как и все остальные...

Насчет гугля не знаю, вроде бы он не очень любит динамику и ссылки на динамические страницы должны быть прямые, а так в глубь какого-нить форума больше он не полезет (хотя может я и ошибаюсь)

Яндекс хавает все, весь форум переиндексит, да еще и по несколько копий страниц (так как разные урлы ил-за сессий)…

Хотя рамблер и апорт в хелпах пишут (по крайней мере писали), что не индексят динамику, сейчас в ответ на запрос совершенно нормально вываливаются ссылки с & ? ; = и прочее...

Но лучше с мод_рерайтом поиграть, тем более это не так сложно...

Yura писал(а):

Насчет гугля не знаю, вроде бы он не очень любит динамику и ссылки на динамические страницы должны быть прямые, а так в глубь какого-нить форума больше он не полезет (хотя может я и ошибаюсь)

Когда я последний раз за ним наблюдал -- лез до упора.

Yura писал(а):

на www.sitemaker.ru есть доходчивая статья про mod_rewrite... Но лучше с мод_рерайтом поиграть, тем более это не так сложно...

Спасибо... Прям самое оно...

Прошу прощения за небольшой оффтоп, но есть загвоздка с .htaccess и mod-rewrite.…

Вот мой .htaccess:


Но при таком раскладе сервер выдает 500 ошибку, ссылаясь на неправильный флаг в RewriteCond (RewriteCond: bad flag delimiters)….

В чем проблема?

P.S. Обязательно что-то проглядел.…

А что вы пытаетесь сделать?
RewriteRule ^robots.txt$ /cgi/robots.cgi?%{REQUEST_URI} зачем?
Зачем RewriteCond?

ptitov,
RewriteRule ^robots.txt$ /cgi/robots.cgi?%{REQUEST_URI} по другому поводу и работает прекрасно...

Проблема состоит в
RewriteCond % {HTTP_USER_AGENT} ^EmailSiphon [NC, OR]
RewriteCond % {HTTP_USER_AGENT} ^ExtractorPro
RewriteRule ^.*$ - [F]