Люди, ктонить писал скрипт для поиска по сайту использующему скрипты, (т.е. не тупое сканирование каталогов и файлов по содержанию), а создание индексной базы на основе HTTP . Т.е. как поступаю поисковые роботы, сканируя сайт по ссылкам внутри документов href'ов.
Поделитесь опытом, плиз, или ссылочку киньте на скрипт,
очень надо.…
заранее спасибо
