Заголовок сообщения: Создание Web-робота Добавлено: 22 Апрель 2005, 21:22:27
Недавно передо мной стала проблема создания так называемого web-робота (или как он правлтно называется). Всё что он должен делать - это переходить по определённым ссылкам на заданном сайте и извлекать из неё определённую информацию. Как это всё реализовать? Точнее на каком языке и какие технологии лучше использовать?
реально, но так никто не делает.
Это всё равно, что на комбайне, который пшеницу убирает, возить муку в город на базар.
Теоретически можно, но на практике односельчане будут на тебя смотреть, как на идиота.
Смотря какой сложности анализ.
Если просто извлекать инфу, то я писал такой на пхп много раз, а если анализ будет сложным и информации тонны - тогда пхп тут будет не в тему имхо
Смотря какой сложности анализ. Если просто извлекать инфу, то я писал такой на пхп много раз, а если анализ будет сложным и информации тонны - тогда пхп тут будет не в тему имхо
Анализа как такого практически и нет. Просто переход по ссылкам и сбор на нужной странице определенной информации. Адреса страниц в приципе примерно одинаковы.
а зачем тебе просто так бегать по ссылкам? на пхп можно конечно выдрать все href`ы из хтмла и посадить сервер, переберая их (или не посадить) тока смысл? щётщик накрутить? какая у тебя задача стоит?
Нет спамом я не увлекаюсь. Задача такая:
1. зайти на страничку. там будет 10 нужных ссылок
2. перейти по эти сслыкам поочереди
3. прейти ещё "вглубь" и сохранить определенную инфу - рисунок и текст. текст примерно повторятся. у рисонка тоже адресс примерно одинаков.
4. сохранить эту инфу и картинку с каждой из 10 страничек в один html файл.
5. перейти к следующим 10 ссылкам.
как вариант:
есть множество програм - проверяльсчиков ссылок которые делают уже пол-работы
я использовал ЛинкЛинт для всех нужд.
возми и добавь свою функциональность
Уровень доступа: Вы не можете начинать темы. Вы не можете отвечать на сообщения. Вы не можете редактировать свои сообщения. Вы не можете удалять свои сообщения. Вы не можете добавлять вложения.