Недавно передо мной стала проблема создания так называемого web-робота (или как он правлтно называется). Всё что он должен делать - это переходить по определённым ссылкам на заданном сайте и извлекать из неё определённую информацию. Как это всё реализовать? Точнее на каком языке и какие технологии лучше использовать?

Да уж. С такой формулировкой вопроса "вставшая проблема" отпадет сама собой чуть позже

<?php
fopen()
;?>

2 Infinite: Ну может вопрос сформулировал не правильно...

e_moon писал(а):

<?php fopen() ;?>

И что? Таким способом загружать все страницы по-очереди?

А по-правде это реально написать на рнр? Чтобы ссылки анализировал и переходил по ним.

реально, но так никто не делает.
Это всё равно, что на комбайне, который пшеницу убирает, возить муку в город на базар.
Теоретически можно, но на практике односельчане будут на тебя смотреть, как на идиота.

Смотря какой сложности анализ.
Если просто извлекать инфу, то я писал такой на пхп много раз, а если анализ будет сложным и информации тонны - тогда пхп тут будет не в тему имхо

Inviz, Имеешь в виду что не потянет PHP?

Я знаю только один поисковик написанный на PHP, правда итальянский.
http://www.outseek.net - бррр жуткий сайт

Inviz писал(а):

Смотря какой сложности анализ. Если просто извлекать инфу, то я писал такой на пхп много раз, а если анализ будет сложным и информации тонны - тогда пхп тут будет не в тему имхо

Анализа как такого практически и нет. Просто переход по ссылкам и сбор на нужной странице определенной информации. Адреса страниц в приципе примерно одинаковы.

а зачем тебе просто так бегать по ссылкам? на пхп можно конечно выдрать все href`ы из хтмла и посадить сервер, переберая их (или не посадить) тока смысл? щётщик накрутить?
какая у тебя задача стоит?

Сбор информации вида mailto: и отправка по собранным адресам спама

на C++.
хотя можно и на Ассемблере

Нет спамом я не увлекаюсь. Задача такая:
1. зайти на страничку. там будет 10 нужных ссылок
2. перейти по эти сслыкам поочереди
3. прейти ещё "вглубь" и сохранить определенную инфу - рисунок и текст. текст примерно повторятся. у рисонка тоже адресс примерно одинаков.
4. сохранить эту инфу и картинку с каждой из 10 страничек в один html файл.
5. перейти к следующим 10 ссылкам.

Надеюсь теперь более-менее понятно?

ну например вот http://personart.ru/temp/news
Обновляет новости с Compulenta.ru (ходит по ссылкам) и складвыает в HTML файл - http://t72.ru/~inviz/news

пхп.

Inviz писал(а):

ну например вот http://personart.ru/temp/news Обновляет новости с Compulenta.ru (ходит по ссылкам) и складвыает в HTML файл - http://t72.ru/~inviz/news пхп.

а исходные коды нигде нельзя посмотреть?

постучи в асю 23 23 825
или в мыло isoso@mail.ru

Не очень понимаю какая разница на чем делать? Основная нагрузка приходится все равно на fopen/fread
Нет?

haslett, разница в скорости и производительности.

как вариант:
есть множество програм - проверяльсчиков ссылок которые делают уже пол-работы
я использовал ЛинкЛинт для всех нужд.
возми и добавь свою функциональность