Объект harvestor

Объект $harvestor. Безбраузерный сбор интернет страниц с обработкой JS.

В Human Emulator Studio 7.0.2 был добавлен новый объект harvestor, на который бы мы хотели обратить внимание наших клиентов. Этот объект создан для безбраузерного сбора html страниц с отработанным JS. ТО есть страницы обрабатываются без открытия в браузере и на выходе вы получаете их html код. Использование данного объекта упростит и существенно ускорит сбор интересующей вас информации из сети.

Как это работает?

C помощью функции $harvestor->init мы инициализируем сборщик. В функцию передаётся путь к файлу с путями к страницам, которые надо собрать.

После чего запускаем сбор с помощью $harvestor->start. Функция $harvestor->is_finished() возвращает состояние работы харвестера, а $harvestor->get_completed_count количество готовых страниц. Получить html страницы можно с помощью функции $harvestor->get_html($i).

Таким образом, простой скрипт сбора страниц с помощью объекта harvestor будет выглядеть следующим образом:

Ещё примеры.

Скрипт сбора email адаптированный под объект harvestor

 


Добавить комментарий

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.