Оптимизация работы с памятью

Если вы обнаружили какие либо ошибки, недочеты и неудобства или другие незачеты в программе напишите нам об этом на этом форуме - мы бум исправлять
Закрыто
zhil
Сообщения: 4
Зарегистрирован: 07 сен 2010, 01:19
Контактная информация:

Оптимизация работы с памятью

Сообщение zhil » 07 сен 2010, 01:26

Недавно купил софт, написал свой первый скрипт :)

Скрипт логиниться на сайте и после этого парсит большую базу данных, постоянно кликая на кнопку Next
В базе под миллион объектов (доменные имена), выводятся по 100 штук за раз.

Возникла проблема - нужно сделать порядка 10.000 кликов, чтобы вытянуть базу, но уже после 210 клика размер занимаемой памяти был около 1.7 гига :( из 2 на компе - все начало тупить и свопить.

Настройки позиции хранятся похоже в сесии - урл всегда вида
script.php?step=next
Тоесть, решение вида после х кликов пересоздать браузер, заново залогиниться и продолжить вытягивание не подойдет.

Есть ли какие то варианты по оптимизации памяти без перезапуска браузера? На что она уходит в таком количестве - похоже на баг со сборщиком мусора.

zhil
Сообщения: 4
Зарегистрирован: 07 сен 2010, 01:19
Контактная информация:

Сообщение zhil » 07 сен 2010, 02:24

Пытался использовать заплатку вроде

$c = $browser->get_cookie();
$browser->recreate();
$browser->set_cookie($c);

пересоздание вообще не помогает с памятью - только полный перезапуск емулятора :(

Аватара пользователя
bigfozzy
Site Admin
Сообщения: 2620
Зарегистрирован: 28 июл 2008, 17:24
Контактная информация:

Сообщение bigfozzy » 07 сен 2010, 13:08

Вообще скорее всего это баг IE при работе с памятью - есть там такое ..
И от этого одно лекарство - перезапуск браузера, хотя можно еще попробовать с навигацией на другую простую страницу и потом GoBack ...

А что за функции используются в цикле - можно список - прогоним на полигоне в цикле и если там есть утечки памяти - то исправим.

Спасибо.

Аватара пользователя
bigfozzy
Site Admin
Сообщения: 2620
Зарегистрирован: 28 июл 2008, 17:24
Контактная информация:

Сообщение bigfozzy » 12 окт 2010, 01:28

сейчас все должно быть гораздо лучше )

Закрыто