Скачать программу «Магадан» LITE — бесплатную, не ограниченную по времени редакцию парсера ключевых слов! |
Допуск прокси к использованию в процессе парсинга ключевых слов
Допуск прокси к использованию в процессе парсинга ключевых слов осуществляется в два этапа:
- Сначала Менеджер прокси в фоновом режиме определяет тип прокси и доступность сервера. Проверка выполняется периодически, согласно заданным в окне Менеджера настройкам (блок «Фоновая проверка прокси»). Во время каждой итерации производится проверка на соответствие прокси заданным условиям фильтрации по типу и качеству (эти условия так же задаются в окне Менеджера, блок «Автоматическое удаление из списка»). Если прокси не удовлетворяет условиям фильтра, Менеджер удаляет сервер из списка доступных прокси.
- Когда «Магадан» запрашивает у Менеджера прокси адрес очередного сервера для работы, он передает также набор условий, которым должен соответствовать возвращаемый прокси сервер. Эти условия задаются во вкладке «Парсинг и прокси» диалога настроек программы (блок «Дополнительные правила использования прокси для парсинга»). Если Менеджер прокси не располагает удовлетворяющими заданным условиям серверами, «Магадан» либо сообщает о том, что подходящие прокси не найдены, либо выполняет запрос без использования прокси (поведение так же регулируется настройками во вкладке «Парсинг и прокси», блок «Настройки использования прокси парсерами»).
Таким образом, в окне Менеджера прокси мы настраиваем опции фоновой проверки списка прокси и автоматического удаления заведомо «плохих» прокси из списка, а во вкладке «Парсинг и прокси» диалога настроек программы мы задаем условия по качеству, которым должна отвечать прокси перед тем, как ее допустят к фактической работе.
Подобное разделение обусловлено тем, что качество прокси может изменяться во времени, соответственно для удаления прокси из списка рассматриваемых и для допуска прокси к работе необходимо использовать два разных фильтра по качеству, «нижний» и «верхний»: удовлетворяя «нижнему», прокси остается с нами и имеет шанс улучшить свой показатель качества через несколько итераций фоновой проверки Менеджером прокси, а затем, если сервер начнет удовлетворять и условиям «верхнего» фильтра, он будет допущен к фактической работе по сбору ключевых слов.
Конечно, ничто не мешает отказаться от установки различных условий верхнего и нижнего фильтров: достаточно установить минимальные требования к прокси во вкладке «Парсинг и прокси» и допускать к работе все сервера, которыми располагает Менеджер прокси. Однако, на практике куда более эффективной является стратегия, при которой прокси сначала проходят несколько итераций проверки фоновым чекером Менеджера, и только после этого бывают допущены к работе.