Madskillz.pngСкачать программу «Магадан» LITE — бесплатную, не ограниченную по времени редакцию парсера ключевых слов!

Допуск прокси к использованию в процессе парсинга ключевых слов

Материал из "Магадан" - инструкция пользователя
Версия от 05:59, 29 августа 2016; Root (обсуждение | вклад) (Новая страница: «[[Файл:Magadan-form-proxy-manager-tab-proxies.png|мини|Слева расположены настройки фоновой проверки прокси …»)
(разн.) ← Предыдущая версия | Текущая версия (разн.) | Следующая версия → (разн.)
Перейти к навигации Перейти к поиску
Слева расположены настройки фоновой проверки прокси и автоматической фильтрации списка серверов (блоки «Фоновая проверка прокси» и «Автоматическое удаление из списка»)
Вкладка «Парсинг и прокси» диалога настроек «Магадана», блоки «Настройки использования прокси парсерами» и «Дополнительные правила использования прокси для парсинга»

Допуск прокси к использованию в процессе парсинга ключевых слов осуществляется в два этапа:

  1. Сначала Менеджер прокси в фоновом режиме определяет тип прокси и доступность сервера. Проверка выполняется периодически, согласно заданным в окне Менеджера настройкам (блок «Фоновая проверка прокси»). Во время каждой итерации производится проверка на соответствие прокси заданным условиям фильтрации по типу и качеству (эти условия так же задаются в окне Менеджера, блок «Автоматическое удаление из списка»). Если прокси не удовлетворяет условиям фильтра, Менеджер удаляет сервер из списка доступных прокси.
  2. Когда «Магадан» запрашивает у Менеджера прокси адрес очередного сервера для работы, он передает также набор условий, которым должен соответствовать возвращаемый прокси сервер. Эти условия задаются во вкладке «Парсинг и прокси» диалога настроек программы (блок «Дополнительные правила использования прокси для парсинга»). Если Менеджер прокси не располагает удовлетворяющими заданным условиям серверами, «Магадан» либо сообщает о том, что подходящие прокси не найдены, либо выполняет запрос без использования прокси (поведение так же регулируется настройками во вкладке «Парсинг и прокси», блок «Настройки использования прокси парсерами»).

Таким образом, в окне Менеджера прокси мы настраиваем опции фоновой проверки списка прокси и автоматического удаления заведомо «плохих» прокси из списка, а во вкладке «Парсинг и прокси» диалога настроек программы мы задаем условия по качеству, которым должна отвечать прокси перед тем, как ее допустят к фактической работе.

Подобное разделение обусловлено тем, что качество прокси может изменяться во времени, соответственно для удаления прокси из списка рассматриваемых и для допуска прокси к работе необходимо использовать два разных фильтра по качеству, «нижний» и «верхний»: удовлетворяя «нижнему», прокси остается с нами и имеет шанс улучшить свой показатель качества через несколько итераций фоновой проверки Менеджером прокси, а затем, если сервер начнет удовлетворять и условиям «верхнего» фильтра, он будет допущен к фактической работе по сбору ключевых слов.

Конечно, ничто не мешает отказаться от установки различных условий верхнего и нижнего фильтров: достаточно установить минимальные требования к прокси во вкладке «Парсинг и прокси» и допускать к работе все сервера, которыми располагает Менеджер прокси. Однако, на практике куда более эффективной является стратегия, при которой прокси сначала проходят несколько итераций проверки фоновым чекером Менеджера, и только после этого бывают допущены к работе.

См. также