Просмотр кода страницы Допуск прокси к использованию в процессе парсинга ключевых слов

[[Файл:Magadan-form-proxy-manager-tab-proxies.png|мини|Слева расположены настройки фоновой проверки прокси и автоматической фильтрации списка серверов (блоки «Фоновая проверка прокси» и «Автоматическое удаление из списка»)]]
[[Файл:Magadan-dialog-settings-tab-parsing-and-proxies.png|мини|Вкладка «[[Диалог настроек#Вкладка «Парсинг и прокси»|Парсинг и прокси]]» диалога настроек «[[Магадан|Магадана]]», блоки «Настройки использования прокси парсерами» и «Дополнительные правила использования прокси для парсинга»]]
'''Допуск [[прокси]] к использованию в процессе [[Парсинг ключевых слов|парсинга ключевых слов]]''' осуществляется в два этапа:
# Сначала [[Менеджер прокси]] в фоновом режиме определяет [[тип прокси]] и доступность сервера. Проверка выполняется периодически, согласно заданным в окне Менеджера настройкам (блок '''«Фоновая проверка прокси»'''). Во время каждой итерации производится проверка на соответствие прокси заданным условиям фильтрации по типу и качеству (эти условия так же задаются в окне Менеджера, блок '''«Автоматическое удаление из списка»'''). Если прокси не удовлетворяет условиям фильтра, Менеджер удаляет сервер из списка доступных прокси. 
# Когда «[[Магадан]]» запрашивает у [[Менеджер прокси|Менеджера прокси]] адрес очередного сервера для работы, он передает также набор условий, которым должен соответствовать возвращаемый прокси сервер. Эти условия задаются во [[Диалог настроек#Вкладка «Парсинг и прокси»|вкладке «Парсинг и прокси»]] [[Диалог настроек|диалога настроек]] программы (блок '''«Дополнительные правила использования прокси для парсинга»'''). Если Менеджер прокси не располагает удовлетворяющими заданным условиям серверами, «Магадан» либо сообщает о том, что подходящие прокси не найдены, либо выполняет запрос без использования прокси (поведение так же регулируется настройками во [[Диалог настроек#Вкладка «Парсинг и прокси»|вкладке «Парсинг и прокси»]], блок '''«Настройки использования прокси парсерами»''').

Таким образом, в окне Менеджера прокси мы настраиваем опции фоновой проверки списка прокси и автоматического удаления заведомо «плохих» прокси из списка, а во вкладке «Парсинг и прокси» диалога настроек программы мы задаем условия по качеству, которым должна отвечать прокси перед тем, как ее допустят к [[Парсинг ключевых слов|фактической работе]].

Подобное разделение обусловлено тем, что качество прокси может изменяться во времени, соответственно для удаления прокси из списка рассматриваемых и для допуска прокси к работе необходимо использовать два разных фильтра по качеству, «нижний» и «верхний»: удовлетворяя «нижнему», прокси остается с нами и имеет шанс улучшить свой показатель качества через несколько итераций фоновой проверки Менеджером прокси, а затем, если сервер начнет удовлетворять и условиям «верхнего» фильтра, он будет допущен к фактической работе по сбору ключевых слов.

Конечно, ничто не мешает отказаться от установки различных условий верхнего и нижнего фильтров: достаточно установить минимальные требования к прокси во вкладке «Парсинг и прокси» и допускать к работе все сервера, которыми располагает Менеджер прокси. Однако, на практике куда более эффективной является стратегия, при которой прокси сначала проходят несколько итераций проверки фоновым чекером Менеджера, и только после этого бывают допущены к работе. 

==См. также==
* [[Прокси для парсинга ключевых слов]]
* [[Менеджер прокси]]
* [[Диалог настроек#Вкладка «Парсинг и прокси»|Вкладка «Прокси и парсинг» диалога настроек]]
* [[Парсинг ключевых слов]]