Madskillz.pngСкачать программу «Магадан» LITE — бесплатную, не ограниченную по времени редакцию парсера ключевых слов!

Менеджер прокси: различия между версиями

Материал из "Магадан" - инструкция пользователя
Перейти к навигации Перейти к поиску
мНет описания правки
 
Строка 115: Строка 115:
==См. также==
==См. также==
* [[Прокси для парсинга]]
* [[Прокси для парсинга]]
* [[Почему в Менеджере прокси есть хорошие сервера, но Магадан не пускает их в работу?]]

Версия от 02:34, 29 августа 2016

Менеджер прокси

Менеджер прокси — окно «Магадана», отвечающее за управление списками прокси-серверов. Включает в себя многопоточный чекер прокси, определяющий доступность серверов, их тип, корректность данных доступа и т.д.


Описание

Менеджер прокси предназначен для управления списками прокси-адресов, используемых при сборе ключевых слов и иных операциях, выполняемых «Магаданом».

Менеджер функционирует в фоновом режиме, даже когда его окно закрыто (см. Индикация процессов). Если в настройках программы указано требование к использованию прокси, а в списке Менеджера доступны сервера, удовлетворяющие условиям допуска, эти прокси будут использованы в работе.

Фоновый чекер прокси, встроенный в Менеджер, позволяет выполнять многопоточную проверку прокси на работоспособность, сопряженную с определением типа прокси. Здесь же можно настроить правила автоматического удаления прокси-серверов, не удовлетворяющих заданным критериям.

Помимо прочего, Менеджер прокси позволяет указывать списки источников прокси, откуда переодически забирает обновенные списки прокси-серверов.

Программа использует для работы HTTP-прокси.

Главное меню

Главное меню Менеджера прокси при открытой вкладке «Прокси»
Главное меню Менеджера прокси при открытой вкладке «Источники»

Главное меню Менеджера прокси контекстнозависимо, т.е. поведение элементов меню зависит от контекста использования Менеджера. Контекст определяется открытой в настоящий момент вкладкой: «Прокси» или «Источники».

В целом, определяемые контекстном изменения в логике работы элементов довольно очевидны: когда текущей является вкладка «Прокси», все элементы главного меню предназначены для работы с адресами конкретных прокси-серверов. Если текущей является вкладка «Источники», все элементы главного меню предназначены для работы с источниками адресов прокси-серверов.

  • Icon-proxy-manager-open.pngзагрузка прокси/источников прокси из внешних файлов.
  • Icon-proxy-manager-save.pngсохранение текущего списка прокси/источников во внешний файл.
  • Icon-proxy-manager-add-proxy.png, либо
Icon-proxy-manager-add-source.pngполе ввода нового прокси/источника (ввод — клавиша Enter).
  • Icon-proxy-manager-add.pngподтверждение ввода нового прокси/источника (альтернатива нажатию клавиши Enter).
  • Icon-proxy-manager-settings.pngоткрытие вкладки «Парсинг и прокси» диалога настроек программы.
  • Icon-proxy-manager-help.pngвывод подсказки.


Вкладка «Прокси» (список прокси-серверов)

Содержит текущий список прокси-серверов, элементы интерфейса, отвечающие за настройку фонового чекера прокси и автоматической фильтрации списка серверов.

Вкладка «Прокси» (список прокси-серверов)

Блок «Фоновая проверка прокси»

Отвечает за настройки фонового чекера прокси:

  • Проверять прокси — включение/выключение фонового чекера прокси
  • Период проверки — ограничение на переодичность проверки каждого прокси-сервера в минутах
  • Количество потоков — количество одновременно выполняемых потоков проверки
  • Ожидание ответа — ограничение времени ожидания ответа от прокси-сервера, задаваемое в секундах
  • Придел буфера — ограничение на размер ответа от прокси, указываемое в килобайтах. Используется для фильтрации серверов, закидывающих клиента информационным мусором.

Блок «Автоматическое удаление из списка»

Содержит настройки, отвечающее за автоматическую фоновую очистку (фильтрацию) списка прокси-серверов:

  • Удалять плохие — включение/выключение автоматической фильтрации списка
  • Показатель качества — верхний придел коэффициента качества прокси, при котором сервер остается в списке
  • Попыток не менее — минимальное количество попыток осуществления доступа к прокси-серверу, после достижения которого «Магадан» начинает учитывать заданный выше коэффициент качества. За попытку доступа засчитывается как обращение к прокси фонового чекера, так и попытка парсинга (условия использования конкретного прокси-сервера для задач парсинга задаются в соответствующем блоке диалога настроек программы и могут быть более щадящими, нежели условия удаления прокси из списка).
  • Или тип прокси определен как — условие удаления по типу прокси. Тип прокси определяется только в результате работы фонового чекера прокси. Все прокси-сервера, чей тип был определен как выбранный в данной настройке, будут удалены из списка немедленно по факту определения типа.

Столбцы списка прокси-серверов

  • Хост — ip-адрес или доменное имя прокси.
  • Порт — используемый порт.
  • Логин — имя пользователя, используемое для доступа к прокси-серверу. Опционально.
  • Пароль — пароль, используемый для доступа. Опционален.
  • Тип — тип прокси. Значение обновляется после успешной проверки фоновым чекером. Список типов серверов доступен в разделе «Типы прокси».
  • Статус — текущий статус прокси-сервера (занят, свободен, на проверке, etc.).
  • Подробности — подробные сообщения об ошибках и пр.
  • Качество — процент удачных использований прокси-сервера от общего количества использований с момента загрузки конкретного прокси-сервера в список.
  • Использована — общее количество использований прокси-сервера.
  • Удачно — количество удачных использований прокси-сервера.
  • Неудачно — количество неудачных использований прокси-сервера.
  • Проверен — время предыдущей проверки прокси фоновым чекером.

Формат ввода адресов прокси-серверов

Формат ввода прокси:

хост:порт[:пользователь:пароль]

Указание имени пользователя и пароля не является обязательным (о чем говорят квадратные скобки, фактически вводить которые нет необходимости). Если не был указан порт, используется дефолтное значение — 80.

Примеры:

  • 123.123.123.123 — адрес прокси-сервера 123.123.123.123, порт 80, логин и пароль не используются.
  • 69.69.69.69:123123 — адрес прокси-сервера 69.69.69.69, порт 123123, логин и пароль не используются.
  • 1.2.3.4:1488:alice — адрес прокси-сервера 1.2.3.4, порт 1488, используется логин alice, пароль не используется.
  • 1.2.3.4:1488:alice:enigma — адрес прокси-сервера 1.2.3.4, порт 1488, используется логин alice и пароль enigma.

Адреса прокси-серверов, хранимые во внешних [текстовых] файлах, должны быть размещены по одному на строке.

Вкладка «Источники» (список источников адресов прокси-серверов)

Вкладка «Источники» (список источников адресов прокси-серверов)

Содержит автоматически опрашиваемый список истоников адресов прокси-серверов и элементы интерфейса, отвечающие за настройки процесса сбора информации.

Блок «Загрузка данных о прокси из источников»

  • Загружать данные из источников — включение/выключение автоматического сбора информации о прокси из указанных в списке источников.
  • Период обновления, мин. — периодичность отправки повторных запросов к каждому из источников.

Столбцы списка источников

  • Адрес источника — URL источника.
  • Статус — текущий статус источника.
  • Предыдущая проверка — время предыдущей загрузки данных о прокси-серверах из источника.
  • Найдено проксей в предыдущую проверку — количество адресов прокси-серверов, полученных из источника в предыдущую загрузку.

Правила добавления источников

Источником может выступать ссылка на любую страницу в Интернете или иной сети, содержащую список адресов прокси-серверов. Содержимое страницы будет просканировано на наличие адресов прокси, указанных в стандартном формате. Найденные адреса будут добавлены в окно списка прокси-серверов. Для указания в качестве источника файла на локальном диске, используйте префикс file://.

Индикация протекающих в Менеджере процессов в главном окне программы

Так как Менеджер прокси всегда работает в фоновом режиме, даже когда его окно закрыто, индикация протекающих в Менеджере процессов вынесена в главное меню главного окна «Магадана»: расположенная в меню иконка, открывающая по нажатию кнопки мыши окно Менеджера, меняет свое состояние в соответствии со следующей картой статусов:

  • Постоянные статусы — иконка постоянно возвращается к отображению одного из указанных статусов после временного переключения на временный статус.
    • Icon-proxy-manager-status-gray.png — список прокси пуст
    • Icon-proxy-manager-status-blue.png — в список загружены прокси
  • Временные статусы — иконка меняет собственное изображение с любого из статусов на указанный, и отображает его некоторый ограниченный период времени (1-3 сек.). По прошествию заданного периода, иконка возвращается к отображению актуального постоянного статуса.
    • Icon-proxy-manager-status-purple.png — только что в список были добавлены новые прокси
    • Icon-proxy-manager-status-green.pngфоновый чекер успешно соединился с очередной прокси из списка и определил ее тип
    • Icon-proxy-manager-status-red.png — произошла ошибка доступа фонового чекера к одному из прокси, указанных в списке

Типы прокси

«Магадан» использует общепринятую классификацию прокси-серверов, согласно которой прокси делятся на следующие типы:

  • «Прозрачный» — прокси-сервер выдает серверу ПС ваш оригинальный IP-адрес
  • «Анонимный» — прокси-сервер не выдает серверу ПС ваш оригинальный IP-адрес, но сообщает о факте использования прокси (т.е. представляясь, говорит: «Здравствуйте, я — прокси!»)
  • «Элитный» — прокси-сервер не выдает серверу ПС ваш оригинальный IP-адрес и не сообщает о факте использования прокси

Для работ по сбору ключевых слов лучше всего использовать «Элитные» прокси. «Анонимные» подходят не во всех случаях, а «Прозрачные» очень часто приводят к быстрому бану со стороны ПС.

См. также