 | Скачать программу «Магадан» LITE — бесплатную, не ограниченную по времени редакцию парсера ключевых слов! |
Менеджер прокси
Менеджер прокси — окно «Магадана», отвечающее за управление списками прокси-серверов. Включает в себя многопоточный чекер прокси, определяющий доступность серверов, их тип, корректность данных доступа и т.д.
Описание
Менеджер прокси предназначен для управления списками прокси-адресов, используемых при сборе ключевых слов и иных операциях, выполняемых «Магаданом».
Менеджер функционирует в фоновом режиме, даже когда его окно закрыто (см. Индикация процессов). Если в настройках программы указано требование к использованию прокси, а в списке Менеджера доступны сервера, удовлетворяющие условиям допуска, эти прокси будут использованы в работе.
Фоновый чекер прокси, встроенный в Менеджер, позволяет выполнять многопоточную проверку прокси на работоспособность, сопряженную с определением типа прокси. Здесь же можно настроить правила автоматического удаления прокси-серверов, не удовлетворяющих заданным критериям.
Помимо прочего, Менеджер прокси позволяет указывать списки источников прокси, откуда переодически забирает обновенные списки прокси-серверов.
Программа использует для работы HTTP-прокси.
Главное меню
Главное меню Менеджера прокси контекстнозависимо, т.е. поведение элементов меню зависит от контекста использования Менеджера. Контекст определяется открытой в настоящий момент вкладкой: «Прокси» или «Источники».
В целом, определяемые контекстном изменения в логике работы элементов довольно очевидны: когда текущей является вкладка «Прокси», все элементы главного меню предназначены для работы с адресами конкретных прокси-серверов. Если текущей является вкладка «Источники», все элементы главного меню предназначены для работы с источниками адресов прокси-серверов.
— загрузка прокси/источников прокси из внешних файлов.
— сохранение текущего списка прокси/источников во внешний файл.
, либо
— поле ввода нового прокси/источника (ввод — клавиша Enter).
— подтверждение ввода нового прокси/источника (альтернатива нажатию клавиши Enter).
— открытие вкладки «Парсинг и прокси» диалога настроек программы.
— вывод подсказки.
Вкладка «Прокси» (список прокси-серверов)
Содержит текущий список прокси-серверов, элементы интерфейса, отвечающие за настройку фонового чекера прокси и автоматической фильтрации списка серверов.
Блок «Фоновая проверка прокси»
Отвечает за настройки фонового чекера прокси:
- Проверять прокси — включение/выключение фонового чекера прокси
- Период проверки — ограничение на переодичность проверки каждого прокси-сервера в минутах
- Количество потоков — количество одновременно выполняемых потоков проверки
- Ожидание ответа — ограничение времени ожидания ответа от прокси-сервера, задаваемое в секундах
- Придел буфера — ограничение на размер ответа от прокси, указываемое в килобайтах. Используется для фильтрации серверов, закидывающих клиента информационным мусором.
Блок «Автоматическое удаление из списка»
Содержит настройки, отвечающее за автоматическую фоновую очистку (фильтрацию) списка прокси-серверов:
- Удалять плохие — включение/выключение автоматической фильтрации списка
- Показатель качества — верхний придел коэффициента качества прокси, при котором сервер остается в списке
- Попыток не менее — минимальное количество попыток осуществления доступа к прокси-серверу, после достижения которого «Магадан» начинает учитывать заданный выше коэффициент качества. За попытку доступа засчитывается как обращение к прокси фонового чекера, так и попытка парсинга (условия использования конкретного прокси-сервера для задач парсинга задаются в соответствующем блоке диалога настроек программы и могут быть более щадящими, нежели условия удаления прокси из списка).
- Или тип прокси определен как — условие удаления по типу прокси. Тип прокси определяется только в результате работы фонового чекера прокси. Все прокси-сервера, чей тип был определен как выбранный в данной настройке, будут удалены из списка немедленно по факту определения типа.
Столбцы списка прокси-серверов
- Хост — ip-адрес или доменное имя прокси.
- Порт — используемый порт.
- Логин — имя пользователя, используемое для доступа к прокси-серверу. Опционально.
- Пароль — пароль, используемый для доступа. Опционален.
- Тип — тип прокси. Значение обновляется после успешной проверки фоновым чекером. Список типов серверов доступен в разделе «Типы прокси».
- Статус — текущий статус прокси-сервера (занят, свободен, на проверке, etc.).
- Подробности — подробные сообщения об ошибках и пр.
- Качество — процент удачных использований прокси-сервера от общего количества использований с момента загрузки конкретного прокси-сервера в список.
- Использована — общее количество использований прокси-сервера.
- Удачно — количество удачных использований прокси-сервера.
- Неудачно — количество неудачных использований прокси-сервера.
- Проверен — время предыдущей проверки прокси фоновым чекером.
Формат ввода адресов прокси-серверов
Формат ввода прокси:
хост:порт[:пользователь:пароль]
Указание имени пользователя и пароля не является обязательным (о чем говорят квадратные скобки, фактически вводить которые нет необходимости). Если не был указан порт, используется дефолтное значение — 80.
Примеры:
123.123.123.123— адрес прокси-сервера 123.123.123.123, порт 80, логин и пароль не используются.69.69.69.69:123123— адрес прокси-сервера 69.69.69.69, порт 123123, логин и пароль не используются.1.2.3.4:1488:alice— адрес прокси-сервера 1.2.3.4, порт 1488, используется логин alice, пароль не используется.1.2.3.4:1488:alice:enigma— адрес прокси-сервера 1.2.3.4, порт 1488, используется логин alice и пароль enigma.
Адреса прокси-серверов, хранимые во внешних [текстовых] файлах, должны быть размещены по одному на строке.
Вкладка «Источники» (список источников адресов прокси-серверов)
Содержит автоматически опрашиваемый список истоников адресов прокси-серверов и элементы интерфейса, отвечающие за настройки процесса сбора информации.
Блок «Загрузка данных о прокси из источников»
- Загружать данные из источников — включение/выключение автоматического сбора информации о прокси из указанных в списке источников.
- Период обновления, мин. — периодичность отправки повторных запросов к каждому из источников.
Столбцы списка источников
- Адрес источника — URL источника.
- Статус — текущий статус источника.
- Предыдущая проверка — время предыдущей загрузки данных о прокси-серверах из источника.
- Найдено проксей в предыдущую проверку — количество адресов прокси-серверов, полученных из источника в предыдущую загрузку.
Правила добавления источников
Источником может выступать ссылка на любую страницу в Интернете или иной сети, содержащую список адресов прокси-серверов. Содержимое страницы будет просканировано на наличие адресов прокси, указанных в стандартном формате. Найденные адреса будут добавлены в окно списка прокси-серверов. Для указания в качестве источника файла на локальном диске, используйте префикс file://.
Индикация протекающих в Менеджере процессов в главном окне программы
Так как Менеджер прокси всегда работает в фоновом режиме, даже когда его окно закрыто, индикация протекающих в Менеджере процессов вынесена в главное меню главного окна «Магадана»: расположенная в меню иконка, открывающая по нажатию кнопки мыши окно Менеджера, меняет свое состояние в соответствии со следующей картой статусов:
- Постоянные статусы — иконка постоянно возвращается к отображению одного из указанных статусов после временного переключения на временный статус.
— список прокси пуст
— в список загружены прокси
- Временные статусы — иконка меняет собственное изображение с любого из статусов на указанный, и отображает его некоторый ограниченный период времени (1-3 сек.). По прошествию заданного периода, иконка возвращается к отображению актуального постоянного статуса.
— только что в список были добавлены новые прокси
— фоновый чекер успешно соединился с очередной прокси из списка и определил ее тип
— произошла ошибка доступа фонового чекера к одному из прокси, указанных в списке
Типы прокси
«Магадан» использует общепринятую классификацию прокси-серверов, согласно которой прокси делятся на следующие типы:
- «Прозрачный» — прокси-сервер выдает серверу ПС ваш оригинальный IP-адрес
- «Анонимный» — прокси-сервер не выдает серверу ПС ваш оригинальный IP-адрес, но сообщает о факте использования прокси (т.е. представляясь, говорит: «Здравствуйте, я — прокси!»)
- «Элитный» — прокси-сервер не выдает серверу ПС ваш оригинальный IP-адрес и не сообщает о факте использования прокси
Для работ по сбору ключевых слов лучше всего использовать «Элитные» прокси. «Анонимные» подходят не во всех случаях, а «Прозрачные» очень часто приводят к быстрому бану со стороны ПС.