Madskillz.pngСкачать программу «Магадан» LITE — бесплатную, не ограниченную по времени редакцию парсера ключевых слов!

Диалог настроек: различия между версиями

Материал из "Магадан" - инструкция пользователя
Перейти к навигации Перейти к поиску
 
(не показана 1 промежуточная версия этого же участника)
Строка 39: Строка 39:


===Блок «Настройки использования прокси парсерами»===
===Блок «Настройки использования прокси парсерами»===
{{Связка|Допуск прокси к использованию в процессе парсинга ключевых слов}}
* '''Не использовать прокси''' — «Магадан» будет выполнять запросы к ПС игнорируя содержимое списка прокси-серверов [[Менеджер прокси|Менеджера прокси]]
* '''Не использовать прокси''' — «Магадан» будет выполнять запросы к ПС игнорируя содержимое списка прокси-серверов [[Менеджер прокси|Менеджера прокси]]
* '''Использовать прокси когда возможно, при недоступности прокси использовать прямой доступ''' — если в [[Менеджер прокси|Менеджере прокси]] есть доступные прокси-сервера, удовлетворяющие [[#Блок «Дополнительные правила использования прокси для парсинга»|условиям использования]], «Магадан» будет использовать эти сервера для работы по парсингу ключевых слов. В случае отсутствия прокси, удовлетворящих условиям, «Магадан» будет использовать прямое соединение с сервером ПС.
* '''Использовать прокси когда возможно, при недоступности прокси использовать прямой доступ''' — если в [[Менеджер прокси|Менеджере прокси]] есть доступные прокси-сервера, удовлетворяющие [[#Блок «Дополнительные правила использования прокси для парсинга»|условиям использования]], «Магадан» будет использовать эти сервера для работы по парсингу ключевых слов. В случае отсутствия прокси, удовлетворящих условиям, «Магадан» будет использовать прямое соединение с сервером ПС.
Строка 48: Строка 49:


===Блок «Дополнительные правила использования прокси для парсинга»===
===Блок «Дополнительные правила использования прокси для парсинга»===
Блок содержит условия, выполнение которых необходимо для того, чтобы прокси была допущена к работе по [[парсинг ключевых слов|парсингу ключевых слов]]:
{{Связка|Допуск прокси к использованию в процессе парсинга ключевых слов}}
Блок содержит условия, выполнение которых необходимо для того, чтобы прокси была [[Допуск прокси к использованию в процессе парсинга ключевых слов|допущена]] к работе по [[парсинг ключевых слов|парсингу ключевых слов]]:
* '''Минимальное значение показателя качества''' — минимальное значение [[Показатель качества прокси|показателя качества прокси]]
* '''Минимальное значение показателя качества''' — минимальное значение [[Показатель качества прокси|показателя качества прокси]]
* '''Минимальное количество использований''' — минимальное значение счетчика количества использований прокси-сервера
* '''Минимальное количество использований''' — минимальное значение счетчика количества использований прокси-сервера

Текущая версия от 06:03, 29 августа 2016

Диалог настроек («Общие настройки», «Настройки программы») — окно программы, отвечающее за основные настройки «Магадана».

Вкладка «Ускоритель парсинга»

Вкладка «Ускоритель парсинга»

Блок «Данные для доступа»

Данный блок определяет данные для доступа к «Ускорителю парсинга»

  • Логин — поле ввода логина к «Ускорителю»
  • Пароль — поле ввода пароля к «Ускорителю»
  • Кнопка Регистрация — вызов диалога создания аккаунта (регистрации) в «Ускорителе»

Блок «Актуальность данных»

Блок отвечает за настройку требований к актуальности данных, отдаваемых «Ускорителем». В настоящий момент (версия 2.2.1) доступны следующие варианты настройки:

  • Без ограничений
  • Неделя
  • Две недели
  • Месяц
  • Два месяца
  • Конкретная дата

При выборе пункта «Конкретная дата», становится доступным календарик, позволяющий выбрать конкретную дату, определяющую требования к актуальности данных, которыми располагает «Ускоритель».

Вкладка «Вордстат»

Вкладка «Вордстат»

Блок «Данные для доступа»

  • Логин — поле ввода логина от аккаунта, используемого для доступа к ПС (поисковой системе)
  • Пароль — поле ввода пароля от того же аккаунта


Вкладка «Парсинг и прокси»

Вкладка «Парсинг и прокси»

Блок «Настройки парсинга»

  • Значение задержки после ошибки загрузки страницы, сек.увеличенная задержка») — указанное значение будет автоматически установлено в случае обнаружения программой бана со стороны ПС, либо поступивших несколько раз подряд сообщений о невозможности установки соединения с сервисом ПС (сетевая недоступность, сетевой таймаут).
  • Считать таймаут баном после n таймаутов подряд — количество поступивших подряд ошибок сетевого доступа к сервису ПС, необходимое для установления увеличенной задержки.
  • User-Agent — значение http-заголовка User-Agent, используемое «Магаданом» при обращении к серверам ПС.
  • Использовать системный прокси, указанный в настройках Internet Explorer — возможность отказаться от использования прокси-сервера, указанного в настройках IE (является системным, рассматривается многими сетевыми приложениями как обязательный к использованию).

Блок «Настройки использования прокси парсерами»

  • Не использовать прокси — «Магадан» будет выполнять запросы к ПС игнорируя содержимое списка прокси-серверов Менеджера прокси
  • Использовать прокси когда возможно, при недоступности прокси использовать прямой доступ — если в Менеджере прокси есть доступные прокси-сервера, удовлетворяющие условиям использования, «Магадан» будет использовать эти сервера для работы по парсингу ключевых слов. В случае отсутствия прокси, удовлетворящих условиям, «Магадан» будет использовать прямое соединение с сервером ПС.
  • Парсить исключительно с использованием прокси — Магадан будет работать исключительно с использованием прокси-серверов, доступных в Менеджере прокси, в случае отсутствия прокси, удовлетворяющих условиям, программа будет сообщать об ошибке. Прямой запрос к серверам ПС производиться не будет.

Блок «Таймауты»

  • Таймаут прямого доступа — величина таймаута для операций прямого доступа (и доступа через системную прокси) к серверам ПС.
  • Таймаут при использовании прокси (кроме системной) — величина таймаута для операций доступа через прокси.

Блок «Дополнительные правила использования прокси для парсинга»

Блок содержит условия, выполнение которых необходимо для того, чтобы прокси была допущена к работе по парсингу ключевых слов:

  • Минимальное значение показателя качества — минимальное значение показателя качества прокси
  • Минимальное количество использований — минимальное значение счетчика количества использований прокси-сервера

Блок «Декодирование»

Выбор JS-машины, используемой для декодирования ответов некоторых ПС.

  • «IE» — в основе метода лежит программная платформа браузера Windows Internet Explorer.
  • «JSNET» — для декодирования используются нативные библиотеки, реализующие интерпретацию JS-кода в виртуальном окружении.


Manual-icon-exlamation.pngВ случае, когда IE отсутствует на используемом компьютере (или по иным причинам не позволяет произвести декодирование), «Магадан» автоматически применяет метод «JSNET». Фактически, прямое указание пользователем на необходимость использования «JSNET» позволяет избежать предварительной попытки декодирования при помощи IE. Декодирование методом «JSNET», как правило, производится быстрее, но требует выполнения неуправляемого кода (unmanaged/native code), вызываемого из управляемого (managed code). Реализация поддержки метода «JSNET» привела к появлению Microsoft Visual C++ 2008 Service Pack 1 Redistributable Package MFC Security Update в списке необходимых для запуска программы библиотек.


Вкладка «Очередь ключевых слов»

Timemachine.pngМатериал устарел!
Инструкция не поспевает за обновлениями «Магадана»! Возможности программы ушли далеко вперед, поэтому рекомендуем скачать актуальную версию и самостоятельно ознакомиться с нововведениями!
Вкладка «Очередь ключевых слов»

Блок «Автоматическое пополнение очереди ключевых слов на парсинг»

  • Ключевыми словами, для которых отсутствуют данные по статистике — в очередь будут подгружаться слова, не имеющие данных о статистике показов. Как правило, это слова, которые были импортированы пользователем в базу из внешних источников, так как слова, собранные при обработке данных, полученных от ПС, как правило, уже содержат информацию о статистике показов.
  • Еще не распарсенными ключевыми словами (могут иметь статистику, но для них не были получены связи с другими ключевыми словами) — в очередь будут подгружаться слова, для которых имеется информация о показах, но для этих слов еще не собрана информация о связях с другими ключевыми словами. Слова, не имеющие данных о статистике показов, так же входят в эту категорию.
  • Ключевыми словами, для которых дольше других слов не обновлялась статистика (в случае отсутствия новых ключевых слов, получаемых во время парсинга или из внешних источников, являет собой перманентный цикл обновления статистики ключевиков в базе) — в данную категорию попадают все ключевые слова, содержащиеся в базе. При подгрузке слов в базу по этому правилу, ключевики сортируются по дате предыдущего обновления информации.


Вкладка «Интерфейс»

Вкладка «Интерфейс»

Блок «Общие настройки»

Блок «Контейнеры списков ключевых слов»

  • Тип контейнера — выбор типа контейнера (элемента интерфейса «Список ключевых слов»), настройки которого будут подвергнуты редактированию
  • Высота строк — высота строк, задаваемая в пикселях
  • Множитель ширины основного столбца — коэффициэнт ширины основного столбца
  • Отбивка строк горизонтальными линиями — визуальная междустрочная отбивка горизонтальными линиями
  • Выделять вставленные из буфера ключевики — если включено, после вставки набора ключевых слов в экземпляр «Списка ключевых слов» при помощи Drag'n'Drop, все вставленные слова будут выделены.
  • Одинковый отступ для всех ключевых слов — задает одинаковый отступ от левого края окна для ключевых слов всех уровней вложенности
  • Цвета строк — цвета фона строк, содержащих информацию о ключевых словах
  • Цвет шрифта — цвета шрифта для тех же строк
  • Сбросить цветовые настройки — сброс цветовых настроек на заводские
  • Другой стишок — смена текста, используемого в качестве примера


Вкладка «Быстродействие»

Вкладка «Быстродействие»

Блок «Запись на диск»

  • Контроль записи в БД — изменение уровня дотошности проводимых проверок записи данных
  • Эксклюзивность доступа к БД — уровень блокировки доступа третьих приложений к подключаемым базам на время работы с ними «Магадана»


Вкладка «Пути»

Вкладка «Пути»

Блок «Пути»

  • Директория баз — директория на диске, используемая «Магаданом» по умолчанию при активации диалога создания/подключения базы ключевых слов.
  • Директория импорта — директория, используемая по умолчанию для диалогов импорта ключевых слов из внешних файлов
  • Директория экспорта — директория, используемая по умолчанию для диалогов экспорта ключевых слов во внешние файлы и базы


Вкладка «CAPTCHA»

Manual-icon-exlamation.pngУказанная вкладка предназначена для ввода настроек, относящихся к тому или иному сервису автоматического разгадывания CAPTCHA. Непосредственное включение сервиса в работу производится во время парсинга, в окне ввода значения CAPTCHA.
Вкладка «CAPTCHA»

Блок «Сервисы разгадывания CAPTCHA»

В настоящем списке представлены все поддерживаемые «Магаданом» сервисы автоматического разгадывания значений CAPTCHA. Выбор того или иного сервиса приводит к вывода настроек соответствующего сервиса в блоке «Настройки выбранного сервиса» (см. ниже).

  • «Antigate.com» — сервис antigate.com
  • «Captchabot.com» — сервис captchabot.com
  • «Antigate API» — реализация API «Antigate» (ориг. сервис antigate.com) с возможностью указания произвольного хоста для доступа к API. Позволяет подключить любой сервис автоматического распознавания CAPTCHA, поддерживающий API «Antigate».

Блок «Настройки выбранного сервиса»

  • Хост — опциональное поле, присутствующее только в настройках сервиса «Antigate API» (см. выше). Задает хост, используемый для доступа к API «Antigate».
  • Ключ доступа — ключ доступа к сервису (выдается используемым сервисом после регистрации).
  • «Обновить баланс!» — нажатие на ссылку запускает процесс обновления значения баланса используемого сервиса. Для активации элемента интерфейса необходим ключ доступа.

Блок «Отправка изображения для распознавания»

  • Ставка за изображение — ставка за разгадывание изображения (см. правила используемого сервиса).
  • Шаг автоматического увеличения — шаг повышения ставки разгадывания изображения CAPTCHA автоброкером.

Блок «Получение результатов распознавания»

  • Максимальное количество попыток — максимальное количество попыток забрать у сервиса результат разгадывания отправленного ранее изображения CAPTCHA. По превышению указанного значения, «Магадан» фиксирует ошибку и отправляет сервису изображение повторно.
  • Задержка между попытками — количество секунд, выдерживаемых между попытками получить от сервиса разгадывания CAPTCHA ответ по загруженному ранее изображению.