Солнечный

«Солнечный» — проект многопоточного парсера на базе клиент-серверной архитектуры, встроенный в «Магадан» в виде отдельного модуля (окна).

Многопоточный «Солнечный» призван придти на смену классическому однопоточному модулю парсинга «Магадана», но еще не перенял все способности старшего собрата по манипуляции собираемыми ключевыми словами (фильтрация, группы и прочая пост-обработка), отсюда и реализация в виде отдельного модуля. По мере развития «Солнечного», между ним и классическим модулем будут наводиться синергетические мосты, а со временем «Солнечный» полностью заменит старый модуль.

Клиент-серверный подход и основные определения

Клиент — в узком смысле, это окно «Солнечного», с которым работает пользователь. Клиент занимается распределением заданных пользователем ключевых слов между Серверами, скачиванием и сохранением результатов на компьютере пользователя. Сервер, он же Парсер — это программа, выполняемая локально или удаленно, которая занимается непосредственно сбором данных (парсингом). «Солнечный», являясь Клиентом, может работать как с локальными Серверами (Парсерами), так и с удаленными.

Локальный парсер

Локальный парсер запускается в фоновом режиме на том же компьютере, где работает и сам «Солнечный». Локальный парсер живет и работает до тех пор, пока не закрыто окно «Солнечного». Прекращение работы с Клиентом («Солнечным») приводит к моментальной остановке процесса парсинга во всех локальных парсерах. Создание набора локальных парсеров по сути реализует привычную пользователям многопоточность: один парсер - один поток на локальном компьютере. Просто терминология чуть сложнее. С точки зрения Клиента, локальный парсер характеризуется парой аккаунт ПС + прокси. Можно создать множество парсеров без указания прокси, но тогда все потоки будут работать с IP-адреса локального компьютера, что приведет к бану со стороны поисковика. Обычная практика при использовании локальных парсеров, это создание одного сервера без указания прокси (работает с локального IP и в одиночку дает ту же скорость, что и классический модуль парсинга) и дальнейшее наращивание списка парсеров с использованием набора прокси.

Удаленный парсер

Удаленный парсер запускается на другом компьютере (например, на сервере хостинг-провайдера), время его жизни никак не зависит от Клиента (окна «Солнечного»): пользователь может вечером при помощи Клиента закинуть на удаленный парсер ключевые слова для обработки, закрыть окно «Солнечного» и уйти спать, а с утра включить программу и скачать с сервера собранные им за ночь слова. В настоящий момент самостоятельное создание удаленных серверов недоступно широкой публике (серверное ПО не достигло нужной стадии готовности), но, если очень хочется, можно уточнить у саппорта, нет ли свободных серверов для теста.

Быстрый старт

Поскольку проект все еще в ранней стадии, то и документация будет попроще, буквально на пальцах: справа в окне «Солнечного» расположен список парсеров, слева - набор очередей ключевых слов для парсинга.

Справа в верхней панели нажимаем кнопочку с иконкой «Вордстата», выбираем пункт создания парсера. В открывшемся диалоговом окне указываем Логин и Пароль аккаунта на Яндексе (не забываем использовать специально созданный для парсинга аккаунт, на котором нет никаких важных данных, ибо программа хранит данные для доступа в открытом виде!), поле прокси на первый раз оставляем пустым. Сохраняем. Если в наличии имеются прокси-сервера, повторяем процедуру, указывая новый аккаунт и заполняя поля данных прокси (IP-адрес и Порт обязательно, Имя пользователя и Пароль - по необходимости). В итоге имеем один парсер, работающий напрямую, и один работающий через прокси. Повторяем процедуру до тех пор, пока не исчерпаем запас пар аккаунт+прокси.

В главном меню «Солнечного» выбираем пункт «Сбор информации», нажимаем «Яндекс.Вордстат». «Солнечный» создаст пустую очередь слов для парсинга «Вордстата». Пополнить очередь словами можно классическими способами:

• Введя слово в поле ввода над очередью и нажав Enter

или

• Скопировав слова из текстового файла или файла MS Excel и вставив в окно «Солнечного» (Ctrl + C / Ctrl + V или соответствующие пункты контекстных меню)

или

• Выбрав слова в любом списке «Магадана» и перетащив их в очередь «Солнечного» мышкой (т.н. «Dran'n'Drop»)

Запускать парсинг вручную не требуется, «Солнечный» всегда включен по умолчанию. Если в списке серверов есть рабочие парсеры а в очередях есть слова, «Солнечный» молча начнет раскидывать слова по серверам. Любую очередь можно поставить на паузу и перезапустить, очевидная кнопка в верхней панели управления очередью.

Понять, что все хорошо, можно по тому, что у слов в очередях появляется и растет значение в столбце «Прогресс», а в списке серверов нет желтых/красных иконок, обозначающих недоступность, и счетчики столбцов «Слова» и «Прогресс» периодически отличаются от нуля.

Вот, в кратце, и все! Документация будет дополняться по мере развития проекта. Вопросы, замечания и предложения отправляйте в тех. поддержку.

ЗЫ Открыть окно «Солнечного» из главного окна «Магадана» можно кликнув на иконку с изображением Земли в главном меню, расположенном в левой части экрана.

ЗЗЫ Кстати, в Солнечном есть встроенная форма обратной связи в пункте главного меню «Помощь». Отправляйте ваши смайлики!

См. также

• FAQ