Организация потоков данных в окне сбора ключевых слов

Окно парсинга

Иллюстрация базового рабочего цикла по сбору ключевых слов

Понимание организации потоков данных в окне парсинга ключевых слов являются ключевым моментом в раскрытии потенциала доступных настроек «Магадана», помогающих решить конкретную задачу.

Базовое описание рабочего цикла

В окне парсинга присутствуют три списка ключевых слов: очередь ключевых слов на парсинг и два столбца собираемых слов, связанных с тем словом из очереди, которое обрабатывается в текущий момент. Эти два столбца копируют организацию данных в сервисе Яндекса «Вордстат»: левый столбец Что искали со словом..., првый -- Запросы, похожие на... (раньше назывался "Что еще искали люди, искавшие слово").

Скриншоты

Очередь ключевых слов на парсинг   Списки собираемых слов-связей   Страница «Вордстата»

Во время работы по сбору ключевых слов, Магадан берет по одному слову из очереди на парсинг и отправляет запросы в Вордстату. Для того, чтобы получить статистику показов для текущего слова, необходим один запрос к ВОрдстату. Для получения всех слов, связанных с текущим (для заполнения двух столбцов связей), могут потребоваться дополнительные запросы, т.к. Вордстат отдает данные порциями, постранично.

После того, как за один или более запросов получена а) статистика показов для текущего ключевого слова из очереди и б) связанные с ним слова из двух столбцов Вордстата, программа сохраняет полученную информацию в подключенную базу: записывает полученное значение стаистики показов для исследуемого слова, записывает все найденные связанные слова с их статистикой показов, устанавливает связи между полученными словами в базе, после чего удаляет исследуемое слово из очереди и очищает столбцы слов-связей. Обновленное состояние очереди сохраняется на диск, чтобы не обрабатывать повторно одн и те же слова случае перезапуска программы. Далее алгоритм повторяется для следующего слова из очереди.

Таким образом, базовый алгоритм работы выглядит так:

1. Если очередь пуста, Магадн пытается загрузить из базы новые слова для проверки согласно правилам отложенного пополнения очереди ключевых слов. Если отложенное пополнение отключено или его применение дало нулевой результат, останавливаем процесс парсинга.
2. Берем первое ключевое слово в очереди
3. Собираем для слова статистику показов за один запрос (технически, за тот же запрос получаем первую порцию связанных ключевых слов, но, в зависимости от настроек, можем их игнорировать)
4. При необходимости, собираем оставшиеся связанные слова дополнительными запросами к Вордстату. Помещаем найденные слова в списки связей по мере поступления. Здесь же к найденным словам применяются активные Фильтры и правила Генератора ключевых слов.
5. Собрав все связи, применив все правила фильтров и генератора, сохраняем всю полученную информацию (статистику показов для текущего слова, информацию о новых словах) в базу
6. Удаляем обработанное слово из очереди (информация о нем остается в базе, просто слово более не фигурирует в очереди на обработку).
7. Повторяем алгоритм с начала.

В целом, все довольно просто, но дьявол, как обычно, в деталях. Когда задача требует большего, чем просто собрать все связи для фиксированного списка слов, необходимо чуть более подробно изучить назначение различных элементов управления и логику их работы.

Особенности работы со списками ключевых слов

Важной особенностью любого списка ключевых слов в окне парсинга является тот факт, что его содержимое не статично, т.е. не обязательно в точности повторяет те данные, которые отдает нам ВОрдстат. При этом программа сохраняет содержимое всех списков в базу, включая очередь, только в тот момент, когда обработка текущего слова подошла к концу и к каждому списку слов были применены все активные Фильтры и правила Генератора ключевых слов!

Таким образом, пользователь может манипулировать содержимым спискорв при помощи предварительно настроенных фильтров или правил Генератора, и программа будет работать с измененными списками так, как будто бы получила их от Вордстата в том виде, который они принимают после всех проделанных манипуляций.

В целом, манипуляции сводятся к следующим базовым техникам:

1. Полное отключение сбора данных в любой из списков
2. Удаление "лишних" слов из любого списка при помощи Фильтра
3. Добавление производных ключевых слов на лету при помощи Генератора
4. Автоматическое копирование слов из одного списка в другой
5. Помещение слов из списка в ту или иную группу ключевых слов

Ниже рассмотрим каждый пункт предметно.

Отключение сбора данных в любой из списков

Пльзователь может отключить сбор любого из двух списков связанных слов, используя кнопку ИЗОБРАЖЕНИЕ, расположенную в верхней панели соответствующего списка. Отключенный столбец будет заблокирован визуально и для фактического доступа через интерфейс пользователя, в него не будут поступать новые слова. Если отключен только правый столбец, Магадан все равно будет собирать содержимое левого столбца, т.е. отправлять (при необходимости) дополнительные запросы к Вордстату, "листая" его странички. Если же отключен левый столбец, Магадан не станет тратить время на пролистывание всех страниц, хотя, если при этом правый тсолбец оставлен включенным, слова из него будут собраны, т.е. Вордстат выдает их все за один, самый первый запрос.

ГАЛЛЕРЕЯ ЗАБЛОКИРОВАННЫЙ СТОЛБЕЦ ЛЕВЫЙ, ПРАВЫЙ, ОБА

Популярная задача по сбору статистики показов для фиксированного списка ключевых слов без сбора дополнительных слов (т.н. "чек списка слов") элегантно решается как раз при помощи отключения сбора столбцов слов-связей: отключив сбор левого и правого столбца, мы получаем отправку одного запроса к вордстату для кажого слова из очереди. В базе при этом не появляются новые слова. Магадан пробегает всю очередь ключевых слов, получает для каждого статистику показов и заканчивает работу.

Удаление слов из списка при помощи Фильтра

После того, как слова были собраны

Детальное описание рабочего цикла

1. Берем слово из очереди
2. Собираем для него статистику показов
3. Собираем связанные с ним слова

После запуска парсинга кнопкой ИЗОБРАЖЕНИЕ, находящейся в пнели управления, программа работает по следующему алгоритму:

1. Если очередь на парсинг пуста,
4. Пополнение очереди ключевых слов на парсинг: если очередь пу

1. 1. • Автоматическое наполнение очереди ключевых слов на парсинг