Madskillz.pngСкачать программу «Магадан» LITE — бесплатную, не ограниченную по времени редакцию парсера ключевых слов!

Организация потоков данных в окне сбора ключевых слов

Материал из "Магадан" - инструкция пользователя
Перейти к навигации Перейти к поиску
Окно парсинга
Иллюстрация базового рабочего цикла по сбору ключевых слов


Понимание организации потоков данных в окне парсинга ключевых слов являются ключевым моментом в раскрытии потенциала доступных настроек «Магадана», помогающих решить конкретную задачу.

Базовое описание рабочего цикла

В окне парсинга присутствуют три списка ключевых слов: очередь ключевых слов на парсинг и два столбца собираемых слов, связанных с тем словом из очереди, которое обрабатывается в текущий момент. Эти два столбца копируют организацию данных в сервисе Яндекса «Вордстат».

Скриншоты

Во время работы по сбору ключевых слов, Магадан берет по одному слову из очереди на парсинг и отправляет запросы в Вордстату. Для того, чтобы получить статистику показов для текущего слова, необходим один запрос к ВОрдстату. Для получения всех слов, связанных с текущим (для заполнения двух столбцов связей), могут потребоваться дополнительные запросы, т.к. Вордстат отдает данные порциями, постранично.

После того, как за один или более запросов получена а) статистика показов для текущего ключевого слова из очереди и б) связанные с ним слова из двух столбцов Вордстата, программа сохраняет полученную информацию в подключенную базу: записывает полученное значение стаистики показов для исследуемого слова, записывает все найденные связанные слова с их статистикой показов, устанавливает связи между полученными словами в базе, после чего удаляет исследуемое слово из очереди и очищает столбцы слов-связей. Обновленное состояние очереди сохраняется на диск, чтобы не обрабатывать повторно одн и те же слова случае перезапуска программы. Далее алгоритм повторяется для следующего слова из очереди.

Таким образом, базовый алгоритм работы выглядит так:

  1. Берем первое ключевое слово в очереди
  2. Собираем для слова статистику показов за оин запрос
  3. При необходимости, собираем связанные слова (может потребоваться еще несколько запросов к Вордстату); Помещаем найденные слова в списки связей по мере поступления
  4. Собрав все связи, сохраняем всю полученную информацию (статистику показов для текущего слова, информацию о новых словах) в базу
  5. Удаляем обработанное слово из очереди (информация о нем остается в базе, просто слово более не фигурирует в очереди на обработку).
  6. Повторяем алгоритм для слеующего слова в очереди

В целом, все довольно просто, но дьявол, как обычно, в деталях. Когда задача требует большего, чем просто собрать все связи для фиксированного списка слов, необходимо чуть более подробно изучить назначение различных элементов управления и логику их работы.

Особенности работы со списками ключевых слов

Важной особенностью любого списка ключевых слов в окне парсинга является тот факт, что его содержимое не статично, т.е. не обязательно в точности повторяет те данные, которые отдает нам ВОрдстат. При этом программа сохраняет содержимое всех списков в базу, включая очередь, только в тот момент, когда обработка текущего слова подходит к концу. Таким образом, пользователь может манипулировать содержимым спискорв при помощи предварительно настроенных фильтров или правил генератора, и программа будет работать с измененными списками так, как будто бы получила их в том виде, который они принимают после всех проделанных манипуляций. В целом, манипуляции сводятся к следующим базовым техникам:

  1. Полное отключение сбора данных в любой из списков
  2. Удаление "лишних" слов из любого списка при помощи Фильтра
  3. Добавление производных ключевых слов на лету при помощи Генератора
  4. Автоматическое копирование слов из одного списка в другой
  5. Помещение слов из списка в ту или иную группу ключевых слов

Ниже рассмотрим каждый пункт предметно.

Отключение сбора данных в любой из списков

Пльзователь может отключить сбор любого сслыка на фак о том, как прочекать список слов.

Очередь ключевых слов на парсинг

Детальное описание рабочего цикла

  1. Берем слово из очереди
  2. Собираем для него статистику показов
  3. Собираем связанные с ним слова

После запуска парсинга кнопкой ИЗОБРАЖЕНИЕ, находящейся в пнели управления, программа работает по следующему алгоритму:

  1. Если очередь на парсинг пуста,
  2. Пополнение очереди ключевых слов на парсинг: если очередь пу

Ответы на частые вопросы

См. также