 | Скачать программу «Магадан» LITE — бесплатную, не ограниченную по времени редакцию парсера ключевых слов! |
Организация потоков данных в окне сбора ключевых слов
Понимание организации потоков данных в окне парсинга ключевых слов являются ключевым моментом в раскрытии потенциала доступных настроек «Магадана», помогающих решить конкретную задачу.
Базовое описание рабочего цикла
В окне парсинга присутствуют три списка ключевых слов: очередь ключевых слов на парсинг и два столбца собираемых слов, связанных с тем словом из очереди, которое обрабатывается в текущий момент. Эти два столбца копируют организацию данных в сервисе Яндекса «Вордстат».
| Скриншоты | |||||||||
| |||||||||
Три изображения: Очереди, двух столбцов связей и окна вордстата.
ВО время работы по сбору ключевых слов, Магадан берет по одному слову из очереди на парсинг и отправляет запросы в Вордстату. Для того, чтобы получить статистику показов для текущего слова, необходим один запрос к ВОрдстату. Для получения всех слов, связанных с текущим (для заполнения двух столбцов связей), могут потребоваться дополнительные запросы, т.к. Вордстат отдает данные порциями, постранично.
После того, как за один или более запросов получена а) статистика показов для текущего ключевого слова из очереди и б) связанные с ним слова из двух столбцов Вордстата, программа сохраняет полученную информацию в подключенную базу: записывает полученное значение стаистики показов для исследуемого слова, записывает все найденные связанные слова с их статистикой показов, устанавливает связи между полученными словами в базе, после чего удаляет исследуемое слово из очереди и очищает столбцы слов-связей. Обновленное состояние очереди сохраняется на диск, чтобы не обрабатывать повторно одн и те же слова случае перезапуска программы. Далее алгоритм повторяется для следующего слова из очереди.
В целом, все довольно просто, но дьявол, как обычно, в деталях. Когда задача требует большего, чем просто собрать все связи для фиксированного списка слов, необходимо чуть более подробно изучить назначение различных элементов управления.
Детальное описание рабочего цикла
- Запуск парсинга в панели управления
- Пополнение очереди ключевых слов на парсинг: если очередь пу