Автоматическое наполнение очереди ключевых слов на парсинг

Автоматическое наполнение очереди ключевых слов на парсинг — функционал, позволяющий автоматизировать поступление новых ключевых слов в очередь на парсинг. Позволяет решать различные задачи, начиная от сбора дерева связанных ключевых слов (т.н «сбор слов в глубину»), заканчивая цикличным обновлением статистики уже имеющихся в базе ключевых слов с заданной периодичностью. Дополнительную гибкость функции автоматического пополнения очереди придает использование ее в связке с фильтром ключевых слов очереди.

Моментальное пополнение очереди ключевых слов

Моментальное пополнение очереди ключевых слов найденными словами подключается в главном окне программы при помощи выпадающего меню кнопок с изображением дискеты, расположенных над столбцами собираемых слов (Что искали со словом и Что еще искали люди, искавшие слово). Каждая кнопка отвечает за обработку соответствующего ей столбца. Когда пункт меню «Сразу добавлять в очередь на парсинг» включен, содержимое столбца будет планомерно помещаться в очередь для последующей обработки. Когда указанный пункт меню отключен, функция моментального пополнения очереди содержимым данного столбца отключена.

По умолчанию, найденные слова помещаются в начало очереди, при этом производится сортировка таким образом, чтобы НЧ шли в начале, т.е. обрабатывались первыми. Подразумевается, что подобная организация позволяет позволит минимизировать размеры очереди без падения КПД парсинга. Меньше очередь — меньше времени необходимо на выполняемые с нею операции (сортировка, фильтрация, сохранение, загрузка и т.д.). Однако, порядок размещения найденных слов в очереди можно настроить во вкладке «Очередь ключевых слов» диалога настроек «Магадана».

Стоит отметить, что отключение функции моментального помещения найденных слов в очередь на парсинг не влияет на настройку сохранения (записи) найденных слов в подключенный файл базы.

Моментальное помещение ключевых слов из правого столбца (Что еще искали люди, искавшие слово) по умолчанию отключено! Включение опции для правого столбца в подавляющем большинстве случаев приведет к "бесконечному" парсингу, т.к. столбец содержит множество слов, семантически не релевантных обрабатываемому в настоящий момент. Подробности см. в статье «Как ускорить процесс сбора ключевых слов?».

Отложенное пополнение очереди ключевых слов

Отложенное пополнение очереди ключевых слов производится каждый раз, когда содержимое очереди подходит к концу. Если заданным правилам автоматического пополнения не соответствует более ни одно слово в подключенной базе, парсинг завершается. В ходе каждой итерации «Магадан» достает из подключенной базы небольшую порцию ключевых слов, помещает ее в очередь и продолжает сбор данных.

Отложенное пополнение можно использовать как способ разгрузить очередь на компьютерах с малой производитльностью, как аналог моментального пополнения очереди, но без учета происхождения обрабатываемых слов (не смотрим, из какого столбца слово попало в базу, да и было ли вообще собрано в процессе, или же предварительно импортировано пользователем в базу), а также как возможность зациклить процесс обновления содержимого базы с заданным периодом.

Настройка отложенного пополнения очереди производится во вкладке «Очередь ключевых слов» диалога настроек программы.

См. также

• Вкладка настройки автоматического пополнения очереди в диалоге настроек «Магадана»
• Управление потоками данных во время сбора ключевых слов
• Сбор ключевых слов «в глубину»
• Очередь ключевых слов на парсинг
• Фильтр списка ключевых слов
• Элемент интерфейса «Список ключевых слов»