Автоматическое наполнение очереди ключевых слов на парсинг

Автоматическое наполнение очереди ключевых слов на парсинг — функционал, позволяющий автоматизировать поступление новых ключевых слов в очередь на парсинг. Позволяет решать различные задачи, начиная от сбора дерева связанных ключевых слов (т.н «сбор слов в глубину»), заканчивая цикличным обновлением статистики уже имеющихся в базе ключевых слов с заданной периодичностью. Дополнительную гибкость функции автоматического пополнения очереди придает использование ее в связке с фильтром ключевых слов очереди.

Моментальное пополнение очереди ключевых слов

Моментальное пополнение очереди ключевых слов найденными словами подключается в главном окне программы при помощи выпадающего меню кнопок с изображением дискеты, расположенных над столбцами собираемых слов (Что искали со словом и Что еще искали люди, искавшие слово). Каждая кнопка отвечает за обработку соответствующего ей столбца. Когда пункт меню «Сразу добавлять в очередь на парсинг» включен, содержимое столбца будет планомерно помещаться в очередь для последующей обработки. Когда указанный пункт меню отключен, функция моментального пополнения очереди содержимым данного столбца отключена.

По умолчанию, найденные слова помещаются в начало очереди, при этом производится сортировка таким образом, чтобы НЧ шли в начале, т.е. обрабатывались первыми. Подразумевается, что подобная организация позволяет позволит минимизировать размеры очереди без падения КПД парсинга. Меньше очередь — меньше времени необходимо на выполняемые с нею операции (сортировка, фильтрация, сохранение, загрузка и т.д.). Однако, порядок размещения найденных слов в очереди можно настроить во вкладке «Очередь ключевых слов» диалога настроек «Магадана».

Стоит отметить, что отключение функции моментального помещения найденных слов в очередь на парсинг не влияет на настройку сохранения (записи) найденных слов в подключенный файл базы.

Моментальное помещение ключевых слов из правого столбца (Что еще искали люди, искавшие слово) по умолчанию отключено! Включение опции для правого столбца в подавляющем большинстве случаев приведет к "бесконечному" парсингу, т.к. столбец содержит множество слов, семантически не релевантных обрабатываемому в настоящий момент. Подробности см. в статье «Как ускорить процесс сбора ключевых слов?».

Отложенное пополнение очереди ключевых слов

Зачастую перед пользователем стоит задача автоматического помещения в очередь на парсинг тех или иных ключевых слов, содержащихся в базе. Это могут быть как новые слова, найденные в процессе парсинга, так и сохраненные ранее слова (например, импортированные из внешних файлов).

Автоматическое пополнение дает наибольшую эффективность при использовании в связке с фильтром ключевых слов, поступающих в очередь: в настройках программы пользователь задает общие правила помещения слов в очередь, а в фильтре очереди указывает возможные стоп-слова и другие условия, точно так же, как это происходит при работе с любым экземпляром элемента интерфейса «Список ключевых слов».

Автоматическое пополнение выполняется (если активировано в настройках) каждый раз, когда текущий набор ключевых слов в очереди подходит к концу. Если заданным правилам автоматического пополнения не соответствует более ни одно слово в подключенной базе, парсинг завершается.

Настройка автоматического пополнения очереди

Для решения задачи автоматического пополнения очереди используются настройки, расположенные во вкладке «Очередь ключевых слов» диалога настроек «Магадана».

См. также

• Управление потоками данных во время сбора ключевых слов
• Сбор ключевых слов «в глубину»
• Очередь ключевых слов на парсинг
• Фильтр списка ключевых слов
• Элемент интерфейса «Список ключевых слов»