Madskillz.pngСкачать программу «Магадан» LITE — бесплатную, не ограниченную по времени редакцию парсера ключевых слов!

Автоматическое наполнение очереди ключевых слов на парсинг: различия между версиями

Материал из "Магадан" - инструкция пользователя
Перейти к навигации Перейти к поиску
мНет описания правки
 
Строка 8: Строка 8:
Типичной задачей, для решения которой используется функция моментального пополнения очереди, является рекурсивный [[сбор ключевых слов в глубину]] (сбор всего содержимого графа связанных ключевых слов).
Типичной задачей, для решения которой используется функция моментального пополнения очереди, является рекурсивный [[сбор ключевых слов в глубину]] (сбор всего содержимого графа связанных ключевых слов).


По умолчанию, найденные слова помещаются в начало очереди, при этом производится сортировка таким образом, чтобы [[НЧ]] шли в начале, т.е. обрабатывались первыми. Подразумевается, что подобная организация позволяет позволит минимизировать размеры очереди без падения [[КПД парсинга]]. Меньше очередь — меньше времени необходимо на вполнение любых операций над ее содержимым (сортировка, [[фильтрация]], сохранение, загрузка и т.д.). Однако, порядок размещения найденных слов в очереди можно настроить во вкладке «[[Диалог настроек#Вкладка «Очередь ключевых слов»|Очередь ключевых слов]]» диалога настроек «[[Магадан|Магадана]]».
По умолчанию, найденные слова помещаются в начало очереди, при этом производится сортировка таким образом, чтобы [[НЧ]] шли в начале, т.е. обрабатывались первыми. Подразумевается, что подобная организация позволяет позволит минимизировать размеры очереди без падения [[КПД парсинга]]. Меньше очередь — меньше времени необходимо на вполнение любых операций над ее содержимым (сортировка, [[Фильтр списка ключевых слов|фильтрация]], сохранение, загрузка и т.д.). Однако, порядок размещения найденных слов в очереди можно настроить во вкладке «[[Диалог настроек#Вкладка «Очередь ключевых слов»|Очередь ключевых слов]]» диалога настроек «[[Магадан|Магадана]]».


Отключение функции моментального помещения найденных слов в очередь на парсинг не влияет на настройку сохранения (записи) найденных слов в подключенный [[файл базы]].
Отключение функции моментального помещения найденных слов в очередь на парсинг не влияет на настройку сохранения (записи) найденных слов в подключенный [[файл базы]].

Текущая версия от 01:12, 28 июля 2016

Автоматическое наполнение очереди ключевых слов на парсинг — функционал, позволяющий автоматизировать поступление новых ключевых слов в очередь на парсинг. Позволяет решать различные задачи, начиная от сбора дерева связанных ключевых слов (т.н «сбор слов в глубину»), заканчивая цикличным обновлением статистики уже имеющихся в базе ключевых слов с заданной периодичностью. Дополнительную гибкость функции автоматического пополнения очереди придает использование ее в связке с фильтром ключевых слов очереди.

Моментальное пополнение очереди ключевых слов

Выпадающие пункты меню, используемые при настройке моментального пополнения очереди собранными ключевыми словами. Содержимое столбца «Что искали со словом» (левый) помещаем в очередь, содержимое столбца «Что еще искали люди, искавшие слово» (правый) только сохраняем в базу, в очередь не помещаем.

Моментальное пополнение очереди ключевых слов найденными в процессе парсинга словами настраивается в главном окне «Магадана» при помощи выпадающего меню кнопок с изображением дискеты, расположенных над столбцами собираемых слов («Что искали со словом» и «Что еще искали люди, искавшие слово»). Каждая кнопка отвечает за обработку соответствующего ей столбца. Когда пункт меню «Сразу добавлять в очередь на парсинг» включен, содержимое столбца будет планомерно помещаться в очередь для последующей обработки (закончили сбор связей для текущего слова в очереди — поместили собранные слова туда же). Когда указанный пункт меню отключен, функция моментального пополнения очереди содержимым данного столбца отключена.

Типичной задачей, для решения которой используется функция моментального пополнения очереди, является рекурсивный сбор ключевых слов в глубину (сбор всего содержимого графа связанных ключевых слов).

По умолчанию, найденные слова помещаются в начало очереди, при этом производится сортировка таким образом, чтобы НЧ шли в начале, т.е. обрабатывались первыми. Подразумевается, что подобная организация позволяет позволит минимизировать размеры очереди без падения КПД парсинга. Меньше очередь — меньше времени необходимо на вполнение любых операций над ее содержимым (сортировка, фильтрация, сохранение, загрузка и т.д.). Однако, порядок размещения найденных слов в очереди можно настроить во вкладке «Очередь ключевых слов» диалога настроек «Магадана».

Отключение функции моментального помещения найденных слов в очередь на парсинг не влияет на настройку сохранения (записи) найденных слов в подключенный файл базы.

Manual-icon-exlamation.pngМоментальное помещение ключевых слов из правого столбца («Что еще искали люди, искавшие слово») по умолчанию отключено! Включение опции для правого столбца в подавляющем большинстве случаев приведет к стремящемуся к бесконечности парсингу, т.к. столбец содержит множество слов, семантически не релевантных обрабатываемому в настоящий момент. Подробности см. в статье «Как ускорить процесс сбора ключевых слов?».

Отложенное пополнение очереди ключевых слов

Настройки моментального (сверху) и отложенного (снизу) пополнения очереди ключевых слов (см. вкладку «Очередь ключевых слов» в диалоге настроек «Магадана»).

Отложенное пополнение очереди ключевых слов производится каждый раз, когда содержимое очереди подходит к концу. В ходе каждой итерации «Магадан» достает из подключенной базы небольшую порцию ключевых слов, помещает ее в очередь и продолжает сбор данных. Если заданным правилам автоматического пополнения не соответствует более ни одно слово в подключенной базе, Магадан останавливает парсинг и выдает соответствующее сообщение.

Отложенное пополнение можно использовать как способ разгрузить очередь на компьютерах с малой производительностью, как аналог моментального пополнения очереди, но без учета происхождения обрабатываемых слов (не смотрим, из какого столбца слово попало в базу, да и было ли вообще собрано в процессе, или же предварительно импортировано пользователем в базу), а также как возможность зациклить процесс обновления содержимого базы с заданным периодом.

Настройка отложенного пополнения очереди производится во вкладке «Очередь ключевых слов» диалога настроек программы.

См. также