 | Скачать программу «Магадан» LITE — бесплатную, не ограниченную по времени редакцию парсера ключевых слов! |
Автоматическое наполнение очереди ключевых слов на парсинг: различия между версиями
Root (обсуждение | вклад) м (→См. также) |
Root (обсуждение | вклад) |
||
| (не показано 8 промежуточных версий этого же участника) | |||
| Строка 1: | Строка 1: | ||
[[Категория:Функциональные возможности|60]] | [[Категория:Функциональные возможности|60]] | ||
'''Автоматическое наполнение очереди ключевых слов на парсинг''' — функционал, позволяющий автоматизировать поступление новых ключевых слов в [[очередь ключевых слов на парсинг|очередь на парсинг]]. | '''Автоматическое наполнение очереди ключевых слов на парсинг''' — функционал, позволяющий автоматизировать поступление новых ключевых слов в [[очередь ключевых слов на парсинг|очередь на парсинг]]. Позволяет решать различные задачи, начиная от сбора дерева [[Связанные ключевые слова|связанных ключевых слов]] (т.н «[[сбор слов в глубину]]»), заканчивая цикличным обновлением статистики уже имеющихся в [[База ключевых слов|базе]] ключевых слов с заданной периодичностью. Дополнительную гибкость функции автоматического пополнения очереди придает использование ее в связке с [[фильтр списка ключевых слов|фильтром ключевых слов]] очереди. | ||
== | ==Моментальное пополнение очереди ключевых слов== | ||
[[Файл:Typical-formmain-data-flow-setup.png|мини|300px|Выпадающие пункты меню, используемые при настройке моментального пополнения очереди собранными ключевыми словами. Содержимое столбца «[[Что искали со словом]]» (левый) помещаем в очередь, содержимое столбца «[[Что еще искали люди, искавшие слово]]» (правый) только сохраняем в базу, в очередь не помещаем.]] | |||
Моментальное пополнение очереди ключевых слов [[Связанные слова|найденными в процессе парсинга словами]] настраивается в [[Главное окно|главном окне]] «Магадана» при помощи выпадающего меню кнопок с изображением дискеты, расположенных над столбцами собираемых слов («[[Что искали со словом]]» и «[[Что еще искали люди, искавшие слово]]»). Каждая кнопка отвечает за обработку соответствующего ей столбца. Когда пункт меню «'''Сразу добавлять в очередь на парсинг'''» включен, содержимое столбца будет планомерно помещаться в очередь для последующей обработки (закончили сбор связей для текущего слова в очереди — поместили собранные слова туда же). Когда указанный пункт меню отключен, функция моментального пополнения очереди содержимым данного столбца отключена. | |||
Типичной задачей, для решения которой используется функция моментального пополнения очереди, является рекурсивный [[сбор ключевых слов в глубину]] (сбор всего содержимого графа связанных ключевых слов). | |||
По умолчанию, найденные слова помещаются в начало очереди, при этом производится сортировка таким образом, чтобы [[НЧ]] шли в начале, т.е. обрабатывались первыми. Подразумевается, что подобная организация позволяет позволит минимизировать размеры очереди без падения [[КПД парсинга]]. Меньше очередь — меньше времени необходимо на вполнение любых операций над ее содержимым (сортировка, [[Фильтр списка ключевых слов|фильтрация]], сохранение, загрузка и т.д.). Однако, порядок размещения найденных слов в очереди можно настроить во вкладке «[[Диалог настроек#Вкладка «Очередь ключевых слов»|Очередь ключевых слов]]» диалога настроек «[[Магадан|Магадана]]». | |||
== | Отключение функции моментального помещения найденных слов в очередь на парсинг не влияет на настройку сохранения (записи) найденных слов в подключенный [[файл базы]]. | ||
{{Важно|text=Моментальное помещение ключевых слов из правого столбца («[[Что еще искали люди, искавшие слово]]») по умолчанию отключено! Включение опции для правого столбца в подавляющем большинстве случаев приведет к стремящемуся к бесконечности парсингу, т.к. столбец содержит множество слов, семантически не релевантных обрабатываемому в настоящий момент. Подробности см. в статье «[[Как ускорить процесс сбора ключевых слов?]]».}} | |||
==Отложенное пополнение очереди ключевых слов== | |||
[[Файл:Magadan-dialog-settings-tab-pool.png|мини|300px|Настройки моментального (сверху) и отложенного (снизу) пополнения очереди ключевых слов (см. вкладку «[[Диалог настроек#Вкладка «Очередь ключевых слов»|Очередь ключевых слов]]» в [[Диалог настроек|диалоге настроек]] «[[Магадан|Магадана]]»).]] | |||
Отложенное пополнение очереди ключевых слов производится каждый раз, когда содержимое очереди подходит к концу. В ходе каждой итерации «Магадан» достает из подключенной базы небольшую порцию ключевых слов, помещает ее в очередь и продолжает [[Сбор ключевых слов|сбор данных]]. Если заданным правилам автоматического пополнения не соответствует более ни одно слово в подключенной базе, Магадан останавливает [[парсинг]] и выдает соответствующее сообщение. | |||
Отложенное пополнение можно использовать как способ разгрузить очередь на компьютерах с малой производительностью, как аналог ''моментального пополнения очереди'', но без учета происхождения обрабатываемых слов (не смотрим, из какого столбца слово попало в базу, да и было ли вообще собрано в процессе, или же предварительно импортировано пользователем в базу), а также как возможность зациклить процесс обновления содержимого базы с заданным периодом. | |||
Настройка отложенного пополнения очереди производится во вкладке «[[Диалог настроек#Вкладка «Очередь ключевых слов»|Очередь ключевых слов]]» диалога настроек программы. | |||
==См. также== | ==См. также== | ||
* [[Диалог настроек#Вкладка «Очередь ключевых слов»|Вкладка настройки автоматического пополнения очереди в диалоге настроек «Магадана»]] | |||
* [[Управление потоками данных во время сбора ключевых слов]] | |||
* [[Сбор ключевых слов «в глубину»]] | * [[Сбор ключевых слов «в глубину»]] | ||
* [[Очередь ключевых слов на парсинг]] | * [[Очередь ключевых слов на парсинг]] | ||
* [[Фильтр списка ключевых слов]] | * [[Фильтр списка ключевых слов]] | ||
* [[Список ключевых слов|Элемент интерфейса «Список ключевых слов»]] | * [[Список ключевых слов|Элемент интерфейса «Список ключевых слов»]] | ||
Текущая версия от 01:12, 28 июля 2016
Автоматическое наполнение очереди ключевых слов на парсинг — функционал, позволяющий автоматизировать поступление новых ключевых слов в очередь на парсинг. Позволяет решать различные задачи, начиная от сбора дерева связанных ключевых слов (т.н «сбор слов в глубину»), заканчивая цикличным обновлением статистики уже имеющихся в базе ключевых слов с заданной периодичностью. Дополнительную гибкость функции автоматического пополнения очереди придает использование ее в связке с фильтром ключевых слов очереди.
Моментальное пополнение очереди ключевых слов
Моментальное пополнение очереди ключевых слов найденными в процессе парсинга словами настраивается в главном окне «Магадана» при помощи выпадающего меню кнопок с изображением дискеты, расположенных над столбцами собираемых слов («Что искали со словом» и «Что еще искали люди, искавшие слово»). Каждая кнопка отвечает за обработку соответствующего ей столбца. Когда пункт меню «Сразу добавлять в очередь на парсинг» включен, содержимое столбца будет планомерно помещаться в очередь для последующей обработки (закончили сбор связей для текущего слова в очереди — поместили собранные слова туда же). Когда указанный пункт меню отключен, функция моментального пополнения очереди содержимым данного столбца отключена.
Типичной задачей, для решения которой используется функция моментального пополнения очереди, является рекурсивный сбор ключевых слов в глубину (сбор всего содержимого графа связанных ключевых слов).
По умолчанию, найденные слова помещаются в начало очереди, при этом производится сортировка таким образом, чтобы НЧ шли в начале, т.е. обрабатывались первыми. Подразумевается, что подобная организация позволяет позволит минимизировать размеры очереди без падения КПД парсинга. Меньше очередь — меньше времени необходимо на вполнение любых операций над ее содержимым (сортировка, фильтрация, сохранение, загрузка и т.д.). Однако, порядок размещения найденных слов в очереди можно настроить во вкладке «Очередь ключевых слов» диалога настроек «Магадана».
Отключение функции моментального помещения найденных слов в очередь на парсинг не влияет на настройку сохранения (записи) найденных слов в подключенный файл базы.
 | Моментальное помещение ключевых слов из правого столбца («Что еще искали люди, искавшие слово») по умолчанию отключено! Включение опции для правого столбца в подавляющем большинстве случаев приведет к стремящемуся к бесконечности парсингу, т.к. столбец содержит множество слов, семантически не релевантных обрабатываемому в настоящий момент. Подробности см. в статье «Как ускорить процесс сбора ключевых слов?». |
Отложенное пополнение очереди ключевых слов
Отложенное пополнение очереди ключевых слов производится каждый раз, когда содержимое очереди подходит к концу. В ходе каждой итерации «Магадан» достает из подключенной базы небольшую порцию ключевых слов, помещает ее в очередь и продолжает сбор данных. Если заданным правилам автоматического пополнения не соответствует более ни одно слово в подключенной базе, Магадан останавливает парсинг и выдает соответствующее сообщение.
Отложенное пополнение можно использовать как способ разгрузить очередь на компьютерах с малой производительностью, как аналог моментального пополнения очереди, но без учета происхождения обрабатываемых слов (не смотрим, из какого столбца слово попало в базу, да и было ли вообще собрано в процессе, или же предварительно импортировано пользователем в базу), а также как возможность зациклить процесс обновления содержимого базы с заданным периодом.
Настройка отложенного пополнения очереди производится во вкладке «Очередь ключевых слов» диалога настроек программы.