Madskillz.pngСкачать программу «Магадан» LITE — бесплатную, не ограниченную по времени редакцию парсера ключевых слов!

Как ускорить процесс сбора ключевых слов?

Материал из "Магадан" - инструкция пользователя
Перейти к навигации Перейти к поиску
Cat.jpgЭто незавершенная статья. В ближайшее время недостающий текст будет дописан, иллюстрации — дорисованы. Вы можете уже сейчас оставить пожелания к содержимому статьи, используя соответствующую форму в нижней части страницы.

Ускорение сбора ключевых слов — комплекс мероприятий, направленный на минимизацию времени, необходимого на сбор информации о заданном наборе ключевых слов. Все телодвижения по ускорению можно разделить на три части:


Используйте многопоточный модуль парсинга «Солнечный»

Начиная с версии 2.3.61 в Магадане доступен альтернативный, многопоточный модуль парсинга под кодовым именем «Солнечный». «Солнечный» умеет работать одновременно с несколькими парсерами и очередями слов на парсинг, что, при наличии дополнительных IP-адресов, значительно ускорит процесс парсинга!

Оптимизация базовых настроек

Оптимальная задержка для сбора ключевых слов в один поток, одним аккаунтом Вордстата

Если нет возможности использовать многопоточный «Солнечный», необходимо в первую очередь удостовериться, что базовые настройки классического модуля парсинга соответствуют известным стандартам и не тратят наше время впустую:

  1. Установите оптимальное значение задержек парсинга в главном окне. На момент написания статьи (версия «Магадана» 2.3.11) таковым является задержка в 3 секунды на любое действие (3/3/3/3, см. рисунок). Меньшая задержка приводит к учащенному появлению капчи, большая является излишеством.
  2. Убедитесь, что процесс парсинга не приводит к появлению CAPTCHA в ответ на каждый запрос «Магадана». Если вы не используете прокси, капча не должна появляться совсем. Технически, капча появляется один раз, во время прохождения программой авторизации на сервере ПС, но Магадан обходит этот запрос, поэтому пользователь не видит капчу никогда. Если все-таки капча появляется, вероятно, вы делите ваш интернет-канал с другими пользователями, активно собирающими ключевые слова. Имеет смысл решить этот вопрос таким образом, чтобы каждый пользователь имел собственный IP-адрес для работы с поисковой системой. Здесь могут помочь как внешние прокси, так и различные технические решения в рамках корпоративной сети.

Контроль за потоками данных

Убедитесь, что программа не собирает ничего лишнего!

Типичная настройка моментального помещения собираемых ключевых слов в очередь на парсинг: релевантные слова из левого столбца сохраняем в базу и тут же помещаем в очередь на парсинг, реализуя «сбор в глубину», нерелевантные слова из правого стобца сохраняем в базу, но не помещаем в очередь, чтобы не тратить время на их обработку.
  1. Моментальное помещение ключевых слов в очередь на парсинг должно быть отключено для обоих столбцов собираемых слов-связейЧто искали со словом», «Что еще искали люди, искавшие слово»), если не стоит задачи собрать дерево слов в глубину. Если стоит задача сбора связанных слов, необходимо подключить моментальное помещение в очередь только содержимого левого столбца («Что искали со словом»). Левый столбец всегда содержит расширенные варианты оригинального слова из очереди на парсинг (ищем "автомобиль, находим "автомобиль купить", "ремонт автомобиля" и т.д.). Содержимое правого столбца («Что еще искали люди, искавшие слово»), как правило, слабо связано с оригинальным обрабатываемым словом из очереди (парсим слово «автомобиль», в правом столбце получаем ассоциацию «трамвай»), поэтому парсинг слов из правого столбца затягивается на неопределенное время. Подключать моментальное помещение в очередь найденных слов из правого столбца стоит только в том случае, когда вам все равно, что собирать, главное чтобы хоть что-то собиралось. Такой подход может находить применение при сборе ключевых слов для дорвеев. Управление моментальным помещением найденных ключевых слов в очередь производится при помощи выпадающего меню кнопок с изображением дискетки, расположенных над столбцами собираемых слов. Каждая кнопка отвечает за содержимое соответствующего столбца. На рисунке приведена типичная конфигурация настроек для столбцов собираемых слов-связей.
  2. Отложенное помещение ключевых слов в очередь на парсинг (также известное как «автоматическое пополнение очереди ключевых слов») лучше полностью отключить, если суть настроек не является абсолютно прозрачной для пользователя. Подробное описание опций отложенного помещения слов в очередь доступно на соответствующей странице.

Распараллеливание сбора ключевых слов

На сегодняшний день (версия 2.3.11) «Магадан» не является многотопочным парсером: одна запущенная копия производит сбор ключевых слов в главном окне в один поток, независимо от того, сколько прокси и аккаунтов Вордстата пользователь добавил в интерфейс программы. Указанное ограничение можно обойти, запуская одну и ту же физическую копию программы несколько раз подряд. Поддерживаемые «Магаданом» параметры командной строки помогут автоматизировать запуск нескольких копий. Упомянутая выше статья содержит подробные инструкции по настройке пакетного запуска нескольких копий «Магадана».

См. также