X-Parser Light – универсальный парсер контента(текстов) для дорвеев и СДЛ
X-Parser Light – это универсальное средство для сбора тематического контента по спискам ключевых слов в любых объемах и для любых задач. Он отлично подходит для работы с генераторами дорвеев, а также автопостерами в различные CMS. Кроме того, продукт может быть использован для сбора исходников под рерайты или материалов для наполнения СДЛ.
При тестировании парсер показывает скорость до 1 мегабайта в минуту, что эквивалентно 1.5 гигабайта в сутки. Собираемый контент отлично подходит для наполнения дорвеев. Если нужно наполнять сайты, требующие более чистого и качественного контента, например СДЛ, можно рассчитывать на 80-90% абсолютно чистых статей. Для фильтрации и обработки контента предусмотрен встроенный менеджер обработки контента.
X-Parser работает многопоточно. Количество потоков задаете Вы сами. Имеет удобный интуитивно понятный интерфейс и при этом очень гибок в настройке. Все настройки могут сохраняться, как отдельно так и все вместе для максимального удобства работы.
Возможности X-Parser Light:
Спойлер
Автоматическое распознавание тела статьи на любой странице любого сайта (если таковая там имеется))).
Удобный редактор для ручной проверки отпарсенного контента при помощи менеджера обработки контента.
Возможность парсить контент без разметки (под генераторы дорвеев и т.п.)
Возможность парсить контент с формированием базовой разметки на базе исходной разметки донора (выделения, заголовки и т.п.).
Возможность на стадии сбора контента фильтровать как статьи, так и отдельные абзацы по собственным фильтрам.
Возможность проверки статей на наличие целевого кейворда в теле статьи.
Добавление любых поисковых систем для парсинга исходных ссылок.
Настройка всевозможных форматов вывода статей для дальнейшего экспорта контента в любые программы для автопостинга контента.
Возможность парсить контент на любых языках.
Автоматическое определение капчи поисковых систем. Т.е. не зависимо от того какую ПС вы добавите, парсер самостоятельно определит страницу с капчей и отправит ее на Antigate либо предложит ввести ее вручную, в зависимости от выбранных настроек.
Парсер постоянно обновляется, все обновления в рамках Light-версии бесплатны.
ВНИМАНИЕ!Продукт приобретается официально у автора по фиксированной (оптовой) цене со скидкой для складчиков! Вам будут доступны все официальные обновления от автора!
Стоимость лицензии - 1000 рублей (официальная цена ~2 860 руб.) ~ скидка 60 %
Взнос - фиксированный, с учетом интересов клуба ~1 130 руб.
! Не менее 15 чел. !
!!! БОНУС !!!
Участникам складчины - будет выдана бесплатно лицензия на Стандарт версию программы Penguin.
Penguin – это система обработки баз ключевых слов, служащая для обработки текстовых файлов больших размеров (до терабайта). Под обработкой подразумевается возможность осуществления выборок по ряду условий, фильтрация этих выборок от любого мусора, сортировка, перемешивание, удаление явных и неявных дублей строк, поиск дубликатов строк, осуществление поиска, замены и т.п.
Стоимость версии Стандарт составляет 600 руб. (для участников - 0 руб.).
Спойлер: Описание Penguin
Области применения Penguin:
Основной, но далеко не единственной, областью применения Penguin является подбор ключевых слов из текстовых баз (файлов), подобных Базе Пастухова, которые можно найти в свободном доступе в сети.
Так же он будет полезен, если возникает необходимость извлечь нужные данные из любого списка или файла, или очистить его от ненужных элементов.
Вполне возможно применение Penguin для очистки отпарсенного контента от дублей и любого мусора, что бывает необходимо при подготовке текстов под доргены.
Какие задачи может решать Penguin:
Открывать и просматривать контент больших текстовых файлов (1-2000Gb).
Производить выборки по ряду условий из текстовых файлов любых размеров со скоростью порядка 1 гигабайта в минуту.
Производить фильтрацию строк или кейвордов по включениям. Т.е. задав в качестве включения слово "Скачать" Вы получите все строки, которые содержат данное слово. Возможно задавать несколько включений одновременно, можно использовать регулярные выражения.
Производить фильтрацию строк или кейвордов по исключениям. Т.е. задав в качестве включения слово "Бесплатно" Вы получите все строки, которые не содержат данное слово. Возможно задавать несколько включений одновременно, можно использовать регулярные выражения.
Производить фильтрацию фильтрации строк или кейвордов по дублям слов (в версии Стандарт).
Фильтровать строки по длине.
Фильтровать строки по количество слов.
Удалять явные дубли.
Удалять неявные дубли (в версии Стандарт).
Находить дубли. Актуально, если нужно найти пересечения в нескольких списках любых строк или кейвордов (в версии Стандарт).
Производить поиск нужных элементов каждой строки с помощью регулярных выражений. Например можно с легкостью из списка с данными клиентов извлечь список телефонов, задав 1 условие.
Производить поиск-замену, как с регулярными выражениями, так и без, в текстовых файлах неограниченных размеров.
Производить обработку одновременно нескольких файлов.
Производить выборку по разным включениям, сохраняя результаты в разные файлы, получая отдельные выборки по каждому условию за 1 проход (в версии Стандарт).
Сохранять все настройки для повторного выполнения однотипных обработок.
Нажмите, чтобы раскрыть...
X-Parser Light – это универсальное средство для сбора тематического контента по спискам ключевых слов в любых объемах и для любых задач. Он отлично подходит для работы с генераторами дорвеев, а также автопостерами в различные CMS. Кроме того, продукт может быть использован для сбора исходников под рерайты или материалов для наполнения СДЛ.
При тестировании парсер показывает скорость до 1 мегабайта в минуту, что эквивалентно 1.5 гигабайта в сутки. Собираемый контент отлично подходит для наполнения дорвеев. Если нужно наполнять сайты, требующие более чистого и качественного контента, например СДЛ, можно рассчитывать на 80-90% абсолютно чистых статей. Для фильтрации и обработки контента предусмотрен встроенный менеджер обработки контента.
X-Parser работает многопоточно. Количество потоков задаете Вы сами. Имеет удобный интуитивно понятный интерфейс и при этом очень гибок в настройке. Все настройки могут сохраняться, как отдельно так и все вместе для максимального удобства работы.
Возможности X-Parser Light:
Спойлер
Автоматическое распознавание тела статьи на любой странице любого сайта (если таковая там имеется))).
Удобный редактор для ручной проверки отпарсенного контента при помощи менеджера обработки контента.
Возможность парсить контент без разметки (под генераторы дорвеев и т.п.)
Возможность парсить контент с формированием базовой разметки на базе исходной разметки донора (выделения, заголовки и т.п.).
Возможность на стадии сбора контента фильтровать как статьи, так и отдельные абзацы по собственным фильтрам.
Возможность проверки статей на наличие целевого кейворда в теле статьи.
Добавление любых поисковых систем для парсинга исходных ссылок.
Настройка всевозможных форматов вывода статей для дальнейшего экспорта контента в любые программы для автопостинга контента.
Возможность парсить контент на любых языках.
Автоматическое определение капчи поисковых систем. Т.е. не зависимо от того какую ПС вы добавите, парсер самостоятельно определит страницу с капчей и отправит ее на Antigate либо предложит ввести ее вручную, в зависимости от выбранных настроек.
Парсер постоянно обновляется, все обновления в рамках Light-версии бесплатны.
ВНИМАНИЕ!Продукт приобретается официально у автора по фиксированной (оптовой) цене со скидкой для складчиков! Вам будут доступны все официальные обновления от автора!
Стоимость лицензии - 1000 рублей (официальная цена ~2 860 руб.) ~ скидка 60 %
Взнос - фиксированный, с учетом интересов клуба ~1 130 руб.
! Не менее 15 чел. !
!!! БОНУС !!!
Участникам складчины - будет выдана бесплатно лицензия на Стандарт версию программы Penguin.
Penguin – это система обработки баз ключевых слов, служащая для обработки текстовых файлов больших размеров (до терабайта). Под обработкой подразумевается возможность осуществления выборок по ряду условий, фильтрация этих выборок от любого мусора, сортировка, перемешивание, удаление явных и неявных дублей строк, поиск дубликатов строк, осуществление поиска, замены и т.п.
Стоимость версии Стандарт составляет 600 руб. (для участников - 0 руб.).
Спойлер: Описание Penguin
Основной, но далеко не единственной, областью применения Penguin является подбор ключевых слов из текстовых баз (файлов), подобных Базе Пастухова, которые можно найти в свободном доступе в сети.
Так же он будет полезен, если возникает необходимость извлечь нужные данные из любого списка или файла, или очистить его от ненужных элементов.
Вполне возможно применение Penguin для очистки отпарсенного контента от дублей и любого мусора, что бывает необходимо при подготовке текстов под доргены.
Какие задачи может решать Penguin:
Открывать и просматривать контент больших текстовых файлов (1-2000Gb).
Производить выборки по ряду условий из текстовых файлов любых размеров со скоростью порядка 1 гигабайта в минуту.
Производить фильтрацию строк или кейвордов по включениям. Т.е. задав в качестве включения слово "Скачать" Вы получите все строки, которые содержат данное слово. Возможно задавать несколько включений одновременно, можно использовать регулярные выражения.
Производить фильтрацию строк или кейвордов по исключениям. Т.е. задав в качестве включения слово "Бесплатно" Вы получите все строки, которые не содержат данное слово. Возможно задавать несколько включений одновременно, можно использовать регулярные выражения.
Производить фильтрацию фильтрации строк или кейвордов по дублям слов (в версии Стандарт).
Фильтровать строки по длине.
Фильтровать строки по количество слов.
Удалять явные дубли.
Удалять неявные дубли (в версии Стандарт).
Находить дубли. Актуально, если нужно найти пересечения в нескольких списках любых строк или кейвордов (в версии Стандарт).
Производить поиск нужных элементов каждой строки с помощью регулярных выражений. Например можно с легкостью из списка с данными клиентов извлечь список телефонов, задав 1 условие.
Производить поиск-замену, как с регулярными выражениями, так и без, в текстовых файлах неограниченных размеров.
Производить обработку одновременно нескольких файлов.
Производить выборку по разным включениям, сохраняя результаты в разные файлы, получая отдельные выборки по каждому условию за 1 проход (в версии Стандарт).
Сохранять все настройки для повторного выполнения однотипных обработок.
Нажмите, чтобы раскрыть...