Penguin – это бесплатная программа, служащая для обработки текстовых файлов больших размеров (до терабайта). Под обработкой подразумевается возможность осуществления выборок по ряду условий, фильтрация этих выборок от любого мусора, сортировка, перемешивание, удаление явных и неявных дублей строк, поиск дубликатов строк, осуществление поиска, замены и т.п.
Penguin позволяет свободно открывать текстовые файлы любых размеров и просматривать их содержимое, что позволяет удобно и быстро настраивать параметры фильтров для качественной очистки содержимого файлов или выборок от всех нежелательных элементов.
Программа состоит всего из одной формы, скриншот которой Вы можете увидеть ниже. Все элементы имеют всплывающие подсказки, особо важные элементы формы имеют подробное описание их возможностей. Назначение каждой кнопки Вы увидите, просто наведя на них указатель мыши. Интерфейс прост и интуитивно понятен, так что думаю проблем с Пингвином у Вас не должно возникнуть.
Вы должны быть зарегистрированы, чтобы видеть ссылки.
You must be registered for see medias
Какие задачи может решать Penguin:
- Открывать и просматривать контент больших текстовых файлов (1-2000Gb).
- Производить выборки по ряду условий из текстовых файлов любых размеров со скоростью порядка 1 гигабайта в минуту.
- Производить фильтрацию строк или кейвордов по включениям. Т.е. задав в качестве включения слово "Скачать" Вы получите все строки, которые содержат данное слово. Возможно задавать несколько включений одновременно, можно использовать регулярные выражения.
- Производить фильтрацию строк или кейвордов по исключениям. Т.е. задав в качестве включения слово "Бесплатно" Вы получите все строки, которые не содержат данное слово. Возможно задавать несколько включений одновременно, можно использовать регулярные выражения.
- Производить фильтрацию фильтрации строк или кейвордов по дублям слов (в расширенной версии).
- Фильтровать строки по длине.
- Фильтровать строки по количество слов.
- Удалять явные дубли.
- Удалять неявные дубли (в расширенной версии).
- Находить дубли. Актуально, если нужно найти пересечения в нескольких списках любых строк или кейвордов (в расширенной версии).
- Производить поиск нужных элементов каждой строки с помощью регулярных выражений. Например можно с легкостью из списка с данными клиентов извлечь список телефонов, задав 1 условие.
- Производить поиск-замену, как с регулярными выражениями, так и без, в текстовых файлах неограниченных размеров.
- Производить обработку одновременно нескольких файлов.
- Производить выборку по разным включениям, сохраняя результаты в разные файлы, получая отдельные выборки по каждому условию за 1 проход (в расширенной версии).
- Сохранять все настройки для повторного выполнения однотипных обработок.
- Благодаря визуализации контента позволяет удобно и быстро настраивать фильтры посредством сочетаний клавиш и контекстного меню. Например выделив слово в открытом файле и нажав Ctrl+W слово будет добавлено во включения, Ctrl+Q – в исключения. Все сочетания клавиш дублируют возможности контекстного меню, которое можно вызвать, кликнув на выделении правой кнопкой мыши.
бесплатная программа, служащая для обработки текстовых файлов больших размеров (до терабайта). Под обработкой подразумевается возможность осуществления выборок по ряду условий, фильтрация этих выборок от любого мусора, сортировка, перемешивание, удаление явных и неявных дублей строк, поиск дубликатов строк, осуществление поиска, замены и т.п.
Penguin позволяет свободно открывать текстовые файлы любых размеров и просматривать их содержимое, что позволяет удобно и быстро настраивать параметры фильтров для качественной очистки содержимого файлов или выборок от всех нежелательных элементов.
Области применения Penguin:
Основной, но далеко не единственной, областью применения Penguin является подбор ключевых слов из баз, хранящихся в больших текстовых файлах , подобных Базе Пастухова, которые можно найти в свободном доступе в сети.
Так же он будет полезен, если возникает необходимость извлечь нужные данные из любого списка или файла, или очистить его от ненужных элементов.
Вполне возможно применение Penguin для очистки отпарсенного контента от дублей и любого мусора, что бывает необходимо при подготовке текстов под доргены.
Основной особенностью Penguin является возможность свободно открывать большие текстовые файлы, которые не может открыть ни один текстовый редактор. Это особенно актуально при работе с базами ключевых слов больших размеров, так как Вы можете визуально оценивать, как качество исходной базы, так и качество конечных выборок, что позволяет делать исключительно чистые выборки.
Penguin абсолютно бесплатен и может использоваться без каких либо ограничений. В дополнение он имеет расширенную верию, которая имеет дополнительный функционал, который будет расширяться с новыми обновлениями. Так же Вы можете заказывать совершенно бесплатно любые дополнения функционала под себя. Стоимость расширенной версии составляет всего 10$. При покупке расширенной версии Вы так же получаете дополнительные бонусы, на момент публикации поста – это скидка в 50% на покупку X-Parser Light .
Интерфейс программы Penguin 3.0:
Программа состоит всего из одной формы, скриншот которой Вы можете увидеть ниже. Все элементы имеют всплывающие подсказки, особо важные элементы формы имеют подробное описание их возможностей. Назначение каждой кнопки Вы увидите, просто наведя на них указатель мыши. Интерфейс прост и интуитивно понятен, так что думаю проблем с Пингвином у Вас не должно возникнуть.
Краткий видеообзор:
Какие задачи может решать Penguin:
Ссылки:
- Открывать и просматривать контент больших текстовых файлов (1-2000Gb).
- Производить выборки по ряду условий из текстовых файлов любых размеров со скоростью порядка 1 гигабайта в минуту.
- Производить фильтрацию строк или кейвордов по включениям. Т.е. задав в качестве включения слово "Скачать" Вы получите все строки, которые содержат данное слово. Возможно задавать несколько включений одновременно, можно использовать регулярные выражения.
- Производить фильтрацию строк или кейвордов по исключениям. Т.е. задав в качестве включения слово "Бесплатно" Вы получите все строки, которые не содержат данное слово. Возможно задавать несколько включений одновременно, можно использовать регулярные выражения.
- Производить фильтрацию фильтрации строк или кейвордов по дублям слов (в расширенной версии).
- Фильтровать строки по длине.
- Фильтровать строки по количество слов.
- Удалять явные дубли.
- Удалять неявные дубли (в расширенной версии).
- Находить дубли. Актуально, если нужно найти пересечения в нескольких списках любых строк или кейвордов (в расширенной версии).
- Производить поиск нужных элементов каждой строки с помощью регулярных выражений. Например можно с легкостью из списка с данными клиентов извлечь список телефонов, задав 1 условие.
- Производить поиск-замену, как с регулярными выражениями, так и без, в текстовых файлах неограниченных размеров.
- Производить обработку одновременно нескольких файлов.
- Производить выборку по разным включениям, сохраняя результаты в разные файлы, получая отдельные выборки по каждому условию за 1 проход (в расширенной версии).
- Сохранять все настройки для повторного выполнения однотипных обработок.
- Благодаря визуализации контента позволяет удобно и быстро настраивать фильтры посредством сочетаний клавиш и контекстного меню. Например выделив слово в открытом файле и нажав Ctrl+W слово будет добавлено во включения, Ctrl+Q – в исключения. Все сочетания клавиш дублируют возможности контекстного меню, которое можно вызвать, кликнув на выделении правой кнопкой мыши.
Люди, активно использующие компьютером, со временем собирают кучу контактов друзей, с которыми можно пообщаться, не отходя от компьютера, используя программы для отправки мгновенных тестовых сообщений. Обычно в качестве бонуса, идет возможность передачи файлов и еще куча других плюшек делающих жизнь веселей. Единственное плохо все они используют разные клиенты, которые зачастую используют несовместимые протоколы обмена данным, для чего приходиться запускать несколько программ, чтоб быть на связи. Чтоб не держать зоопарк однотипных программ на компьютере, лучше воспользоваться программами для мгновенного обмена сообщениями от сторонних разработчиков, которые весьма универсальны и поддерживают все самые актуальные протоколы. Именно к этому типу приложений относиться бесплатная программа .
После запуска установки программы, предлагают выбрать, на каком языке будет проходить весь процесс, где на удивление нашлось место и русскому, который и рекомендую выбрать. Дальше нужно выбрать компоненты приложения, какие нужно установить, это выглядит как куча пунктов с подменю на которых можно ставить/убирать галочки. Все можно оставить по умолчанию, только желательно выбрать проверку орфографии языков которыми активно пользуетесь. Наконец, финальным аккордом становится выбор папки, в которую будет установлен Pidgin. Ждем несколько минут и все готово, чтоб всегда быть на связи с друзьями, раскиданными по всему миру.
Да, чуть не забыл, при инсталляции Pidgin, компьютер должен быть подключен к интернету, часть необходимым компонентов для работы программы загружаться из сети иначе просто не заработает. Это плата, за поддержку непохожих между собой операционных систем.
Как вариант можно использовать портативную версию Pidgin, которая не будет привязанной к определенному компьютеру, запускаясь с флешки не оставляя записей в реестре и не раскидывая лишних файлов в системных папках. Хотя здесь есть нюансы, предлагают не самую последнюю версию программы, придется помучатся пока добавите нужные плагины и перевод на русский язык далек от идеального, встречается много английских слов.
Главное преимущество Pidgin это модульность, которая позволяет бесконечно улучшать программу, добавляя поддержку новых протоколов, делать более удобную работу с контактами, работать с архивами сообщений, переделывать интефейс или убирать ненужные функции. Людям, которые использую операционные системы Windows, Mac OS X и один из клонов Linux понравиться кроссплатформенность мессенджера (уж извиняйте за такую заумную фразу) где они смогут использовать одну программу с похожими настройками на всех компьютерах.
Для начала придется вбить все свои аккаунты, через которые общаетесь с друзьями, знакомыми, обычно это окошко выскакивает после первого запуска, ну а кто его пропустил, оправляется в «Уч. записи->Управление учетными записями» и старательно там все заполняем. Поддерживаются из коробки AIM, Bonjour, Google Talk, ICQ, IRC, MSN, Jabbe и еще несколько мало известных у нас в стране. После первого подключения у вас погрузятся все списки контактов и можно общаться, отправляя мгновенные тестовые сообщения, файлы и смайлики, что стало стандартом на сегодняшний день.
Если вы пользовались до этого, хоть каким-то мессенджером, особо ни в чем разбираться не продеться, все будет выглядеть до боли знакомым, выбираем контакт, набираем сообщения и отправляет. Особая гордость здесь возможность объединить несколько контактов в один со всеми чатами, поддержка активного окна разговора при свернутой программе, использование вкладок в окне разговоров для общения с несколькими, людьми не создавая кучи отдельных окон.
Теперь переедем к главному секретному оружию Pidgin, это модули (так здесь зашифровали привычные для нас плагины) которые выложены на официальном сайте программы. Все модули рассортированы по группам и имеют краткое описание, что именно брать себе в коллекцию посоветовать не могу, выбираем по своему усмотрению. Устанавливаются, как обычные программы, где надо пару раз нажать «Далее», только на автомате выбирается папка, куда инсталлирован Pidgin. Для включения/выключения отдельных модулей нужно в главном окне отправляемся в «Средства->Модули».
В настойках есть все необходимое для людей ведущих активную социальную сетевую жизнь, где можно выбрать типы смайликов, звуки, как выглядят беседы, в каком формате вести логии разговоров, что делать при бездействии, и немного подправить внешний вид интерфейса.
Верхом интуитивности и понятности Pidgin нельзя назвать, вначале придеться потратить время, настраивая программу под себя, собирая набор подходящих расширений. Как оказалось это оказалось совсем непросто, как таковое понятие помощи отсутствует, объясняют, только базовые вещи, все остальное ищем по форумам или разбираемся методом тыка, экспериментируя, устанавливая и крутя все подряд.
Для простых пользователей не рекомендую пользоваться этим мессенжером, вы просто не заставите его нормально работать, будете иметь на руках работающий полуфабрикат, который требует доработки напильником. Выглядит все так, будто программу делали программисты для программистов.
Из больших ляпов бросилось в глаза, непонятный подход к локализации, вроде она есть, но как вручную переключить на нужный язык непонятно, если не идти по пути настоящего самурая и танцев с бубном. Чтоб сделать большинство самых простых вещей по настройке, придется проявлять изворотливость и смекалку.
Хочу предупредить это мнение пользователя сидящего на операционной системе Windows, в других может быть все дружелюбнее.
Прекрасно работает в 32-х и 64-х битных операционных системах. Интерфейс программы на несколько десятков языков, правда так и не удалось понять, как их переключаться между ними.
Penguin - это многофункциональная программа, которая может использоваться для подбора ключевых слов для сайта из текстовых файлов любых размеров, для быстрой кластеризации поисковых запросов, а так же, как текстовый редактор для больших файлов, которые не возможно обработать другими программами.
Penguin Premium нужен Вам, если:
Вы хотите быстро и без усилий составлять семантическое ядро для Ваших сайтов, дорвеев или интернет магазинов.
Вы имеете базу ключевых слов размером в 10-100 гигабайт, скаченную с торрента, и не знаете чем ее отрыть и обработать.
Вы произвели подбор ключевых слов с помощью какого-либо софта, но не имеете инструмента для очистки полученного списка от мусора.
Вы имеете огромный список нерассортированных поисковых запросов и хотите быстро их сгруппировать, но не имеете инструмента для этого.
Вы работаете с текстовыми файлами больших размеров и нуждаетесь в эффективном редакторе больших текстовых файлов. Основные функции:
Это в первую очередь редактор больших текстовых файлов , который в отличии от других программ, позволяет обрабатывать файлы неограниченных размеров. С его помощью открытие больших файлов, даже размером в сотни гигабайт становится молниеносным. Для обработки данных, хранящихся в таких файлах, Вам будет доступен широкий спектр инструментов: это и фильтрация строк по включениям и исключения, поиск строк с использованием регулярных выражений, поиск по нескольким словам, фильтрация по списку стоп-слов, поиск и замена фрагментов текста по списку условий, поиск и удаление дублей, сортировка, перемешивание и многое другое. Не зависимо от того какие данные Вы обрабатываете: ключевые слова, списки ссылок или любых других данных - Penguin будет для Вас незаменимым инструментом, так как он дает Вам все, что нужно для обработки таких списков.
Во вторую очередь, - это программа для работы с ключевыми словами . Если Вы имеете большую базу ключевых слов, например базу Пастухова, которую достаточно легко скачать на торрентах, то Вам безусловно будет нужна программа для быстрого подбора ключевых слов из такой базы, и с этой задачей наилучшим образом справится именно Penguin. Он позволит Вам быстро осуществить поиск запросов по заданным словам, и подобрать нужные поисковые запросы для Вашего сайта. С учетом того, что пингвин - это лучшая программа для работы с большими текстовыми файлами, то вероятнее всего если Ваша база ключевых слов имеет размер 10 Гб и более, то пингвин будет единственной программой, которая справится с такими объемами.
В третьих, - это программа для обработки с ключевых слов . Если Вы работаете с ключевыми словами то очистка ключевых слов от мусора и дублей для Вас крайне актуальна. Как правило основная масса приложений для подбора ключевых слов не дают достаточно возможностей для качественной очистки ключевых слов. Пингвин же предоставляет Вам все необходимое: c помощью фильтров по включениям и исключениям и возможности использовать в них регулярные выражения Вы с легкостью сможете отфильтровать ключевые слова, которые содержат нежелательные примеси. Если Вам нужно удалить эти примеси не удаляя сам ключевик, то групповой поиск и замена решат этот вопрос. Так же Penguin отлично подходит для очистки ключевых слов от дублей, при чем он имеет функционал для удаления неявных дублей, в том числе с учетом морфологи.
Ну и в четвертых, - это программа для группировки и кластеризации поисковых запросов . Если перед Вами стоит задача по созданию семантического ядра для сайта или интернет-магазина, то кластеризация поисковых запросов средствами Penguin Вам очень сильно поможет. Penguin работает в десятки раз быстрее конкурентов и позволяет кластеризировать миллионы строк за считанные минуты. В отличии онлайн сервисов для кластеризации поисковых запросов, Penguin позволяет Вам делать каждую группировку абсолютно бесплатно, что позволит Вам ощутимо сэкономить. Для достижения наилучших результатов кластеризации Penguin позволяет распределять группируемые фразы на выбор в пользу высокочастотных или низкочастотных запросов. Оценить преимущество такого метода лучше на примере демоверсии . Для анализа полученных групп Вам будут доступны множество инструментов, такие как: фильтрация, сортировка, группировка кластеров и многое другое.
Преимущества Penguin перед конкурентами:
Программа очень быстро позволит Вам подобрать ключевые запросы и составить семантическое ядро для Ваших сайтов Penguin способен обрабатывать файлы размером в десятки и даже в сотни гигабайт и может быть использован как редактор больших текстовых файлов Это единственная программа способная осуществить кластеризацию пары миллионов поисковых запросов за считанные минуты Интерфейс приложения:
Видеообзоры:
Отличия версий и функционал:
Standard Edition Premium Edition Подбор поисковых запросов или любых других данных из текстовых файлов любых размеров по точным условиями или регулярным выражениям Удаление явных, неявных, морфологических дублей, а так же вхождений строк друг в друга и поиск дублей
Фильтрация по включениям и исключениям, как по точным условиям, так и по регулярным выражениям Сортировка по длине, в алфавитном порядке или перемешивание Групповой поиск и удаление или замена значений, как по точным условиям, так и по регулярным выражениям Разделение файлов по длине, кол-ву строк или кол-ву файлов, и объединение файлов Кластеризация поисковых запросов с распределением результатов в пользу ВЧ или НЧ словосочетаний и с учетом морфологии
