Diggernaut Overview

Diggernaut – это платформа, позволяющая создавать и запускать специальные программы (парсеры). С помощью парсеров вы сможете собирать данные с различных источников, преобразовывать их в нужные структуры для дальнейшей выгрузки в ручном или автоматическом режиме. Платформа предоставляет гибкий инструментарий и отличную документацию для самостоятельной разработки. Если у вас нет на это времени, то к вашим услугам команда разработчиков, которая проделает всю необходимую работу и предоставит вам готовые парсеры и/или данные.

В последние годы в интернете все больше и больше появляются всевозможные ресурсы содержащие данные, которые могут представлять интерес лично для вас и вашего бизнеса. Это сайты поставщиков, государственные услуги и порталы, базы недвижимости, порталы сотрудников той или иной сферы, социальные сети с профилями потенциальных покупателей, рестораны и кафе, базы юридической информации и многое, многое другое. Далеко не каждый источник информации позволяет выводить свои данные в виде удобных форматов и структур. А что если вам требуется получать, к примеру, каждую неделю обновленный каталог поставщика запчастей для вашего магазина, а поставщик в нужном формате данные вам не предоставляет или они приходят раз в месяц, в то время как у самого поставщика на сайте обновляются каждый день. Или вам необходим оперативный контроль за новыми заказами на портале госзакупок, и вы хотите получать нужные данные сразу же, как только они появятся, без вашего личного, постоянного участия в мониторинге. Или вам нужен ответ на постоянный и насущный для многих владельцев малого и среднего бизнеса вопрос – "а что там с ценами у конкурентов?". Во всех этих и многих других случаях на помощь приходит платформа Diggernaut.

Кому еще может пригодится Diggernaut

Малому, среднему и крупному бизнесу для решения задач ETL (Extract, Transform, Load).

С помощью Diggernaut можно собирать:

• Цены и другую информацию о товарах, отзывы, рейтинги с сайтов ритейлеров;
• Данные о различных событиях по всему миру;
• Новости и заголовки с сайтов различных новостных агентств и агрегаторов;
• Открытые данные из государственных и муниципальных источников. Полицейские сводки, документы по судопроизводству, росреестр, госзакупки и другие;
• Данные о лицензиях и разрешениях, выданные государственными структурами;
• Мнения людей и их комментарии по определенной проблематике на форумах и в соцсетях;
• Информацию по недвижимости;
• Профильную информацию для помощи отделам HR;
• Информацию по юридическим лицам и контактные данные;
• Биржевые сводки;
• Букмекерские ставки практически в реальном времени;
• Данные по конкурентам на платформах Amazon, Ebay, Aliexpress, Avito, OLX и им подобных с последующей аналитикой;
• Любая иная задача, где требуется автоматизированных сбор и предоставление данных из интернета.

Общие функции Diggernaut

• Создание парсеров

Самостоятельное создание парсеров с помощью мощного и гибкого мета-языка, позволяющего решать практически любые задачи по сбору данных.

• Заказ парсеров

В любой момент вы можете заказать создание парсера у разработчиков заполнив специальную форму и не тратя свое время на изучение функционала платформы.

• Запуск парсеров

Вы можете запускать парсеры самостоятельно или воспользоваться встроенным планировщиком для запуска по расписанию.

• Отладка

Платформа предоставляет возможность для отладки парсеров в процессе их создания без расхода ресурсов.

• Выгрузка данных

Результатом работы каждого парсера являются данные, собранные и представленные в виде определенной структуры. Данные могут быть выгружены вручную, в форматах типа: Excel, CSV, Json, XML, Text и других. Или автоматически, с помощью REST API платформы, а также с помощью специального сервиса экспорта IO, позволяющего выгружать данные сразу по завершению работы парсера в такие источники как: feed link, webhook, google spreadsheet, email, платформу shopify, restdb.io или любую иную, которая вам будет необходима.

• Интеграция с вашим сервисом/веб сайтом

Платформа Diggernaut может быть интегрирована с любым сервисом или сайтом с помощью специальных микро-сервисов, производство которых не занимает много времени и доступно по запросу.

• Обход защиты

Платформа обладает гибкими возможностями по обходу различных защит от автоматизированного сбора данных.

• Контроль за данными

Полученные данные можно контролировать как в процессе сбора, так и в процессе выгрузки. Это позволяет изменять данные, а также не допускать попадания некачественных данных на ваши ресурсы.

• Унификация выгрузки данных

Если данные собираются с разных источников и представляют собой разнородную массу, можно легко объединить их в одну универсальную структуру, пригодную для загрузки системами импорта.

• Динамически изменяемые параметры парсинга

Если вы хотите дистанцироваться от изменения конфигурации парсера каждый раз, когда требуется переопределить источник данных, вы можете настроить работу парсера с внешними источниками. В этом случае вы сможете удобно для вас менять ссылки на источники данных, а парсер будет подхватывать их автоматически.

• Контроль за изменением данных

Платформа предоставляет возможность контролировать изменение данных на источнике. Это позволяет забирать каждый раз только те данные, которые были изменены, или только новые данные, игнорируя старые.

• Загрузка изображений

В процессе работы бывает требуется получить не только текстовые данные, но и различные изображения. Вы сможете выгрузить подобные данные на сторонние ресурсы типа S3, FTP или получить их в виде base64, пригодном для импорта в базы данных.

• Интерфейс для аналитики данных

3 варианта формы подписки: встроенная форма, всплывающий блок или верхняя панель. Возможность выбрать то, что наиболее оптимально подходит под решаемые задачи.

• Кластер

Если ваши задачи требуют обработки очень больших объемов информации, то специально для этих случаев будет подготовлен масштабируемый кластер на базе отдельных серверов и программного обеспечения, ресурсы которого будут принадлежать только вам.

• Поддержка

Сотрудники Diggernaut всегда готовы прийти к вам на помощь и ответить на ваши вопросы через службу поддержки или посредством онлайн чата, доступного на сайтах платформы.

Цены Diggernaut

Тариф выбираются в зависимости от общего количества запросов поступающих на источники данных, от всех парсеров в месяц.

Любой тарифный план, за исключением Бесплатного включает в себя все возможности платформы. Бесплатный план имеет небольшие ограничения по функционалу, в основном это касается системы распознавания и автоматического вывода данных.

• Базовые

Бесплатный – 5.000 запросов в месяц

X-Small – 50.000 запросов, $9,99 в месяц

Small - 200.000 запросов, $29,99 в месяц

Medium - 600.000 запросов, $59,99 в месяц

• Профессиональные

Large – 3.000.000 запросов, $199,99 в месяц

X-Large – 10.000.000 запросов, $499,99 в месяц

XX-Large – 30.000.000 запросов, $999,99 в месяц

Платформа также предлагает услугу "Полностью управляемое решение", при котором вам не нужно заботится о количестве запросов, следить за функциональностью парсеров, и контролировать данные. Все работы осуществляются силами сотрудников Diggernaut, вам лишь будут предоставляться финальные данные, в нужном для вас виде.

Diggernaut Support

Diggernaut – это платформа, позволяющая создавать и запускать специальные программы (парсеры). С помощью парсеров вы сможете собирать данные с различных источников, преобразовывать их в нужные структуры для дальнейшей выгрузки в ручном или автоматическом режиме. Платформа предоставляет гибкий инструментарий и отличную документацию для самостоятельной разработки. Если у вас нет на это времени, то к вашим услугам команда разработчиков, которая проделает всю необходимую работу и предоставит вам готовые парсеры и/или данные.

В последние годы в интернете все больше и больше появляются всевозможные ресурсы содержащие данные, которые могут представлять интерес лично для вас и вашего бизнеса. Это сайты поставщиков, государственные услуги и порталы, базы недвижимости, порталы сотрудников той или иной сферы, социальные сети с профилями потенциальных покупателей, рестораны и кафе, базы юридической информации и многое, многое другое. Далеко не каждый источник информации позволяет выводить свои данные в виде удобных форматов и структур. А что если вам требуется получать, к примеру, каждую неделю обновленный каталог поставщика запчастей для вашего магазина, а поставщик в нужном формате данные вам не предоставляет или они приходят раз в месяц, в то время как у самого поставщика на сайте обновляются каждый день. Или вам необходим оперативный контроль за новыми заказами на портале госзакупок, и вы хотите получать нужные данные сразу же, как только они появятся, без вашего личного, постоянного участия в мониторинге. Или вам нужен ответ на постоянный и насущный для многих владельцев малого и среднего бизнеса вопрос – "а что там с ценами у конкурентов?". Во всех этих и многих других случаях на помощь приходит платформа Diggernaut.

Кому еще может пригодится Diggernaut

Малому, среднему и крупному бизнесу для решения задач ETL (Extract, Transform, Load).

С помощью Diggernaut можно собирать:

Цены и другую информацию о товарах, отзывы, рейтинги с сайтов ритейлеров;

Данные о различных событиях по всему миру;

Новости и заголовки с сайтов различных новостных агентств и агрегаторов;

Открытые данные из государственных и муниципальных источников. Полицейские сводки, документы по судопроизводству, росреестр, госзакупки и другие;

Данные о лицензиях и разрешениях, выданные государственными структурами;

Мнения людей и их комментарии по определенной проблематике на форумах и в соцсетях;

Информацию по недвижимости;

Профильную информацию для помощи отделам HR;

Информацию по юридическим лицам и контактные данные;

Биржевые сводки;

Букмекерские ставки практически в реальном времени;

Данные по конкурентам на платформах Amazon, Ebay, Aliexpress, Avito, OLX и им подобных с последующей аналитикой;

Любая иная задача, где требуется автоматизированных сбор и предоставление данных из интернета.

Общие функции Diggernaut

Создание парсеров

Самостоятельное создание парсеров с помощью мощного и гибкого мета-языка, позволяющего решать практически любые задачи по сбору данных.

Заказ парсеров

В любой момент вы можете заказать создание парсера у разработчиков заполнив специальную форму и не тратя свое время на изучение функционала платформы.

Запуск парсеров

Вы можете запускать парсеры самостоятельно или воспользоваться встроенным планировщиком для запуска по расписанию.

Отладка

Платформа предоставляет возможность для отладки парсеров в процессе их создания без расхода ресурсов.

Выгрузка данных

Результатом работы каждого парсера являются данные, собранные и представленные в виде определенной структуры. Данные могут быть выгружены вручную, в форматах типа: Excel, CSV, Json, XML, Text и других. Или автоматически, с помощью REST API платформы, а также с помощью специального сервиса экспорта IO, позволяющего выгружать данные сразу по завершению работы парсера в такие источники как: feed link, webhook, google spreadsheet, email, платформу shopify, restdb.io или любую иную, которая вам будет необходима.

Интеграция с вашим сервисом/веб сайтом

Платформа Diggernaut может быть интегрирована с любым сервисом или сайтом с помощью специальных микро-сервисов, производство которых не занимает много времени и доступно по запросу.

Обход защиты

Платформа обладает гибкими возможностями по обходу различных защит от автоматизированного сбора данных.

Контроль за данными

Полученные данные можно контролировать как в процессе сбора, так и в процессе выгрузки. Это позволяет изменять данные, а также не допускать попадания некачественных данных на ваши ресурсы.

Унификация выгрузки данных

Если данные собираются с разных источников и представляют собой разнородную массу, можно легко объединить их в одну универсальную структуру, пригодную для загрузки системами импорта.

Динамически изменяемые параметры парсинга

Если вы хотите дистанцироваться от изменения конфигурации парсера каждый раз, когда требуется переопределить источник данных, вы можете настроить работу парсера с внешними источниками. В этом случае вы сможете удобно для вас менять ссылки на источники данных, а парсер будет подхватывать их автоматически.

Контроль за изменением данных

Платформа предоставляет возможность контролировать изменение данных на источнике. Это позволяет забирать каждый раз только те данные, которые были изменены, или только новые данные, игнорируя старые.

Загрузка изображений

В процессе работы бывает требуется получить не только текстовые данные, но и различные изображения. Вы сможете выгрузить подобные данные на сторонние ресурсы типа S3, FTP или получить их в виде base64, пригодном для импорта в базы данных.

Интерфейс для аналитики данных

3 варианта формы подписки: встроенная форма, всплывающий блок или верхняя панель. Возможность выбрать то, что наиболее оптимально подходит под решаемые задачи.

Кластер

Если ваши задачи требуют обработки очень больших объемов информации, то специально для этих случаев будет подготовлен масштабируемый кластер на базе отдельных серверов и программного обеспечения, ресурсы которого будут принадлежать только вам.

Поддержка

Сотрудники Diggernaut всегда готовы прийти к вам на помощь и ответить на ваши вопросы через службу поддержки или посредством онлайн чата, доступного на сайтах платформы.

Цены Diggernaut

Тариф выбираются в зависимости от общего количества запросов поступающих на источники данных, от всех парсеров в месяц.

Любой тарифный план, за исключением Бесплатного включает в себя все возможности платформы. Бесплатный план имеет небольшие ограничения по функционалу, в основном это касается системы распознавания и автоматического вывода данных.

Базовые

Бесплатный – 5.000 запросов в месяц

X-Small – 50.000 запросов, $9,99 в месяц

Small - 200.000 запросов, $29,99 в месяц

Medium - 600.000 запросов, $59,99 в месяц

Профессиональные

Large – 3.000.000 запросов, $199,99 в месяц

X-Large – 10.000.000 запросов, $499,99 в месяц

XX-Large – 30.000.000 запросов, $999,99 в месяц

Платформа также предлагает услугу "Полностью управляемое решение", при котором вам не нужно заботится о количестве запросов, следить за функциональностью парсеров, и контролировать данные. Все работы осуществляются силами сотрудников Diggernaut, вам лишь будут предоставляться финальные данные, в нужном для вас виде.