«Сверлим» данные. Снижаем расходы на кофе.
Luxms Data Boring помогает инженерам данных, аналитикам готовить данные для эффективной скоростной визуализации в Luxms BI, когда витрины DWH не удобны:
- сбор данных из источников;
- подготовка слоя горячих данных;
- фильтрация и группировка;
- агрегирование и расчёты;
- загрузка данных в BI;
- автоматизация регулярных задач.
Каскадная подготовка витрин данных.
Используемые технологии:
Горячий слой: ClickHouse
Тёплый слой: Greenplum/Arenadata DB
BI: Luxms BI
Визуальный интерфейс: Node-Red
Высокооптимизированные компоненты на Java для работы с Luxms BI, PostgreSQL,
Kafka, ClickHouse, Greenplum/Arenadata DB
Секунды против часов для ваших дэшбордов.
Примеры использования Luxms Data Boring:
- Хранилище медленное, пользователей много, не хватает ресурсов выполнять сложную обработку данных
- Нет желания нагружать хранилище запросами из BI
Принципы Luxms Data Boring:
- Загрузка данных для визуализации в горячий слой
- Использование простых запросов в хранилище
- Перенос сложной обработки данных из хранилища в горячий слой
- Подключение BI не к хранилищу, а к горячему слою
- Оптимизация запросов под небольшие задачи
Схема работы.
Результат апробации на реальных данных.
