DataPipe
DataPipe как cервис Backend
DataPipe-сервис - высокопроизводительный обработчик данных, написанный на Golang. Отвечает за получение данных из топиков с паттерном example.com/+/pepeunit, с последующей их фильтрацией для сохранения в ClickHouse и PostgreSQL.
DataPipe как парадигма обработки данных
DataPipe состоит из инструкции по обработке данных в формате YML и предназначен для производительного накопления данных из топиков UnitNode.
У Pepeunit используется глубокая интеграция с Grafana для визуализации данных из DataPipe.