Сергей Маслов
Старший корпоративный архитектор, Х5 Tech
ул. Средняя Калитниковская, д. 28, стр. 4
Волгоградский проспект
Hard
- Architecture
- DataBase
- Platform
«Велосипед» для сбора логов, или Как обработать 15 000 000 сообщений в секунду
Расскажу, как с нуля создали собственный инструмент для сбора логов в режиме реального времени. В дальнейшем он стал ключевым для нашей системы сбора и обработки данных, позволяющей обрабатывать до 15 млн уникальных сообщений в секунду и до 150 млрд в день.
Наша система построена на стеке Golang+Kafka+ClickHouse. Система универсальна и позволяет качественно сопровождать ключевые ИТ-сервисы X5 — от анализа событий кассовых операций до сбора логов защитного периметра WAF + NGFW.
Рассмотрим основные технологические и архитектурные решения, которые вам придется принять при создании приложения подобного класса. Прогуляемся по граблям и проблемами, с которыми мы столкнулись. Разберем и протестируем в бою стандартные инструменты для сбора логов. Дам базовые рекомендации для проектирования подобных систем.
Спикеры
Похожие доклады
Владимир Дроздецкий
Магнит OMNI
Hard- Architecture
- Devops
- Platform
Валерий Крюковской
Orion soft
Hard- Devops
- Architecture
- Open Source
Михаил Соловьев
Т-Банк
Hard- Architecture
- Hardware
Андрей Носов
Raft
Hard- AI
- Architecture
- Backend
- Platform
Владислав Назаров
Яндекс
Hard- AI
- Backend
- Architecture
Филипп Дельгядо
lekton.io
Hard- Architecture
- Engineering research
Николай Хитров
Точка
Hard- Engineering research
- Platform
Дмитрий Иванов
Яндекс
Hard- AI
- Open Source
- Platform
Марк Кузнецов
Альфа-Банк
Hard- AI
- Devops
- Platform
Александр Хвастунов
Яндекс Маркет
Hard- SRE
- Devops
- Platform
Владимир Дроздецкий
Магнит OMNI
Hard- Architecture
- Devops
- Platform
Андрей Кулешов
Яндекс
Hard- Open Source
- Devops
- Security
- Platform
Андрей Кузнецов
AIRI
Hard- AI
- Engineering research
- Platform
- Hard
- AI
- Platform
- Open Source
Михаил Малышев
Независимый эксперт
Hard- AI
- Security
- Platform
Андрей Носов
Raft
Hard- AI
- Architecture
- Backend
- Platform
Павел Капля
Яндекс
Hard- AI
- Backend
- Platform
