Kafka CDC – обработка данных в реальном времени.

митрий Румянцев, SRE-инженер в отделе «Центр Развития Архитектуры и Эксплуатации», ГК ОТР Доклад о переработке Legacy-приложения на микросервисы с потоковой обработкой данных, а также настройке стриминга данных в систему очередей Kafka. Cодержание: 00:00 Приветствие 01:17 Кратко о проекте о масштабах продукта 01:59 Сервис версии 1.0 02:31 Проблемы версии 1.0 04:21 Цели 06:10 DEBEZIUM 07:28 KAFKA KAFKA-connekt 09:32 Обработка данных: xstream-Fyfkju ckjjd d Pitgresql 10:51 Logminer 12:12 Проблема полей с названием 30 символов 13:12 Ставим триггер на измененения 13:51 Триггеры-Зло 15:23 TOPIC ROUTING 17:03 Работа с CLOB/BYTEA Полями 17:41 Сериализация данных 18:58 Какие объемы срабатывают? 19:50 Многопоточная обработка данных 24:44 Пиковая нагрузка 26:33 Перенос базы Telegram-канал Митап DevOps: