Лабораторія даних

Лабораторія даних: як аналітика працює на практиці

Інтерактивні демо на синтетичних даних, навчальні ігри про дані й реальні задачі, з якими я працював. Нові демо додаються поетапно.

Демо на синтетичних даних

Демо, які можна покрутити самому

Демо дашборду якості даних Belyakov Consult
Демо · приклад аналітичної роботи

Дашборд якості даних, який можна покрутити

Так виглядає робочий інструмент, який я будую для команд з даними: показники обробки, якості й доступності джерел, матриця «регіон × напрям» і винятки, які варто розібрати першими. Дані синтетичні, логіка показників реальна.

Що всередині

Шість сторінок: огляд, аналітика, якість даних, джерела, звіти, вигляд. Цільовий рівень якості змінюється повзунком, фільтри працюють на всіх графіках, а PDF-звіт для керівника формується за поточними фільтрами в один клік. Можна завантажити свій CSV: розрахунок відбувається у браузері, файл нікуди не передається.

Демо графової аналітики Belyakov Consult
Демо · графова аналітика

Мережа зв’язків та індекс потреби

Граф показує те, чого не видно в окремих таблицях: хто живе без мережі підтримки, на кому тримається догляд у громаді, де фахівці перевантажені і які записи можуть бути дублікатами. Дані синтетичні, логіка показників робоча.

Що всередині

Шість сторінок: мережа людей, домогосподарств, фахівців і закладів; карта поєднань демографічних, соціальних і медичних характеристик; інтегральний індекс із вагами, які можна змінити; порівняння громад; сигнали для соціальної роботи; методика і правила захисту чутливих даних. Вузли і зв’язки можна вивантажити в CSV для Gephi чи Neo4j.

Демо аналізу транспортної доступності Belyakov Consult
Демо · транспортна доступність

Зони доступності та час у дорозі до послуг

Карта показує, скільки часу людям насправді потрібно, щоб дістатися до амбулаторії, лікарні чи ЦНАП: автомобілем, автобусом за розкладом або пішки. Видно села, які на карті поруч, але фактично відрізані від послуг, і місця, де новий пункт або додатковий рейс дасть найбільший ефект. Дані синтетичні, логіка розрахунку робоча.

Що всередині

Шість сторінок: карта ізохрон із рухом автобусів за розкладом і маршрутом до закладу; криві покриття населення окремо для людей 65+ і дітей; зони обслуговування і навантаження закладів; сценарії з переправою, автобусом за викликом, частішими рейсами і пошуком місця для нового пункту; сигнали; методика. Час у дорозі рахується просто в браузері, результати можна вивантажити в CSV.

Демо панелі керівника Belyakov Consult
Демо · фінансова й управлінська аналітика

Панель керівника: що відбувається, чому і що робити

Панель для керівника побудована навколо трьох питань. Що відбувається: п’ять головних показників з прогнозом на кінець року, ризиком і причинами, а система сама обирає три проблеми з найбільшим фінансовим впливом. Чому: дерево причин розкладає відхилення EBITDA до підрозділу, продукту, статті й фактора, а «Пояснити зміну» складає пояснення з розрахованих факторів без вигаданих причин. Що робити: симулятор рішень показує EBITDA, гроші проти порогу і кадровий ризик, з лагами й еластичністю попиту. Дані синтетичні, логіка показників реальна.

Що всередині

Рух грошей від клієнтів до витрат і прогноз касового розриву з умовами оплати, раннє попередження з незвичними змінами, рівнем упевненості і прогнозом виходу за межі, теплова карта ризиків, когорти утримання працівників і клієнтів, граф залежностей, де причини відділено від кореляцій, матриця рішень «ефект × ризик» зі збереженими сценаріями. Окремо виклик «Спробуйте себе в ролі CEO»: три проблеми, три хвилини і порівняння ваших рішень з базовим сценарієм. Дві умовні компанії, пошук по панелі, повний екран і стан у посиланні.

Демо фрод-аналітики Belyakov Consult
Демо · фрод-аналітика й скоринг

Фрод-аналітика соціальних виплат: правила, модель і справедливість

12 000 умовних отримувачів чотирьох програм допомоги і п’ять закладених схем: мережі на спільних рахунках, виплати після смерті, занижений дохід, подвійні програми, відсутність при умові проживання. Видно, як прозорі правила, логістична регресія і їх поєднання ставлять чергу перевірки і скільки це дає в грошах. Дані синтетичні, методика реальна.

Що всередині

Шість сторінок: огляд, модель і поріг (матриця помилок, ROC-криві, вигода залежно від обсягу перевірок, коефіцієнти), черга перевірки з поясненням кожної оцінки, мережі на спільних рахунках із графом зв’язків і операторами, справедливість моделі за групами, методика. Модель навчається просто в браузері, оцінки можна вивантажити в CSV.

Демо 3D-рельєфу громади Belyakov Consult
Демо · геопросторовий аналіз у 3D

Рельєф громади в 3D: вода, клімат, ґрунти і де будувати

Та сама умовна громада, що в демо транспортної доступності, тепер на тривимірному рельєфі. Підніміть рівень річки, і видно, які села затоплює і хто втрачає дорогу до лікарні. Видно також, де не чути сирен, де ставити вежі зв’язку і які ділянки підходять для нового укриття чи амбулаторії. А ще клімат, ґрунти, ерозія і ґрунтові води: наведіть курсор на будь-яку точку моделі й побачите її показники. Дані синтетичні, методика реальна.

Що всередині

Сім сторінок: рельєф і профіль між населеними пунктами; природні умови з 13 шарами на моделі (схили, експозиція, сонячна радіація, температура, опади, заморозки, ґрунти, бонітет, ерозія, земний покрив, ґрунтові води), кліматом за місяцями, розою вітрів і повторюваністю паводків; затоплення з анімацією підйому води; оповіщення і зв’язок; придатність ділянок; сигнали; методика. Модель можна покрутити, наблизити й змінити перебільшення висот, є режим карти зверху.

Демо виявлення аномалій Belyakov Consult: тривимірна хмара платежів із сигналами
Демо · виявлення аномалій у 3D

Аномалії, яких не видно на дашборді

Майже 6 000 платежів умовної організації за рік. Помісячний звіт зелений, відхилення від плану менше відсотка. А тепер ті самі дані як хмара записів: кожна точка є платежем, нетипові світяться рубіновим. Хмару можна крутити, наближати і пролітати крізь неї. Клік по точці показує, чому запис позначено, наскільки сильне відхилення і чому це може бути нормою, а не помилкою чи шахрайством. Дані синтетичні, методика реальна.

Що всередині

П’ять сторінок: хмара записів, яка розгортається зі звичайного дашборда; список сигналів із причинами; поріг і перевірка (скільки знайдено помилок і ризиків, скільки рідкісної норми, порівняння трьох методів: відхилення ознак, ліс ізоляції, найближчі сусіди; норма своєї групи чи спільна); пошук аномалій у вашому CSV чи Excel прямо в браузері з вивантаженням списку підозрілих записів; методика.

Цифровий двійник громади Belyakov Consult: шари моделі від рельєфу й доріг до закладів, укриттів і зон ризику
Громадам · цифровий двійник і паспорт

Цифровий двійник громади: паспорт, який оновлюється сам

Умовна громада Велика Рута в одній моделі: 32 населені пункти, 139 об’єктів реєстрів, дороги, рельєф і ризики. Паспорт громади з 50 показників, де кожна цифра має джерело, власника, дату й статус: актуально, застаріло, розбіжність джерел, немає даних. Видно не лише значення, а й чи можна йому довіряти.

Що всередині

Шари двійника в 3D, які можна обертати й розбирати просто на сторінці, і карта всіх реєстрів із карткою кожного об’єкта; паспорт кожного населеного пункту; звірка кількості мешканців за реєстром, деклараціями й лічильниками та прогноз до 2035 року; бюджет на реального мешканця, земля, яку обробляють без документів, і будівлі без права власності; сценарії мережі шкіл, довгого блекауту й паводку з наслідками для паспорта; 14 сигналів, каталог показників, вивантаження в Excel і перевірка власного файлу паспорта.

Диспетчерська маршрутів Belyakov Consult: карта регіону в 3D з маршрутами двох складів, графом доріг і пультом автопарку
Бізнесу · логістика й геоаналітика

Планування маршрутів: граф, карта і диспетчерська на одному екрані

Регіональний дистриб’ютор: два склади на різних берегах річки, 12 машин і 66 замовлень на день до супермаркетів, магазинів, лікарень, шкіл і пунктів незламності, кожне зі своїм вікном приймання. Оптимізатор будує маршрути за десятки мілісекунд і показує, скільки це коштує, скільки кілометрів і хто приїде із запізненням.

Що всередині

Карта в 3D, яку можна нахиляти й обертати: перетягніть склад, і маршрути перебудуються з магнітом до населених пунктів; розріжте дорогу ножем; затисніть пункт і покрутіть, щоб змінити замовлення; ручки автопарку, пального й зміни; розклад машин із прокруткою дня. Граф доріг із потоком палет, центральністю, критичними ділянками, тупиками й ваговими обмеженнями, а повзунок перетворює карту з кілометрів на хвилини. Сценарії мосту на ремонті, повені, ожеледі й піку попиту, перебір місць для третього складу, сигнали, порівняння з ручним планом і вивантаження в Excel.

Демо моніторингу й оцінки програм: огляд умовної програми з охопленням, показниками за планом, освоєнням бюджету, якістю даних, ефектом на дохід і картою охоплення шести областей
Програмам і донорам · моніторинг і оцінка (M&E)

Моніторинг і оцінка програм: від рамки результатів до чесного ефекту

Умовна донорська програма відновлення послуг у шести областях: п’ять партнерів, 36 громад, €12 млн і 22 показники рамки результатів. Одна система замість десятка таблиць: план і факт на будь-який квартал, охоплення без подвійного обліку, гроші проти зробленого й перевірка даних партнерів. Пересуньте звітний квартал назад і подивіться, коли кожну проблему вже було видно.

Що всередині

Огляд з увагою менеджера програми: перевитрата на ремонтах, пауза з мікрогрантами, біла пляма в Кіровоградській області й дані, які не підтверджуються звіркою. Рамка результатів із припущеннями й потоком грошей від напрямів до областей. Таблиця показників (IPTT) з паспортом кожного показника, прогнозом до кінця програми, шансом досягти цілі й розривом за областями. Освоєний обсяг (EV, CPI, SPI, прогноз вартості на завершення) і вартість результату. Якість даних за п’ятьма стандартами DQA: звірка з документами, подвійний облік, тест останньої цифри, запізнення звітів. Оцінка ефекту на панелі 3 000 домогосподарств: «до і після» дає +13 в.п., порівняння лише після дає −1, різниця різниць +7, і видно, для кого програма не спрацювала. Критерії OECD DAC, голос отримувачів, чернетка звіту донору, таблиця показників і шаблон паспорта показника в Excel, перевірка вашої таблиці просто в браузері.

Оцінка зрілості даних: рівень на сходинках від 1 до 5, пелюсткова діаграма восьми вимірів проти цілі, три пріоритети і дорожня карта на 30, 90 і 180 днів
Інструмент · оцінка зрілості даних

Оцінка зрілості даних: де ви зараз і що робити далі

32 питання у восьми вимірах: стратегія, управління, якість, архітектура, реєстри й довідники, аналітика, люди і безпека. Кожна відповідь описує конкретну практику, а не абстрактне «добре чи погано», тож оцінка займає близько 10 хвилин і не потребує підготовки. Відповіді лишаються у вашому браузері, нічого не надсилається.

Що всередині

Рівень від початкового до оптимізованого, індекс зрілості і профіль за вимірами проти цілі для вашого типу організації: громади, державної установи, бізнесу, ГО чи програми донора. Три пріоритети з урахуванням того, що основа (управління, якість, довідники, архітектура) важить більше, бо на ній тримається решта. Застереження на кшталт «аналітика випереджає основу» чи «аналітика тримається на одній людині», сильні сторони і «чого не робити зараз»: не купувати нову BI-платформу, поки показники рахуються по-різному, і не автоматизувати брудні дані. Дорожня карта на 30, 90 і 180 днів з позначками виконаного, PDF-звіт для команди чи керівництва, посилання на результат і три приклади: громада, компанія і програма донора.

Розділ «Моделі прогнозування»: ряд виручки продовжується синім прогнозом з коридорами 80% і 95%, поруч таблиця точності моделей на відкладених даних
Навчання · моделі прогнозування

Моделі прогнозування: як вони працюють і що покажуть на ваших даних

22 моделі від наївного прогнозу до бустингу в одному розділі: базові орієнтири, експоненційне згладжування, Холт-Вінтерс і TBATS для кількох сезонних циклів, регресія з факторами й Prophet зі святами та зломами тренду, ARIMA і SARIMAX, криві зростання, декомпозиція, метод Кростона з варіантами SBA і TSB, Монте-Карло, пошук аналогів, градієнтний бустинг із поясненням SHAP і ансамбль. Кожна модель показана на даних, де її видно найкраще: кроки з формулами, параметри, які можна посунути, і те, що модель бачить у ряді: тренд, сезонні цикли, свята, внески факторів чи траєкторії.

Що всередині

Чесне порівняння всіх моделей на одному ряді з повторною перевіркою на чотирьох відрізках часу; сценарний прогноз з перемикачами «базовий», «оптимістичний», «стресовий» і повзунками ціни, бюджету й ринку; узгоджений прогноз за рівнями «область → громади → послуги», де суми сходяться; 12 наборів даних для завантаження в CSV чи Excel; книги Excel, де модель порахована формулами й перераховується після зміни параметра; код для Python і R. На сторінці «Ваші дані» можна завантажити свій файл: усі моделі перевіряться на ньому, найточніша побудує прогноз з коридором, а результат вивантажується в Excel. Файл не залишає браузер, приклади синтетичні.

Навчальні ігри

Ігри, які вчать читати й чистити дані

Гра · графіки й аналіз

Котик на самокаті: проїдь графік

Гра в стилі Gravity Defied: три герої з лазерними очима їдуть графіками. Дванадцять трас від легких до складних, розбір після кожної, рейтинг гравців і чотири траси Адіща з правилами ігор 90-х.

Гра · ймовірність і статистика

Котячий джекпот: порахуй удачу

Автомат 80-х, який показує свою математику: котики й капібари платять, баги псують лінію, три Data Boss обнуляють баланс. Шість дослідів про ймовірність і ризик із прогнозом і розбором.

Гра · графи й дублікати

Пилосос і граф

Pac-Man на графі зв’язків: прибрати сироти, злити дублікати, розрізати хибні зв’язки й не з’їсти вузол-міст, бо граф розпадеться.

Гра «Лазерне кошеня проти багів даних»: піксельне кошеня з лазерними очима і записи-жуки з помилками
Навчання · гра про якість даних

Лазерне кошеня проти багів даних

Аркада в дусі старих автоматів: записи-жуки летять строєм і пікірують до сховища, а кошеня з лазерними очима їх обробляє. Помилки справжні: 31 лютого, місяць 13, test@test.com, 01.01.1900, телефон у п’яти форматах, та сама людина з ініціалом замість імені. Лазер видаляє неможливі значення й заглушки, промінь виправлення нормалізує формат, промінь об’єднання зливає дублікати, а коректні записи треба пропустити.

Що всередині

П’ять рівнів: формати, неможливі значення, дублікати й тезки, заглушки і джерело, з якого помилки повертаються, доки його не закрито правилом на вході. Після кожного рівня якість сховища, навички й розбір кожної помилки з поясненням і порадою, як робити те саме в Excel чи Power Query; записи рівня можна завантажити в CSV. Спокійний режим без стрілянини у відповідь, керування з клавіатури й дотиком.

Гра «Котик на самокаті»: котик на електросамокаті їде трасою-графіком продажів і лазером з очей прибирає баг даних
Навчання · гра про читання графіків

Котик на самокаті: проїдь графік

Гра в стилі Gravity Defied: героя на колесах треба провести трасою, яка насправді є графіком даних. Газ, гальмо й нахил, підйоми, урвища і стрибки, приземлення на обидва колеса, а лазер з очей прибирає баги даних, що сидять на лінії й літають над нею. Героїв троє, у кожного своя фізика: котик на самокаті, капібара на скейті і голова аналітика на моноколесі. І все під 8-бітну мелодію.

Що всередині

Дванадцять трас від легких до складних, і кожна це окремий вид графіка з пасткою зі звітів: тренд і шум, гістограма (середній чек проти медіани), сезонність, Парето (група A дає 80% виручки), викиди, обрізана вісь, яка на воротах іде від нуля, складена площа, водоспад від виручки до прибутку, логарифмічна шкала, контрольна карта з межами, панелі з однаковою шкалою і проваллями між ними та прогноз із коридором, де справжню дорогу видно лише перед колесами. Після рівня розбір із числами цієї траси і порада, як робити те саме в Excel; точки даних, час, баги, зірки й рекорди. Спокійний режим, керування з клавіатури й дотиком. Рейтинг гравців для кожного героя, кожної групи складності й усіх 12 основних рівнів: після проходження впишіть нік і поділіться посиланням на сторінку рейтингу. А для тих, кому мало, чотири траси Адіща з правилами ігор 90-х: свічки, діаграма Ганта, коридор температур і пила дебіторки. Одне життя без контрольних точок, баг убиває з першого дотику, жорстке приземлення розбиває героя, а таймер не чекає; у Адіща свій рейтинг і своя пекельна мелодія.

Гра «Котячий джекпот»: ігровий автомат 80-х із трьома котиками на лінії та розбір досліду з гістограмами повернення для 20, 2000 і 20 000 обертів
Навчання · гра про ймовірність і ризик

Котячий джекпот: порахуй удачу

Ігровий автомат зразка 80-х, який нічого не приховує. Котики, капібари й мандаринки платять, баги даних (ДУБЛЬ, NULL, ТЕСТ) псують лінію, три однакові баги показують виграш, якого немає, а три Data Boss на лінії означають аудит: баланс згорає повністю. Важіль, рубінові індикатори, лампочки і звук старих автоматів, а за задньою кришкою стрічки барабанів, шанс кожної комбінації і частка, яку автомат залишає собі: 8 кредитів з кожних 100. Грошей, ставок і призів немає.

Що всередині

Шість коротких дослідів, і в кожному спершу прогноз, потім кілька обертів, а тоді розбір: що вийшло у вас і в тисячі інших гравців. Ціна оберту (очікуване значення: виграєте кожен четвертий оберт і все одно в мінусі), мала вибірка (після 20 обертів у плюсі кожен четвертий гравець, після 20 000 троє з тисячі), пам’ять барабанів (після п’яти програшів шанс той самий), «майже виграш» (три однакові символи на екрані видно у 25 разів частіше, ніж на лінії), два автомати з однаковим поверненням і різним ризиком («Котик» і «Капібара») та Data Boss: подія «раз на тисячу», яка за тисячу обертів приходить до 63 гравців зі ста. До кожного досліду графік, пояснення, як та сама пастка виглядає у звітах, і порада для Excel. Вкладка «Математика» з таблицею шансів, журнал із результатом проти очікування і каса автомата. Керування кнопками, важелем, пробілом і дотиком.

Гра «Пилосос і граф»: кошеня на роботі-пилососі їде коридорами графа зв’язків між людьми, домогосподарствами й компаніями, втягує тестові записи, зливає дублікати в еталон і обминає вузол-міст
Навчання · гра про графові дані

Пилосос і граф: почисти мережу, не розірвавши її

Аркада в дусі Pac-Man, де лабіринт це граф зв’язків: люди, домогосподарства, амбулаторії, центри соцслужб і компанії. Кошеня з «Лазерного кошеняти» їде на роботі-пилососі коридорами-зв’язками, збирає пил і вирішує долю кожного запису: «ТЕСТ ТЕСТ» втягнути, «Сонячний Лан ТОВ» з тим самим ЄДРПОУ злити в еталон, зв’язок через «тел. 000 000 00 00» розрізати. А тезку з іншою датою народження, новий запис без зв’язків і вузол-міст лишити, бо інакше граф розпадеться на частини. Сірі баги повзають коридорами й підкидають нове сміття, а капібара скидає капсулу «Правило на вході».

Що всередині

П’ять рівнів: сироти, дублікати й тезки, хибні зв’язки, мости і джерело бруду, імпорт без перевірки, що підкидає сміття, доки його не закрито правилом на вході. Сканер підсвічує вузли-мости й заглушки, а лічильник компонент показує, коли граф розпався. Після кожного рівня частка правильних рішень, навички й розбір кожної помилки з поясненням і порадою, як зробити те саме в SQL, Power Query, NetworkX чи Gephi; журнал рішень можна завантажити в CSV. Спокійний режим без таймера, керування з клавіатури, свайпами й дотиком. Усі дані синтетичні.

Кейси

Реальні задачі за напрямами

Кейс · 01

Соціальний захист

Реєстри, виплати, послуги, якість даних, аналітичні вітрини й управлінська звітність. У таких системах помилка в ідентифікації або логіці показника швидко переходить у помилку рішення.

Кейс · 03

Міжнародні програми

Для програми недостатньо порахувати активності. Потрібно зв’язати показник із джерелом, методикою, доказом і рішенням, яке команда приймає на його основі.

Кейс · 04

Фінансова аналітика

Фінансовий контроль стає складним, коли бюджети, платежі, донорське фінансування, дебіторська заборгованість і звітність живуть у різних файлах. Проблема зазвичай не в нестачі цифр, а у відсутності єдиної картини, яку можна перевірити.

Кейс · 05

Управлінська аналітика

Внутрішні процеси підприємства часто описані десятками таблиць, листів і локальних звітів. Через це керівник бачить окремі цифри, але не завжди бачить, де процес сповільнився, що не виконується в строк і що потребує втручання.

3D-сцена «Шлях даних»: від джерел через перевірку й аналітику до управлінських рішень
3D-сцена · повний цикл даних

Шлях даних: 13 етапів у 3D

Повний цикл роботи з даними на одній тривимірній сцені: від стратегії, джерел і реєстрів через інтеграцію, перевірку якості, модель і правила до аналізу, звітів, фінансів, управління, геоданих, користувачів і результату. На кожному етапі видно, що відбувається із записом і що це дає організації.

Що всередині

13 етапів і 78 компонентів системи; режим «Наскрізно», який проводить через усі етапи поспіль; текст кожного етапу під сценою з посиланнями на напрями й демо Лабораторії. Сцену можна крутити й наближати.

Соціальний захист
01

Соціальний захист

Реєстри, виплати, послуги, якість даних, аналітичні вітрини й управлінська звітність. У таких системах помилка в ідентифікації або логіці показника швидко переходить у помилку рішення.

Що робимо

Робота включала розвиток аналітичної функції, корпоративного BI, підходів до якості даних і підготовку аналітичного контуру для державних інформаційних систем.

Охорона здоров’я та реабілітація
02

Охорона здоров’я та реабілітація

Планування послуг потребує поєднати медичні дані, географію, мережу закладів, потребу населення й доступність. Одного показника тут недостатньо.

Що робимо

Фокус на геопросторовому аналізі, оцінці мережі, доступності послуг, інформаційних панелях і даних для планування реабілітації.

Міжнародні програми
03

Міжнародні програми

Для програми недостатньо порахувати активності. Потрібно зв’язати показник із джерелом, методикою, доказом і рішенням, яке команда приймає на його основі.

Що робимо

Робота з індикаторами, перевіркою даних, аналітикою прогресу, плануванням і звітністю для програмних та управлінських команд.

Фінансова аналітика
04

Фінансова аналітика

Фінансовий контроль стає складним, коли бюджети, платежі, донорське фінансування, дебіторська заборгованість і звітність живуть у різних файлах. Проблема зазвичай не в нестачі цифр, а у відсутності єдиної картини, яку можна перевірити.

Що робимо

Зводжу фінансові потоки, план і факт, джерела донорського фінансування, дебіторську заборгованість та зобов’язання в одну модель. На її основі можна будувати регулярну звітність, аналіз відхилень і контроль використання коштів.

Управлінська аналітика
05

Управлінська аналітика

Внутрішні процеси підприємства часто описані десятками таблиць, листів і локальних звітів. Через це керівник бачить окремі цифри, але не завжди бачить, де процес сповільнився, що не виконується в строк і що потребує втручання.

Що робимо

Будую модель для контролю планів і задач, закупівель, строків, навантаження команд, операційних циклів, KPI та відхилень. Дані з різних підрозділів зводяться до спільної управлінської картини, з якою можна працювати регулярно.