Це десятиліття – «десятки», як його називає «Урбанський словник» – буде пам’ятатися як десятиліття озер даних та платформ великих даних у публічній хмарі. Звичайно, це також запам’ятається як десятиліття весни AI, коли були зроблені перші кроки до революції AI. Співпрацюючи з більш ніж 30 великими приватними та державними організаціями щодо трансформації можливостей даних та аналітики протягом цього десятиліття, я підсумую кілька ключових спостережень на хмарних платформах даних з точки зору інженера даних.
То що ж таке платформа великих даних у хмарі, в яку майже кожна велика організація вклала чи планує інвестувати? Чи робить це реляційні сховища даних застарілими? І що все-таки не так із сховищами даних? Замість тисячі слів ось просте зображення інженера даних про це. Картина напрочуд схожа у всіх галузях промисловості, а також у державному та приватному секторах, хоча дані використовуються для абсолютно різних цілей.
У нижній частині малюнка – джерела даних. Реляційні сховища даних отримують добре структуровані дані з інших добре структурованих реляційних баз даних, тоді як платформи великих даних збирають усі дані будь-якого типу всередині організації та у відповідній мірі поза її межами. Сховища даних важко зберігають та аналізують неструктуровані дані, такі як відео, аудіо, фотографії та дуже довго вільні від текстів. Вони не можуть поглинати та впливати на джерела даних у реальному часі з машинних джерел, таких як, наприклад, сотня тисяч датчиків температури, тиску та інших датчиків виробничого об’єкта. Платформи великих даних необхідні, щоб впоратися з різноманітними джерелами даних та швидкістю.
Сама платформа даних, середня частина зображення, є добре організованим універсальним джерелом для всіх даних, що супроводжується набором автоматизованих процесів та інструментів, що дозволяє кожному в організації переглядати, знаходити та використовувати дані так само просто, як можливо. Порівняно з реляційними сховищами даних, платформи даних мають ширший обсяг і складаються з декількох будівельних блоків. Реляційне сховище даних часто є одним із таких будівельних блоків. Платформи передачі даних часто належать і управляються централізованим корпоративним ІТ-підрозділом або еквівалентом, але використовуються всією організацією та зовнішніми партнерами.
Платформи великих даних вже стали стратегічною зброєю для багатьох організацій усіх галузей. Результат успішної реалізації платформи обробки даних є корисним. Для багатьох технічно підкованих організацій платформа передачі даних стала важливим фактором для революції в галузі. Uber є добре відомим прикладом транспортної галузі. Але для того, щоб успішно впровадити платформу даних і зробити її стратегічною зброєю, вам не потрібно бути технічно підкованим. Є безліч чудових прикладів цілком “нормальних” організацій у всіх галузях, що використовують платформи обробки даних для розробки абсолютно нових продуктів та послуг, що робить суттєві вдосконалення процесів та економію коштів серед багатьох інших бізнес-переваг.
Я поділюсь досвідом та найкращими практиками з планування, створення та використання майбутніх платформ даних під час навчального дня Ari Hovi Oy на платформах даних 20.03.2019. Ласкаво просимо слухати більше та обговорювати питання, що стосуються вас та вашої організації. Навчання проводиться на фінській мові. Для отримання додаткової інформації: http://www.arihovi.com/?kurssi=data-platform-pilvessa.
Спочатку ця публікація була опублікована за адресою https://www.linkedin.com/pulse/data-tenties-decade-when-cloud-platforms-became-weapon-pulkkinen/.
Karri Pulkkinen люб’язно дозволив нам перекласти і опублікувати цю статтю.
Temy.co - Software Development Partner 