Додаткове навчання на межі

Екконо #openfika no. 5 квітня 2020 р., Ekonono Solutions AB

Традиційний підхід до великих даних до машинного навчання (ML) для IoT (Internet of Things) полягає в тому, що ви завантажуєте дані датчиків із багатьох підключених пристроїв до хмари, обробляєте їх, щоб знайти спільні знаменники, і вивчаєте одну загальну модель машинного навчання; Наприклад для пояснення споживання батареї та решти діапазону електричної шини. Перевага цього типу централізованого навчання полягає в тому, що модель може узагальнюватись із сукупності пристроїв і, отже, швидше вчитися. Однак це також тягне за собою, що дані можуть пояснити всі зміни в пристроях та їх середовищі, що швидко стає надзвичайно важко забезпечити, якщо ви не маєте абсолютного контролю за ремонтом та навколишнім середовищем.

А тепер уявіть, що ви тренуєте модель на потоковому передаванні даних, щоб постійно дізнаватися більше з часом, коли ви отримуєте більше даних та знань. Як тамагочі, який стає кращим, чим більше ви його годуєте. Роблячи це на краю, тобто на пристрої, ви навіть можете вчитися індивідуально для кожного пристрою. Тепер ви можете дізнатися, що залишився діапазон для конкретного автобуса, виходячи з клімату, ландшафту та дорожніх та дорожніх умов, де він експлуатується. Миттєва та ефективна інформація, і ви можете почати з невеликих даних. Це потенціал додаткового навчання на межі.

1 крайове машинне навчання

Екконо займається Edge Machine Learning [1]. Тут унікальна здатність Екконо виконувати поступове навчання, тобто постійно навчати модель ML на потокових даних, полегшує вивчення індивідуальної моделі для кожного пристрою. На практиці це спрощує навчальне завдання, оскільки кожна модель повинна лише мати змогу пояснити, що саме для себе є нормальним, а не як вона змінюється порівняно з усіма іншими пристроями. Інші переваги цього децентралізованого додаткового навчання полягають у тому, що моделі можуть адаптуватися до змін із часом, що їх можна застосовувати в режимі реального часу, оскільки лише оброблені дані (які за розміром часто набагато менше вихідних даних) повинні передаватися хмара, таким чином зменшуючи пропускну здатність та проблеми, пов’язані з підключенням. Звичайно, ці переваги представляють значну цінність для компаній, які працюють у всьому світі в різних умовах та середовищі.

2 інкрементне та пакетне навчання [2]

Традиційний підхід до машинного навчання спирається на той факт, що дані були зібрані та легко доступні в певному вигляді сховища даних. На основі записаних даних модель тренується для мінімізації функції оцінки, наприклад корінь означає квадратну помилку для цільової змінної, наприклад витрата палива. Причиною такого підходу є те, що більша вибірка даних повинна бути більш репрезентативною для справжнього базового розподілу. Отже, більше даних, як правило, краще, оскільки вони повинні бути ближче до справжнього подання. Це також передбачає, що алгоритм може припустити, що розподіл даних, знайдених у навчальних даних, також буде зберігатися в майбутньому та прийматиме рішення за цим фактом. Однак, оскільки сховище даних буде містити велику кількість даних, які потрібно обробити під час навчання, це призведе до великого навантаження на центральний процесор до завершення навчання, що зазвичай створює вузьке місце. Коли навчання завершено, збережені дані можна відкинути, а подальше виконання моделі, тобто висновок і прогнозування буде дешевим, і використовувати дані безпосередньо з датчиків на пристрої. На практиці, як правило, потрібно невелике тимчасове сховище для збереження пам’яті побачених примірників для полегшення обчислення ковзних середніх та інших статистичних даних, які можуть збагатити дані та спростити навчальне завдання.

Пакетне навчання існує з самого початку машинного навчання і продовжуватиме залишатися домінуючою частиною ML. Для певних завдань, тобто завдань, де пристрій або його середовище можуть зазнати змін, Інтернет / додатковий підхід до навчання є більш підходящим. Прикладом завдань, що спонукають до поступового навчання, є:

На продуктивність пристрою можуть впливати сезонні фактори, наприклад температура, вологість. Без додаткового навчання дані потрібно буде збирати щонайменше рік перед початком навчання.

Сам пристрій може змінитися через ремонт або оновлення. При кожній зміні повинні збиратися нові дані, а потім перекваліфікуватися.

Пристрої IoT часто є мобільними і, отже, можуть працювати в дуже різних середовищах. Нові сайти потребуватимуть більшого збору даних та навчання нової моделі.

Конфігурація машини часто оптимізована для найгіршого сценарію, а не для нормальної роботи, що може призвести до неоптимальної продуктивності. Якщо модель не навчена на місці з реальним експлуатаційним станом, вона не буде працювати оптимально.

На основі цих прикладів повинно бути зрозуміло, що іноді може бути краще постійно тренувати модель, використовуючи поступове навчання, як показано на малюнку 4.

Додаткове навчання не вимагає, щоб перед навчанням моделі було зібрано велику кількість даних. Натомість навчання починається з дуже простої моделі, яка зазвичай передбачає середнє значення, побачене до цього часу. Коли надходять нові приклади даних, модель навчається представляти більш складні шаблони, щоб мати можливість прогнозувати нові приклади. Велика відмінність від пакетного навчання полягає, звичайно, у тому, що оскільки ми використовуємо лише один або дуже малий набір прикладів, ми не можемо припустити, що дані репрезентативні для всієї сукупності, тобто ми не знаємо основного розподілу даних. Отже, ми не можемо бути настільки впевнені, що таке шум від даних тренувань і який справжній базовий сигнал концепції, яку ми намагаємося змоделювати, і, отже, не можемо мінімізувати помилку настільки агресивно, як при пакетному навчанні.

2 1 швидкість навчання

При розробці додаткових алгоритмів важливим є пошук належної швидкості навчання. Ефект занадто високої (занадто агресивної) швидкості навчання можна побачити на малюнку 5, де основна концепція, здається, вивчається дуже швидко, але великі відхилення залишаються навіть після того, як спостерігали 2000 випадків. Натомість, якщо зробити менший крок до того, щоб зробити хороший прогноз для нового прикладу, це призведе до більш повільного, але більш загального темпу навчання, що можна побачити на малюнку 6. Якщо приклад важливий, він часто повторюватиметься, і кожен раз, коли модель бачить подібний приклад, вона стане трохи кращою на цьому прикладі. З часом він вивчить повторювані шаблони і, отже, справжню основну концепцію. На противагу цьому, мінусом порівняно з пакетним навчанням є, звичайно, те, що навчання може зайняти більше часу, оскільки ми не можемо робити припущення щодо основного розподілу. На практиці, особливо для промислових застосувань, цикли процесів, які потрібно вивчити, часто є досить короткими і часто змінюються, що робить трохи більший час навчання незначним. Однак переваги додаткового навчання є великими:

Дані не потрібно зберігати або надсилати в хмару, оскільки вони більше не потрібні після того, як вони були використані для оновлення моделі.

Навчання розподіляється за часом, що усуває вузькі місця процесора від навчання.

Модель може адаптуватися до змін конфігурації або середовища.

Подібно до життя, немає безкоштовних обідів: Моделі машинного навчання, які легко (швидко) навчити, часто страждають від проблеми занадто великих розмірів пам’яті. Це явище можна дуже добре проілюструвати контрастом між RF (Random Forest) та MLP (Multilayer Perceptron).

RF швидко навчаються і легко налаштовуються, але пам’ять дорога (МБ)

MLP тренуються повільніше і важко налаштовуються, але мають невеликий розмір (кБ)

3 висновок

Edge Machine Learning від Ekkono вирішує всебічну проблему некерованих обсягів даних, що генеруються з датчиків IoT. Хоча ви хочете проаналізувати дані високочастотного датчика на рівні мілісекунд, неможливо завантажити такі обсяги даних у хмару; Наприклад сучасна електрична підстанція ABB може генерувати 5 Гб / с, і більшість з них швидко втрачає свою вартість. Edge Machine Learning обробляє ці високочастотні дані, щоб сформувати модель машинного навчання, яка представляє окремі результати навчання з активу. Модель ML має невеликий розмір (кілька кБ) у порівнянні з вихідними даними датчика і представляє фактичні результати з усіх детальних даних.

Додаткове навчання на межі має кілька переваг:

Вивчайте індивідуально для кожного пристрою / активу – що є нормальним для конкретного пристрою та передбачайте або підтверджуйте, коли щось відхиляється від нормального / очікуваного

Ви можете вчитися на роботі, безперервно, після розгортання – у стилі тамагочі

Ви можете почати з невеликої кількості даних або взагалі відсутні

Ви можете надіслати модель ML у хмару, яка представляє дані датчиків, але невеликий за розміром

Навчіть модель ML на високочастотних даних датчиків у режимі реального часу – цінно для автоматизації

Зменште обсяг даних, що зберігаються як у хмарі, так і на краю, що економить цикли процесора та заряд акумулятора завдяки меншому обміну даними та читання / запису

Навчання розподіляється за часом, що усуває вузькі місця процесора від навчання

Модель може адаптуватися до змін конфігурації або середовища;

На продуктивність пристрою можуть впливати сезонні фактори, такі як температура та вологість – без додаткового вивчення дані потрібно буде збирати принаймні рік, перш ніж почати тренування

Сам пристрій може змінитися внаслідок ремонту або модернізації, що вимагає збору нових даних та перекваліфікації моделі ML

Пристрої IoT часто є мобільними і, отже, можуть працювати в дуже різних середовищах; Додаткове навчання може адаптуватися до нового сайту або нового клієнта оренди

Ekkono #openfika – це коротка відкрита онлайн-сесія fika [3], яку проводить Ekkono, на гарячі, сучасні та актуальні теми, де 15-хвилинна презентація супроводжується обговоренням та запитаннями. Слідкуйте за http://www.ekkono.ai та LinkedIn під час наступного сеансу #openfika.

Ekkono Solutions AB – це програмна компанія, яка розробляє Edge Machine Learning. Наш продукт є результатом семирічних досліджень в Університеті Борос, Швеція, та допомагає виробникам продуктів у різних галузях швидко розвивати розумні функції на своїх продуктах, використовуючи машинне навчання, щоб зробити їх самонавчальними та прогнозуючими. Для отримання додаткової інформації відвідайте http://www.ekkono.ai.

[1] Edge Machine Learning означає запуск машинного навчання (ML) на краю мережі – на борту підключеного пристрою. Ekkono розробляє програмне забезпечення Edge Machine Learning. У випадку Еккконо можна поступово навчатись на межі, а це означає, що модель ML постійно вдосконалюється, а також персоналізується, оскільки вона отримує дані датчиків під час виробництва.

[2] Програмне забезпечення Ekkono Edge Machine Learning підтримує як поступове, так і пакетне навчання.

[3] fika (wikipedia.org); У шведів є fika (вимовляється [ˈfîːka]), що означає “перерва на каву”. Традиція поширилася на шведський бізнес по всьому світу. Фіка – це соціальний інститут у Швеції та звичайна практика на робочих місцях у Швеції. Фіка також може частково функціонувати як неформальна зустріч співробітників та керівників, і навіть може вважатися неввічливим, якщо не приєднуватися до неї.

Спочатку ця публікація була опублікована за адресою https://www.linkedin.com/pulse/incremental-learning-edge-rikard-k%C3%B6nig/.

Rikard König люб’язно дозволив нам перекласти і опублікувати цю статтю.