Посібник для стартапів з Agile Machine Learning Engineering

У TWOSENSE.AI ми розробляємо продукти, що реалізують постійну біометричну аутентифікацію. Наша основна технологія спирається на машинне навчання (ML) для вивчення особливостей поведінки користувачів та автоматизації навантаження користувачів на аутентифікацію. Незважаючи на те, що ця ідея існує вже трохи, проблема полягає в тому, щоб виконати її. Спритний підхід був абсолютно необхідний як для швидкого виконання, так і для того, щоб наш продукт потрапив до рук клієнтів на початку.

Ми можемо виконати це, оскільки ми є надзвичайно досвідченою командою ML та інженерії продуктів, що володіє надзвичайною глибиною знань щодо вирішуваної нами проблеми. Однак, як і будь-що у розробці ML, завжди є задіяний компонент “ти не знаєш, чого не знаєш”, і ти повинен відповісти на ці запитання, щоб виконати. Ключ до успіху – це не знання всіх відповідей заздалегідь, а можливість знайти відповіді та отримати ці відповіді у продукті швидко та повторювано: мова йде про процес. Agile Machine Learning Engineering – це все для швидкої відповіді на ці запитання, розбиваючи речі на плануючі, масштабовані та відвантажувані шматки. Суть проблеми полягає у узгодженні довгострокового дослідницького характеру досліджень ML (MLR) з короткотерміновим ітеративним характером Agile Software Engineering (SWE). Agile Machine Learning Engineering (MLE) – це поєднання MLR та SWE, що, на нашу думку, є гідною і досяжною метою.

Це був непростий процес, і ми допустили багато помилок, але дотепер ми навчилися на цих помилках. Однак ми не змогли знайти дієвого путівника для цієї подорожі, хоча ми витрачали час на пошук і ділились тим, що знайшли. Тепер ми хотіли б поділитися тим, що ми дізналися дотепер, і нашим підходом до того, щоб зробити MLE працездатним у виробництві, сподіваємось, таким чином, щоб це було ефективно.

Перше, про що ми дізналися, це те, що спроба впровадження Agile MLE вимагає організаційних змін, які виходять за рамки простого мислення про те, як ми розподіляємо роботу на завдання та виконуємо їх. Нашою першою спробою було просто застосувати наш процес SWE до MLR, що було трохи катастрофою. Основна проблема полягала в тому, що ми загальмували (на багато), вказуючи, що нам потрібно внести деякі зміни в процес, щоб зробити його працездатним, що привело нас туди, де ми зараз перебуваємо. Ми також виявили, що бракує стратегічних компонентів, що вкорінено в SWE щодо того, як виконувати проекти, більші за спринт, які потрібно було адаптувати для MLE. Уповільнення також дуже засмучувало залучених інженерів, що призвело нас до переоцінки того, як ми дивились на себе в контексті MLE.

Те, як ми думаємо про MLE, розбивається на три аспекти: процес, парадигма та люди. Парадигма посилається на великі підходи та концепції, які виходять за рамки спринту, і часто на більш тривалих термінах та мають стратегічний характер. Тут ми зосереджуємось на таких аспектах, як започаткування будь-якої нової ініціативи, спочатку будуючи сантехніку та інфраструктуру, повторюючи цю інфраструктуру, щоб спробувати виграти ефективність існуючого трубопроводу порівняно з ретельно визначеними показниками, і ніколи не винаходити колесо. Процес містить наші вказівки щодо інтеграції складності MLR у наш існуючий двотижневий спринт SWE тактичним способом. Це включає в себе те, як охоплювати, проводити, проводити та переглядати дослідження, а також включати невизначеність їх у процес, отримуючи результати у виробництві. Люди розповідають про те, як люди вписуються в контекст перших двох. Мета тут полягає в тому, щоб знайти спосіб бути прагматичним і відіграти сили сильних людей, які ми маємо, не дозволяючи дослідженням та інженерії виходити з синхронізації, і при цьому підтримувати масштабність речей у міру зростання.

Ми глибоко вивчаємо, як ми сподіваємось, діяльний шлях до кожного з цих аспектів нашого блогу:

ПАРАДИГМА: Інженерна стратегія машинного навчання на TWOSENSE.AI

ПРОЦЕС: Інженерна тактика машинного навчання на TWOSENSE.AI

ЛЮДИ: Інженери машинного навчання в TWOSENSE.AI

Нарешті, важливо зазначити, що ми усвідомлюємо той факт, що (лише оптимістично) 30% від усього, що ми робимо зараз, є неправильним або, принаймні, неоптимальним. Ми всі командно інвестуємо в постійну оцінку та адаптацію цього процесу. Ми завжди наполегливо працюємо над тим, щоб зробити наш космос ідеальною меритократією та створити середовище постійного вдосконалення на індивідуальному та командному рівнях.

Ми наймаємо інженерів машинного навчання. Якщо це звучить як середовище, в якому ви хотіли б працювати, зверніться до нас!

Спочатку ця публікація була опублікована за адресою https://www.linkedin.com/pulse/startups-guide-agile-machine-learning-engineering-dawud-gordon/.

Dawud Gordon люб’язно дозволив нам перекласти і опублікувати цю статтю.