NU4000 – Список функцій найсучасніших SoC для 3D-зображень, комп’ютерного зору та глибокого навчання.

Збір зображень

Шість вхідних відеопотоків

Колір і монохромність

Шість інтерфейсів MIPI RX з двома смугами руху

Шість контролерів MIPI CSI-2 Rx та два контролери MIPI DSI Rx

Два 12-бітових паралельних інтерфейси Rx

До 250 Мпіксель / сек на потік для комп’ютерної обробки зору та 500 Мпіксель / сек для повторного проектування

Формати даних: необроблені дані Bayer (8/10/12/14 біт), RGB або YUV

Апаратне штампування часу на кадр

Попередня обробка глибини для двох потоків:

Баланс інтенсивності – компенсує затінення лінз

Баланс білого для кольорових потоків

Демосайсинг – перетворює необроблені дані Bayer у RGB

Гамма-корекція

Перетворення RGB в YUV

Виправлення спотворень лінзи

Прискорювач розрахунку гістограми на кадр

Попередня обробка відео для додаткових двох потоків. Одне з наступного:

Попередня обробка відео з камери, включаючи перетворення RGB в YUV та виправлення спотворень об’єктива

Репроекція відеопотоку, включаючи компенсацію Yaw / Pitch / Roll, залежне від кольору попереднє спотворення об’єктива та віньєтку

Процесор глибини

Витягує глибину за допомогою стереоскопічної тріангуляції (пасивної та активної) або структурованої світлової тріангуляції

Роздільна здатність 1/16 пікселя

Включаючи спеціальну обробку країв і рівень довіри на піксель

Підтримує максимальну горизонтальну роздільну здатність 1280 пікселів на рядок

Підтримує максимальну швидкість пікселів 125 Мпіксель / сек

Подальша обробка, включаючи масштабування, припасування площини, глибину до реєстрації RGB та реєстрацію глибини до глибини.

Одиниці післяобробки

4 PPU з обрізанням, перетворенням кольорового простору та перепакуванням (1920 пікселів / рядок)

2 PPU з обрізанням, перетворенням кольорового простору, масштабуванням та перепакуванням (1920 пікселів на рядок)

5 гібридних PPU з 2x обрізанням, 2x перетворенням кольорового простору, 2x масштабуванням та зшиванням та перепакуванням (2 PPU з 1280 пікселів на рядок та 3 з 1920 пікселів / рядок)

Підтримує 250 Мпіксель / сек на потік

Може приймати будь-які потоки IAE або Depth як вхідні дані (крім повторного проектування)

Прискорювач комп’ютерного зору

Генерація ключових точок та дескрипторів для розпізнавання об’єктів Fine-Grain, SLAM або відстеження об’єктів

DoG + інтегральне зображення + FREAK / LIFT

Зображення 2xVGA або зображення 1xHD, 8b-Y, 120 кадрів в секунду

4 октави

7000 ключових точок (DoG) та 800 дескрипторів (FREAK / LIFT) на кадр

Затримка: 8 мс із зовнішнім SDRAM, 4 мс з внутрішньою пам’яттю та менше 1 мс з неоптимальним сегментуванням і внутрішньою пам’яттю.

Може використовувати в якості вхідних даних різні відеопотоки, включаючи потоки IAE, потоки ін’єкцій, потоки ЗІЗ.

3D Segmentation

Нормальна оцінка в 1280×960

Використання потоку DPE як вхідного сигналу (16b / піксель)

Розбіжність кадру (вихід – це диференційоване зображення між кадрами)

Може використовувати в якості вхідних даних різні відеопотоки, включаючи потоки IAE, потоки ін’єкцій, потоки DPE, потоки PPE.

Обробка відеозаписів

Два двигуни стиснення потоку дисплея Vesa (для потоків репроекції)

IDVE AXI Потокові раби

3 ведених пристрою AXI дозволяють імпортувати та експортувати потокові інтерфейси в різні точки IDVE

Вихідні потокові інтерфейси

Чотири, 2-смугові порти передавача MIPI

Три контролери MIPI CSI Tx (як правило, підключені до зовнішнього процесора хосту) і два контролери MIPI DSI (типово підключені до дисплеїв у сценарії повторного проектування)

Два 12-бітових паралельних інтерфейси Tx

ARM: зареєстровано: Cortex-A5: tm: Core

Тактова частота: до 1,2 ГГц

NEON: tm: Співпроцесор SIMD Media покращує можливості обробки зображень

Інтегрований одиничний / подвійний прецесійний FPU

MMU

Призначений для підтримки роботи з ОС Linux за допомогою функції управління віртуальною пам’яттю

L1-кеш: 32 K I / D

ARM: зареєстровано: L2C-310: tm: Контролер L2-Cach з 256 Кбайт пам’яті

Покращені можливості налагодження та трасування SW, реалізовані за допомогою ARM: зареєстровано: CoreSight: tm: архітектура

CEVA: зареєстровано: XM4: tm: Core, Vector DSP

Оптимізуйте для обробки зображень та комп’ютерного обчислення зору

L1 I-Cache / TCM – 64 Кбайт

Інструкція TCM – 64 Кбайт

Дані TCM (для векторної та скалярної обробки) – 256 Кбайт

Працює на частоті 1,2 ГГц

Процесор бачення Synopsys EV62 із згортковим нейромережевим прискорювачем для глибокого навчання

Двигун Synopsys EV62 CNN, працює на частоті 1,2 ГГц

Два ядра для обробки зору, кожен з яких включає:

Вектор DSP з трьома векторними операціями 512b за цикл

ARC HS36 RISC CPU з 2,0 DMIPS / МГц

Кеш інструкцій L1 розміром 32 Кбайт

L1 скалярний кеш даних на 32 кбайт

Вектор / скалярний TCM 256 кбайт

Двигун CNN (Synopsys 3-го покоління)

Високоефективна звивка N x M (до 12×12)

Підтримує кроки та відступи

Підтримує об’єднання (Max, Ave)

Нелінійна функція (FR)

12-бітові динамічно масштабовані шляхи передачі даних із фіксованою точкою

До 880 MAC / циклів

Регіональні можливості

Коефіцієнт стиснення

Виділена пам’ять 675 кбайт

Виділений DMA

Кластер спільної пам’яті 1024 кбайт

Кластер DMA (передає дані між внутрішніми TCM, спільною пам’яттю та зовнішньою пам’яттю.

Когерентність кешу

Підсистема обчислень

ARM: зареєстровано: NIC-400: tm: Inter-Connect

Покращена якість обслуговування (QoS)

Центральний двигун DMA

24 канали AXI 3.0

Регулювання потоку за допомогою AXI Slave

Операція зв’язаного списку

Внутрішній буфер / канал

Внутрішні центральні спогади

BROM: 128-байтний завантажувальний ПЗУ

LRAM: 512 к байт

Додаткові ~ 3,5 Мбайт виділених спогадів, які можуть бути використані різними внутрішніми клієнтами (головним чином спогади EV62, спогади XM4 та сповіщення про деформацію зображень репроекції)

НДР

Відповідає LpDDR4

Synopsys: зареєстровано: Контролер та PHY

До 1600 МГц

Ширина шини: 16 біт або 32 біта

Виділений ведений порт AXI для кожного ведучого в системі

USB3

Відповідає стандарту USB3: SS, HS та FS

Synopsys: зареєстровано: контролери USB3 та PHY

До 11 кінцевих точок, включаючи ISOCHRONOUS та BULK в обох напрямках IN / OUT

Периферія

Настроювані 6 контролерів I2C, що працюють як ведучий або підлеглий на частоті 100–400 кГц

3 x UART з конфігурованою максимальною швидкістю передачі в 921,6 Кбад

2 x одиночні / подвійні / чотири, ведучі / підлеглі SPI-контролери дозволяють безклеєві взаємодії з Flash-пристроями або простими SPI-ведучими / підлеглими пристроями

3 x контролери переривань, по одному на процесор (ARM + 2 DSP)

8 x Настроювані таймери

2 x конфігурується WDT

Покращений AIМ-контролер

Контролер GPIO

Інтерфейс I2S

GTU (Global Timing Unit): записує події та додає позначку часу для кожної події

Спочатку ця публікація була опублікована за адресою https://www.linkedin.com/pulse/nu4000-feature-list-most-advance-soc-3d-imaging-computer-gadot/.

Shlomo Gadot люб’язно дозволив нам перекласти і опублікувати цю статтю.