Што е Edge AI?

Edge AI ја насочува интелигенцијата кон местата каде што се раѓаат податоците. Звучи фантастично, но основната идеја е едноставна: размислувајте веднаш до сензорот за резултатите да се појават сега, а не подоцна. Добивате брзина, сигурност и пристојна приказна за приватност без облакот да ја чува секоја одлука. Ајде да го разоткриеме - вклучени се кратенките и споредните задачи. 😅

Статии што можеби ќе ве интересираат по оваа:

🔗 Што е генеративна вештачка интелигенција
Јасно објаснување за генеративната вештачка интелигенција, како функционира и практични употреби.

🔗 Што е агентска вештачка интелигенција
Преглед на агентска вештачка интелигенција, автономни однесувања и шеми на апликации во реалниот свет.

🔗 Што е скалабилност на вештачката интелигенција
Научете како да ги скалирате системите со вештачка интелигенција сигурно, ефикасно и економично.

🔗 Што е софтверска рамка за вештачка интелигенција
Разложување на софтверските рамки за вештачка интелигенција, придобивки од архитектурата и основи на имплементација.

Што е Edge AI? Кратка дефиниција 🧭

Edge AI е практика на извршување обучени модели за машинско учење директно на или во близина на уредите што собираат податоци - телефони, камери, роботи, автомобили, носиви уреди, индустриски контролери, што и да посакате. Наместо да испраќа сурови податоци до далечни сервери за анализа, уредот ги обработува влезните податоци локално и испраќа само резимеа или ништо. Помалку кружни патувања, помалку задоцнување, поголема контрола. Ако сакате чист објаснувач неутрален од добавувачот, започнете тука. [1]

Што ја прави вештачката интелигенција на Edge всушност корисна? 🌟

• Мала латентност - одлуките се донесуваат на уредот, па затоа одговорите се чувствуваат моментални за задачи за перцепција како што се откривање на објекти, забележување на зборови за тревога или известувања за аномалии. [1]

• Приватност според локација - чувствителните податоци можат да останат на уредот, намалувајќи ја изложеноста и помагајќи во дискусиите за минимизирање на податоците. [1]

• Заштеда на пропусен опсег - испраќајте функции или настани наместо сурови потоци. [1]

• Отпорност - работи за време на несигурна поврзаност.

• Контрола на трошоците - помалку циклуси на cloud computing и помала потрошувачка.

• Свесност за контекстот - уредот ја „чувствува“ околината и се адаптира.

Кратка анегдота: пилот-продавач на малопродажба ги замени константните прикачувања на камерата со класификација на лице-на-објект на уредот и објави само часовни бројки и исклучоци. Резултат: известувања под 200 ms на работ на полиците и пад од ~90% во сообраќајот на uplink - без промена на WAN договорите во продавницата. (Метод: локално заклучување, групирање на настани, само аномалии.)

Edge AI наспроти cloud AI - брз контраст 🥊

• Каде се одвива пресметката : edge = на уредот/во близина на уредот; cloud = оддалечени центри за податоци.

• Латентност : раб ≈ во реално време; облакот има кружни патувања.

• Преместување на податоци : edge прво филтрира/компресира; cloud-от сака целосно верни прикачувања.

• Сигурност : edge продолжува да работи офлајн; на облакот му е потребна поврзаност.

• Управување : edge поддржува минимизирање на податоците; cloud го централизира надзорот. [1]

Не е или-или. Паметните системи ги комбинираат и двете: брзи одлуки локално, подлабока аналитика и централизирано учење на возен парк. Хибридниот одговор е здодевен - и точен.

Како всушност функционира Edge AI во внатрешноста 🧩

1. Сензорите снимаат сурови сигнали - аудио рамки, пиксели на камерата, допири на IMU, траги од вибрации.

2. Претпроцесирањето ги преобликува тие сигнали во карактеристики погодни за моделот.

3. Извршувањето на Inference извршува компактен модел на уредот користејќи забрзувачи кога се достапни.

4. Постобработката ги претвора излезите во настани, етикети или контролни дејства.

5. Телеметријата прикачува само она што е корисно: резимеа, аномалии или периодични повратни информации.

Времињата на извршување на уреди што ќе ги видите во дивината вклучуваат LiteRT (порано TensorFlow Lite), ONNX Runtime и OpenVINO . Овие синџири алатки го исцедуваат протокот од тесните буџети за енергија/меморија со трикови како квантизација и фузија на оператори. Ако ви се допаѓаат навртките и завртките, нивната документација е солидна. [3][4]

Каде се појавува - реални случаи на употреба што можете да ги посочите 🧯🚗🏭

• Вид на работ : камери на ѕвончето на врата (луѓе наспроти домашни миленици), скенирање на полици во малопродажба, дронови што забележуваат дефекти.

• Аудио на уред : зборови за будење, диктат, откривање на протекување во растенија.

• Индустриски IoT : мотори и пумпи се следат за аномалии на вибрации пред дефект.

• Автомобилизам : следење на возачот, детекција на лента, помош при паркирање - под секунда или со застој.

• Здравствена заштита : носивите уреди локално ги означуваат аритмиите; синхронизирајте ги резимеата подоцна.

• Паметни телефони : подобрување на фотографии, откривање на спам-повици, моменти од типот „како мојот телефон го направи тоа офлајн“.

За формални дефиниции (и разговорот за братучедот „магла наспроти раб“), видете го концептуалниот модел на NIST. [2]

Хардверот што го прави брз 🔌

Неколку платформи често се проверуваат со имиња:

• NVIDIA Jetson - модули напојувани од графички процесор за роботи/камери - вибрации на швајцарски армиски нож за вградена вештачка интелигенција.

• Google Edge TPU + LiteRT - ефикасно инференција на цели броеви и поедноставено време на извршување за проекти со ултра ниска потрошувачка на енергија. [3]

• Apple Neural Engine (ANE) - тесна машинска изработка на уреди за iPhone, iPad и Mac; Apple објави практична работа за ефикасно распоредување на трансформатори на ANE. [5]

• Intel процесори/iGPU-а/NPU-а со OpenVINO - „запиши еднаш, распореди насекаде“ низ Intel хардверот; корисни оптимизација поминува.

• ONNX Runtime насекаде - неутрално runtime со приклучливи даватели на услуги за извршување низ телефони, компјутери и портали. [4]

Дали ви се потребни сите? Не баш. Изберете една силна патека што одговара на вашата флота и држете се до неа - одливот на нови тимови е непријател на вградените тимови.

Софтверскиот стек - кратка тура 🧰

• Компресија на моделот : квантизација (често до int8), кастрење, дестилација.

• Забрзување на ниво на оператор : јадра подесени на вашиот силикон.

• Време на траење : LiteRT, ONNX Runtime, OpenVINO. [3][4]

• Обвивки за распоредување : контејнери/пакети на апликации; понекогаш микросервиси на портали.

• MLOps за работ : ажурирања на OTA модели, A/B имплементација, телеметриски јамки.

• Контроли за приватност и безбедност : енкрипција на уредот, безбедно стартување, атестирање, енклави.

Мини-случај: тим за инспекција со беспилотни летала дестилирал тежок детектор во квантизиран студентски модел за LiteRT, а потоа го споил NMS на уредот. Времето на летот е подобрено за ~15% благодарение на помалата потрошувачка на пресметки; обемот на прикачување се намалил на рамки за исклучоци. (Метод: снимање на податоци на лице место, постквантна калибрација, режим на сенка A/B пред целосно воведување.)

Табела за споредба - популарни опции за Edge AI 🧪

Вистински муабет: оваа маса е наметлива и малку неуредна - исто како и во реалниот свет.

Како да изберете патека со вештачка интелигенција на Edge - мало дрво на одлуки 🌳

• Тешко ви е во реално време? Започнете со акцелератори + квантизирани модели.

• Многу типови уреди? Преферирајте ONNX Runtime или OpenVINO за преносливост. [4]

• Испорака на мобилна апликација? LiteRT е патот со најмал отпор. [3]

• Роботика или аналитика на камерата? Операциите на Jetson, прилагодени за графичкиот процесор, заштедуваат време.

• Строг став за приватност? Чувајте ги податоците локално, шифрирајте ги во мирување, евидентирајте агрегати, а не сурови рамки.

• Мал тим? Избегнувајте егзотични синџири за алати - здодевното е убаво.

• Моделите често ќе се менуваат? Планирајте OTA и телеметрија од првиот ден.

Ризици, ограничувања и здодевните, но важни делови 🧯

• Поместување на моделот - промена на средините; следење на дистрибуциите, извршување на режими на сенка, периодично преобучување.

• Пресметувачки тавани - тесна меморија/моќ присилува помали модели или опуштена точност.

• Безбедност - претпоставете физички пристап; користете безбедно подигнување, потпишани артефакти, атестирање, услуги со најмалку привилегии.

• Управување со податоци - локалната обработка помага, но сепак ви е потребна согласност, задржување и опсежна телеметрија.

• Операции на флота - уредите се исклучуваат во најлоши времиња; дизајнирајте одложени ажурирања и продолжување на прикачувањата.

• Микс на таленти - вградени + ML + DevOps е шарена екипа; вкрстена обука рано.

Практичен патоказ за испорака на нешто корисно 🗺️

1. Изберете еден случај на употреба со мерливо откривање на дефекти во вредноста на Ред 3, збор за будење на паметниот звучник итн.

2. Соберете уреден сет на податоци што ја отсликува целната средина; инјектирајте шум за да одговара на реалноста.

3. Прототип на комплет за развој блиску до продукциски хардвер.

4. Компресирајте го моделот со квантизација/кастрење; мерете ја загубата на точност искрено. [3]

5. Завиткајте инференција во чист API со повратен притисок и чувари - бидејќи уредите се замрзнуваат во 2 часот наутро

6. Дизајнирајте телеметрија што ја почитува приватноста: број на испраќања, хистограми, карактеристики извлечени од рабовите.

7. Harden безбедност : потпишани бинарни датотеки, безбедно подигнување, отворени минимални услуги.

8. План OTA : постепено воведување, канаринци, моментално враќање назад.

9. пилотирај во куфер со кривина - ако преживее таму, ќе преживее каде било.

10. Скалирајте со прирачник : како ќе додавате модели, ќе ротирате клучеви, ќе архивирате податоци - за проектот бр. 2 да не биде хаос.

Најчесто поставувани прашања - кратки одговори на прашањата за тоа што е Edge AI ❓

Дали Edge AI само работи на мал модел на мал компјутер?
Најчесто, да - но големината не е целата приказна. Станува збор и за буџети за латенција, ветувања за приватност и организирање на многу уреди кои дејствуваат локално, а учат глобално. [1]

Може ли да тренирам и на работ?
Постои лесна обука/персонализација на уредот; потешката обука сè уште работи централно. ONNX Runtime документира опции за обука на уредот ако сте авантуристички настроени. [4]

Што е Edge AI наспроти fog computing?
Fog и edge се братучеди. И двата го доближуваат пресметувањето до изворите на податоци, понекогаш преку блиски портали. За формални дефиниции и контекст, видете NIST. [2]

Дали Edge AI секогаш ја подобрува приватноста?
Помага - но не е магија. Сè уште ви треба минимизирање, безбедни патеки за ажурирање и внимателно најавување. Третирајте ја приватноста како навика, а не како поле за избор.

Длабоки нуркања што можеби навистина ќе ги прочитате 📚

1) Оптимизација на моделот што не ја нарушува точноста

Квантизацијата може да ја намали меморијата и да ги забрза операциите, но калибрирајте со репрезентативни податоци или моделот може да халуцинира верверички таму каде што има сообраќајни конуси. Дестилацијата - наставникот што го води помалиот ученик - често ја зачувува семантиката. [3]

2) Времиња на извршување на инференција на рабови во пракса

Интерпретерот на LiteRT намерно врши безстатичко превртување на меморијата за време на извршување. ONNX Runtime се поврзува со различни забрзувачи преку даватели на услуги за извршување. Ниту еден од нив не е сигурен; и двата се солидни „чекани“. [3][4]

3) Робусност во дивината

Топлина, прашина, слаба струја, несигурен Wi-Fi: изградете чувари кои ги рестартираат каналите, ги кешираат одлуките и ги усогласуваат кога мрежата ќе се врати. Помалку гламурозни од главите на вниманието - поважни сепак.

Фразата што ќе ја повторувате на состаноците - Што е Edge AI 🗣️

Edge AI ја приближува интелигенцијата поблиску до податоците за да ги задоволи практичните ограничувања на латентност, приватност, пропусен опсег и сигурност. Магијата не е во еден чип или рамка - туку мудро избирање што каде да се пресмета.

Заклучоци - Предолго е, не го прочитав 🧵

Edge AI ги извршува моделите близу до податоците, така што производите се чувствуваат брзи, приватни и стабилни. Ќе го комбинирате локалното заклучување со надзор во облак за најдоброто од двата света. Изберете време на извршување што одговара на вашите уреди, потпирајте се на забрзувачи кога можете, одржувајте ги моделите уредни со компресија и дизајнирајте ги операциите на возниот парк како вашата работа да зависи од тоа - затоа што, па, можеби. Ако некој праша Што е Edge AI , кажете: паметни одлуки, донесени локално, на време. Потоа насмевнете се и сменете ја темата на батерии. 🔋🙂

Референци

1. IBM - Што е Edge AI? (дефиниција, придобивки).
   https://www.ibm.com/think/topics/edge-ai

2. NIST - SP 500-325: Концептуален модел за пресметување на магла (формален контекст за магла/раб).
   https://csrc.nist.gov/pubs/sp/500/325/final

3. Google AI Edge - LiteRT (порано TensorFlow Lite) (време на извршување, квантизација, миграција).
   https://ai.google.dev/edge/littert

4. ONNX Runtime - Обука на уред (преносливо време на извршување + обука на рабни уреди).
   https://onnxruntime.ai/docs/get-started/training-on-device.html

5. Истражување за машинско учење на Apple - Распоредување трансформатори на Apple Neural Engine (белешки за ефикасноста на ANE).
   https://machinelearning.apple.com/research/neural-engine-transformers

Пронајдете ја најновата вештачка интелигенција во официјалната продавница за асистенти за вештачка интелигенција

За нас