Што е скалабилност со вештачка интелигенција?

Ако некогаш сте гледале како демо модел уништува мало тест оптоварување, а потоа замрзнува во моментот кога ќе се појават вистински корисници, тогаш сте го сретнале негативецот: скалирањето. Вештачката интелигенција е алчна - за податоци, пресметување, меморија, пропусен опсег - и чудно, за внимание. Па што е всушност скалабилност со вештачка интелигенција и како да ја добиете без да препишувате сè секоја недела?

Статии што можеби ќе ве интересираат по оваа:

🔗 Што е пристрасност на вештачката интелигенција објаснето едноставно
Научете како скриените пристрасности ги обликуваат одлуките на вештачката интелигенција и ги моделираат резултатите.

🔗 Водич за почетници: што е вештачка интелигенција
Преглед на вештачката интелигенција, основни концепти, типови и секојдневни примени.

🔗 Што е објаснива вештачка интелигенција и зошто е важна
Откријте како објаснетата вештачка интелигенција ја зголемува транспарентноста, довербата и усогласеноста со регулативите.

🔗 Што е предикативна вештачка интелигенција и како функционира
Разберете ја предикативната вештачка интелигенција, вообичаените случаи на употреба, придобивките и ограничувањата.

Што е скалабилност со вештачка интелигенција? 📈

Скалабилноста на вештачката интелигенција е способност на системот со вештачка интелигенција да обработува повеќе податоци, барања, корисници и случаи на употреба, а воедно да ги одржува перформансите, сигурноста и трошоците во прифатливи граници. Не само поголеми сервери - попаметни архитектури кои ја одржуваат латентноста ниска, пропусноста висока и квалитетот конзистентен како што кривата се искачува. Замислете еластична инфраструктура, оптимизирани модели и видливост што всушност ви кажува што е во ред.

Што ја прави добра AI скалабилноста ✅

Кога AI скалабилноста е добро извршена, добивате:

• Предвидлива латенција под остри или континуирано оптоварување 🙂

• Проток што расте приближно пропорционално на додадениот хардвер или реплики

• Ефикасност на трошоците што не расте по барање

• Стабилност на квалитетот како што инпутите се диверзифицираат и обемот се зголемува

• Оперативна смиреност благодарение на автоматското скалирање, трасирањето и разумните SLO-ја

Во суштина, ова обично комбинира хоризонтално скалирање, групирање, кеширање, квантизација, робусно сервисирање и внимателно осмислени политики за објавување поврзани со буџети за грешки [5].

Скалабилност на вештачката интелигенција наспроти перформанси наспроти капацитет 🧠

• Перформансите се однесуваат на тоа колку брзо едно барање се завршува изолирано.

• Капацитетот е колку од тие барања можете да обработите одеднаш.

• Скалабилноста со вештачка интелигенција е дали додавањето ресурси или користењето попаметни техники го зголемува капацитетот и ги одржува перформансите конзистентни - без да ви ја зголеми сметката или пејџерот.

Мала разлика, гигантски последици.

Зошто скалирањето воопшто функционира во вештачката интелигенција: идејата за законите за скалирање 📚

Широко користен увид во современото ML е дека загубата се подобрува на предвидливи начини како што ја скалирате големината на моделот, податоците и пресметувањето - во разумни граници. Исто така, постои оптимална рамнотежа за пресметување помеѓу големината на моделот и токените за обука; скалирањето на обете заедно е подобро од скалирањето само на еден. Во пракса, овие идеи влијаат врз буџетите за обука, планирањето на множествата податоци и компромисите за опслужување [4].

Брз превод: поголемото може да биде подобро, но само кога ги скалирате влезните податоци и пресметувате пропорционално - во спротивно е како да ставате тракторски гуми на велосипед. Изгледа интензивно, не води никаде.

Хоризонтално наспроти вертикално: двете лостови за скалирање 🔩

• Вертикално скалирање : поголеми кутии, помоќни графички процесори, повеќе меморија. Едноставно, понекогаш скапо. Добро за обука со еден јазол, инференција со мала латенција или кога вашиот модел одбива убаво да се распарчи.

• Хоризонтално скалирање : повеќе реплики. Најдобро работи со автоматски скалери кои додаваат или отстрануваат подови врз основа на метрики на процесорот/графичката картичка или прилагодени апликации. Во Kubernetes, HorizontalPodAutoscaler ги скалира подовите како одговор на побарувачката - вашата основна контрола на толпата за скокови во сообраќајот [1].

Анегдота (композитна): За време на лансирање со висок профил, едноставно овозможување на пакетирање од страна на серверот и дозволување на автоматското скалирање да реагира на длабочината на редот стабилизирана на p95 без никакви промени на клиентот. Невидливите победи се сепак победи.

Целосниот пакет на AI скалабилност 🥞

1. Слој на податоци : брзи складишта на објекти, векторски индекси и внесување на стриминг што нема да ги забави вашите тренери.

2. Слој за обука : дистрибуирани рамки и распоредувачи кои ракуваат со паралелизам на податоци/модел, контролни точки, повторни обиди.

3. Слој за сервирање : оптимизирани времиња на извршување, динамично групирање , внимание насочено кон страници за LLM, кеширање, стриминг на токени. Triton и vLLM се чести херои овде [2][3].

4. Оркестрација : Кубернетес за еластичност преку HPA или прилагодени автоскалери [1].

5. Набљудливост : траги, метрики и логови што ги следат патувањата на корисниците и го моделираат однесувањето во производот; дизајнирајте ги околу вашите SLO [5].

6. Управување и трошоци : економија по барање, буџети и прекинувачи за исклучување за неконтролирани работни оптоварувања.

Табела за споредба: алатки и шеми за скалабилност со вештачка интелигенција 🧰

Малку нерамномерно намерно - затоа што реалниот живот е таков.

Длабоко нурнување 1: Трикови за сервирање што ја движат иглата 🚀

• Динамичкото групирање ги групира малите повици за инференција во поголеми серии на серверот, драматично зголемувајќи ја искористеноста на графичката картичка без промени на клиентот [2].

• Странираното внимание задржува многу повеќе разговори во меморијата со стрнирање на KV кешовите, што го подобрува протокот при истовременост [3].

• Спојување и кеширање на барања за идентични инструкции или вградувања за да се избегне дупликатна работа.

• Шпекулативното декодирање и стримингот на токени ја намалуваат перцепираната латенција, дури и ако ѕидниот часовник едвај се поместува.

Длабоко нуркање 2: Ефикасност на ниво на модел - квантизирање, дестилирање, кастрење 🧪

• Квантизацијата ја намалува прецизноста на параметрите (на пр., 8-битни/4-битни) за да се намали меморијата и да се забрза инференцијата; секогаш повторно евалуирајте го квалитетот на задачата по промените.

• Дестилацијата го пренесува знаењето од голем наставник на помал ученик што вашиот хардвер всушност го сака.

• Структурираното кастрење ги потстрижува тежините/главите што најмалку придонесуваат.

Да бидеме искрени, тоа е малку како да го намалите куферот, а потоа да инсистирате сите чевли да ви одговараат. Некако, најчесто, така е.

Длабоко нуркање 3: Скалирање на податоци и обука без солзи 🧵

• Користете дистрибуирана обука што ги крие глупавите делови на паралелизмот за да можете побрзо да ги спроведувате експериментите.

• Запомнете ги тие закони за скалирање : распределете го буџетот според големината на моделот и токените внимателно; скалирањето на обете заедно е пресметковно ефикасно [4].

• Наставната програма и квалитетот на податоците честопати влијаат на резултатите повеќе отколку што луѓето признаваат. Подобрите податоци понекогаш се подобри од повеќе податоци - дури и ако веќе сте го подредиле поголемиот кластер.

Длабоко нуркање 4: RAG како стратегија за скалирање на знаењето 🧭

Наместо преквалификација на моделот за да биде во чекор со променливите факти, RAG додава чекор на пребарување при инференција. Можете да го одржувате моделот стабилен и да го скалирате индексот и пребарувањата како што расте вашиот корпус. Елегантно - и често поевтино од целосно преквалификација за апликации со големо знаење.

Забележливост што се исплати сама за себе 🕵️♀️

Не можеш да го скалираш она што не можеш да го видиш. Две основни работи:

• Метрики за планирање на капацитет и автоматско скалирање: проценти на латенција, длабочини на редови, GPU меморија, големини на серии, проток на токени, стапки на погодоци во кешот.

• Траги што следат по едно барање низ портал → пребарување → модел → пост-обработка. Поврзете го она што го мерите со вашите SLO, така што контролните табли одговараат на прашањата за помалку од една минута [5].

Кога контролните табли одговараат на прашања за помалку од една минута, луѓето ги користат. Кога не ги користат, па, се преправаат дека ги користат.

Заштитни огради за сигурност: SLO, буџети за грешки, разумни воведувања 🧯

• Дефинирајте SLO за латентност, достапност и квалитет на резултатите и користете буџети за грешки за да ја балансирате сигурноста со брзината на објавување [5].

• Распоредете се зад сообраќајните распределби, правете канаринци и извршувајте тестови за сенка пред глобалните пресеци. Вашето идно јас ќе испраќа грицки.

Контрола на трошоците без драма 💸

Скалирањето не е само техничко; туку е и финансиско. Третирајте ги GPU часовите и токените како првокласни ресурси со единечна економија (цена по 1000 токени, по вградување, по векторски прашалник). Додадете буџети и известувања; прославете го бришењето работи.

Едноставен план за скалабилност со вештачка интелигенција 🗺️

1. Започнете со SLO за латентност, достапност и точност на задачата во p95; пренесувајте метрики/траги уште првиот ден [5].

2. Изберете пакет за сервирање кој поддржува сериско и континуирано сериско производство: Triton, vLLM или еквиваленти [2][3].

3. Оптимизирајте го моделот : квантизирајте каде што помага, овозможете побрзи јадра или дестилирајте за специфични задачи; потврдете го квалитетот со реални евалуации.

4. Архитект за еластичност : Kubernetes HPA со вистинските сигнали, одделни патеки за читање/пишување и реплики за инференција без состојба [1].

5. Прифатете го обновувањето кога е важна свежината, за да го скалирате вашиот индекс, наместо да го преобучувате секоја недела.

6. Затворете ја јамката со трошоците : воспоставете економија на единиците и неделни прегледи.

Вообичаени начини на дефекти и брзи поправки 🧨

• Графичкиот процесор е со искористеност од 30% додека латентноста е лоша

  • Вклучете го динамичкото групирање , внимателно зголемете ги ограничувањата за групирање и повторно проверете ја истовременоста на серверот [2].

• Протокот се урива со долги инструкции

  • Користете сервисирање што поддржува насочено внимание и подесете максимални истовремени секвенци [3].

• Автоматски скалирачки капаци

  • Израмнете ги метриките со прозорци; скалирајте ја длабочината на редот или прилагодете токени во секунда наместо чисто CPU [1].

• Трошоците експлодираат по лансирањето

  • Додадете метрики за трошоци на ниво на барање, овозможете квантизација каде што е безбедно, кеширајте ги најчестите барања и ограничете ги најлошите прекршители на стапката.

Прирачник за скалабилност со вештачка интелигенција: брза листа за проверка ✅

• SLO-ите и буџетите за грешки постојат и се видливи

• Метрики: латентност, tps, GPU меморија, големина на серија, токен/и, погодок во кешот

• Траги од влез до модел до пост-процесирање

• Сервирање: вклучување во серии, истовремено подесување, топли кешови

• Модел: квантизиран или дестилиран каде што помага

• Инфра: HPA конфигуриран со вистинските сигнали

• Патека за враќање на свежината на знаењето

• Единичната економија често се разгледува

Предолго време не го прочитав и завршни забелешки 🧩

Скалабилноста со вештачка интелигенција не е единствена функција или таен прекинувач. Тоа е јазик на шаблони: хоризонтално скалирање со автоматско скалирање, групирање од страна на серверот за користење, ефикасност на ниво на модел, пребарување за префрлање на знаење и видливост што ги прави воведувањата здодевни. Додадете SLO и хигиена на трошоците за да ги држите сите усогласени. Нема да го направите совршено од првиот пат - никој не го прави тоа - но со вистинските повратни јамки, вашиот систем ќе расте без тоа чувство на ладно потење во 2 часот наутро 😅

Референци

[1] Кубернетес Документи - Хоризонтално автоматско скалирање на подови - прочитај повеќе
[2] NVIDIA Triton - Динамички пакет - прочитај повеќе
[3] vLLM Документи - Странично внимание - прочитај повеќе
[4] Хофман и др. (2022) - Обука на оптимални модели на големи јазици за пресметување - прочитај повеќе
[5] Работна книга на Google SRE - Имплементирање на SLO - прочитај повеќе

Пронајдете ја најновата вештачка интелигенција во официјалната продавница за асистенти за вештачка интелигенција

За нас