Што е центар за податоци со вештачка интелигенција? [Видео и квиз]

Краток одговор: Центарот за податоци со вештачка интелигенција е со висока густина каде што напојувањето, ладењето, материјалот и складирањето се насочени кон моделите за обука и опслужување, а не кон серверска соба со дополнителни графички процесори. Чиповите ја добиваат славата; зградата одлучува дали ќе работат. Ако сликите не можат да се отстранат, реновирајте мала ќелија; повеќето тимови треба да изнајмат.

Клучни заклучоци:

Чипови наспроти градење: Напојувањето, ладењето, ткаенината и складирањето одлучуваат дали акцелераторите ќе работат.

Места, а не палати: Модернизирајте два полици кога податоците не можат да излезат; не купувајте кампус.

Средна вредност наспроти медијана: На осум извршувања, медијаната се рестартира; користете ја 18-часовната средна вредност.

Отпорност на злоупотреба: Не давајте понуда за PUE за две полици во мешана сала.

Илустративни резултати: Осум трчања се мала мапа, не се заштеда од 50% во производството.

Статии што можеби ќе ве интересираат по оваа:

🔗 Дали вештачката интелигенција е сигурна? Видео и квиз
Истражете ја сигурноста на вештачката интелигенција преку интересно видео и интерактивен квиз.

🔗 Како да се користи вештачката интелигенција во секојдневниот живот
Откријте практични начини како вештачката интелигенција може да ги поедностави секојдневните задачи и рутини.

🔗 Како да користите вештачка интелигенција на работа
Научете практични начини да користите вештачка интелигенција за попаметна продуктивност на работното место.

🔗 Може ли вештачката интелигенција да размислува сама?
Разберете дали вештачката интелигенција навистина може да размислува независно или да расудува.

По што се разликува од „нормален“ центар за податоци

Традиционалните ходници се оптимизирани за мешани работни оптоварувања и време на работа низ многу мали услуги. Секако, се грижите за редундантноста, а и за PUE како концепт - дополнителна енергија што зградата ја согорува за да испорача еден ват пресметка. Типично, не го дизајнирате секој ходник околу решетка што се однесува како преносна фарма за греење.

Веб-страниците со вештачка интелигенција ги менуваат соодносите. Густината се зголемува. Мрежата станува ткаенина без која обуката не може да се одвива. Складирањето мора да ги одржува контролните пунктови во движење или акцелераторите да стојат неактивни, како тркачки коњи во сообраќаен метеж.

Исто така, постои и културна разлика. Операторот на претпријатијата размислува за билети и прозорци за промена. Операторот на вештачката интелигенција размислува за редовите за работа и чувството на мака кога јазол ќе престане да работи доцна на долг рок. Претпоставувам дека сè уште можете да ги наречете двата „центри за податоци“ затоа што се. Етикетата само ги крие водоводните инсталации.

Не е морално рангирање. Различни машини, исто презиме.

Графички процесори, акцелератори и решетката што троши енергија

Одете по традиционален подигнат под и полиците изгледаат речиси учтиво. Одете по вештачка интелигенција и изгледаат како да сакаат да ја проголтаат зградата.

Извонредниот хардвер не е паметен процесор. Тоа е лентата за забрзување: графички процесори или други чипови со вештачка интелигенција, спакувани во сервери, потоа полици, па редови што делат ткаенина со висок пропусен опсег. Графичката картичка ги поврзува чиповите за спојување во нешто што може да се преправа дека е еден џиновски забрзувач; ткаенината на кластерот го прави истиот трик на ниво на ред. Паралелната обука функционира само ако тие врски останат дебели и предвидливи. Ако го изгубите тоа, вашиот „кластер“ ќе биде куп скапи работни станици што делат поштенски број.

Моќта ги следи чиповите. Не е голема канцелариска PDU. Мегавати ИТ оптоварување откако ќе се наполни салата - нема да измислувам бројка. Густината по решетка е пресвртот во заплетот. Помалку решетки. Секој од нив е мала печка. Ограничувачки фактор често е трафостаницата, а не листата на желби на графички процесори. Знаете како е: набавките сакаат повеќе акцелератори; комуналната компанија сака долг разговор и многу голем чек.

Една малку глупава метафора што не можам да ја отфрлам: пастрмката е гладно животно. Можеш да одгледуваш побрзо. Сепак мора да го храниш, а сепак мора да ја извалкаш топлината. Прескокни го кое било од нив и станува многу скап тег за хартија.

Проблемот со енергијата, топлината и ладењето

Вметнете струја. Исклучете топлина. Тоа е целата религија.

Полиците со висока густина ја испуштаат топлината на начин на кој никогаш не било побарано од воздухот да се справи. Можете да го туркате воздухот посилно - разменувачи на топлина на задните врати, потопли ходници, паметно ограничување - и тоа функционира до одредена точка. Потоа се појавува течност:

• Ладење директно на чип

• Јамки за ладење што ја прават просторијата за растенија да изгледа како хемиски погон

• Вдлабнатина во неколку дизајни, што сè уште ги изненадува луѓето кои мислат дека водата и келнерите не треба да делат иста реченица

Ништо од ова не е гламурозно. Сето тоа е производ, бидејќи педалот за гас што го забрзува е оној за кој веќе сте платиле и не можете целосно да го користите.

PUE сè уште е важен. Тоа е сооднос, а не личност. Операторите го бркаат затоа што секој ват потрошен на вентилатори и пумпи е ват што не отишол во графичкиот процесор. Нема да цитирам „типична“ бројка; климата и начинот на кој ја цртате границата ја поместуваат, а лажната прецизност е полоша од ништо. Водата исто така се наоѓа во приказната. Некои растенија сркаат. Некои голтаат. Ладењето со испарување е ефикасно сè додека реката или сушата не го направат политичко.

Вмрежување: зошто ткаенината е важна исто колку и чиповите

Луѓето ги фотографираат графичките процесори. Тие треба да ги фотографираат прекинувачите.

Обуката е разговор. Илјадници акцелератори разменуваат градиенти, параметри, парчиња од модел, во тесна синхронизација. Ако материјалот се тресе, целата работа чека на најбавниот скок. Затоа салите со вештачка интелигенција се опседнати со мрежи со висок пропусен опсег, ниска латентност и топологии кои не се преклопуваат на половина кога врската ќе откаже. Материјали слични на InfiniBand, етернет во истата улога, GPU меѓусебни поврзувања во кутијата, каблирање кое мора да биде правилно од првиот пат.

Заклучувањето е друг муабет. Сервирањето на моделот се грижи за латенцијата на опашката - бавниот одговор, а не просечниот. Групното наспроти реалното време ја дели личноста. Кластерот за обука сака дебело, колективно, движење од се до се. Флотата за сервисирање сака многу помали барања и изолација, без сообраќаен метеж кај балансерот на оптоварувањето.

Промашувањето, додека сум тука: луѓето ја третираат мрежата како водовод, а чипсот како ресторан. Во оваа зграда водоводот е ресторан. Ако го пропуштите тоа, купувате кујна што не може да прима достава.

Обука наспроти инференција: две згради, понекогаш буквално

Обуката е кампања. Составувате кластер, го внесувате во него податоци, редовно проверувате, работите со часови или недели и се молите структурата да остане без настани. Преоптоварена со серии, гладна за пропусен опсег, тивко трпелива - сè додека неуспешниот јазол не се откаже од работата. Еден мртов акцелератор во тесно поврзана задача може да го запре целиот хор.

Инференцијата е продавница. Модели кои веќе се обучени, сега одговараат на прашања, класифицираат слики, генерираат текст. Латенцијата е важна. Малку постар акцелератор во близина на клиентот може да победи гламурозен на еден континент подалеку.

Значи, добивате поделба. Кампусите за обука бркаат моќ, земјиште и густина. Местата за инференција бркаат латентност и присуство. Постојат и хибридни сали, бидејќи капиталот не е бесконечен. Па - не секогаш две згради. Понекогаш една сала со кадифено јаже и две јамки за ладење.

Тука е исто така местото каде што се наоѓаат колокацијата, хиперскалните кампуси и локациската платформа. Хиперскалерите градат на размери што нè прават останатите да изгледаме како да аранжираме мебел. Колоните продаваат густина по полицата. Локацијата сè уште се случува кога податоците не можат да заминат.

Проток на складирање, контролни точки и гладни чипови

Никој не го става паралелниот датотечен систем на корицата на брошурата.

Податоците за обука мора да пристигнат доволно брзо за да не се активираат графичките процесори. Контролните точки мора да се постават за да не се изгуби една недела од падот. Тежините на моделите мора да се вчитаат пред репликата за сервисирање да биде активна. Пропусниот опсег на складирање - не само капацитетот - е тивкото тесно грло. Можете да потрошите богатство на акцелератори и да ги исклучите со учтив низа дизајнирана за виртуелни машини.

Моделот е познат: сјаен кластер, ред на задачи и I/O чекање кое гледа назад како груба фактура. Групирањето на пресметување без групирање на патеката на податоците е начинот на кој добивате многу скапа неактивност. Одржувајте ги чиповите напојувани или признајте дека сте купиле скулптура.

Софтвер, оркестрација и негламурозен слој на оперативни системи

Хардверот е славна личност. Распоредувачите ја завршуваат работата.

Центарот за податоци со вештачка интелигенција е бескорисен ако работните места не можат да најдат графички процесори, ако два тима не можат да споделат кластер без тепачка, ако неуспешниот ранг не може да се замени, ако фирмверот се менува сè додека структурата не откаже во забавена снимка. Оркестрација, видливост, ограничување на моќноста - негламурозен слој на оперативниот систем, по што знаете дека е важен.

Имам слабост за овој слој. Исто така, кога погрешно конфигурирана NIC картичка претставува проблем со ладењето во текот на целото попладне... тоа го откривате на потешкиот начин.

Кога јазол ќе престане да работи на средина од извршувањето

Јазол умира. Прозорците за промена сè уште се судираат со обуки на кои не им е грижа за вашиот календар. Групно закажувате големи задачи, ги оградувате базените за инференција, пишувате книги за грешки што изгледаат како „работата е бавна“ сè додека не изгледаат како „работата е мртва“. Редундантноста сè уште е важна - напојување, ладење, патеки, складирање - но режимот на грешки е помалку уреден од стариот слајд со деветки време на работа. Инференција: реплика, испразнете го болниот јазол, продолжете да одговарате. Обуката бара контролни точки, а не оптимизам.

Локација, вода, мрежа и соседи

Не фрлате едно од овие до куќарка поради погледот.

Поврзувањето со мрежата е често вистинскиот процес на избор на локација. Земјиштето е лесно во споредба со трафостаница и комунална компанија што има други клиенти. Водата за ладење, ако ја користите, станува проблем со соседите штом врнежите од дожд се груби. Бучава. Визуелна маса. Топлина на гранична ограда. Комитетите за планирање откриваат мислења за „облакот“ во моментот кога му треба поле и река.

Латентноста го влече спротивниот пат. Инференцијата сака да биде во близина на корисници и меѓусебни врски. Обуката може да се скрие во поевтини пазари на енергија и постудена клима. Индустријата зборува како да постои едно совршено место. Нема. Постои компромис со соопштение за медиумите.

Преостаната топлина и непоканетата печка

Брошурите го обожаваат овој дел. Испружете ја отпадната топлина во домовите, базените, стаклениците; тоа е прекрасна реченица. Понекогаш кругот на округот е вистински. Понекогаш кампусот е на погрешно место, а топлината сепак оди во воздухот. Скептичен сум во врска со верзијата на брошурата; не сум скептичен во врска со физиката.

Кому му е потребен еден (и кој треба да изнајми наместо тоа)?

Повеќето луѓе не треба да поседуваат една од овие сали.

Суровиот список:

• Хиперскалерите, бидејќи производот е возниот парк

• Лаборатории, кога времето во редот е тесно грло или податоците не можат да излезат

• Банка, болничка група, влада или производител со таен сет на податоци - во болница или приватен кафез за складирање може да биде рационален, дури и ако е тешко

Сите други треба да изнајмат. Колокација со густина подготвена за вештачка интелигенција. Резервација во облак. Управуван кластер. Ги добивате акцелераторите без да станете оператор на електрана. Романсата исчезнува првиот пат кога некој ќе праша кој е на повик за јамката за ладење во 3 часот наутро.

Морам да признаам дека постои нешто како гордост. Поседувањето на кластерот се чувствува како да поседувате средства за предвидување. Потоа пристигнува фактурата за електрична енергија и гордоста седнува.

За што служи зградата

Значи, што е центар за податоци со вештачка интелигенција? Специјализиран кампус со висока густина на капацитет каде што забрзувачите, напојувањето, ладењето, материјалот и складирањето се организирани околу модели за обука и опслужување - не ИТ за општа намена со графички процесор во аголот. Изгледа како магацин. Се однесува како електрана што врши математика.

Ако не се сеќавате на ништо друго: чиповите ја добиваат славата; трафостаницата, течноста за ладење и мрежата одлучуваат дали тие чипови биле добра идеја. Обуката и инференцијата можат да делат ист покрив; тие сепак сакаат различни манири. Повеќето организации треба да изнајмуваат. Неколку треба да градат. Соседите ќе забележат во секој случај.

Облакот отсекогаш имал зграда. Денес зградата има мислења.

Пример од реалниот свет: Ќелија за обука со два решетки кога сликите не можат да заминат

Сценарио

Томос е раководител на инфраструктурата во „Кестрел Прецизн“, производител со 400 вработени во Западен Мидлендс. Тие веќе имаат мала сала во своите простории: ERP, споделување датотеки, виртуелни машини, мешаната населба со која започна оваа статија. Воздушно ладење. Обичен етернет. SAN кој е совршено прилагоден за канцелариски дискови.

Тимот за машинско гледање треба да обучи модел за инспекција на фабрички фотографии. Фотографиите не можат да ја напуштат локацијата. Тие покажуваат процес што компанијата нема да го постави на облачен диск, дури ни на приватен. Решението на Набавките се четири сервери со двоен забрзувач и слајд насловен како „нашиот центар за податоци со вештачка интелигенција“. Серверите се сместени во два постоечки полици, бидејќи има простор, а просторот се чувствуваше како ограничување.

Не е така. Во рок од две недели, графичките процесори звучат преоптоварени, а потоа тивко се намалуваат. Работните места почнуваат да се намалуваат кога контролна точка ќе го погоди SAN. Јазол престанува во единаесеттиот час и работата едноставно... исчезнува. Томос не пропуштил да купи чипови. Купил куп скапи работни станици што делат ист поштенски број. Зградата сè уште била корпоративна сала.

Не им треба кампус, нова трафостаница или река. Им треба мала ќелија што се однесува како центар за податоци со вештачка интелигенција во минијатура: енергија што можат да ја задржат полиците, топлина што ќе исчезне без да се готват чиповите, материјал за кој може да се разговара за обуката, складирање што може да собере контролна точка и книга за извршување кога некој јазол ќе престане да работи. Бидејќи сликите не можат да исчезне, изнајмувањето на коло кафез оддалечен четириесет минути не е решение. Модернизацијата на два полици е решение.

Што ѝ е потребно на клетката

• Измерен буџет за енергија на тој ред, од PDU-ата, а не од листата со желби на графичкиот процесор. Ако резервниот капацитет не може да ги напојува четирите сервери при оптоварување за обука, разговорот запира тука и тие гледаат на погуста боја, а не на чудо

• Ладењето на воздухот никогаш не било побарано да се изврши при оваа густина: разменувачи на топлина на задната врата ако ходникот може да ги издржи, или мала течна јамка ако може да ги издржи. Ако не е така, серверите не влегуваат

• Наменска мрежа со висок пропусен опсег помеѓу четирите јазли, а не канцеларискиот етернет. Ако продавачот има само 10 Gb прекинувач во каталогот, тоа не е кластер

• Локално брзо складирање за контролни точки и фрагменти за обука, а не за VM SAN

• Распоредувач, интервал на контролна точка и пишана патека за рестартирање. Хардверот е славната личност. Овој слој е работата

• Оградена кутија за инференција за фабричката линија, одвоена од брборењето за обука, бидејќи сервирањето бара латенција на опашката и изолација, а не колектив

• Дозвола за евидентирање на напојувањето, тактовите на графичкиот процесор, настаните за гасење и ѕидниот часовник на задачите. Ако не можат да ги проверат, ќе ги фотографираат графичките процесори и ќе ги пропуштат прекинувачите

Пример за упатство

Томос го кажува ова во упатството за објектите, на обичен јазик:

Не го нарекувајте ова кампус со вештачка интелигенција. Изградете ќелија за обука со два решетки во постоечката сала за четири сервери со двојно забрзување. Фабричките слики остануваат на лице место. Успех е: четирите јазли завршуваат рецепт за инспекција-обука од 12 епохи без термичко гасење, пишуваат контролна точка за минути, а не за десетици минути, и продолжуваат од таа контролна точка кога намерно ќе го уништиме ранг. Ладењето мора да ги одржува графичките процесори на нивните часовници за обука. Мрежата мора да биде ткаенина што ја делат тие четири кутии, а не патека низ канцеларискиот стек. Складирањето мора да ги напојува чиповите. Ако разменувачите на топлина на задната врата не се вклопуваат, кажете го тоа и престанете. Не наведувајте PUE за два решетки во мешана сала. Таа бројка би била театар.

Потоа го става ова во самата задача за обука:

Контролна точка на секои 30 минути до локалниот брз базен. Ако рангот исчезне, рестартирајте од последната комплетирана контролна точка. Не чекајте на SAN. Не продолжувајте со тренинг додека часовниците се опаднати од топлина. Евидентирајте го и запрете за да можеме да го видиме застојот.

Добар час изгледа вака: сите осум графички процесори на тренинзи, контролната датотека е слетана, задачата е сè уште во тек. Лош час изгледа вака: вентилаторите се во полн ек, тактовите се спуштени, контролната точка 2% е напишана по десет минути и некој во канцеларијата вели „кластерот е активен“. Подигнувањето не е тренинг.

Како да го тестирате

Тие го пишуваат тестот пред ретрофитот, што е целата поента на тоа да не се верува на демо верзија.

• Истиот рецепт од 12 епохи, истите 120.000 инспекциски фотографии, осум снимања

• Времето е ѕиден часовник до завршен рецепт, вклучувајќи го и секое рестартирање, мерено од поднесувањето на задачата до последната контролна точка од епоха 12

• Премин на топлина: GPU тактовите остануваат на целта за тренинг за време на трчањето. Настанот за гас е неуспех дури и ако задачата на крајот заврши

• Премин на складирање: време на запишување на контролната точка, медијана и најлоша, од дневникот на задачи

• Премин на ткаенина: работата не седи во колективно чекање додека рангот е здрав. Ако не можат да го видат тоа чекање, инструментацијата не е завршена

• Два од осумте трчања добиваат ранг убиен на фиксен чекор, намерно, за да се тестира патеката за рестартирање

• Заклучокот е посебен тест од 200 слики од фабричката линија до оградената кутија за сервирање. Успехот во тренингот не се смета за успех во сервирањето

• Тие ја снимаат моќноста на решетката од PDU-ата во 15-минутни семпли, така што никој не мора да измислува мегават

Прифаќање за нарекување на ќелијата „подготвена за вештачка интелигенција“: 8 од 8 рецепти се завршени; 0 од 8 покажуваат термичко забрзување; обете прекинати задачи продолжуваат; контролните точки остануваат за неколку минути. Ако го пропуштат тоа, сè уште имаат серверска соба со фенси графички картички.

Резултат

Илустративен резултат, од измислен тест со осум циклуси, а не објавена бројка на ветрушка.

Претпоставки: четири сервери со двоен забрзувач во два рега; еден модел за инспекција; 120.000 фотографии; осум извршувања на фиксен рецепт од 12 епохи; ѕидниот часовник вклучува рестартирање додека не заврши рецептот; гасот значи евидентирано опаѓање на часовникот за обука; времето на контролната точка е запишување, а не желба; напојувањето на регалот е PDU примероци, а не PUE на кампусот.

Пред ретрофитирањето, графичките процесори во обични воздушно ладени полици на канцеларискиот Ethernet и VM SAN:

• 5 од 8 трчања завршени од првиот обид. Среден резултат на ѕиден часовник меѓу тие пет: 14 часа

• 3 од 8 мораа да започнат одново по застој околу 11-тиот час (два откако еден јазол престана да работи со застарена контролна точка, еден откако контролната точка го наполни SAN). Веднаш повторен обид, без чекање преку ноќ во часовникот: 11 часа потрошени плус 14 часа втор обид, или 25 часа до завршен рецепт на тие три

• Просечно време до завршување на рецептот за сите осум, вклучувајќи ги и рестартирањата: 18 часа. (Пет на 14, три на 25. Медијаната на сите осум е сè уште 14, што би ги сокрило рестартирањата. Затоа средната вредност е почетната вредност овде.)

• Термичко гасно забрзување е регистрирано на 7 од 8 трчања. Средно време на намален часовник: 3 часа во обид од 14 часа

• Пишување на контролната точка: средно 22 минути

• Убиството од ранг не беше тест што можеа да го положат. Немаа книга на рангови. Двете случајни смртни случаи беа наодот

• Врвно ИТ оптоварување на двата решетки за време на обуката: околу 18 kW. Редот ги имаше потребните вати. Немаше ладење ниту материјал

По разменувачите на топлина на задната врата на тие две полици, наменска структура помеѓу четирите јазли, мал NVMe базен за контролни точки, 30-минутно контролно поставување и рестартирање на runbook:

• 8 од 8 завршија од првиот обид. Средно време на ѕиден часовник: 9 часа

• Термички гас: 0 од 8

• Пишување на контролна точка: медијана 90 секунди. Најлошо време во сетот: 3 минути

• Двете намерни убиства од ранг продолжија од последната контролна точка од 30 минути. Дополнителен ѕиден часовник на тие две рунди: околу 40 минути секое, вклучувајќи ја и дијагнозата, така што тие две траеја близу 9 часа и 40 минути. Просечно во осум рунди мирување до 9 часа

• Врвното оптоварување на ИТ е сè уште околу 18 kW. Исти чипови. Различно однесување на зградата

Низ целиот овој примерок, просечното време за завршување на рецептот се намали од 18 часа на 9 часа, или по 9 часа за секое, 72 часа во осум циклуси. Кога рецептот е завршен за прв пат, времето се намали од 5 од 8 на 8 од 8. Кога гасот се намали од 7 од 8 на 0 од 8. Последната бројка е онаа што кажува дали купиле забрзувачи или тегови за хартија. Тие нема да ја наречат промената на времето заштеда од 50% во производството. Осум циклуси е мал, лесен број.

Овие бројки се примерна проценка врз основа на наведениот тест, мал примерок, еден модел и една мешана сала. Тие не се PUE, ниту мегават на кампусот, ниту доказ дека Kestrel треба да изгради место за обука на поле. Прегледот на логовите беше во рамките на 9-те часа; тие не го криеја тоа. Бројката од 18 kW е заокружено отчитување на PDU, а не фактура за комунални услуги. Тие не ги претворија 72-те часа во трошок, бидејќи цената на мешана електрична енергија на фабриката би претставувала лажен бизнис случај.

Проверката за сервисирање беше посебна и помала: 200 слики од линии до оградената кутија, сите на лице место. Тоа е заклучок, а не тренинг. Мешањето на двете би била грешката со хибридната сала во минијатура.

Што може да тргне наопаку

• Набавката постојано ги нарекува четирите сервери „центар за податоци со вештачка интелигенција“. Етикетата ги крие водоводните инсталации, а следната набавка е повеќе графички процесори за истиот „болен“ канал

• Вклучени се менувачи на задната врата, а никој не ја пушта во употреба страната со вода. Вентилаторите сè уште викаат. Часовниците сè уште паѓаат

• Фабриката е еден прекинувач без резервна патека. Една неуспешна врска и „кластерот“ повторно е четири работни станици

• Контролните точки остануваат на SAN бидејќи NVMe базенот беше во „втора фаза“. Втората фаза не пристигнува пред следниот мртов јазол

• Тие наведуваат PUE за две полици во мешана сала. Климата, границата и остатокот од ERP редот го прават тој сооднос костим

• Обуката и сервирањето ја делат ткаенината. Поплава од контролни точки ја тера фабричката линија да чека. Латентноста на опашката е производот таму, а не густината

• Јазол умира и некој го третира како билет за време на работа наместо како рестартирање на контролната точка. Операциите на претпријатието и операциите со вештачка интелигенција разговараат еден со друг цел попладне

• Можеле да изнајмат кафез, но сликите не можат да си одат. Заборавајќи на тоа ограничување, ќе мора да се опуштат во разговор во облак

Практичен оброк за носење

Она што е Центар за податоци со вештачка интелигенција, во оваа форма, не е магацин и не е фактура за графички процесор. Тоа е ќелијата што им овозможува на акцелераторите да го завршат трчањето: енергија што можат да ја задржат, топлина што ја напушта, ткаенина, контролна точка и некој на куката кога ќе умре ранг. На Kestrel не му требаше кампус. Им требаа два решетки за да престанат да се преправаат. Повеќето тимови треба да го изнајмат тоа однесување. Неколку, со таен сет на податоци и сала што може да ја издржи топлината, треба да изградат ќелија и да го одбијат лизгачот.

Најчесто поставувани прашања

Што е центар за податоци со вештачка интелигенција?

Локација за пресметување со висока густина каде што напојувањето, ладењето, вмрежувањето и складирањето се насочени кон паралелна обука и опслужување на модели, а не кон уредни редови на сервери за општа намена. Дизајнирана е така што огромен број забрзувачи можат да обучуваат и опслужуваат модели без топење, застој на мрежата или чекање на дискот. Обична корпоративна сала е мешана населба. Салата со вештачка интелигенција е монокултура чија единица на вредност е забрзувачот, како што се графичките процесори или чиповите во стилот на TPU. Изгледа како магацин и се однесува како електрана што врши математика.

По што се разликува центарот за податоци со вештачка интелигенција од обичниот центар за податоци?

Традиционалните сали се оптимизираат за мешани работни оптоварувања и време на работа низ многу мали услуги. Веб-страниците со вештачка интелигенција ги менуваат соодносите: густината се зголемува, мрежата станува ткаенина без која обуката не може да се одвива, а складирањето мора да ги одржува контролните точки во движење или акцелераторите стојат неактивни. Операторите на претпријатијата размислуваат за билети и прозорци за промена. Операторите со вештачка интелигенција размислуваат за редовите за работа и чувството на мака кога јазол ќе престане да работи доцна на долг рок. Сè уште можете да се јавите во двата центри за податоци. Етикетата само ја крие грешката.

Зошто центрите за податоци со вештачка интелигенција трошат толку многу енергија?

Извонредниот хардвер не е паметен процесор. Тоа е лентата за забрзување: графички процесори или други чипови со вештачка интелигенција, спакувани во сервери, потоа полици, па редови кои делат ткаенина со висок пропусен опсег. Густината по полици е пресвртот во заплетот: помалку полици, секој од нив како мала печка. Мегавати ИТ оптоварување се појавуваат откако ќе се пополни салата, иако измислувањето типична бројка не вреди. Ограничувачки фактор често е трафостаницата, а не листата на желби на графички процесори.

Како се ладат центрите за податоци со вештачка интелигенција?

Полиците со висока густина ја испуштаат топлината на начин на кој никогаш не било побарано од воздухот да се справи. Можете да го туркате воздухот посилно со разменувачи на топлина на задната врата, потопли патеки и паметно задржување. Потоа се појавува течност: директно ладење на чипот, јамки за ладење и потопување во неколку дизајни. Забрзувачот што го намалува притисокот е оној за кој веќе сте платиле и не можете целосно да го искористите. PUE сè уште е важен бидејќи секој ват потрошен на вентилатори и пумпи е ват што не отиде во графичкиот процесор. Водата исто така е дел од приказната: некои постројки сркаат, некои голтаат.

Зошто вмрежувањето е толку важно колку и графичките процесори?

Обуката е разговор: илјадници акцелератори разменуваат градиенти, параметри и парчиња од моделот во тесна синхронизација. Ако материјалот се тресе, целата работа чека на најбавниот скок. Затоа салите со вештачка интелигенција се опседнати со мрежи со висок пропусен опсег, ниска латенција, InfiniBand-ови материјали или Ethernet во истата улога и топологии кои не се преклопуваат на половина кога врската ќе откаже. Inference се грижи за латенцијата на опашката, многуте помали барања и изолацијата. Во оваа зграда водоводот е ресторанот.

За што се користи Центарот за податоци со вештачка интелигенција: за обука или заклучување?

Обуката е кампања: состави кластер, внеси му податоци, религиозно постави контролни точки и работи со часови или недели. Инференцијата е продавница: модели кои се веќе обучени, сега одговараат, со латентност која е важна. Кампусите за обука бркаат моќ, земја и густина. Местата за инференција бркаат латентност и присуство. Хибридните сали постојат затоа што капиталот не е бесконечен, понекогаш една сала со две јамки за ладење. Малку постар акцелератор во близина на клиентот може да победи гламурозен на еден континент подалеку.

Зошто е важно складирањето во центар за податоци со вештачка интелигенција?

Податоците за обука мора да пристигнат доволно брзо за да не се активираат графичките процесори. Контролните точки мора да се постават за да не се изгуби една недела од падот. Тежините на моделите мора да се вчитаат пред репликата за сервисирање да биде активна. Пропусниот опсег на складирање, не само капацитетот, е тивкото тесно грло. Можете да потрошите богатство на акцелератори и да ги исклучите со учтив низа дизајнирана за виртуелни машини.

Што се случува кога јазол ќе престане да работи на средина од процесот?

Еден мртов акцелератор во тесно поврзана задача за обука може да го блокира целиот хор. Обуката бара контролни точки, а не оптимизам. Инференцијата го празни болниот јазол, ја одржува репликата одговорна и останува активна. Прозорците за промени сè уште се судираат со извршувања на обука на кои не им е грижа за вашиот календар. Редундантноста сè уште е важна за напојување, ладење, патеки и складирање, но режимот на дефекти е помалку уреден од стариот слајд со деветки време на работа.

Какво е влијанието на центарот за податоци со вештачка интелигенција врз мрежата, водата и соседите?

Поврзувањето со мрежата е често вистинскиот процес на избор на локација. Земјиштето е лесно во споредба со трафостаница и комунална компанија што има други клиенти. Водата за ладење, ако ја користите, станува проблем со соседите штом врнежите од дожд се груби, заедно со бучавата, визуелната маса и топлината на граничната ограда. Обуката може да се скрие во поевтините пазари на енергија и постудените клими. Инференцијата сака да биде во близина на корисниците. Не постои една совршена локација. Постои компромис со соопштение за медиумите.

Дали треба да поседувам центар за податоци со вештачка интелигенција или треба да изнајмам?

Повеќето луѓе не треба да поседуваат една од овие сали. Хиперскалерите градат затоа што производот е возниот парк. Лабораториите градат кога времето на чекање е тесно грло или податоците не можат да се отстранат. Банка, болница, влада или производител со таен сет на податоци може да направи рационално да се изгради кафез на лице место или приватен колокаш. Сите други треба да изнајмат: колокација подготвена за вештачка интелигенција, резервација во облак или управуван кластер. Ги добивате акцелераторите без да станете оператор на електрана.

Референци

1. ИЕА - www.iea.org

2. LBNL - datacenters.lbl.gov

3. Зелената мрежа - www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. Институт за време на работа - journal.uptimeinstitute.com

7. NVIDIA - developer.nvidia.com

8. НВИДИЈА - docs.nvidia.com

9. НВИДИЈА - docs.nvidia.com

10. НВИДИЈА - docs.nvidia.com

11. Google Cloud - docs.cloud.google.com

Пронајдете ја најновата вештачка интелигенција во официјалната продавница за асистенти за вештачка интелигенција

За нас