CLM-8B штотуку излезе: Новиот модел со отворена вештачка интелигенција кој тврди дека е до 9 пати побрз од Jev за агенти

Краток одговор: CLM-8B е отворен контрастен јазичен модел насочен кон брзи одлуки на агентите, со тврдења на авторите за до околу 9 пати помала латентност од колегите од Jev-класата. Овие бројки остануваат непотврдени надвор од поставувањето на изданието. Ако градите агенти за кодирање, A/B направете го на свој систем пред да им верувате на графиконите.

Клучни заклучоци:

Тврдења за латентност: Третирајте го забрзувањето на Jev од ~9× како пријавено од авторот сè додека другите не го репродуцираат.

Евалуациски ремен: Држете ги алатките и упатствата фиксирани при A/B тестирање на CLM-8B.

Хибриден стек: Користете CLM за топли јамки; одржувајте побавен резонатор за нови задачи.

Отворени тежини: Потврдете ги датотеките со лиценца на Apache пред да испраќате комерцијални вилушки.

Ризик од злоупотреба: Откривање на реверзибилни алатки и тајни кога агентите одлучуваат за милисекунди.

Што се обидува да биде CLM-8B ⚡

Обуката за контрастен јазичен модел, како што е опишана од луѓето што го промовираат ова отфрлање, е за поврзување на состојбите и дејствата, а не за максимизирање на веројатноста за следниот знак во изолација. Со јасни зборови: моделот е поттикнат да го мапира „еве ја ситуацијата“ со „еве го потегот“, повеќе како раководител на политика отколку како романописец. Тоа е аналогијата на Систем 1 по која истражувачите постојано се стремат - брза, асоцијативна, обликувана од одлуки - за разлика од тенорот на Систем 2 на долг синџир на мисли што ги согорува токените додека размислува гласно.

CLM-8B е првата јавна тежина поставена во таа линија. Позициониран е како отворено истражувачко издание со лиценцирање на Apache 2.0 за покриеноста што го придружуваше објавувањето, што е важно ако сакате да го дотерате, испратите или да го разделите без адвокатски пикник. Џеки Квок ја претстави работата; Азалија Мирхосеини, која е поврзана со Стенфорд, го засили; а пошироката рамка прикажува Стенфорд и NVIDIA. Именувани истражувачи, јавни тежини, отворен код - не е анонимно протекување. Сè уште е рано за репликација од трети страни, затоа држете го скептицизмот некаде помеѓу „интересно“ и „покажи ми го независниот одбор“.

Класата на големина е осум милијарди параметри, што е доволно мало за лабораториите и инди-градителите да можат да ја хостираат без да продадат бубрег за H100 време. Веќе се зборува за поголемо на CLM-35B . Дали тој поголем брат ќе ја задржи приказната за латенцијата или ќе ја замени брзината за длабочина останува неизвесно, но сигналот за мапата на патот е јасен: ова е наменето да биде семејна, а не еднократна демо картичка.

•  Фокус: состојба → акциони јамки за агенти, а не пишување есеи
•  Лиценцирањето е врамено како Apache 2.0 во покритието околу објавувањето
•  Стил: Систем 1 / приказна за обука ориентирана кон одлуки
•  Последователно: поголем CLM-35B споменат како план

Стил на Систем 1 наспроти вообичаената лента за трчање со токени 

Повеќето продукциски LLM што ги знаете генерираат текст, еден токен истовремено. Тоа функционира одлично за проза, дампови на код и внимателно размислување. Тоа е исто така причината зошто агент на кој му се потребни дваесет микро-одлуки во минута може да се чувствува бавно дури и кога моделот е „паметен“. Секој чекор го плаќа авторегресивниот данок.

Контрастивниот јазичен модел го менува акцентот. Наместо да барате од мрежата да го раскаже својот пат до одговор, вие ја тренирате да го претпочита вистинското дејство дадено во одредена состојба - размислувајте за контрастни повлекувања помеѓу добрите и лошите потези, а не само за течни продолженија. Градежните инженери веќе го знаат моделот: понекогаш не ви треба образложение од илјада зборови; ви треба моделот да напише pytest наместо rm -rf. Брзите јамки се грижат за таа разлика.

Ништо од ова не значи дека CLM-8B не може да емитува текст. Тоа значи дека целта на обуката и приказната за евалуација се наклонети кон агентска контрола. Тоа е различен облик на производ од „модел за разговор кој може да повикува и алатки“. Индустријата помина години правејќи модели подобри во зборувањето за алатки, а сепак да го попречува самото зборување. Моделот „прво одлука“ е вид на страничен потег кој или изгледа очигледно гледано од денешна перспектива или пропаѓа кога критериумите се заплеткуваат. И двата исхода се можни.

Потврдена брзина и бројки на клупи (третирај како побарувања)

Еве го делот што ги движи објавите на социјалните мрежи: промотерите тврдат дека имаат до околу 9 пати побрзо заклучување од моделите од класата Jev. По лесно фино подесување, тие исто така известуваат за силни резултати од агентското кодирање - DeepSWE со околу 81,6% успех и Terminal-Bench 2.1 со околу 87,6%. Во некои евалуации тие ги опишуваат перформансите од нулти удар како споредливи со Jev, додека латентноста останува многу пониска. Еден резиме на кластерот што лебди со разговорот за објавување наведува приближно 32 ms време на одговор на поставка на terminal bench. Фраза што е внимателно: пријавена и тврдена, не е независно ревидирана во оваа статија.

Ако тие бројки за латентност се генерализираат, практичната победа е помалку графички процесори по конкурентен агент или повеќе агенти по графичка картичка. Кодирачките агенти кои ја уништуваат школката се особено чувствителни бидејќи чекањето на ѕиден часовник се собира; одлука од 200 ms и одлука од 30 ms се чувствуваат како различни производи по неколку стотици вртења. Корисниците често го обвинуваат „моделот што е глупав“ кога поострата болка е интерактивното задоцнување.

Сепак - и ова е пасусот за надзор од возрасни - клупите за автори се маркетинг сè додека некој друг не ги репродуцира на споделен хардвер со споделени инструкции. Резултатите од лесно фино подесување исто така можат да сокријат многу скелиња. Силните DeepSWE и Terminal-Bench броеви се возбудливи токму затоа што тие групи ги казнуваат кршливите агенти, но возбудата не е репликација. Чувајте леплива белешка на која пишува CLAIM на 9× и на таа бројка од 32 ms-класа. 

Табела за споредба: LLM-ови по токен наспроти CLM-стил на рамки

Табелите помагаат кога маркетиншкиот јазик станува несигурен. Оваа ги споредува типичните навики за генерирање на LLM со приказната за Контрастивниот јазичен модел како што ја опишуваат истражувачите. Клетките се малку нерамни намерно бидејќи конкретните споредби секогаш се.

Користете ја табелата како ментален модел, а не како пресуда. Тимовите за производи сè уште треба да го измерат сопствениот потенцијал: шемите на алатките, политиката за повторен обид и бучавата од околината ќе ги променат резултатите повеќе отколку што дозволува табелата со слајдови.

Кој стои зад бучавата 👤

Атрибуцијата е важна бидејќи отворените изданија со вештачка интелигенција се движат од внимателни лабораториски изданија до мистериозни торенти. Ова има лица. Џеки Квок го претстави CLM; Азалија Мирхосеини помогна да се прошири; покриеноста постојано ја врамува истражувачката соработка поврзана со Стенфорд и NVIDIA. Тоа не ги прави магично сите бројки вистинити, но става репутациска кожа во играта. Отворените изданија со именувани истражувачи имаат тенденција да бидат тестирани на стрес побрзо од анонимните изданија - колегите сакаат јавна цел.

За градителите, практичната импликација е пристапот. Отворените тежини плус лиценца во стилот на Apache 2.0 (како што е опфатено околу лансирањето) обично значат дека можете да експериментирате комерцијално со помалку проблеми отколку лиценците само за истражување. Проверете ги самите вистинските датотеки со лиценци во изданието пред да испратите нешто; резимеата на покриеност не се договор. Тоа може да звучи педантно, но лиценцната педантност ги спасува стартапите.

Моделот на социјално засилување е познат: пост од истражувач, почитувани цитати од засилувачи, потоа бран „агенти конечно решени“. Филтрирајте за луѓе кои споделуваат детали за хендсфри. Снимките од екранот од едно успешно извршување на кодирањето се театар на расположение, а не наука. 🛰️

Зошто циклусите „Состојба-до-акција“ поседуваат агентско кодирање 

Агентското кодирање е сурова средина. Моделот гледа снимка од репозиториумот, транскрипт на школката, можеби неуспешен тест и мора да избере уредување или команда. Успехот е бинарен почесто отколку разговорот. Или тестот станува „зелен“ или не. Таа форма на награда ги фаворизира политиките што јасно избираат дејства во однос на моделите што пишуваат убави есеи за неуспех.

Контрастните приказни за обука се вклопуваат во тој свет бидејќи експлицитно ја туркаат мрежата кон претпочитани дејства под дадена состојба. Замислете го тоа како да го учите помладиот инженер „кога ќе ја видите оваа класа на грешки, посегнете по овој образец за поправка“ наместо „напишете блог пост за тоа зошто компајлерите се тешки“. Помладиот инженер сè уште има потреба од проценка; кратенката само го намалува дитерирањето.

Латентноста овде се зголемува. Да претпоставиме дека агент во просек прави осумдесет чекори со алатката за да добие средна корекција на грешка. Отстранете 150 ms по чекор и враќате дванаесет секунди од ѕидниот часовник - што е разликата помеѓу состојба на проток и корисник кој притиска со alt-tab за да провери е-пошта. Тимовите што управуваат со флоти од агенти ја чувствуваат таа математика и во сметките во облакот. Тврденото забрзување на инференцијата од ред на големина во споредба со врсник од Jev класа, дури и ако се покаже како „само“ 4× во дивината, сепак го преуредува планирањето на капацитетот.

Постои една несигурна метафора што постојано ја користам на состаноците: моделите за разговор токен-по-токен се како дебатирање за рутата на секоја раскрсница, додека контролерот во стилот на Систем 1 е повеќе како мускулна меморија за возење во град. Мускулната меморија откажува во нов град. Истото важи и за тесно подесениот модел на акција кога културата на складиште е идиосинкратична. Сè уште сакате размислувачки режими за нови избори на архитектура; сакате рефлекси за педесеттиот „поправете го увозот и повторно стартувајте“. Хибридните стекови - брз контролер сличен на CLM плус потежок резонер на тврди гранки - веројатно се местото каде што слетаат сериозните системи, дури и ако објавите за лансирање продаваат еден херојски модел. 🚦

Исто така, вреди да се каже гласно: агентските програми за кодирање како DeepSWE и Terminal-Bench наградуваат скеле. Квалитетот на искористувањето, листите на дозволени алатки и упатствата за обновување можат да ги променат стапките на успех за двоцифрена бројка. Кога ќе видите ~81,6% или ~87,6% по лесно фино подесување, проверете која обвивка се наоѓала околу тежините. Тоа не е сенка; тоа е начинот на кој функционира полето.

Отворени тежини, фино подесување и сенката 35B 

Отворените тежини ја менуваат социјалната динамика на тврдењето. Моделите на затворени API можат да прикажуваат графикон и да ве остават да се прашувате за контаминација, трикови за декодирање или тајни системски инструкции. Со параметри што може да се преземат, барем можете да го проверите тоа. Финото подесување на CLM-8B за вашата внатрешна средина за кодирање - вашите правила за lint, вашиот CLI за распоредување, вашата монорепо топологија - е реалистичниот пат до сјајните бројки на клупата, а не магија со нула удари од првиот ден.

Рамката на Apache 2.0 (според покриеноста) е пријателска за градителите: јазик за доделување патенти, јасни норми за прераспределба, помалку стапици „само за истражување“. Повторно: прочитајте ги датотеките. Писателите на покриеност резимираат; адвокатите се специјализирани.

Планираниот CLM-35B е слонот во лизгањето на мапата на патот. Поголемите модели често ја враќаат промислената вештина и губат дел од „малиот и злобно брз“ шарм, освен ако дестилацијата или шпекулативните трикови не ја контролираат латенцијата. Ако варијантата од осум милијарди е спортски автомобил, а триесет и пет милијарди е седан за туринг, тимовите би можеле да ги задржат и двата: 8B за брзи циклуси, 35B за прецизно планирање. Или поголемиот модел би можел едноставно да доминира ако хардверот продолжи да поевтинува. Која иднина ќе пристигне е сè уште неизвесно; белешките за објавување на иднината ќе одлучат, а не овој пасус.

Еден суптилен ризик со моделите со отворени агенти: луѓето ќе ги приклучат во CI без ограничувања на брзината и ќе откријат брзо инјектирање преку злонамерни README-и. Брзите модели ја зголемуваат злоупотребата на ист начин како што ја зголемуваат практичната вредност. Заштитните огради не се опционален косплеј; тие се производ. 

• Прецизно подесете ги сопствените траги пред да процените квалитет
• Одржувајте побавно резонирање како излез за бегство за нови задачи
• Латентност на инструментот p50/p95 во вашиот сноп, не само точност
• Да претпоставиме дека 35B повторно ќе ја помести Паретовата граница

Читање на споредбата со Џев без да се засрамите 

Споредбите со моделите од класата Jev вршат реторичка работа. Тие воспоставуваат врсник во нивото на брзина на агентите, така што „до 9 пати побрзо“ има референца. Релативните тврдења бараат сидро, и тоа е сосема оправдано. Опасноста е да се сруши целиот стек за евалуација во еден множител. Големината на серијата, прецизноста, поставките за декодирање, должината на контекстот и серијализацијата на повикот на алатката, сите го преобликуваат она што значи „побрзо“, а тие копчиња ретко се појавуваат на истиот слајд.

Кога резимето на кластерот наведува одговори од ~32 ms-класа на поставка на терминал, третирајте го „одговорот“ како двосмислена етикета сè додека некој не објасни дали тоа значи прв токен, JSON со целосна акција или кеширан префикс. Овие разлики ги претвораат маркетиншките милисекунди во инженерски часови. Споредлив квалитет со нула удари со помала латентност е совршен спој; ако независни групи потврдат дури и половина од тој сон, обуката во стилот на CLM заработува постојано место на состаноците за архитектура.

Дотогаш, третирајте го Џев како наратив за ривалство, повеќе отколку како стабилна табела на рангирање. Ривалствата продаваат објави. Вашите KPI-и за производство не се грижат за наративот. Мерете го успехот на задачата, вредноста на доларот по решено барање и стапката на човечка интервенција. Ако вилушката на контрастниот јазичен модел ги освои, славете. Ако победи само на Твитер, продолжете да одите. 🚶

Време за мали контрадикции: наративите за ривалство сè уште имаат влијание. Тие ги принудуваат лабораториите да објавуваат бројки наместо опуштена атмосфера. Само не ја мешајте таблата со резултати со спортот.

Што е потребно за ова издание да биде како што треба 

За CLM-8B да биде важен надвор од циклусот на вести, треба да се посочат неколку работи:

• Репликација: надворешните групи треба да можат да ја усогласат латентноста на насловот и стапките на успех во кодирањето со документирани рецепти.
• Транспарентност на искористување: споделете ги деталите за обвивката на агентот што ги генерираа резултатите од DeepSWE и Terminal-Bench.
• Документи кои не претпоставуваат лабораториска телепатија: јасни скрипти за фино подесување, команди за евалуација и белешки за хардверот.
• Режими на неуспех: покажете каде се колабираат одлуките во стилот на Систем 1 - нови API-ја, двосмислени билети, операции чувствителни на безбедност.
• Патека за надградба: разјаснете како се поврзува CLM-35B за тимовите да не го преоптоваруваат својот стек до ќорсокак од 8B.

Ако тие полиња останат празни, моделот станува уште еден интересен тег за хартија. Ако се пополнат, агентските платформи добиваат конкретен избор на компоненти: промислено LLM за цврста мисла, контрастен брз модел за треперливите раце. Таа поделба на трудот се чини позрела отколку преправањето дека еден мегамодел треба да ја заврши секоја работа со секој буџет за латентност.

Практични совети за градители кои вршат превоз на агенти 

Не треба да го преработувате вашиот стек утре. Ви треба план за евалуација на модели за брзо донесување одлуки. Започнете со издвојување на дел од вашиот агент што е критичен за латенцијата - можеби микро-јамката на терминалот или чекорот „избери следен греп“ - и A/B фино подесување на CLM-8B според вашиот тековен работен коњ. Држете го снопот константен. Евидентирајте сè.

Внимавајте на регресии со тивок квалитет: моделите што веднаш одговараат со сигурни погрешни дејства се полоши од бавно точните во репозиториуми со висок ризик. Додадете чекори за верификација. Претпочитајте реверзибилни алатки. Буџетирајте за втор повик на модел кога довербата е ниска - да, тоа јаде дел од брзината, и тоа е во ред. Брзината без сопирачки е начинот на кој демо-демонстрациите стануваат прекини.

Од организациска страна, ажурирајте ги листовите за капацитет со колона за „дејства во секунда по графичка картичка“ наместо само токени во секунда. Агентските работни оптоварувања се грижат за одлуките, а не за протокот на поезија. Ако тврдењето на авторите за ~9× барем делумно преживее контакт со вашиот хардвер, вашата табела ќе изгледа поинаку. Ако не е така, евтино сте научиле.

И ве молам, заради љубовта кон операциите, не ги залепувајте тајните за производство во експериментален агент затоа што моделот се чувствувал „безбеден“. Брзо отворените модели го олеснуваат вртењето на системи во сенка што никој не ги прегледува. Процесот сè уште е важен. 

Отворени нишки сè уште висат 

Неколку нерешени теми ме спречуваат да го користам целосниот промотивен режим:

• Колку од пријавениот успех во кодирањето припаѓа на тежините наспроти финото прилагодување на податоците и обвивката, останува нејасно.
• Рамката на Систем 1 може да се истенчи кога задачите бараат долгорочно планирање, наместо локални рефлекси на обвивката.
• CLM-35B може да ја зачува приказната за латентност или да се претвори во уште еден силен LLM од средна големина.
• Преференциите за контрастно дејство можат да станат кршливи при промена на дистрибуцијата - нови јазици, нови CLI во облакот, контрадикторни складишта.
• Приказната за безбедноста сè уште има потреба од појаснување кога дејствата се извршуваат во милисекунди.

Тоа не се фатени работи наменети да се заглават во тимот. Тие се проверките што треба да ги направи секој сериозен преглед на усвојувањето. Раните отворени изданија заслужуваат внимателно испитување и триење, а не слепи инсталации.

Заклучок 

CLM-8B е отворен, Apache-формиран (по покриеност) контрастен јазичен модел насочен кон брзо однесување од состојба во акција за агенти, претставен јавно од Џеки Квок со засилување од Азалија Мирхосеини и формулиран како истражување поврзано со Stanford/NVIDIA. Тврдењата во насловот - до околу 9 пати побрзо од инференцијата во класата Jev, силни резултати од DeepSWE и Terminal-Bench по лесно фино подесување, споредлив квалитет на нулти удар со многу помала латентност, вклучувајќи брборење за терминални одговори од класа од ~32 ms - се објавени од авторот и сè уште чекаат широка потврда од трета страна. Поголем CLM-35B е на хоризонтот.

Ако градите агентски системи за кодирање, ова вреди за фокусирана евалуација, а не за религија. Третирајте го како кандидат за Систем 1 контролер во хибриден стек, измерете го сопствениот сноп и чувајте ја налепницата CLAIM на секоја табела додека не се случат независни извршувања. Интересниот дел не е уште еден модел за разговор со ново лого. Интересниот дел е дали обуката во облик на одлуки може да ги натера агентите да се чувствуваат моментално без да ги натера непромислено да грешат.

Практичен пример: Градење на микро-јамка за евалуација на агент со критична латенција за CLM-8B

Авторските графикони за CLM-8B штотуку излезе: Новиот отворен модел на вештачка интелигенција што тврди дека е до 9 пати побрз од Jev за агенти може да изгледаат убедливо; вашиот ремен е единствениот глас што се брои. Еве како еден британски инди-тим за алатки го третираше CLM-8B како кандидат за контролер на Систем 1 - а не како замена за разговор - и го мереше на сопствената терминална микро-јамка.

Сценарио

Сем работи со мал производ кој веќе користи потежок агент за кодирање за рефакторирање на повеќе датотеки. Болниот дел е моменталната јамка: прочитајте неуспешен транскрипт од тестот, изберете ја следната обвивка или дејство за уредување, стартувајте го, повторете. Корисниците се жалат помалку на досадни одговори отколку на задоцнување на зимските ракавици во педесет чекори на алатките. Објавите на социјалните мрежи ги засилуваат тежините на контрастниот јазичен модел и наведеното забрзување од ~9× во споредба со колегите од класата Jev, плус силни бројки на DeepSWE / Terminal-Bench по лесно фино подесување. Сем одбива да го преработи производството на табела за печат.

Тие издвојуваат една микро-јамка критична за латенцијата: дваесет фиксни траги за корекција на грешки од сопственото монорепо. Тековниот работен коњ останува размислувачка патека за нови архитектонски билети. CLM-8B - ако е хостиран и малку дотеруван на нивните траги - му е дозволено да се натпреварува само на чекорот „избери следно реверзибилно дејство“, со побавен резонатор како отвор за бегство кога довербата е ниска.

Целта е A/B што го одржува снопот константен: исти алатки, иста листа на дозволени вредности, иста политика за повторен обид. Евидентирајте ги дејствата во секунда, латенцијата p50/p95, успехот на задачата и човечките интервенции - потоа одлучете дали отворените тежини заслужуваат место.

Што му е потребно на асистентот

• Дваесет анонимизирани траги од неуспешни тестови од реална работа (само влезни податоци + дозволени алатки)
• Обвивка на фиксен агент: шема на алатки, список на дозволи, максимални чекори и гранка „повик на бавно резонирање“
• Основни резултати на тековниот модел за истите дваесет задачи
• Белешки за хардверот за домаќинот CLM-8B (класа на графички процесор, прецизност, серија) за да има референца за „побрзо“
• Правило за налепница CLAIM: автор DeepSWE / Terminal-Bench / ~9× / ~32 ms бројките остануваат означени сè додека овој сноп не репродуцира нешто
• Човечки сопственик кој ги разгледува погрешните, но брзи дејствија пред било какво CI bolt on

Пример за упатство

Ми помагате да дизајнирам фер A/B за CLM-8B како контролер за брза состојба → акција во нашиот агент за кодирање. Користете ги само фактите за поврзување што ги залепувам. Не измислувајте множители на латенција, DeepSWE резултати или лиценцни услови.

Задача: Од моите дваесет имиња на задачи и моменталните белешки за почетната состојба, нацртајте (1) табела со бодување со колони Задача / Модел / Чекори / Ѕиден часовник / Успех (поминува/неуспех) / Човечка интервенција (да/не) / Белешки, (2) протокол со шест точки што ја одржува обвивката идентична кај сите модели и (3) правило за одлучување со јасна секојдневна формулација за тоа кога CLM-8B може да ја поседува микро-јамката наспроти кога ескалираме до бавното расудување.

Ограничувања: UK English (британски англиски). Означете го секој број пријавен од авторот како CLAIM (ПОТВРДАЊЕ) ако се појави. Претпочитајте алатки за реверзибилност. Забранете го јазикот „агентите конечно го решија“. Ако метриката недостасува во моето залепување, напишете [ПОТРЕБНО МЕРЕЊЕ] наместо да претпоставувате.

Резултат: заглавието на листот за оценување и еден пополнет примерен ред со користење на резервирани места, точките за протоколот, потоа правилото за ескалација/задржување. Без преамбула.

Како да го тестирате

• Извршете ги истите десет траги на тековниот работен коњ и на CLM-8B фино подесување со идентична обвивка. Потврдете дека се разликуваат само ѕидниот часовник и успехот - не листите со алатки.
• Прашајте: „Која авторска табела може да ја промени продукцијата оваа недела?“ Добар одговор: ниедна сè додека оваа шема не покаже победа на успехот и латенцијата заедно.
• Граничен случај: CLM-8B одговара за ~30 ms со предлог за деструктивна команда - потврдете ја листата на дозволени и човечкиот преглед го фаќа пред CI.
• Случај на раб: нов API билет надвор од дваесетте траги - потврдува дека бавниот резонатор го поседува, а не рефлексниот модел.
• Проверки за прифаќање: (1) нема измислено 9× тврдење како измерен резултат, (2) евидентирана латенција p50 и p95, (3) именител на успех се дваесетте задачи, (4) се бројат акции со погрешна брзина, (5) проверката на Apache/лиценца се случува офлајн пред кој било план за комерцијален брод.

Резултат

Илустративен резултат (пример проценка за еден тим од три лица за алати на дваесет фиксни монорепо траги, а не независно лабораториско повторување на клупите на авторите): Основниот работен коњ заврши 14 од 20 траги без човечка помош; средна латенција на чекор околу 180 ms; на две траги им беше потребен човек по погрешно уредување. По лесно фино подесување на CLM-8B на внатрешни траги (ист обвивка), 15 од 20 поминаа без помош; средна латенција на чекор околу 45 ms на нивниот домаќин со еден графички процесор; едно дополнително погрешно брзо дејство беше фатено од листата на дозволени пред да се примени. Ѕидниот часовник за пакетот со дваесет траги падна од околу 38 минути на околу 22 минути, вклучувајќи ги чекорите за верификација. На листата за проверка за хигиена (опременоста остана константна, етикетите CLAIM се чуваат на графиконите на авторите, бавниот резонатор сè уште се користи за билети за новини, нема тајни за производство во експерименталниот агент), 5 од 5 ставки за преглед поминаа. Ограничувања: мал сет на задачи, една класа на хардвер, доминира квалитетот на податоците за фино подесување; ова не ги потврдува бројките од ~9× или DeepSWE на авторите надвор од овој опсег.

За мерење на сопствената верзија: замрзнете дваесет траги; прво оценете го тековниот модел; хостирај го CLM-8B со документирана прецизност/поставки; повторно стартувај со истата обвивка; пријави успех/n, p50/p95, интервенции и дали некој CLAIM број бил третиран како факт.

Што може да тргне наопаку

• Обожување на графикон: Испорака на слајд од ~9× без ваш сопствен p95.
• Погрешно-брзи акции: Моментални самоуверени грешки кои ги победуваат бавните исправни грешки во репозиториуми со висок влог.
• Поместување на појасот: Промена на упатствата за алатки помеѓу моделите и нарекување победа на моделот.
• Стек со еден херој: Отфрлање на промисленото резонирање за нови архитектонски дела.
• Рачно пренесување на лиценца: Доверба на резимеата на покриеност наместо на вистинските датотеки со лиценца за складирање на тежини.
• Shadow CI: Вметнување на брзо отворен агенс со завртки во цевководи без ограничувања на брзината или преглед на инјектирањето.

Практичен оброк за носење

CLM-8B вреди за фокусирана евалуација како кандидат контролер на Систем 1 за агентско кодирање - отворени тежини, приказна обликувана од одлука, тврдења за брзина пријавена од авторот. Тоа не е кредо и не е докажано 9× за вашиот стек сè додека вашиот систем не го каже тоа. Држете го обвивката константна, евидентирајте ги дејствата во секунда и брзината на погрешно брзо, одржувајте побавно отворање на бегство и оставете ја налепницата CLAIM на секој графикон за печат сè додека не се случат независни изведби (вклучувајќи ги и вашите).

Најчесто поставувани прашања

Што е CLM-8B и зошто градителите на агенти зборуваат за тоа?

CLM-8B е првиот јавен сет на тежини во линијата Contrastive Language Model - отворено истражувачко издание претставено како брза јамка за донесување одлуки за агенти, а не само уште еден мозок за разговор. Приказната за обука ги поврзува состојбите со дејствата повеќе како рефлекс на Систем 1 отколку како бавен есеј за следниот токен. Со осум милијарди параметри, тој е доволно мал за многу лаборатории и независни градители да го хостираат, со лиценцирање на Apache 2.0 врамено во покриеност околу падот. Броевите во објавите за лансирање се тврдења пријавени од автори, а не независни лабораториски повторувања.

Како CLM-8B тврди дека е до 9 пати побрз од Jev за агенти?

Промотерите тврдат дека имаат до околу 9 пати побрзо инференција од моделите од класата Jev, со време на чатење од околу 32 ms одговори во класата на поставката на терминал-бенч. По лесно фино подесување, тие исто така известуваат за силни резултати од агентско кодирање - DeepSWE околу 81,6% и Terminal-Bench 2.1 околу 87,6% - и одреден квалитет на нулти удар споредлив со Jev со многу помала латентност. Третирајте ги бројките од 9× и милисекундите како тврдења сè додека трети страни не ги репродуцираат на споделен хардвер. Релативната брзина сè уште бара јасно дефинирани поставки за големината на серијата, прецизноста и декодирањето.

По што се разликува обуката за контрастен јазичен модел од типичните LLM?

Повеќето продукциски LLM генерираат еден токен истовремено, што функционира за проза и долго размислување, но го оптоварува секој микро-одлука што го носи агентот. Обуката за контрастен јазичен модел, како што го опишуваат промотерите, ја поттикнува мрежата да ги мапира ситуациите според претпочитаните потези - повеќе како раководител на политика отколку како романописец. Тоа врамување на Систем 1 фаворизира брзи циклуси од состојба до акција наместо бесконечно раскажување помеѓу повиците на алатките. CLM-8B сè уште може да емитува текст; целта и приказната за евалуација се наклонети кон агентска контрола.

Кој го издаде CLM-8B и дали е навистина отворен?

Џеки Квок ја претстави работата; Азалија Мирхосеини ја прошири; покриеноста ги опфаќа тимските напори поврзани со Стенфорд и NVIDIA со именувани истражувачи, јавни тежини и отворен код. Лиценцирањето околу изданието е формулирано како Apache 2.0, што е важно за фино подесување и испорака - но прочитајте ги лиценцните датотеки во репозиториумот пред да се потпрете на резимеата на покриеноста. Именуваните отворени изданија имаат тенденција побрзо да се тестираат на стрес од анонимните дампови. Сè уште е рано за широка репликација од трети страни.

Зошто циклусите од состојба во акција се толку важни за агентското кодирање?

Агентското кодирање е често бинарно: тестот или ќе помине „зелено“ или не, па затоа чистите акции ги победуваат убавите есеи за неуспех. Латентноста се комбинира низ десетици чекори на алатката - времето на бришење по чекор, а ѕидниот часовник и сметките во облакот се движат. Забрзувањето од ред на големина во споредба со врсник од класата Jev, дури и ако се покаже како „само“ 4× во дивината, сè уште го преуредува планирањето на капацитетот. Хибридните стекови - брз контролер сличен на CLM плус потежок резонер на тврди гранки - се реалистична долгорочна форма.

Дали треба да им верувам на резултатите од DeepSWE и Terminal-Bench за CLM-8B?

Овие комплети ги казнуваат кршливите агенси, поради што ~81,6% DeepSWE и ~87,6% Terminal-Bench 2.1 по лесно фино подесување изгледаат возбудливо. Агентските клупи, исто така, наградуваат скеле: квалитетот на снопот, дозволените листи на алатки и упатствата за обновување можат да го променат успехот за двоцифрена бројка. Истражете ја обвивката околу тежините пред да ја третирате табелата како утврдена наука. Авторските клупи се маркетинг сè додека некој друг не ги репродуцира со документирани рецепти.

Што треба да знам за CLM-35B и финото подесување на моделот 8B?

Поголемо продолжение на CLM-35B се споменува како план; дали ќе ја задржи приказната за латенција или ќе ја замени брзината за длабочина е неизвесно. Фино подесување на CLM-8B на сопствените правила за lint, распоредување на CLI и монорепо траги е реалниот пат до силни бројки - не магија со нула удари на првиот ден. Тимовите може да ги задржат обете големини ако се снајдат: 8B за брзи циклуси, 35B за тешко планирање. Отворените тежини исто така ја олеснуваат злоупотребата, па затоа заштитните огради и ограничувањата на брзината се производ, а не опционален косплеј.

Како да ги читам споредбите со Џев без да се засрамам?

Споредбите на Jev-класите даваат „до 9 пати побрзо“ сидро на врсникот, што помага во реализацијата. Опасноста е во спојувањето на големината на серијата, прецизноста, должината на контекстот и серијализацијата на повикот на алатката во еден множител. Кога chatter цитира ~32 одговори од класата ms, прашајте дали тоа значи прв токен, JSON со целосна акција или кеширан префикс. Измерете го успехот на задачата, доларот по решен билет и стапката на човечка интервенција на вашиот стек. Наративите за ривалство ги принудуваат лабораториите да објавуваат броеви; вашите KPI за производство сè уште одлучуваат.

Што треба да направат градителите пред да го стават CLM-8B во производствените агенси?

Одделете дел што е критичен за латентност - како што е микро-јамката на терминалот - и A/B фино подесување според вашиот тековен работен коњ со константен сноп. Внимавајте на погрешни, но брзи дејства; додадете верификација, претпочитајте реверзибилни алатки и буџетирајте побавен резонатор кога довербата е ниска. Следете ги дејствата во секунда по графичка картичка, а не само токени во секунда. Не лепете тајни за производство во експериментални агенти и оставете налепница CLAIM на секој графикон за печат сè додека не се појават вашите сопствени извршувања.

Како да изградам евалуација на микро-јамка со фер латентност за тврдењата на CLM-8B Just Dropp?

Замрзнете мал сет на вистински траги од неуспешни тестови, задржете ја истата шема на алатки и листа на дозволени низ моделите и евидентирајте ги чекорите, ѕидниот часовник, успехот и човечките интервенции. Користете го CLM-8B само на чекорот „избери следно реверзибилно дејство“ ако задржете промислено отворање за нови билети. Етикетирајте ги бројките на авторот ~9×, DeepSWE и милисекундите како CLAIM сè додека овој систем не покаже победа на успехот и латенцијата заедно. Таа фокусирана евалуација е подобра од препишувањето на продукцијата на слајдови.

Референци

1. Лице што гушка — Контрастивен јазичен модел (CLM-v0.1-8B) — huggingface.co
2. GitHub — Контрастивен-LM / CLM — github.com
3. Универзитетот Стенфорд — Азалија Мирхосеини — cs.stanford.edu
4. Џеки Квок — jackyk02.github.io
5. X — Претставување на Џеки Квок — x.com
6. DeepSWE - deepswe.datacurve.ai
7. Шноркелар со вештачка интелигенција — Терминал-клупа 2.1 — snorkel.ai
8. Џев — jevtypesafeai.com