Краток одговор: Вештачката интелигенција може да биде многу прецизна во тесни, добро дефинирани задачи со јасна основа на вистината, но „точноста“ не е единствен резултат на кој можете универзално да му верувате. Тој важи само кога задачата, податоците и метриката се усогласуваат со оперативната поставеност; кога влезните податоци отстапуваат или задачите стануваат отворени, грешките и самоуверените халуцинации се зголемуваат.
Клучни заклучоци:
Соодветност на задачата: Дефинирајте ја работата прецизно, така што „точното“ и „погрешното“ ќе бидат проверливи.
Избор на метрика: Усогласете ги метриките за евалуација со реалните последици, а не со традицијата или погодноста.
Тестирање на реалноста: Користете репрезентативни, бучни податоци и стрес-тестови надвор од дистрибуција.
Калибрација: Измерете дали довербата се совпаѓа со точноста, особено за праговите.
Мониторинг на животниот циклус: Постојано преиспитувајте како што корисниците, податоците и средините се менуваат со текот на времето.
Статии што можеби ќе ве интересираат по оваа:
🔗 Како да научите вештачка интелигенција чекор по чекор
Мапа на патот, погодна за почетници, за самоуверено да започнете со учење на вештачката интелигенција.
🔗 Како вештачката интелигенција открива аномалии во податоците
Ги објаснува методите што вештачката интелигенција ги користи за автоматски да забележува необични шеми.
🔗 Зошто вештачката интелигенција може да биде лоша за општеството
Опфаќа ризици како што се предрасуди, влијание врз работните места и загриженост за приватноста.
🔗 Што е збир на податоци од вештачка интелигенција и зошто е важен
Ги дефинира множествата на податоци и како тие ги обучуваат и оценуваат моделите на вештачка интелигенција.
1) Значи… Колку е прецизна вештачката интелигенција?🧠✅
Вештачката интелигенција може да биде исклучително прецизна во тесни, добро дефинирани задачи - особено кога „точниот одговор“ е недвосмислен и лесен за оценување.
Но, кај задачи со отворен крај (особено кај генеративната вештачка интелигенција како што се чет-ботовите), „точноста“ брзо станува несигурна затоа што:
-
може да има повеќе прифатливи одговори
-
излезниот исход може да биде течен, но не заснован на факти
-
Моделот може да биде подесен за вибрации на „корисност“, а не за строга коректност
-
Светот се менува, а системите можат да заостануваат зад реалноста
Корисен ментален модел: точноста не е својство што го „имате“. Тоа е својство што го „заработувате“ за одредена задача, во одредена средина, со специфична поставеност на мерење. Затоа сериозните упатства ја третираат евалуацијата како активност од животниот циклус - а не како еднократен момент на таблата со резултати. [1]
2) Точноста не е едно нешто - тоа е цела шарена фамилија 👨👩👧👦📏
Кога луѓето велат „точност“, тие можеби мислат на кое било од овие (и честопати мислат на две од нив одеднаш без да го сфатат тоа):
-
Точност: дали ја даде точната етикета / одговор?
-
Прецизност наспроти отповикување: дали избегна лажни аларми или сè забележа?
-
Калибрација: кога вели „90% сум сигурен“, дали е всушност точно во ~90% од случаите? [3]
-
Робустност: дали сè уште функционира кога влезните податоци се менуваат малку (шум, ново фразирање, нови извори, нова демографија)?
-
Сигурност: дали се однесува конзистентно под очекуваните услови?
-
Вистинитост / фактичност (генеративна вештачка интелигенција): дали измислува работи (халуцинира) со самоуверен тон? [2]
Ова е исто така причината зошто рамките фокусирани на доверба не ја третираат „точноста“ како метрика за соло херој. Тие зборуваат за валидност, сигурност, безбедност, транспарентност, робусност, праведност и друго како пакет - бидејќи можете да „оптимизирате“ едно, а случајно да го расипете другото. [1]
3) Што ја прави верзијата на мерење „Колку е точна вештачката интелигенција“ добра? 🧪🔍
Еве ја листата за проверка на „добрата верзија“ (онаа што луѓето ја прескокнуваат... а потоа се каат):
✅ Јасна дефиниција на задачата (т.е. направете ја проверлива)
-
„Сумирај“ е нејасно.
-
„Сумирај во 5 точки, вклучи 3 конкретни бројки од изворот и не измислувај цитати“ е проверливо.
✅ Репрезентативни податоци од тестот (т.е. запрете со оценување во лесен режим)
Ако вашиот тест сет е премногу чист, точноста ќе изгледа лажно добра. Вистинските корисници носат печатни грешки, чудни рабови и енергија од типот „Го напишав ова на мојот телефон во 2 часот наутро“.
✅ Метрика што одговара на ризикот
Погрешното класифицирање на мем не е исто што и погрешно класифицирање на медицинско предупредување. Не избирате метрики врз основа на традицијата - ги избирате врз основа на последиците. [1]
✅ Тестирање надвор од дистрибуција (т.е.: „што се случува кога реалноста ќе се појави?“)
Обидете се со чудно фразирање, двосмислени влезни информации, контрадикторни поттици, нови категории, нови временски периоди. Ова е важно бидејќи промената на дистрибуцијата е класичен начин на кој се моделира faceplant во производството. [4]
✅ Тековна евалуација (т.е. точноста не е функција „постави ја и заборави“)
Системите се менуваат. Корисниците се менуваат. Податоците се менуваат. Вашиот „одличен“ модел тивко се деградира - освен ако не го мерите континуирано. [1]
Мал реален образец што ќе го препознаете: тимовите честопати испорачуваат со силна „демонстративна точност“, а потоа откриваат дека нивниот вистински начин на неуспех не „погрешни одговори“... туку „погрешни одговори доставени со доверба, во голем обем“. Тоа е проблем со дизајнот на евалуацијата, а не само проблем со моделот.
4) Каде вештачката интелигенција е обично многу прецизна (и зошто) 📈🛠️
Вештачката интелигенција има тенденција да блесне кога проблемот е:
-
тесен
-
добро обележани
-
стабилен со текот на времето
-
слично на дистрибуцијата на обука
-
лесно се постигнуваат бодови автоматски
Примери:
-
Филтрирање на спам
-
Екстракција на документи во конзистентни распореди
-
Јамки за рангирање/препорака со многу сигнали за повратни информации
-
Многу задачи за класификација на видот во контролирани услови
Досадната суперсила зад многу од овие победи: јасна вистина + многу релевантни примери. Не е гламурозно - исклучително ефикасно.
5) Каде што точноста на вештачката интелигенција често се распаѓа 😬🧯
Ова е делот што луѓето го чувствуваат во своите коски.
Халуцинации во генеративна вештачка интелигенција 🗣️🌪️
LLM можат да произведат веродостојна, но нефактична содржина - а „веродостојниот“ дел е токму причината зошто е опасен. Тоа е една од причините зошто генеративното упатство за ризик од вештачка интелигенција става толку голема тежина на заземјувањето, документацијата и мерењето, наместо на демо снимки базирани на вибрации. [2]
Промена на дистрибуција 🧳➡️🏠
Модел обучен на една средина може да се сопне во друга: различен кориснички јазик, различен каталог на производи, различни регионални норми, различен временски период. Реперни точки како WILDS постојат во основа за да врескаат: „перформансите во дистрибуцијата можат драматично да ги преценат перформансите во реалниот свет“. [4]
Стимулации што наградуваат самоуверено погодување 🏆🤥
Некои поставувања случајно наградуваат однесување „секогаш одговарај“ наместо „одговарај само кога знаеш“. Така системите учат да звучат правилно наместо да бидат точни. Затоа евалуацијата мора да вклучува однесување на воздржување / несигурност - не само сурова стапка на одговори. [2]
Инциденти од реалниот свет и оперативни неуспеси 🚨
Дури и силен модел може да пропадне како систем: лошо пребарување, застарени податоци, неисправни заштитни огради или работен тек што тивко го насочува моделот заобиколувајќи ги безбедносните проверки. Современите насоки ја прикажуваат точноста како дел од пошироката доверливост на системот, а не само како резултат на моделот. [1]
6) Потценетата супермоќ: калибрација (позната и како „знаење на она што не го знаете“) 🎚️🧠
Дури и кога два модели имаат иста „точност“, едниот може да биде многу побезбеден бидејќи:
-
соодветно изразува неизвесност
-
избегнува премногу самоуверени погрешни одговори
-
дава веројатности што се совпаѓаат со реалноста
Калибрацијата не е само академска - таа е она што ја прави довербата практична. Класично откритие во современите невронски мрежи е дека резултатот од довербата може да биде неусогласен со вистинската точност, освен ако експлицитно не го калибрирате или измерите. [3]
Ако вашиот цевковод користи прагови како „автоматско одобрување над 0,9“, калибрацијата е разликата помеѓу „автоматизација“ и „автоматизиран хаос“
7) Како се оценува точноста на вештачката интелигенција за различни типови на вештачка интелигенција 🧩📚
За класични модели на предвидување (класификација/регресија) 📊
Вообичаени метрики:
-
Точност, прецизност, отповикливост, F1
-
ROC-AUC / PR-AUC (често подобро за неурамнотежени проблеми)
-
Проверки на калибрација (криви на сигурност, начин на размислување според очекуваната грешка при калибрација) [3]
За јазични модели и асистенти 💬
Евалуацијата станува повеќедимензионална:
-
точност (каде задачата има услов за вистинитост)
-
следење на инструкции
-
безбедност и одбивачко однесување (добрите одбивања се чудно тешки)
-
фактичка основа / дисциплина за цитирање (кога вашиот случај на употреба има потреба од тоа)
-
робусност низ упатствата и корисничките стилови
Еден од големите придонеси на „холистичкото“ размислување за евалуација е експлицитното објаснување на поентата: потребни ви се повеќе метрики во повеќе сценарија, бидејќи компромисите се реални. [5]
За системи изградени врз основа на LLM (работни процеси, агенти, пребарување) 🧰
Сега го оценувате целиот цевковод:
-
квалитет на пребарување (дали ги доби точните информации?)
-
логика на алатката (дали го следеше процесот?)
-
квалитет на излез (дали е точен и корисен?)
-
заштитни огради (дали со тоа се избегнува ризично однесување?)
-
мониторинг (дали забележавте дефекти во дивината?) [1]
Слаба алка било каде може да го направи целиот систем да изгледа „неточен“, дури и ако основниот модел е пристоен.
8) Табела за споредба: практични начини за евалуација на „Колку е точна вештачката интелигенција?“ 🧾⚖️
| Алатка / пристап | Најдобро за | Ценовна атмосфера | Зошто функционира |
|---|---|---|---|
| Комплети за тестирање на случаи на употреба | Апликации за LLM + прилагодени критериуми за успех | Бесплатно | Го тестирате вашиот работен тек, а не случајна табела со резултати. |
| Мултиметриско, сценаријално покривање | Одговорно споредување на моделите | Бесплатно | Добивате „профил“ на способности, а не еден магичен број. [5] |
| Ризик од животниот циклус + начин на размислување за евалуација | Системи со висок ризик кои бараат строгост | Бесплатно | Ве поттикнува континуирано да дефинирате, мерите, управувате и следите. [1] |
| Проверки на калибрација | Секој систем што користи прагови на доверба | Бесплатно | Потврдува дали „90% сигурно“ значи нешто. [3] |
| Панели за човечки преглед | Безбедност, тон, нијанса, „дали ова се чувствува штетно?“ | $$ | Луѓето го фаќаат контекстот и штетата што автоматизираните метрики ги пропуштаат. |
| Мониторинг на инциденти + повратни јамки | Учење од неуспесите во реалниот свет | Бесплатно | Реалноста има приходи - а податоците за производството ве учат побрзо од мислењата. [1] |
Исповед за необичноста на форматирањето: „Free-ish“ прави многу работа овде бидејќи вистинската цена често се луѓе-часови, а не лиценци 😅
9) Како да се направи вештачката интелигенција попрецизна (практични лостови) 🔧✨
Подобри податоци и подобри тестови 📦🧪
-
Проширете ги рабовите на куќиштата
-
Балансирајте ги ретките, но критичните сценарија
-
Чувајте „златен сет“ што ја претставува вистинската мака на корисникот (и постојано ажурирајте го)
Основа за фактички задачи 📚🔍
Доколку ви е потребна фактичка сигурност, користете системи што црпат информации од доверливи документи и одговараат врз основа на нив. Голем број генеративни упатства за ризик од вештачка интелигенција се фокусираат на документација, потекло и поставување на евалуација што ја намалуваат измислената содржина, наместо само да се надеваат дека моделот „се однесува како што треба“. [2]
Посилни циклуси на евалуација 🔁
-
Изврши евалуации на секоја значајна промена
-
Внимавајте на регресии
-
Тест на стрес за чудни инструкции и злонамерни влезни податоци
Поттикнете калибрирано однесување 🙏
-
Не казнувајте премногу силно со „не знам“
-
Оценете го квалитетот на воздржувањето, а не само стапката на одговори
-
Третирајте ја самодовербата како нешто што го мерите и потврдувате, а не како нешто што го прифаќате во реалноста [3]
10) Брза проверка на интуицијата: кога треба да верувате во точноста на вештачката интелигенција? 🧭🤔
Верувај повеќе кога:
-
задачата е тесна и повторувачка
-
излезите можат да се потврдат автоматски
-
системот се следи и ажурира
-
довербата е калибрирана и може да се воздржи [3]
Верувај помалку кога:
-
влоговите се високи, а последиците се реални
-
прашањето е отворено („кажи ми сè за…“) 😵💫
-
нема заземјување, нема чекор за верификација, нема човечка проверка
-
системот по дифолт делува доверливо [2]
Малку погрешна метафора: потпирањето на непроверена вештачка интелигенција за одлуки со висок ризик е како јадење суши што стоело на сонце… можеби е во ред, но вашиот стомак се коцка на кој не сте се пријавиле.
11) Заклучоци и краток преглед 🧃✅
Значи, колку е точна вештачката интелигенција?
Вештачката интелигенција може да биде неверојатно точна - но само во однос на дефинирана задача, метод на мерење и околината во која се распоредува. А за генеративната вештачка интелигенција, „точноста“ честопати е помалку поврзана со еден единствен резултат, а повеќе со доверлив дизајн на системот: заземјување, калибрација, покриеност, следење и искрена евалуација. [1][2][5]
Краток преглед 🎯
-
„Точноста“ не е еден показател - тоа е точност, калибрација, робусност, сигурност и (за генеративна вештачка интелигенција) вистинитост. [1][2][3]
-
Референтните вредности помагаат, но евалуацијата на случаи на употреба ве одржува искрени. [5]
-
Доколку ви е потребна фактичка веродостојност, додадете заземјување + чекори за верификација + евалуација на воздржувањето. [2]
-
Евалуацијата на животниот циклус е пристап за возрасни… дури и ако е помалку возбудлива од слика од екранот на табелата со резултати. [1]
Пример од реалниот свет: Мерење на асистент за тријажа за поддршка со вештачка интелигенција
Сценарио
Замислете мала SaaS компанија која сака да користи вештачка интелигенција за да ги сортира дојдовните тикети за поддршка во четири редови:
Фактурирање
Проблеми со најавување
Извештаи за грешки
Барања за функции
Компанијата не дозволува вештачката интелигенција директно да им одговара на клиентите. Нејзината задача е потесна: читање на билетот, избор на точен ред, давање оценка на доверба и означување на сè што е неизвесно за човечки преглед.
Тоа го прави проблемот со точноста многу полесен за тестирање. Постои јасна „точна“ листа на чекање, човекот може да ги прегледа грешките, а тимот може да измери дали вештачката интелигенција помага, наместо само да звучи корисно.
Што му е потребно на асистентот
За правилно да го тестира ова, тимот подготвува:
Означен тест сет од 100 реални или реалистични тикети за поддршка
Точниот ред за секој билет, договорен од човечки рецензент
Кратка политика што објаснува што припаѓа во секој ред
Правило што асистентот мора да го каже „потребен е човечки преглед“ кога довербата е ниска
Едноставен лист за следење со: ID на билет, ред на чекање со вештачка интелигенција, ред на чекање од луѓе, резултат на доверба, резултат од преглед и потребно време
Пример за упатство
Вие сте асистент за тријажа на поддршка. Прочитајте ја пораката на клиентот и доделете ја на еден ред: Фактурирање, Проблеми со најавување, Пријави за грешки, Барања за функции или Потребна е човечка проверка.
Користете го „Наплата“ за фактури, поврат на средства, неуспешни плаќања, промени во планот и прашања за претплата.
Користете ги проблемите со најавување за ресетирање на лозинката, пристап до сметка, двофакторска автентикација, заклучени сметки или проблеми со верификација на е-пошта.
Користете извештаи за грешки за неисправни функции, пораки за грешки, недостасувачки податоци, падови или однесување што не се совпаѓа со документацијата на производот.
Користете барања за функции кога клиентот бара нова можност, интеграција, поставка или подобрување на работниот тек.
Доколку пораката е двосмислена, содржи повеќе од еден проблем или може да влијае на безбедноста или приватноста, изберете Потребен е човечки преглед.
Врати: ред на чекање, доверба од 0 до 100, причина од една реченица и дали човек треба да ја провери.
Како да го тестирате
Започнете со мал „златен сет“ пред да му верувате на системот во производство.
На пример:
20 билети за наплата
20 билети за најавување
20 извештаи за грешки
20 барања за функции
20 заплеткани или двосмислени билети
Потоа стартувајте го асистентот на сите 100 билети и споредете го неговиот избран ред со редот одобрен од човек.
Корисните проверки вклучуваат:
Вкупна точност: колку билети отишле во точниот ред?
Прецизност според редот на чекање: кога вештачката интелигенција ќе каже „Наплата“, колку често наплаќа?
Потсетување по ред: колку вистински билети за фактурирање улови?
Квалитет на ескалација: дали правилно ги испрати заплетканите билети на човечки преглед?
Калибрација: кога се вели 90% доверба или повисока, дали тоа беше точно поголемиот дел од времето?
Резултат
Илустративен резултат: врз основа на темпирање на 100 примероци на билети пред и по користењето на овој работен тек.
Пред да го користи асистентот, одговорниот за поддршка потрошил околу 2 минути и 30 секунди за секој билет рачно читајќи и насочувајќи ги билетите. За 100 билети, тоа биле приближно 250 минути тријажа.
Откако го користеше асистентот, раководителот за поддршка го прегледа само изборот на редот на чекање од вештачката интелигенција и ги провери случаите со ниска доверба. Времето за преглед се намали на околу 55 секунди по билет, или приближно 92 минути за 100 билети.
Тоа е проценета заштеда од 158 минути на 100 билети, или околу 63% помалку време за тријажа.
Точноста на фиктивниот тест од 100 билети изгледаше вака:
Вкупна точност на редот: 87/100 точни билети
Билети со висока доверба над 85%: 61 билет
Точност на билети со висока доверливост: 58/61 точно
Билети испратени на човечки преглед: 18 билети
Нејасните билети правилно ескалираа: 15/20
Важниот детаљ не е само точноста од 87%. Побезбедниот резултат е тоа што асистентот бил попрецизен кога бил сигурен и му ги префрлил многуте нејасни случаи на човек наместо да нагаѓа. Тоа е разликата помеѓу корисна автоматизација и самоуверена бесмислица.
Што може да тргне наопаку
Најчестата грешка е тестирањето само на чисти примери. Вистинските билети се заплеткани. Клиентот може да напише: „Ми наплатија двапати и сега не можам да се најавам“. Тоа може да биде фактурирање, проблеми со најавување или потреба од човечка проверка, во зависност од процесот на компанијата.
Други ризици вклучуваат:
Користење на стари билети што повеќе не одговараат на производот
Дозволување на вештачката интелигенција да измислува правила на политика што не се во прирачникот за поддршка
Третирање на резултатите од довербата како сигурни без проверка на калибрацијата
Мерење само на целокупната точност и пропуштени слаби перформанси на еден ред
Казнување на „Потребна е човечка проверка“ толку строго што асистентот почнува да нагаѓа
Добриот тест треба да ја награди точната ескалација. За многу деловни работни процеси, „Не сум сигурен“ не е грешка. Тоа е безбедносна карактеристика.
Практичен оброк за носење
Најдобриот начин да одговорите на прашањето „Колку е точна вештачката интелигенција?“ е да престанете да го поставувате прашањето апстрактно. Изберете една задача, изградете мал тест сет, дефинирајте што се смета за точно, мерете ги грешките по категорија и проверете дали вештачката интелигенција знае кога да ја предаде работата на некого. Тоа ви дава конкретен број на точност што можете да го подобрите - не само дотеран реперен резултат.
Најчесто поставувани прашања
Точност на вештачката интелигенција во практичната имплементација
Вештачката интелигенција може да биде исклучително прецизна кога задачата е тесна, добро дефинирана и поврзана со јасна вистина што можете да ја постигнете. Во производствената употреба, „точноста“ зависи од тоа дали вашите податоци за евалуација ги одразуваат бучните кориснички влезни податоци и условите со кои ќе се соочи вашиот систем на терен. Како што задачите стануваат поотворени (како чет-ботови), грешките и самоуверените халуцинации се појавуваат почесто освен ако не додадете заземјување, верификација и следење.
Зошто „точноста“ не е еден показател на кој можете да му верувате
Луѓето го користат терминот „точност“ за да означат различни работи: точност, прецизност наспроти потсетување, калибрација, робусност и сигурност. Моделот може да изгледа одлично на чист тест сет, а потоа да се сопне кога се менуваат фразирањето, отстапувањата на податоците или се менуваат влоговите. Евалуацијата фокусирана на доверба користи повеќе метрики и сценарија, наместо да третира еден број како универзална пресуда.
Најдобар начин за мерење на точноста на вештачката интелигенција за одредена задача
Започнете со дефинирање на задачата така што „точното“ и „погрешното“ се проверливи, а не нејасни. Користете репрезентативни, бучни тест податоци што ги одразуваат реалните корисници и екстремните случаи. Изберете метрики што одговараат на последиците, особено за неурамнотежени или високоризични одлуки. Потоа додадете стрес тестови надвор од дистрибуција и продолжете да ја преиспитувате со текот на времето како што се развива вашата околина.
Како прецизноста и потсетувањето ја обликуваат точноста во пракса
Прецизноста и повикувањето се совпаѓаат со различни трошоци за дефекти: прецизноста нагласува избегнување на лажни аларми, додека повикувањето нагласува фаќање на сè. Ако филтрирате спам, неколку промашувања може да бидат прифатливи, но лажните позитиви можат да ги фрустрираат корисниците. Во други услови, пропуштањето на ретки, но критични случаи е поважно од дополнителните ознаки. Вистинската рамнотежа зависи од тоа какви „погрешни“ трошоци има во вашиот работен тек.
Што е калибрација и зошто е важна за точноста
Калибрацијата проверува дали довербата на моделот се совпаѓа со реалноста - кога вели „90% сигурен“, дали е точен во околу 90% од случаите? Ова е важно секогаш кога поставувате прагови како автоматско одобрување над 0,9. Два модела можат да имаат слична точност, но подобро калибрираниот е побезбеден бидејќи ги намалува претерано самоуверените погрешни одговори и поддржува попаметно воздржување.
Генеративна точност на вештачката интелигенција и зошто се случуваат халуцинации
Генеративната вештачка интелигенција може да произведе течен, веродостоен текст дури и кога не е заснован на факти. Точноста е потешко да се утврди бидејќи многу прашања дозволуваат повеќе прифатливи одговори, а моделите можат да бидат оптимизирани за „корисност“ наместо за строга точност. Халуцинациите стануваат особено ризични кога резултатите пристигнуваат со голема доверба. За случаи на фактичка употреба, засновањето на доверливи документи плус чекорите за верификација помага да се намали измислената содржина.
Тестирање за поместување на дистрибуцијата и влезни податоци надвор од дистрибуцијата
Референтните вредности во дистрибуцијата можат да ги преценат перформансите кога светот се менува. Тестирајте со необични фразирање, печатни грешки, двосмислени влезни податоци, нови временски периоди и нови категории за да видите каде системот се урива. Референтните вредности како WILDS се градат околу оваа идеја: перформансите можат нагло да паднат кога податоците се менуваат. Третирајте го стрес-тестирањето како клучен дел од евалуацијата, а не како нешто што е убаво да се има.
Правење систем со вештачка интелигенција попрецизен со текот на времето
Подобрете ги податоците и тестовите со проширување на рабните случаи, балансирање на ретки, но критични сценарија и одржување на „златен сет“ што ја одразува вистинската мака на корисникот. За фактички задачи, додадете заземјување и верификација, наместо да се надевате дека моделот ќе се однесува добро. Извршете евалуација на секоја значајна промена, следете ги регресиите и следете го производството за отстапувања. Исто така, оценете го воздржувањето за да не се казнува „не знам“ во сигурно претпоставување.
Референци
[1] NIST AI RMF 1.0 (NIST AI 100-1): Практична рамка за идентификување, проценка и управување со ризици од вештачка интелигенција во текот на целиот животен циклус. прочитај повеќе
[2] NIST Generative AI Profile (NIST AI 600-1): Придружен профил на AI RMF фокусиран на размислувања за ризик специфични за генеративните системи со вештачка интелигенција. прочитај повеќе
[3] Guo et al. (2017) - Калибрација на модерни невронски мрежи: Основен труд што покажува како модерните невронски мрежи можат да бидат погрешно калибрирани и како може да се подобри калибрацијата. прочитај повеќе
[4] Koh et al. (2021) - WILDS референтен пакет: Референтен пакет дизајниран за тестирање на перформансите на моделите при промени во дистрибуцијата во реалниот свет. прочитај повеќе
[5] Liang et al. (2023) - HELM (Холистичка евалуација на јазични модели): Рамка за евалуација на јазични модели низ сценарија и метрики за да се откријат реални компромиси. прочитај повеќе