AutoSynthData на ServiceNow ги претвора грешките на агентите во злато за обука

Краток одговор: AutoSynthData на ServiceNow CoreAI ги претвора неуспесите на агентите плус успесите на наставниците во валидирани синтетички SFT задачи кога на претпријатијата им е потребна компетентност на животната средина, а не само широки референтни резултати. Ги дезинфицира празнините во картички со спецификации за способности, го множи проверливото работење, а потоа го намалува квалитетот пред фино подесување. Подигнувањата на EnterpriseOps во теретана, пријавени од авторот, се држат до точка ако силата на наставникот, квалитетот на верификаторот и верноста на животната средина се усогласени.

Клучни заклучоци:

Картички за способности: Дезинфицирајте ги дефектите во картичките, така што генераторите никогаш нема да ги видат оригиналните идентификатори.

Редицијабилност на проверувачот: Претпочитаат проверки на конечната состојба на SQL кои ги отфрлаат мутираните погрешни исходи.

Тежина: Обучува само задачи што целта ретко ги решава, а наставникот обично ги решава.

Човечки преглед: Одржувајте го човечкиот преглед на политиките со висок ризик и неповратните дејствија пред преквалификација.

Поместување на границата: По SFT, повторно евалуирајте и поместете ја целната фаза кон преостанатите празнини.

Агентите за вештачка интелигенција во претпријатијата ретко не успеваат затоа што им недостасува општо знаење. Тие не успеваат затоа што околината е специфична: политики за билети, особености на шемата, договори за алатки, седирани бази на податоци, статии за знаење и работни процеси меѓу системите што не изгледаат како демо-верзии од учебници. Модел што добро се оценува на отворени бенчмаркинг сепак може да заглави кога следниот чекор мора да почитува прозорец за промени, CMDB врска или верификатор што ја проверува конечната состојба, наместо течен разговор.

ServiceNow CoreAI / ServiceNow-AI го објавија AutoSynthData за директно да се справи со таа празнина. Именуваниот автор Есакивел Есакираја опишува процес кој ги претвора неуспесите на целниот агент - заедно со успесите на посилниот наставник - во валидирани задачи за синтетичка обука прилагодени на корпоративните средини. Поентата не е да се соберат повеќе логови за разговор. Туку да се умножи тешката, проверлива работа што ги користи истите способности под нови услови, така што надгледуваното фино подесување може да ги затвори дупките специфични за околината.

Оваа статија ги разгледува основната идеја, апстракцијата на задачите, јамката за генерирање и контрола на квалитетот, споделената архитектура и резултатите објавени од авторот за EnterpriseOps Gym во хибридни и ITSM поставки. Се задржува на она што го опишува истражувањето: подвижна наставна програма на синтетички задачи, а не тврдење дека кое било претпријатие е ненадејно решено.

Зошто компетентноста за животна средина е поважна од широките капацитети

На претпријатијата им се потребни агенти кои работат во нивната околина - нивните системи, правила и состојба на податоци. Широките способности не се исто што и компетентност во околината. Агентот може да знае како обично функционира управувањето со ИТ услугите, а сепак да ја пропушти локалната политика што забранува одредени транзиции или алатката што ажурира поврзана табела само откако ќе постои предуслов запис.

Поединечните неуспеси се информативни, но оскудни како податоци за обука. Една прекината траекторија покажува слабост; таа не ги обезбедува десетиците блиски ситуации што би го научиле моделот да се опорави при варијација. Тимовите имаат потреба од многу нови задачи што ја користат истата способност поинаку, остануваат извршливи во рамките на околината, се чувствуваат реалистично како што бара корисникот и остануваат проверливи во однос на проверките на резултатите.

Тоа е притисокот во дизајнот зад AutoSynthData. Неуспесите стануваат сигнали за картички со способности. Картичките стануваат генератори на нови задачи. Посилен наставник демонстрира успешни траектории. Филтрите и верификаторите одлучуваат што влегува во надгледуваниот сет за фино подесување. По обуката, евалуацијата ја поместува границата кон преостанатите празнини. Јамката е во облик на наставна програма, а не еднократно дампирање на податоци.

Рамката е важна за практичарите. Ако складирате само неуспешни потсетници, ризикувате преоптоварување на тие точни ентитети и фрази. Ако генерирате само неограничени синтетички барања, ризикувате задачи што се невозможни, нереални или непроверливи. AutoSynthData се наоѓа помеѓу овие крајности: санирајте го она што не успеа во спецификација на можности, а потоа регенерирајте задачи што го задржуваат тврдото јадро додека ја менуваат формата на површината и контролираните димензии.

Практичната форма на задачата: систем, потсетник, верификатор

Работна апстракција за агентска работа е: задачата е еднаква на системска спецификација, кориснички потсетник и верификатор. Секој дел носи ограничувања што ги одржуваат синтетичките податоци засновани и доверливи.

Спецификацијата на системот опфаќа ограничувања, политики и почетна состојба - на пример, почетни податоци во базата на податоци и статии на знаење. Мора да остане компатибилна со достапните алатки и состојба. Произволните ограничувања на тежината што ги игнорираат договорите за алатки или реализмот на почетните податоци имаат тенденција да создаваат кршливи задачи што учат погрешна лекција.

Квалитетот на корисничкиот поттик има три леќи. Изводливоста прашува дали постои валидна траекторија. Реализмот прашува дали корисникот веројатно би го побарал ова. Тешкотијата прашува дали задачата открива слабост на тековниот агент, а не нешто што целта веќе го решава сигурно. Прашање кое е тривијално за целта го троши буџетот за обука; прашање кое е невозможно ја троши довербата во евалуацијата.

Квалитетот на верификаторот зависи од конзистентност, исправност и комплетност. Премногу лабави и слаби траектории поминуваат. Премногу ограничувачки за една траекторија и валидни алтернативни решенија не успеваат. Претпријатиските поставки честопати претпочитаат проверки на исходот базирани на SQL или состојби бидејќи тие го оценуваат светот откако агентот ќе дејствува, а не точната патека што ја поминал агентот.

AutoSynthData се потпира на оваа тријада, така што генерираната работа останува стабилна. Генераторите не измислуваат слободно лебдечки квизови. Тие создаваат задачи што можат да се извршат во адаптерот за околина и да се оценат од верификатори кои се грижат за потребните својства на конечната состојба.

Од дијагностичка евалуација до картички со спецификации на можности

Процесот започнува со дијагностичка евалуација на целниот агент и посилен наставник во рамките на околината. Рамномерните испитувања откриваат каде целта не успева, а каде наставникот успева. Овие контрастни случаи се суровина за дизајнирање на наставната програма.

Потоа доаѓа дестилацијата во дезинфицирани картички со спецификации за способности. Картичката ги доловува тестираните способности, релевантните алатки или обликот на работниот тек, каде целта не успева, а наставникот успева, потребните својства на конечната состојба и димензиите што можат да варираат кога се измислуваат нови задачи. Критично е што генераторот не ги прима оригиналните инструкции, ентитети, траектории или детали за верификаторот - само картичките.

Таа дезинфекција е намерен потег против преоптоварување. Доколку генераторот ги виде точните броеви на билети за неуспех, идентификатори на статии на знаење или траги од наставници, би бил во искушение да ја парафразира истата епизода. Картичките наметнуваат апстракција: ја учат способноста под контролирана варијација, а не меморираната инстанца.

Откако ќе се појават картичките, системот генерира нови задачи од нив. Потоа наставникот демонстрира успешни траектории за надгледувано фино подесување. Овие демонстрации не се совети во слободна форма; тие се успеси засновани на животната средина кои го поминуваат истиот вид верификација за која се грижи наставната програма.

Две фази ја размеруваат структурата. Целната фаза се фокусира на проверени примероци околу празнините - задачите со највисок сигнал во близина на местото каде што слабиот агент се крши. Фазата на множење создава нови варијанти на прифатени цели. Множените примероци не можат да посеат понатамошни рунди на множење, што го ограничува отстапувањето. Тоа правило е мало, но важно: неограничената рекурзивна варијација може да отстапи од способноста именувана на картичката.

Споделен контролер, адаптер за околина и подвижна граница

Што се однесува до архитектурата, AutoSynthData користи споделен контролер плус адаптер за околина. Контролерот ги оркестрира дијагностиката, кардирањето, генерирањето, демонстрациите на наставниците, портите за квалитет и групниот преглед. Адаптерот ги поврзува тие чекори со конкретен енергетски песочник - алатки, состојба, политики и верификатори - така што истата контролна јамка може да се насочи кон различни домени без да се препишува логиката на наставната програма од нула.

По надгледуваното фино подесување, процесот се преиспитува. Потоа, наставната програма се движи кон преостанатите празнини: подвижна граница, а не статичен збир на податоци. Експериментите опишани во работата се фокусираат на надгледувано фино подесување. Истата јамка би можела подоцна да поддржи засилено учење; таа насока е забележана како планирана, а не како завршена.

За корпоративните тимови, лекцијата по архитектура е модуларна. Контролерите не треба да кодираат една шема на билети. Адаптерите треба да покажат доволно верност на состојбата и алатките за да можат верификаторите да бидат значајни. Наставната програма треба да ги третира резултатите од евалуацијата како следен влезен сигнал, а не како еднократна табла со резултати.

EnterpriseOps Gym е околината каде што беше илустриран овој пристап. Тоа е голема платформа за претпријатиски агенти со околу 1.150 задачи курирани од експерти низ 8 домени, приближно 512 алатки, околу 164 табели во базите на податоци, контејнеризирано извршување, верификација на исходи базирана на SQL, операции управувани од политики, хибридни сценарија меѓу домени, тестирање на неизводливост и одбивање и долги хоризонтални траектории со состојба. AutoSynthData не е претставен како изумител на таа теретана; теретаната е платформа за тестирање на стрес за јамката за синтеза.

Квалитет на ниво на примерок што ги одржува синтетичките задачи доверливи

Генерирањето без порти е начинот на кој податоците од синтетичките агенти тргнуваат наопаку. AutoSynthData опишува контрола на квалитетот на ниво на примерок со неколку дополнителни проверки.

Филтерот за тежина на решавачот го насочува множеството кон задачи што се тешки за целта, а решливи за наставникот. Опишаната конфигурација фаворизира задачи што целта ги решава во најмногу еден од три обиди, додека наставникот успева во најмалку два од три. Тој опсег е местото каде што надгледуваните демонстрации можат да научат нешто што слабиот модел веќе не го поседува.

Позитивната верификација бара референтна траекторија да помине низ верификаторот. Негативната верификација бара мутираните погрешни исходи да не успеат. Заедно тие вршат притисок врз двете страни на проверката, како за прифаќање, така и за одбивање. Ако се проверат само позитивните, пермисивниот верификатор може да прифати ѓубре. Ако се проверат само негативните, премногу строгиот верификатор може да отфрли валидна работа.

Јамката за критика и поправка, со ограничување за повторен обид, се обидува да ги поправи задачите што не успеваат во портите, наместо веднаш да ги отфрли сите за малку ќе се случи промашување. Ограничувањата за повторен обид се важни: бесконечната поправка може да измисли сè повештачки ограничувања само за да се помине низ контролната листа.

Потоа, мета-прегледот на ниво на серија го разгледува целиот сет за покриеност, разновидност, редундантност и неуспешни цели. Примерните порти ги одржуваат поединечните ставки сигурни; групниот преглед спречува наставната програма да се групира на еден тесен начин на неуспех или да клонира речиси дупликати.

Овие контроли објаснуваат зошто процесот може да помине часови произведувајќи илјадници примероци без да го третира волуменот како замена за соодветноста. Брзината се разликува во зависност од доменот и големината на наставникот, но приказната за контрола на квалитетот е конзистентна: опсег на тежина, позитивна и негативна верификација, поправка со ограничувања, потоа мета-преглед.

Сурови неуспеси наспроти картички наспроти валидирани SFT сетови

Помага да се спореди за што е добар секој артефакт. Суровите логови за дефекти се дијагностички. Картичките за способности се генеративни договори. Валидираните надгледувани комплети за фино подесување се она на што тренирате во пракса.

Во снимките од Hybrid и ITSM на EnterpriseOps Gym, при изведбите објавени од авторот, Gemma-4-26B-A4B-it беше користена како цел. Hybrid ја спари таа цел со Qwen3.8-27B како учител и произведе околу 2.000 хибридни примероци за приближно 18 часа, со најдобра контролна точка во епоха 5. Просечната вредност Pass@1 се зголеми за 7,2 процентни поени - околу 35 проценти релативно - при што успехот на верификаторот се помести од 63,01 проценти на 68,55 проценти, затворајќи околу 59 проценти од јазот Pass@1 во однос на референтниот модел.

ITSM ја поврза истата цел со DeepSeek-V4.1-Flash како учител и произведе околу 1.994 примероци за приближно 66 часа, подолго делумно поради поголемиот учител и затоа што некои оптимизации на цевководот сè уште не беа воспоставени. Просечниот Pass@1 се помести од 18,77 проценти на 27,18 проценти.

Прочитајте ги овие бројки како резултати од истражувањето на компанијата за оваа теретана за тестираните домени - не како независна репликација од трета страна, а не како универзална гаранција за претпријатието. Добивките се живи таму каде што силата на наставникот, квалитетот на верификаторот и верноста на животната средина се совпаѓаат.

Што практичарите треба да копираат од циклусот

Дури и ако вашиот стек не е истражувачки цевковод на ServiceNow, моделот се пренесува. Започнете со парна евалуација на цел слична на продукција и посилен наставник во верен песочник. Конвертирајте ги неуспесите на контрастот во картички со способности што ги отстрануваат идентификаторите и траекториите. Генерирајте задачи што ги менуваат дозволените димензии, а воедно ги зачувуваат потребните својства на конечната состојба. Нека наставникот демонстрира успеси. Прелистувајте со ленти на тежина, позитивна и негативна верификација, ограничена поправка и преглед на разновидноста на групите. Фино подесување, повторно евалуирање и поместување на границата.

Обрнете посебно внимание на дизајнот на верификаторот. Проверките на резултатите од SQL во стилот на EnterpriseOps Gym и операциите регулирани од политиките илустрираат зошто самите рубрики за разговор се слаби за работа со состојба. Ако вашиот верификатор не може да ги разликува мутираните погрешни резултати од точните финалиња, синтетичкото скалирање ќе го засили шумот.

Исто така, почитувајте го духот на правилото за множење: варијантите на прифатените цели не треба бесконечно да сеат повеќе варијанти без да се вратат на проверени јадра. Отстапувањето е тивко. Наставна програма што полека измислува поегзотични ограничувања може сепак да помине низ плитки филтри, а оригиналната способност да остане недоволно обучена.

Конечно, третирајте ја хибридната работа во повеќе домени како случај на стрес од прва класа. Секојдневните корисници не остануваат во еден силос со алатки. Хибридните задачи, траекториите со долг хоризонт и тестирањето на одбивање или неизводливост се местата каде што компетентноста за животната средина се појавува - или гласно не успева.

Предупредувања, ограничувања и внимателно читање на добивките

Резултатите објавени од авторот на EnterpriseOps Gym се информативни сигнали, а не целосна гаранција. Објавените хибридни и ITSM придобивки се однесуваат на тие домени и спарувања на модели според опишаната поставеност. Други домени, послаби наставници, погласни верификатори или поплитка верност на околината можат да ја намалат или избришат придобивката.

Квалитетот зависи од три столба што ниту еден маркетиншки сјај не може да ги прескокне. Силата на наставникот го поставува плафонот за демонстрации. Квалитетот на верификаторот ја поставува доверливоста на етикетите и филтрите. Верноста на околината одредува дали научените однесувања ќе преживеат во контакт со производствените системи, правилата и состојбата на податоците.

Експериментите на AutoSynthData нагласуваат надгледувано фино подесување. Засиленото учење е забележано како можна подоцнежна употреба на истата јамка, планирана, а не испорачана во објавената работа. Читателите не треба да мешаат мотор за податоци подготвен за наставна програма со тврдење за завршена обука за RL.

Читателите не треба да го мешаат цевководот за синтеза со самата клупа. EnterpriseOps Gym обезбедува курирани задачи, алатки, табели, контејнеризација и структура за верификација. AutoSynthData користи таков вид средина за да ги претвори неуспесите во злато за обука. Точно се признаваат и двете заслуги: салата ги оптоварува агентите; цевководот ги множи задачите што може да се научат од дијагностицираните празнини.

Исто така, нема бесплатен ручек за време на пресметување и календарско време во песочникот. Хибридната синтеза е завршена во рок од неколку часа за околу две илјади примероци; ITSM траеше подолго со потежок наставник и постара форма на цевковод. Тимовите треба да одвојат буџет за инференција на наставниците, повторни обиди за критика или поправка и повторна евалуација по секој чекор од наставната програма.

Размислување на наставната програма за тимови на агенти во претпријатија

Најдлабоката идеја во AutoSynthData е курикуларна, а не чисто генеративна. Неуспесите дијагностицираат. Апстракт на картички. Генерацијата се множи. Квалификуваниот квалитет валидира. SFT ја ажурира целта. Повторната евалуација ја поместува границата. Таа секвенца го третира подобрувањето на агентот како серија лекции засновани на околината, наместо како единствено офлајн дампирање на траги.

Размислувањето во наставната програма го менува начинот на кој лидерите го распределуваат напорот. Наместо да барате само повеќе билети или повеќе човечки анотации, прашајте кои способности сè уште не успеваат под варијација, дали тие способности имаат чисти својства на конечната состојба и дали посилен наставник може сигурно да ги демонстрира. Ако наставникот не може да успее доволно често, синтетичкиот SFT ќе предава несигурно однесување. Ако својствата на конечната состојба се нејасни, верификаторите ќе се расправаат со валидните стратегии.

Исто така, го менува начинот на кој зборувате за успех. Намалувањето на дел од јазот во Pass@1 кон референтен модел на Hybrid, или подигнувањето на ITSM Pass@1 од високите десетки во високите дваесетти во случаите пријавени од авторите, е напредок во мерената компетентност на животната средина. Тоа не е доказ дека секој работен тек, секоја политика или секој случај на одбивање е решен. Продолжете да го менувате јазикот на границата: преостанатите празнини стануваат следната фаза на Target, а не лизгање на дополнителна мисла.

За дизајн на програмата, спарете ја оваа јамка со човечки преглед каде што влоговите се високи - безбедносни политики, неповратни дејства, регулирани податоци - додека дозволувате автоматизираните порти да носат волумен на добро специфицирани проверки на состојбата. Синтетичките податоци најдобро функционираат кога околината може да каже да или не со јасност слична на SQL. Се мачат кога успехот е субјективен вкус.

Белешки за дизајнот за тешкотијата, реализмот и одбивањето

Тежината на таргетирањето заслужува втор поглед. Фаворизирањето на задачите што целта ги решава најмногу една третина од времето ја држи обуката подалеку од квизови. Барањето наставникот да успее најмалку две третини од времето ги држи демонстрациите подалеку од фрлање парички. Таа група е практичен компромис помеѓу предизвикот и учењето.

Реализмот останува помек критериум, но сепак суштински. Претпријатиските корисници бараат работи што одговараат на нивните улоги и системи. Генераторите управувани само од тврдост можат да измислат сложени загатки со повеќе ограничувања што ниеден оператор не би ги побарал. Картичките со способности што наведуваат променливи димензии помагаат, но луѓето или мета-прегледот сè уште треба да ги фатат надреалните потсетници.

Тестирањето на одбивањето и неизводливоста, присутни во поширокиот дизајн на EnterpriseOps Gym, ги потсетува тимовите дека компетентноста вклучува кажување не. Цевковод оптимизиран само за задачи што може да се завршат може да го потцени одбивањето. При проширување на јамките во стилот на AutoSynthData, вклучете картички каде што точното конечно својство е безбедно одбивање според политиката, а не само успешна мутација на состојбата на базата на податоци.

Долгохоризонтните траектории со состојба покренуваат уште една забелешка за дизајнот. Демо-верзиите на наставниците мора да останат кохерентни низ многу повици на алатки. Верификаторите што го проверуваат само последниот ред од табелата може да ги пропуштат средните прекини на политиката. Комплетноста во дизајнот на верификаторите значи покривање на својствата што навистина го дефинираат успехот за таа способност - вклучувајќи ги и ограничувањата што мора да останат валидни низ целото време, а не само на крајот.

Заклучок

AutoSynthData, од ServiceNow CoreAI / ServiceNow-AI и напишано во јавниот напис од Esakkivel Esakkiraja, е цевковод што ги претвора неуспесите на целниот агент плус успесите на наставниците во валидирани задачи за синтетичка обука за корпоративни средини. Ги апстрахира неуспесите во прочистени картички со спецификации на можности, генерира нови задачи без протекување на оригиналните инструкции или траектории, собира демонстрации од наставниците и спроведува контрола на квалитетот на ниво на примерок и ниво на серија пред надгледувано фино подесување.

Практичниот ментален модел е задача како системска спецификација, кориснички потсетник и верификатор - со изводливост, реализам и тежина задржани во тензија, и со верификатори кои не се ниту премногу лабави ниту заклучени на една патека. Фазите „Таргирај, па множи“, правило без понатамошно сеење за множени примероци, споделен контролер плус адаптер за околина и повторна евалуација по SFT создаваат подвижна граница над преостанатите празнини.

На EnterpriseOps Gym, резултатите од хибрид објавени од авторот со Gemma-4-26B-A4B-it и Qwen3.8-27B покажуваат приближно две илјади примероци за околу осумнаесет часа и значајно зголемување на успехот на Pass@1 и верификаторот, намалувајќи голем дел од јазот во однос на референтниот модел. ITSM со DeepSeek-V4.1-Flash како наставник покажува дека Pass@1 се зголемува од 18,77 проценти на 27,18 проценти на околу 1.994 примероци на подолг рок. Третирајте ги овие бројки како истражени сигнали на специфични домени, во зависност од верноста на наставникот, верификаторот и околината - и држете го засиленото учење како планирано продолжување на јамката, а не како завршено тврдење.

Ако се сеќавате на една реченица: агентите на претпријатијата се подобруваат кога неуспесите стануваат апстрахирани, множителни, потврдени лекции во рамките на системите со кои мора да работат секојдневно - а не кога тимовите само ја повторуваат истата неуспешна задача.

Практичен пример: Проширување на тврди ITSM случаи од замрзнат сет на дефекти во стилот на теретана

Сценарио

Тим за корпоративна платформа од Велика Британија - замислете средна група за оперативни системи за финансиски услуги што работи со ITSM во стилот на ServiceNow со прозорци за промени, CMDB врски и транзиции ограничени од политики - има агент сличен на производство кој постојано се сопнува на истата класа на работа: ажурирања меѓу табели што мора да почитуваат предуслов за одобрување, пребарувања на статии на знаење што се во конфликт со локалните замрзнувања на промените и хибридни барања што го вкрстуваат ITSM во соседните оперативни алатки.

Тие замрзнуваат приватен пакет во стилот на EnterpriseOps Gym (контејнеризиран песочник, проверки на резултатите од SQL, сеени табели, правила на политиката) така што резултатите се споредливи од недела до недела. Дијагностичките извршувања покажуваат дека целниот агент не успева таму каде што посилен наставник успева. Раководството сака повеќе сигнал за обука без повторно да ги репродуцира истите броеви на билети и идентификатори на ентитети. AutoSynthData (или еквивалентна јамка за синтеза од неуспеси ако истражувачкиот цевковод е затворен во нивниот стек) е кандидатот: претворајте ги контрастните неуспеси во санирани картички со спецификации на способности, генерирајте нови задачи, собирајте демо снимки од наставници, а потоа - критички - прегледајте синтетички траги од страна на човекот пред каква било преквалификација.

Ништо не се испорачува само по себе на Gym Pass@1. Податоците за синтезатори се третираат како наставна програма на кандидатот, а не како бесплатна вистина.

Што му е потребно на асистентот

• Пристап до замрзнатиот адаптер за околина во стилот на Gym: алатки, состојба на почетна точка, политики и SQL (или еквивалентни верификатори базирани на состојба).
• Спарени логови за евалуација: неуспесите на целите се споредени со успесите на наставниците на истите задачи.
• Шема на картичка што ги опфаќа можностите, обликот на алатките/работниот тек, контрастот помеѓу неуспехот/успехот, потребните својства на конечната состојба и дозволените димензии на варијацијата - без оригинални потсетници, ентитети, траектории или внатрешни елементи на верификаторот.
• Правила за проверка на лични податоци и правила за проверка на политики (ID-а на билети, кориснички имиња, имиња на CI, регулирани полиња) пред било што да го напушти полето за песок или да влезе во прозорецот за генератор.
• Ред на чекање за човечки преглед за примероци од синтетички задачи и траги од наставници (изводливост, реализам, исправност на верификаторот, случаи на одбивање/неизводливост).
• Јасни услови за запирање: Целни фази, а потоа множење; множените примероци не се користат за понатамошни рунди на множење.

Пример за упатство

Водечка точка од платформата до операторот на наставната програма (или до асистент за оркестрација кој само составува картички и прегледува пакети - не преквалификува ниту промовира модели):

„Извршете дијагностички Pass@1 на замрзнатите ITSM и хибридни парчиња во однос на нашата тековна цел и назначениот наставник. За секој контраст каде што целта не успева и наставникот успева во најмалку два од три обиди, изгответе прочистена картичка за спецификација на способности: именувајте ја способноста, наведете ги релевантните алатки, наведете ги потребните својства на конечната состојба и наведете ги контролираните димензии (опсег на приоритет, поврзана CI класа, знаме на прозорец за промена, тип на конфликт на знаење). Отстранете ги броевите на билети, идентификаторите на корисниците, имињата на CI и суровите траектории. Генерирајте серија нови задачи во фазата на целта само од тие картички. Нека наставникот демонстрира успеси. Применете опсег на тежина (цел ≤1/3, наставник ≥2/3), позитивна и негативна верификација и ограничена критика/поправка. Подгответе пакет за преглед од 5% стратифицирани примероци плус секоја картичка за одбивање/неизводливост. Не започнувајте SFT додека двајца рецензенти не го потпишат пакетот и проверките за чистење на PII не поминат. По SFT на контролна точка на кандидат, повторете ја евалуацијата на замрзнатиот пакет и на сет за точно совпаѓање што никогаш не сме го користеле за генерирање. Пријавете ја покриеноста според класата на неуспех и стапката на регресија во однос на претходна контролна точка за производство. Не промовирајте само на Gym score.“

Како да го тестирате

1. Заклучување на основната линија: Евидентирајте ги стапките на успех на Pass@1 и верификаторот на замрзнатиот пакет според класата на неуспех (предусловно подредување, одбивање на прозорецот за промена, хибридна вкрстена алатка, конфликт на знаење). Одржувајте го пакетот и семето непроменливи за циклусот.
2. Ревизија на картички: Проверете дали генераторите никогаш не добиваат оригинални инструкции, ентитети или траги од наставници - само картички.
3. Пример за контрола на квалитетот: Потврдете дека позитивните траектории ги поминуваат верификаторите, а мутираните погрешни исходи не успеваат. Отфрлете ги задачите што се тривијални за целта или фрлајте паричка за наставникот.
4. Човечки преглед: Рецензентите го означуваат секој примерок како задржување / поправка / отстапување врз основа на изводливост, реализам и безбедност на политиката. Следете го договорот меѓу рецензентите на споделен подмножество.
5. Одложување на точно совпаѓање: По SFT-то на кандидатот, оценете го одложувањето на реални (или претходно замрзнати) задачи кои никогаш не биле внесени во картирање или генерирање. Одделно оценете ги речиси парафразите на задачите за обука за да откриете плитко меморирање.
6. Регресивна порта: Секоја класа на дефекти што се влошува во споредба со претходната контролна точка на производство ја блокира промоцијата сè додека не се објасни или поправи.

Резултат

Не измислувајте проценти на „бакшиш“ овде. Користете план за мерење и означете ги објавените истражувачки бројки како Тврдење за статијата кога ги цитирате.

План за мерење (што треба да извести овој тим):

• Покриеност на класа на неуспеси: удел на класи на дијагностицирани празнини што произвеле ≥N прифатени задачи во целната фаза по контролата на квалитетот (дефинирајте N однапред, на пр. 20 прифатени задачи по класа).
• Точно совпаѓање на Holdout: Pass@1 / успех на верификаторот на недопреното holdout пред наспроти после SFT-кандидатот (исти почетни вредности, ист верификатор).
• Стапка на регресија: број на класи на грешки каде што Pass@1 паѓа во споредба со претходната контролна точка за производство; блок ако некоја класа критична за безбедноста регресира.
• Принос на преглед: задржи / поправи / отфрли стапки на човечки преглед пакет; ако стапката на отфрлање се зголеми, паузирај. Множи и поправи картички или верификатори.
• Неуспеси во чистењето: број на примероци што не ги поминале проверките на PII/политиката пред да се одобри прегледот (цел: нула излегува во SFT сетот).

Тврдење за статијата (извештај од авторот на EnterpriseOps Gym - не е мерен резултат на овој тим): Хибридните испробувања со Gemma-4-26B-A4B-it како цел и Qwen3.8-27B како наставник произведоа околу 2.000 примероци за приближно 18 часа, при што просечната вредност Pass@1 се зголеми за околу 7,2 процентни поени и успехот на верификатор се помести од 63,01% на 68,55%. ITSM со DeepSeek-V4.1-Flash како наставник ја помести просечната вредност Pass@1 од 18,77% на 27,18% на околу 1.994 примероци во подолг период (~66 часа). Третирајте ги како истражени сигнали на специфични домени и спарувања, а не како универзална гаранција за производствен стек во Велика Британија.

Илустративна форма на програмата (претпоставки, не мерени добивки): Ако тимот прифати ~2.000 примероци ограничени со контрола на квалитетот за еден циклус на ITSM, го буџетира заклучувањето на наставниците плус преглед на 5% стратифицирано земање примероци и промовира само кога задржувањето не ги регресира класите критични за безбедноста, „резултатот“ што можат да го тврдат директно е зрелост на процесот - ревидирана наставна програма, избришани траги и споредливи делти на замрзнатите пакети - а не ветено процентно зголемување.

Што може да тргне наопаку

• Третирање на синтисајзерот како слободна вистина: Прескокнувањето на човечкиот преглед или негативната верификација им овозможува на пермисивните верификатори да прифатат ѓубре во голем обем.
• Протекување на ентитети: Внесувањето на оригиналните идентификатори на билети или трагите на наставниците во генераторот поканува пренаменување на парафрази; постојат картички за да се спречи тоа.
• Неограничено множење: Дозволувањето на множените примероци да посеат понатамошни рунди се оддалечува од именуваната способност.
• Испорака на резултати од теретана: Промовирање бидејќи Pass@1 од замрзнатиот пакет се зголеми, додека сообраќајот на holdout или production shadow се влоши.
• Слаб плафон за наставник: Ако наставникот не може да го надмине опсегот на успех ≥2/3, SFT предава несигурни демо снимки.
• Нејасни верификатори: Рубриките за разговор наместо проверки засновани на држава ги оценуваат погрешните завршни тестови со течно читање како успех.
• Одбивање поради недоволна обука: Оптимизирањето само за комплетни мутации ги остава прозорецот за промени и опаѓањата на политиките кршливи.
• PII escape: Синтетички инструкции што повторно воведуваат вистински CI или кориснички имиња по плитко чистење.

Практичен оброк за носење

Користете јамки во стилот на AutoSynthData - или еквивалентен образец за синтисајзер-од-неуспеси ако цевководот ServiceNow CoreAI не е достапен во вашиот закуп - за да ги помножите тешките, проверливи случаи на ITSM од дијагностицираните празнини. Санитирајте во картички со способности, поврзете се со тежина и позитивна/негативна верификација, прочистете ги PII и примероците од човечки преглед пред SFT. Измерете ја покриеноста на класата на неуспеси, држете го точното совпаѓање и стапката на регресија. Цитирајте ги бројките за ТЕРСТВО ЗА СТРАНИЦА само како надворешен истражувачки контекст. Податоците за синтисајзер се гориво за наставна програма, а не гаранција: ревидирајте примероци, чувајте го пакетот замрзнат за фер споредба и никогаш не испраќајте само по себе резултат за стаж.

Најчесто поставувани прашања

Што е AutoSynthData и на кој проблем се однесува?

AutoSynthData е цевковод ServiceNow CoreAI / ServiceNow-AI, опишан од Есакивел Есакираја, кој ги спојува неуспесите на целниот агент заедно со победите на посилниот наставник во валидирани задачи за синтетичка обука за претпријатиски услови. Се фокусира на компетентноста за животната средина - локални политики, шеми, алатки и состојба - наместо на широко општо знаење. Поентата е да се умножи тешката, проверлива работа, така што надгледуваното фино подесување може да ги поправи празнините специфични за животната средина, наместо да го повторува истиот неисправен билет.

Зошто компетентноста за животната средина е различна од способноста за широк модел?

Агентите на претпријатиските организации честопати се сопнуваат бидејќи самата околина е специфична: политики за билети, особености на шемата, договори за алатки, седирани бази на податоци и работни процеси меѓу системите. Модел кој изгледа силно на отворени бенчмарки сепак може да замрзне на прозорец за промени, врска со CMDB или верификатор кој ја проверува конечната состојба. Широките можности не се исто што и знаењето како се однесуваат вашите системи, правила и состојба на податоците под транзиции управувани од политиките.

Кој е практичниот облик на задачата што го користи AutoSynthData?

Работна форма е задача што е еднаква на системска спецификација, кориснички потсетник и верификатор. Системската спецификација содржи ограничувања, политики и почетна состојба, како што се семе од база на податоци и статии на знаење. Корисничките потсетници се оценуваат за изводливост, реализам и тежина. Верификаторите идеално се потпираат на проверки на исходот базирани на SQL или состојба, така што го оценуваат светот откако агентот ќе дејствува, а не само точната патека на токен што ја поминал.

Како дезинфицираните картички со спецификации за можности спречуваат прекумерно вклопување?

Дијагностичките извршувања ги споредуваат оние каде што целта не успева, а наставникот успева, а потоа ги дестилираат тие случаи во прочистени картички со спецификации за способности. Картичката ги евидентира способностите, алатките или обликот на работниот тек, контрастот помеѓу неуспех/успех, потребните својства на конечната состојба и димензиите што можат да варираат. Генераторот никогаш не ги гледа оригиналните инструкции, ентитети, траектории или детали за верификаторот - само картичките - па затоа свежите задачи се притискаат на хард-јадрото без парафразирање на меморирана епизода.

Кои се фазите Target и Multiply во цевководот?

Целната фаза се концентрира на основни проверени примероци околу празнините - задачите со највисок сигнал во близина на местото каде што слабиот агент се крши. Фазата на множење врти нови варијанти на прифатени цели. Множените примероци не можат да посеат понатамошни рунди на множење, што го спречува оддалечувањето од именуваната способност што е под контрола. По надгледуваното фино подесување, повторната евалуација ја поместува наставната програма кон преостанатите празнини како подвижна граница, а не како статична депонија.

Како контролата на квалитетот на ниво на примерок ги одржува синтетичките задачи доверливи?

Филтерот за тежина на решавачот ги фаворизира задачите што целта ги решава во најмногу еден од три обиди, додека наставникот успева во најмалку два од три. На позитивната верификација ѝ е потребна референтна траекторија за да помине; на негативната верификација ѝ се потребни мутирани погрешни исходи за да не успее. Јамката за критика и поправка со ограничување за повторен обид се обидува да ги поправи речиси промашувањата, а мета-прегледот на ниво на серија ја проверува покриеноста, разновидноста, редундантноста и неуспешните цели низ целиот сет.

Која архитектура ја користи AutoSynthData низ сите корпоративни домени?

Спарува споделен контролер со адаптер за околина. Контролерот извршува дијагностика, кардирање, генерирање, демонстрации на наставници, порти за квалитет и преглед на групи. Адаптерот ги поврзува тие чекори во конкретна кутија со песок - алатки, состојба, политики и верификатори - така што истата контролна јамка може да покажува кон различни домени без да ја препишува логиката на наставната програма од нула.

Што е EnterpriseOps Gym во овој истражувачки контекст?

EnterpriseOps Gym е голема платформа за претпријатиски агенти што се користи како платформа за тестирање на стрес, со околу 1.150 задачи курирани од експерти во 8 домени, приближно 512 алатки, околу 164 табели во бази на податоци, извршување во контејнери, верификација на резултатите базирана на SQL, операции управувани од политики, хибридни сценарија и траектории со долг хоризонт. AutoSynthData не се претставува како изумител на таа теретана; теретаната ја прикажува јамката за синтеза во акција.

Кои резултати објавени од авторот се појавуваат за хибридни и ITSM поставки?

На EnterpriseOps Gym, Hybrid работи со Gemma-4-26B-A4B-it како цел и Qwen3.8-27B како наставник, произведувајќи околу 2.000 примероци за приближно 18 часа, при што просечната вредност Pass@1 се зголеми за околу 7,2 процентни поени и успехот на верификатор се помести од 63,01% на 68,55%. ITSM со DeepSeek-V4.1-Flash како наставник го помести просечната вредност Pass@1 од 18,77% на 27,18% на околу 1.994 примероци во подолг временски период. Третирајте ги тие како истражени сигнали на специфични спарувања, а не како универзална гаранција за производство.

Кои грешки треба да ги избегнуваат тимовите кога користат циклуси на синтезатор од грешки?

Не третирајте ги синтетичките податоци како слободна вистина или не прескокнувајте го човечкиот преглед и негативната верификација. Избегнувајте внесување на оригинални ID-а на билети или траги на наставници во генераторот, дозволување на помножени примероци да се посеат во понатамошни рунди или самопромовирање на Gym Pass@1 додека се влошува сообраќајот на чекање или сообраќајот во сенка. Исто така, внимавајте на слабите наставници под опсегот на успех, нејасни рубрики за разговор наместо државни проверки, случаи на одбивање поради недоволна обука и избегнување на PII по плитко чистење.

Референци

1. Лице што гушка — AutoSynthData — huggingface.co
2. Фитнес центар EnterpriseOps — enterpriseops-gym.github.io
3. arXiv — arxiv.org
4. GitHub — EnterpriseOps-Gym — github.com