Како функционираат детекторите со вештачка интелигенција?

Како функционираат детекторите со вештачка интелигенција?

Краток одговор: Детекторите за вештачка интелигенција не „докажуваат“ кој напишал нешто; тие проценуваат колку блиску еден пасус се совпаѓа со познати шеми на јазични модели. Повеќето се потпираат на мешавина од класификатори, сигнали за предвидливост (збунетост/пукнатина), стилометрија и, во поретки случаи, проверки на воден печат. Кога примерокот е краток, многу формален, технички или напишан од автор на англиски јазик, третирајте го резултатот како знак за преглед - а не како пресуда.

Клучни заклучоци:

Веројатност, а не доказ : Третирајте ги процентите како сигнали за ризик „слично на вештачката интелигенција“, а не како сигурност.

Лажно позитиви : Формалното, техничкото, шаблонираното или немајчиното пишување често се погрешно обележува.

Мешавина на методи : Алатките комбинираат класификатори, збунетост/пукнатина, стилометрија и невообичаени проверки на воден печат.

Транспарентност : Претпочитаат детектори што опфаќаат површини, карактеристики и неизвесност - а не само еден единствен број.

Оспорливост : Чувајте ги нацртите/белешките и обработувајте ги доказите при рака за спорови и жалби.

Како функционираат детекторите со вештачка интелигенција? Инфографик

Статии што можеби ќе ве интересираат по оваа:

🔗 Кој е најдобриот детектор за вештачка интелигенција?
Најдобри алатки за детекција на вештачка интелигенција споредени за точност, карактеристики и случаи на употреба.

🔗 Дали детекторите со вештачка интелигенција се сигурни?
Објаснува веродостојност, лажно позитивни резултати и зошто резултатите често варираат.

🔗 Може ли Турнитин да детектира вештачка интелигенција?
Целосен водич за откривање на вештачка интелигенција во Турнитин, ограничувања и најдобри практики.

🔗 Дали детекторот за вештачка интелигенција QuillBot е точен?
Детален преглед на точноста, силните страни, слабостите и тестовите од реалниот свет.

1) Брза идеја - што всушност прави детекторот со вештачка интелигенција ⚙️

Повеќето детектори со вештачка интелигенција не „фаќаат вештачка интелигенција“ како мрежа што фаќа риба. Тие прават нешто попрозаично:

Да бидеме искрени - корисничкиот интерфејс ќе каже нешто како „92% вештачка интелигенција“, а вашиот мозок ќе каже „ајде, претпоставувам дека тоа е факт“. Тоа не е факт. Тоа е претпоставка на моделот за отпечатоците од прсти на друг модел. Што е малку урнебесно, како кучиња што шмркаат кучиња 🐕🐕

2) Како функционираат детекторите со вештачка интелигенција: најчестите „мотори за детекција“ 🔍

Детекторите обично користат еден (или комбинација) од овие пристапи: ( Анкета за откривање на текст генериран од LLM )

A) Класификациски модели (најчести)

Класификаторот е обучен на означени примери:

  • Примери напишани од луѓе

  • Примери генерирани од вештачка интелигенција

  • Понекогаш „хибридни“ примероци (текст со вештачка интелигенција изменет од човек)

Потоа учи шеми што ги одделуваат групите. Ова е класичен пристап на машинско учење и може да биде изненадувачки пристоен… сè додека не стане. ( Анкета за откривање текст генериран од LLM )

Б) Бодување на збунетост и „пукнатина“ 📈

Некои детектори пресметуваат колку е „предвидлив“ текстот.

  • Збунетост : приближно, колку е изненаден јазичниот модел од следниот збор. ( Универзитет во Бостон - Објави за Збунетост )

  • Помалата збунетост може да сугерира дека текстот е многу предвидлив (што може да се случи со излезните сигнали со вештачка интелигенција). ( DetectGPT )

  • „Burstiness“ се обидува да измери колку варијации има во сложеноста и ритамот на речениците. ( GPTZero )

Овој пристап е едноставен и брз. Исто така, лесно е да се збуни, бидејќи луѓето можат да пишуваат и предвидливо (здраво, корпоративни е-пошти). ( OpenAI )

C) Стилометрија (отпечаток од прст при пишување) ✍️

Стилометријата ги разгледува следниве модели:

  • просечна должина на реченицата

  • интерпункциски стил

  • фреквенција на функционални зборови (тоа, и, но…)

  • разновидност на вокабулар

  • резултати за читливост

Тоа е како „анализа на ракопис“, освен за текст. Понекогаш помага. Понекогаш е како да дијагностицирате настинка со гледање во нечии чевли. ( Стилометрија и форензичка наука: Преглед на литературата ; Функционални зборови во авторството )

D) Детекција на воден печат (кога постои) 🧩

Некои добавувачи на модели можат да вградат суптилни шеми („водени жигови“) во генерираниот текст. Ако детекторот ја знае шемата на воден жиг, може да се обиде да ја потврди. ( Воден жиг за големи јазични модели ; SynthID текст )

Но… не сите модели имаат воден печат, не сите излези го задржуваат водениот печат по уредувањата, и не сите детектори имаат пристап до тајната состојка. Значи, тоа не е универзално решение. ( За сигурноста на водените печати за големи јазични модели ; OpenAI )

3) Што прави една верзија на детектор со вештачка интелигенција да биде добра ✅

„Добриот“ детектор (според моето искуство со тестирање на неколку од нив еден до друг за уреднички работни процеси) не е оној што вреска најгласно. Тоа е оној што се однесува одговорно.

Еве што прави детекторот со вештачка интелигенција солиден:

  • Калибрирана доверба : 70% треба да значи нешто конзистентно, а не мавтање со рака. ( Анкета за откривање текст генериран од LLM )

  • Ниски лажни позитиви : не треба да ги означува англискиот јазик на кој не му е мајчин јазик, правните текстови или техничките прирачници како „ВИ“ само затоа што се чисти. ( Стенфорд ХАИ ; Лианг и др. (arXiv) )

  • Транспарентни граници : треба да дозволи неизвесност и да ги покаже опсезите, а не да се преправа дека е сезнаечко. ( OpenAI ; Turnitin )

  • Свесност за доменот : детекторите обучени за обични блогови честопати се мачат со академски текст и обратно. ( Анкета за детекција на текст генериран од LLM )

  • Ракување со краток текст : добрите алатки избегнуваат премногу самоуверени оценки на мали примероци (пасус не е универзум). ( OpenAI ; Turnitin )

  • Чувствителност на ревизии : треба да се справи со човечко уредување без веднаш да се претвори во бесмислени резултати. ( Анкета за откривање на текст генериран од LLM )

Најдобрите што сум ги видел имаат тенденција да бидат малку скромни. Најлошите се однесуваат како да читаат мисли 😬

4) Табела за споредба - вообичаени „типови“ на детектори со вештачка интелигенција и каде тие светат 🧾

Подолу е дадена практична споредба. Ова не се имиња на брендови - тие се главните категории на кои ќе наидете. ( Анкета за откривање на текст генериран од LLM )

Тип на алатка (приближно) Најдобра публика Чувство за цената Зошто функционира (понекогаш)
Проверка на збунетост Лајт Наставници, брзи проверки Бесплатно Брз сигнал за предвидливост - но може да биде нестабилен…
Класификатор Скенер Про Уредници, човечки ресурси, усогласеност Претплата Учи шеми од означени податоци - пристојно на текст со средна должина
Стилометриски анализатор Истражувачи, луѓе од форензиката $$$ или ниша Споредува отпечатоци од прсти од пишување - необично, но корисно во долга форма
Пребарувач на водени жигови Платформи, внатрешни тимови Честопати во пакет Силен кога постои воден печат - ако го нема, тоа е практично кревање раменици
Хибриден пакет за претпријатија Големи организации По седиште, договори Комбинира повеќе сигнали - подобра покриеност, повеќе копчиња за подесување (и повеќе начини за погрешно конфигурирање, упс)

Обрнете внимание на рубриката „чувство за цената“. Да, тоа не е научно. Но, искрено е 😄

5) Детекторите ги бараат основните сигнали - „кажуваат“ 🧠

Еве што многу детектори се обидуваат да измерат под хаубата:

Предвидливост (веројатност на токени)

Јазичните модели генерираат текст преку предвидување на веројатните следни токени. Тоа има тенденција да создаде:

Луѓето, од друга страна, честопати се движат по цик-цак. Се контрадикторниме себеси, додаваме случајни споредни коментари, користиме малку несоодветни метафори - како споредување на детектор со вештачка интелигенција со тостер што оценува поезија. Таа метафора е лоша, но сфаќате.

Повторување и структурни шеми

Пишувањето со вештачка интелигенција може да покаже суптилно повторување:

Но исто така - многу луѓе пишуваат така, особено во училишта или корпоративни средини. Значи, повторувањето е трага, а не доказ.

Премногу јасна и „премногу чиста“ проза ✨

Ова е чудно. Некои детектори имплицитно го третираат „многу чистото пишување“ како сомнително. ( OpenAI )

Што е непријатно затоа што:

  • постојат добри писатели

  • постојат уредници

  • постои проверка на правопис

Значи, ако размислувате за тоа како функционираат детекторите со вештачка интелигенција , дел од одговорот е: понекогаш тие наградуваат грубост. Што е… малку обратно.

Семантичка густина и генеричко фразирање

Детекторите може да означат текст што се чувствува:

Вештачката интелигенција често создава содржина што звучи разумно, но малку преработена. Како хотелска соба што изгледа убаво, но нема никаква личност 🛏️

6) Пристапот со класификатор - како се тренира (и зошто се расипува) 🧪

Детекторот за класификација обично се тренира вака:

  1. Соберете збир на податоци од човечки текст (есеи, статии, форуми итн.)

  2. Генерирајте текст со вештачка интелигенција (повеќе инструкции, стилови, должини)

  3. Означете ги примероците

  4. Обучете модел да ги одделува користејќи карактеристики или вградувања

  5. Потврдете го на задржани податоци

  6. Испратете го… а потоа реалноста го удира во лице ( Анкета за откривање текст генериран од LLM )

Зошто реалноста го удира:

  • Промена на доменот : податоците за обука не се совпаѓаат со пишувањето на вистинскиот корисник

  • Промена на моделот : моделите од новата генерација не се однесуваат како оние во базата на податоци

  • Ефекти на уредување : човечките уредувања можат да отстранат очигледни шеми, но да ги задржат суптилните

  • Јазична варијација : дијалектите, пишувањето на англискиот како втор јазик и формалните стилови се погрешно протолкуваат ( Анкета за откривање на текст генериран од LLM ; Лианг и др. (arXiv) )

Видов детектори кои беа „одлични“ на сопствените демо-серии, а потоа се распаднаа при пишување на вистинско работно место. Тоа е како да дресирате куче трагач само на една марка колачиња и да очекувате дека ќе ги пронајде сите закуски на светот 🍪

7) Збунетост и експлозивност - математичката кратенка 📉

Ова семејство на детектори има тенденција да се потпира на бодување на јазичен модел:

  • Тие го проследуваат вашиот текст преку модел кој проценува колку е веројатен секој следен токен.

  • Тие го пресметуваат вкупното „изненадување“ (збунетост). ( Универзитет во Бостон - Објави за збунетост )

  • Тие можат да додадат метрики за варијација („пукнатина“) за да видат дали ритамот се чувствува човечки. ( GPTZero )

Зошто понекогаш функционира:

  • суровиот текст со вештачка интелигенција може да биде исклучително мазен и статистички предвидлив ( DetectGPT )

Зошто не успева:

  • кратките примероци се бучни

  • формалното пишување е предвидливо

  • техничкото пишување е предвидливо

  • Немајчинското пишување може да биде предвидливо

  • Текстот со вештачка интелигенција може да изгледа човечки ( OpenAI ; Turnitin )

Значи, начинот на кој функционираат детекторите со вештачка интелигенција понекогаш наликува на пиштол за мерење на брзина што ги меша велосипедите и мотоциклите. Ист пат, различни мотори 🚲🏍️

8) Водени печати - идејата за „отпечаток од прст во мастилото“ 🖋️

Водениот печат звучи како чисто решение: обележете го текстот со вештачка интелигенција во времето на генерирање, а потоа детектирајте го подоцна. ( Воден печат за големи јазични модели ; текст од SynthID )

Во пракса, водените жигови можат да бидат кршливи:

Исто така, откривањето на воден печат работи само ако:

  • се користи воден печат

  • детекторот знае како да го провери

  • текстот не е многу трансформиран ( OpenAI ; SynthID текст )

Значи да, водените печати можат да бидат моќни, но тие не се универзална полициска значка.

9) Лажно позитивни резултати и зошто се случуваат (болниот дел) 😬

Ова заслужува посебен дел бидејќи таму се случуваат повеќето контроверзии.

Чести предизвикувачи на лажно позитивни резултати:

  • Многу формален тон (академски, правен, пишување за усогласеност)

  • Немајчин англиски (поедноставните реченични структури можат да изгледаат „како модел“)

  • Пишување базирано на шаблони (мотивациски писма, стандардни оперативни процедури, лабораториски извештаи)

  • Кратки текстуални примероци (не е доволен сигнал)

  • Тематски ограничувања (некои теми наметнуваат повторувачко фразирање) ( Liang et al. (arXiv) ; Turnitin )

Ако некогаш сте виделе некого да биде казнет затоа што пишувал премногу добро… да. Тоа се случува. И тоа е брутално.

Детекторскиот резултат треба да се третира на следниов начин:

  • детектор за чад, а не пресуда од судница 🔥
    Ви кажува „можеби проверка“, а не „случајот е затворен“. ( OpenAI ; Turnitin )

10) Како да се протолкуваат резултатите од детекторот како возрасен 🧠🙂

Еве еден практичен начин за читање на резултатите:

Ако алатката дава еден процент

Третирајте го како груб сигнал за ризик:

  • 0-30%: веројатно човечко или многу изменето

  • 30-70%: двосмислена зона - не претпоставувајте ништо

  • 70-100% : поверојатно се шеми слични на вештачка интелигенција, но сепак не се доказ ( Водичи на Турнитин )

Дури и високите резултати можат да бидат погрешни, особено за:

  • стандардизирано пишување

  • одредени жанрови (резимеа, дефиниции)

  • Пишување по англиски јазик (ESL) ( Лијанг и др. (arXiv) )

Барајте објаснувања, не само бројки

Подобрите детектори обезбедуваат:

Ако алатката одбие да објасни нешто и само ти стави бројка на челото… јас не ѝ верувам. Ниту ти не треба.

11) Како функционираат детекторите со вештачка интелигенција: едноставен ментален модел 🧠🧩

Ако сакате чист оброк за носење, користете го овој ментален модел:

  1. Детекторите со вештачка интелигенција бараат статистички и стилски обрасци вообичаени кај машински генерираниот текст. ( Анкета за откривање на текст генериран од LLM )

  2. Тие ги споредуваат тие шеми со она што го научиле од примерите за обука. ( Анкета за откривање на текст генериран од LLM )

  3. Тие даваат претпоставка слична на веројатност , а не фактичка приказна за потеклото. ( OpenAI )

  4. Претпоставката е чувствителна на жанр, тема, должина, уредувања и податоци за обука на детекторот . ( Анкета за откривање текст генериран од LLM )

Со други зборови, начинот на кој функционираат детекторите со вештачка интелигенција е тој што тие „судеат сличност“, а не авторство. Како да се каже дека некој личи на својот братучед. Тоа не е исто како ДНК тест… па дури и ДНК тестовите имаат остра основа.

12) Практични совети за намалување на случајните знамиња (без играње игри) ✍️✅

Не „како да се измамат детектори“. Повеќе како како да се пишува на начин што го одразува вистинското авторство и избегнува чудни погрешни толкувања.

  • Додадете конкретни специфики: имиња на концепти што всушност сте ги користеле, чекори што сте ги презеле, компромиси што сте ги разгледале

  • Користете природна варијација: мешајте кратки и долги реченици (како што прават луѓето кога размислуваат)

  • Вклучете реални ограничувања: временски ограничувања, користени алатки, што тргнало наопаку, што би направиле поинаку

  • Избегнувајте претерување со формулацијата: заменете го „Покрај тоа“ со нешто што всушност би го кажале

  • Водете нацрти и белешки: ако некогаш има спор, доказите за процесот се поважни од интуицијата

Всушност, најдобрата одбрана е едноставно… да се биде искрен. Несовршено искрен, а не „совршена брошура“ искрена.

Заклучоци 🧠✨

Детекторите со вештачка интелигенција можат да бидат вредни, но тие не се машини за вистина. Тие се споредувачи на шеми обучени на несовршени податоци, кои работат во свет каде што стиловите на пишување постојано се преклопуваат. ( OpenAI ; Истражување за откривање на текст генериран од LLM )

Накратко:

  • Детекторите се потпираат на класификатори, збунетост/пукнатина, стилометрија, а понекогаш и водени жигови 🧩 ( Анкета за откривање текст генериран од LLM )

  • Тие проценуваат „сличноста со вештачката интелигенција“, а не сигурноста ( OpenAI )

  • Лажно позитивните резултати се случуваат многу често во формалното, техничкото или не-мајчинското пишување 😬 ( Liang et al. (arXiv) ; Turnitin )

  • Користете ги резултатите од детекторот како поттик за преглед, а не како пресуда ( Турнитин )

И да… ако некој повторно праша како функционираат детекторите со вештачка интелигенција , можете да му кажете: „Тие претпоставуваат врз основа на шеми - понекогаш паметни, понекогаш глупави, секогаш ограничени.“ 🤖

Најчесто поставувани прашања

Како функционираат детекторите со вештачка интелигенција во пракса?

Повеќето детектори за вештачка интелигенција не го „докажуваат“ авторството. Тие проценуваат колку вашиот текст наликува на шемите што вообичаено ги создаваат јазичните модели, а потоа даваат резултат сличен на веројатност. Во позадина, тие можат да користат модели на класификација, бодување на предвидливост во стилот на збунетост, стилометриски карактеристики или проверки на воден печат. Резултатот најдобро се третира како сигнал за ризик, а не како дефинитивна пресуда.

Какви сигнали бараат детекторите со вештачка интелигенција во писмена форма?

Вообичаените сигнали вклучуваат предвидливост (колку е „изненаден“ моделот од вашите следни зборови), повторување во реченичните скелиња, невообичаено конзистентно темпо и генеричко фразирање со малку конкретни детали. Некои алатки, исто така, испитуваат стилометриски маркери како што се должината на реченицата, интерпункциските навики и фреквенцијата на функционалните зборови. Овие сигнали можат да се преклопуваат со човечкото пишување, особено во формалните, академските или техничките жанрови.

Зошто детекторите со вештачка интелигенција го означуваат човечкото пишување како вештачка интелигенција?

Лажно позитивни резултати се случуваат кога човечкото пишување изгледа статистички „мазно“ или како шаблон. Формалниот тон, формулацијата во стилот на усогласеност, техничките објаснувања, кратките примероци и англискиот јазик на кој не му е мајчин јазик, можат погрешно да се протолкуваат како слични на вештачка интелигенција бидејќи ги намалуваат варијациите. Затоа чист, добро уреден пасус може да предизвика висок резултат. Детекторот споредува сличност, а не потврдува потекло.

Дали детекторите за збунетост и „пукнатини“ се сигурни?

Методите базирани на збунетост можат да функционираат кога текстот е суров, високо предвидлив излез со вештачка интелигенција. Но, тие се кревки: кратките пасуси се бучни, а многу легитимни човечки жанрови се природно предвидливи (резимеа, дефиниции, корпоративни е-пораки, прирачници). Уредувањето и полирањето исто така можат драматично да го променат резултатот. Овие алатки се соодветни за брза тријажа, а не за одлуки со висок ризик сами по себе.

Која е разликата помеѓу детекторите за класификација и алатките за стилометрија?

Детекторите за класификација учат од означени збирки на податоци од човечки текст наспроти текст со вештачка интелигенција (а понекогаш и хибриден) и предвидуваат на која кофа најмногу наликува вашиот текст. Алатките за стилометрија се фокусираат на пишување „отпечатоци од прсти“ како што се шеми на избор на зборови, функционални зборови и сигнали за читливост, што може да биде поинформативно во анализата на долга форма. И двата пристапа страдаат од промена на доменот и можат да се борат кога стилот на пишување или темата се разликуваат од нивните податоци за обука.

Дали водените печати го решаваат проблемот со откривањето на вештачка интелигенција засекогаш?

Водените печати можат да бидат силни кога моделот ги користи и детекторот ја знае шемата на воден печат. Всушност, не сите водени печати на давателите на услуги, а вообичаените трансформации - парафразирање, превод, делумно цитирање или мешање извори - можат да го ослабнат или нарушат моделот. Детекцијата на воден печат е моќна во тесни случаи каде што целиот синџир се поклопува, но не е универзална покриеност.

Како треба да го протолкувам резултатот „X% AI“?

Третирајте еден процент како груб показател за „сличност со вештачка интелигенција“, а не како доказ за авторство од вештачка интелигенција. Средните резултати се особено двосмислени, па дури и високите резултати можат да бидат погрешни во стандардизираното или формалното пишување. Подобрите алатки даваат објаснувања како што се обележани распони, белешки за карактеристиките и јазик на неизвесност. Ако детекторот не се објаснува сам, не го третирајте бројот како авторитативен.

Што прави еден детектор за вештачка интелигенција добар за училишта или уреднички работни процеси?

Солидниот детектор е калибриран, ги минимизира лажните позитиви и јасно ги соопштува границите. Треба да избегнува премногу самоуверени тврдења за кратки примероци, да се справува со различни домени (академски наспроти блог наспроти технички) и да остане стабилен кога луѓето ревидираат текст. Најодговорните алатки се однесуваат со скромност: тие нудат докази и неизвесност, наместо да се однесуваат како читачи на мисли.

Како можам да ги намалам случајните ознаки со вештачка интелигенција без да го „играм“ системот?

Фокусирајте се на автентични сигнали за авторство, наместо на трикови. Додадете конкретни специфики (чекори што сте ги презеле, ограничувања, компромиси), природно менувајте го ритамот на речениците и избегнувајте премногу шаблонизирани транзиции што вообичаено не би ги користеле. Чувајте нацрти, белешки и историја на ревизии - доказите од процесот честопати се поважни од оценката за детектор во споровите. Целта е јасност со личност, а не совршена проза на брошурата.

Референци

  1. Здружение за компјутерска лингвистика (ACL антологија) - Истражување за детекција на текст генериран од LLM - aclanthology.org

  2. OpenAI - Нов класификатор на вештачка интелигенција за означување на текст напишан од вештачка интелигенција - openai.com

  3. Водичи за Turnitin - Детекција на пишување со вештачка интелигенција во класичниот приказ на извештај - guides.turnitin.com

  4. Водичи за Turnitin - Модел за детекција на пишување со вештачка интелигенција - guides.turnitin.com

  5. Turnitin - Разбирање на лажните позитиви во рамките на нашите можности за откривање на пишување со вештачка интелигенција - turnitin.com

  6. arXiv - ДетектирајГПТ - arxiv.org

  7. Универзитет во Бостон - Објави за збунетост - cs.bu.edu

  8. GPTZero - Збунетост и експлозивност: што е тоа? - gptzero.me

  9. PubMed Central (NCBI) - Стилометрија и форензичка наука: Преглед на литературата - ncbi.nlm.nih.gov

  10. Здружение за компјутерска лингвистика (ACL антологија) - Функционални зборови во авторството Атрибуција - aclanthology.org

  11. arXiv - Воден печат за големи јазични модели - arxiv.org

  12. Google AI за програмери - SynthID Text - ai.google.dev

  13. arXiv - За сигурноста на водените жигови за големи јазични модели - arxiv.org

  14. OpenAI - Разбирање на изворот на она што го гледаме и слушаме онлајн - openai.com

  15. Стенфорд HAI - Детекторите со вештачка интелигенција се пристрасни против писателите кои не се англиски јазик - hai.stanford.edu

  16. arXiv - Лианг и др. - arxiv.org

Пронајдете ја најновата вештачка интелигенција во официјалната продавница за асистенти за вештачка интелигенција

За нас

Назад кон блогот