„MIT“ тестираше 41 модел на илјадници задачи

„MIT“ минатата недела објави прелиминарни резултати од студија во која 41 јазичен модел – вклучувајќи верзии на „Claude“, „Gemini“ и „ChatGPT“ – биле тестирани на повеќе од 11.000 претежно текстуални работни задачи, распределени по професии од американскиот регистар на труд.

Резултатите ги оценувале луѓе со реално искуство во тие професии. Целта била да се утврди колку често вештачката интелигенција може да произведе резултат што надреден би го прифатил без никаква човечка интервенција.

„Минимално доволно“ во 65 проценти од случаите

Одговорот: во околу 65% од случаите, ако за поминување се бара „минимално доволно“, што во нашиот образовен систем би било некоја слаба двојка.

На скала од 1 до 9, оценката 7 е дефинирана како работа што е употреблива таква каква што е, без потреба од корекции. Во две третини од времето, значи, вештачката интелигенција го поминува тој праг, што звучи солидно – барем додека не се види што се случува кога ќе се подигне скалата.

Кога се бара врвен квалитет – вештачката интелигенција потфрла

Кога од моделите се бара „супериорен“ квалитет – оценка 9 – веројатноста за успех никогаш не надминува 50%, без разлика на тоа колку време моделот има на располагање.

Со други зборови, кога задачата бара повеќе чекори, креативност или прецизност, вештачката интелигенција почесто не успева отколку што успева.

„Разочаран практикант“ како најдобар опис

Истражувачите резултатот го опишаа со формулација што заслужува да биде запаметена: перформансите на моментално достапните модели се споредливи со оние на „разочаран практикант“.

Го исполнува минимумот, но има тешкотии да произведе квалитетна работа што би била употреблива без дополнителни интервенции.

Приказната за напредокот на AI не е баш онаква каква што се претставува

Ако ви се чини дека ова е спротивно на она што со години го слушаме – не сте единствени.

Наративот што го пласираат производителите на AI модели, консултантските компании и деловните медиуми е приказна за брз напредок и скорешна замена на цели оддели.

Податоците на „MIT“ сугерираат нешто поинакво: напредок има, но е постепен и има плафон што сè уште не знаеме да го пробиеме.

Примери од пракса: кога AI создава проблем

„Deloitte“ минатата година произведе извештаи полни со измислици за државни клиенти.

„CNET“ и „Sports Illustrated“ објавуваа текстови генерирани од вештачка интелигенција со грешки и под лажни имиња.

Една американска адвокатска канцеларија користела непостоечки правни референци.

Во сите овие случаи, некој проценил дека AI е „доволно добар“ – и погрешил.

Каде AI е подобар, а каде послаб

Податоците на „MIT“ покажуваат дека резултатите се послаби во правните и ИТ-секторите, додека се подобри кај поедноставни текстуални задачи.

Колку е задачата покомплексна и колку се последиците од грешка посериозни, толку е вештачката интелигенција помалку сигурна.

Промени на пазарот на труд

Компаниите најпрво ги автоматизираат едноставните задачи и почетните позиции.

Посложените работи остануваат за луѓето, но исчезнува една важна работа – почетокот на кариерата.

Без јуниорски позиции, во иднина може да дојде до недостиг од стручњаци.

„Минимално доволно“ не е стандард што го сакаме

Проценките се дека до 2029 година вештачката интелигенција ќе извршува поголем дел од задачите на ниво „минимално доволно“.

Но тоа не е стандард што луѓето сакаат да го прифатат.

Дали би се лекувале кај доктор кој работи „минимално доволно“? Или би му довериле случај на адвокат на тоа ниво?

Клучното прашање: може ли AI да стане врвен

Вештачката интелигенција може да извршува рутински задачи.

Но прашањето е дали може да достигне врвен квалитет – а тоа е единственото што навистина е важно.

Заклучок: корисна, но не и замена за човекот

Искуството на повеќето корисници е слично:

Вештачката интелигенција е одлична за прва верзија и за забрзување на работата, но не е доволно сигурна за финален производ без проверка.

Со други зборови, се однесува како разочаран практикант – со таа разлика што практикантот со време напредува, а вештачката интелигенција тоа сè уште треба да го докаже, пренесува „bug.hr“.