Научниците пред водечките модели поставиле задачи што бараат препознавање на положбата на стрелките на часовникот и пресметување на денот во неделата за зададен датум. Резултатите покажале дека вештачката интелигенција точно го одредува времето на аналоген часовник во само 38,7 проценти од случаите. Со календарските пресметки ситуацијата е уште полоша, каде што процентот на точни одговори паднал на скромни 26,3 проценти.

Зошто просторот и математичките обрасци ги збунуваат алгоритмите

Раководителот на истражувањето Рохит Саксена објаснува дека читањето часовник бара просторно резонирање, а не само препознавање на објектот на сликата. Моделот лесно препознава дека на фотографијата има часовник, но тешко ги мери аглите и ги толкува преклопените стрелки или римските броеви.

Кај календарите, проблемот го создава начинот на кој вештачката интелигенција ги обработува податоците. Традиционалните компјутери лесно извршуваат математички операции, додека јазичните модели не активираат математички алгоритми, туку го предвидуваат следниот збор врз основа на научените обрасци. При обработката на поретки појави, како престапните години, моделот ја губи логичката доследност.

Ограничувања во практичната примена на технологијата

Во тестирањето учествувале и врвните модели „Claude-3.5 Sonnet“ и „Llama 3.2-Vision“. Истражувачите нагласуваат дека овие недостатоци претставуваат сериозна пречка за автоматизацијата на работни задачи во кои времето и закажувањето се клучни фактори.

Наодите укажуваат на јасна разлика меѓу начинот на кој луѓето ги разбираат информациите и начинот на кој тоа го прават алгоритмите. Експертите посочуваат дека за работни задачи што комбинираат визуелно забележување и прецизно логичко заклучување, присуството на човек сè уште е неопходно.