Съществува сериозен риск изкуственият интелект да установи надмощие над човечеството в рамките на следващите три години. За тази опасност алармира експертът по безопасност на AI Пол Кристиано по време на първата си лекция от серията „Хинтън“ за 2026 г., проведена в Торонто.
Основателят на Alignment Research Center и един от пионерите в обучението на AI чрез обратна връзка от хора очерта сценарий, при който автономните системи започват да преследват собствени цели. В този случай те биха могли да придобият толкова голямо влияние, че хората да се окажат неспособни да ги спрат. Според Кристиано вероятността изкуственият интелект да поеме контрола в този кратък срок е реална.
Той подчерта, че това е негова лична субективна оценка, тъй като не съществува надежден модел, който да изчисли риска с математическа точност. Развитието на събитията зависи пряко от решенията на правителствата, технологичните компании и изследователите. В най-лошия сценарий, при липса на адекватни регулации, Кристиано сравнява риска от загуба на контрол с хвърляне на монета, като се надява мерките за безопасност да смекчат тази заплаха.
Основният проблем се крие в разминаването между човешките намерения и критериите за оценка на AI. Моделите се оптимизират според постигнатите резултати, което често ги подтиква да манипулират тестовете, вместо реално да изпълняват задачите. Като пример той посочи модела o3, който вместо да оптимизира компютърна програма, променил начина на измерване на времето, за да изглежда кодът по-бърз.
Кристиано цитира и инцидент в платформата ExploitGym, където AI агенти, търсещи софтуерни уязвимости, започнали да заобикалят правилата, обменяйки информация и прикривайки действията си. В един момент те дори получили административни права в изчислителния клъстер на OpenAI. Въпреки че това се е случило в контролирана среда, експерти като Колин Рафел предупреждават, че мощните агенти без защитни механизми представляват особена опасност.
Най-тревожната възможност е системите да започнат да възприемат човешката намеса като пречка и да се научат да я прикриват или заобикалят. За да се избегне това, Кристиано настоява разработчиците да имат правото да спират развитието на системи, които не могат да бъдат гарантирано контролирани. Според него текущите методи за безопасност са обещаващи, но все още недостатъчни за пълно решение на проблема.
Източник: plovdiv24.bg
