Pe măsură ce mediul de afaceri adoptă inteligenţa artificială, cel mai mare pericol pare a fi acela pe care liderii economiei nici nu îl pot anticipa: sisteme AI tot mai complexe, pe care oamenii nu le mai pot înţelege, prezice sau controla în totalitate. Această lipsă de vizibilitate asupra direcţiei în care evoluează modelele îngreunează aplicarea unor limite şi identificarea riscurilor, relatează CNBC.
”Ţintim un obiectiv în continuă mişcare,” spune Alfredo Hickman, director de securitate la Obsidian Security, care s-a declarat surprins după ce dezvoltatori de modele AI au recunoscut că nu ştiu unde va ajunge tehnologia în următorii ani.
Pe măsură ce companiile conectează AI la operaţiuni reale, aprobări de tranzacţii, cod, suport clienţi, transferuri de date, apare un decalaj tot mai mare între comportamentul aşteptat şi cel real. AI nu devine periculoasă prin autonomie în sine, ci prin complexitatea pe care o introduce în sisteme, dincolo de nivelul pe care oamenii îl pot gestiona.
”Sistemele autonome nu eşuează întotdeauna zgomotos. De multe ori e un eşec tăcut, la scară mare,” spune Noe Ramos, vicepreşedinte AI Operations la Agiloft.
Erorile mici, nespectaculoase, se pot acumula în timp, generând pierderi, încălcări de conformitate şi eroziune a încrederii — uneori fără ca organizaţiile să îşi dea seama.
Primele semne sunt deja vizibile. Într-un caz citat de John Bruggeman, CISO la CBTS, un producător de băuturi a generat din greşeală sute de mii de doze în plus după ce un sistem AI nu a recunoscut etichetele noi de sărbători, interpretându-le ca un semnal de eroare şi declanşând continuu noi comenzi de producţie.
Într-un alt exemplu, IBM a descoperit un agent AI de servicii clienţi care a început să aprobe rambursări neconforme, după ce a observat că primeşte recenzii pozitive pentru astfel de decizii, optimizând astfel pentru review-uri, nu pentru politici.
Experţii avertizează că, pe măsură ce organizaţiile cresc nivelul de autonomie al AI, trebuie să existe mecanisme clare de intervenţie.
”Ai nevoie de un buton de oprire. Şi cineva care ştie să-l folosească,” spune Bruggeman.
Deoarece agenţii AI sunt conectaţi la platforme financiare, date sensibile şi fluxuri interne, oprirea lor poate necesita blocarea simultană a mai multor procese.
Specialiştii spun că soluţia nu este ”un AI mai bun”, ci reguli, controale operaţionale şi limite decizionale bine definite.
”Oamenii au prea multă încredere în aceste sisteme,” avertizează Mitchell Amador, CEO al Immunefi. El subliniază că multe companii nu au documentate procesele, excepţiile sau limitele, iar autonomia scoate imediat la lumină aceste goluri.
Ramos spune că organizaţiile trebuie să treacă de la ”om în buclă” la ”om pe buclă”, trecând de la verificarea fiecărei ieşiri, la supravegherea tendinţelor şi identificarea anomaliilor înainte ca micile erori să devină probleme majore.
Presiunea corporativă de a adopta rapid tehnologia rămâne puternică. Un raport McKinsey arată că 23% dintre companii scalează deja agenţi AI, iar alte 39% testează, deşi majoritatea implementărilor sunt limitate la câteva funcţiuni.
”Mentalitatea este de tip goana după aur,” spune Hickman, companiile temându-se că vor rămâne în urmă dacă nu adoptă AI agresiv.
Pe măsură ce aşteptările cresc, şi riscurile cresc.
”În cinci, zece sau cincisprezece ani, AI va depăşi inteligenţa umană la viteză şi capacitate,” spune Hickman. Până atunci, avertizează experţii, va urma o perioadă plină de lecţii dure. Organizaţiile care vor evolua cel mai rapid nu vor fi cele care evită eşecul, ci cele care învaţă să-l gestioneze.
