La începutul acestui an, Jeff Dean, coordonatorul activităţilor de inteligenţă artificială ale Google, a discutat într-un podcast despre un concept care, la vremea respectivă, era aproape necunoscut în afara cercurilor specializate din industria tehnologică: distilarea, relatează CNBC.
Vorbind despre dezvoltarea modelelor AI ale Google, Dean a explicat că el şi colegii săi au descoperit tehnici de distilare deoarece compania încerca să îmbunătăţească performanţele sistemelor sale fără să depindă de un singur model de mari dimensiuni pentru recunoaşterea imaginilor.
„Prin distilare, care este o tehnică esenţială pentru creşterea capacităţii modelelor mai mici, trebuie să ai mai întâi modelul de frontieră, pentru ca apoi să îi transferi cunoştinţele către modelul mai mic”, a declarat Dean în februarie.
Cinci luni mai târziu, distilarea a devenit brusc un subiect intens dezbătut, din Silicon Valley până la Washington, în timp ce specialiştii din tehnologie şi legislatorii analizează dacă această practică se transformă într-o ameninţare la adresa securităţii naţionale şi ajută China să recupereze decalajul faţă de Statele Unite în cursa globală pentru inteligenţa artificială.
Îngrijorările s-au amplificat la sfârşitul săptămânii trecute, după ce laboratorul chinez Moonshot AI a lansat modelul Kimi K3, iar utilizatorii au constatat rapid că acesta poate concura cu unele dintre cele mai performante sisteme AI comerciale dezvoltate de Anthropic şi OpenAI.
Spre deosebire de principalele companii americane de inteligenţă artificială, care vând acces la modele proprietare, Moonshot şi alte laboratoare chineze oferă modele cu parametri deschişi, care pot fi descărcate, modificate şi rulate de utilizatori pe propria infrastructură.
Unii oficiali americani atribuie progresul rapid al Moonshot utilizării distilării, pe care o descriu drept un furt de proprietate intelectuală americană, realizat în special prin integrarea cunoştinţelor modelului de frontieră Fable, dezvoltat de Anthropic.
„Avem informaţii potrivit cărora Moonshot AI a distilat modelul Fable al Anthropic pentru dezvoltarea modelului său K3”, a scris miercuri pe platforma X consilierul Casei Albe Michael Kratsios.
„Pentru a face acest lucru, compania a dezvoltat o platformă internă sofisticată, capabilă să realizeze distilarea la scară largă a modelelor americane, permiţându-i să schimbe rapid metodele de acces pentru a evita detectarea”, a adăugat el.
În termeni generali, distilarea presupune folosirea răspunsurilor oferite de un chatbot sau a rezultatelor produse de un model AI avansat pentru antrenarea unui alt model.
Practica este controversată deoarece, în funcţie de modul în care este utilizată, poate permite unui dezvoltator să creeze un model competitiv folosind pur şi simplu rezultatele unor companii care au investit sute de milioane sau miliarde de dolari în cele mai avansate tehnologii de antrenare.
„Este ca şi cum un elev ar fi participat la cursuri, ar fi citit manualul şi ar fi depus tot efortul necesar pentru a-şi face temele”, a declarat Pukar Hamal, fondatorul companiei de securitate AI SecurityPal.
„Apoi vine un alt elev şi spune: «Eu nu am făcut toate acestea. Pot pur şi simplu să îţi copiez lucrarea?»”, a adăugat el.
Indiferent dacă reacţia a fost provocată de mesajul lui Kratsios sau de alte evoluţii, cele mai mari companii tehnologice din lume şi-au unit vineri forţele într-o manieră rar întâlnită pentru a-şi exprima clar poziţia.
După o serie de mesaje publicate pe reţelele sociale pe parcursul săptămânii, giganţii tehnologici Nvidia, Microsoft, Meta şi Palantir, alături de peste 20 de alte companii, au publicat o scrisoare prin care au cerut autorităţilor să evite „restricţiile premature” asupra modelelor AI cu parametri deschişi, care ar putea „reduce concurenţa sau împinge inovarea în afara Statelor Unite”.
„Distilarea, respectiv practica utilizării rezultatelor unui model pentru antrenarea sau îmbunătăţirea altuia, este o tehnică folosită pe scară largă pentru dezvoltarea, evoluţia şi validarea modelelor”, au afirmat semnatarii scrisorii.
O problemă complicată pentru politica SUA faţă de China
Extinderea utilizării distilării creează o dilemă pentru autorităţile americane, care sunt de mult timp preocupate de tehnologia chineză, atât din perspectiva furtului de proprietate intelectuală, cât şi a riscurilor pentru securitatea naţională.
Colin Shea-Blymyer, cercetător la Centrul pentru Securitate şi Tehnologii Emergente al Universităţii Georgetown, a declarat că guvernul american încearcă încă să îşi definească poziţia.
Autorităţile ar putea susţine că firmele chineze şi ruse „au folosit rezultatele modelelor americane dezvoltate printr-un efort considerabil pentru a-şi îmbunătăţi propriile produse şi au obţinut astfel un avantaj incorect”, a spus Shea-Blymyer.
Directorul general al companiei Box, Aaron Levie, s-a numărat printre semnatarii scrisorii publicate vineri.
Levie a declarat că, pentru a rămâne competitive, companiile americane trebuie să poată utiliza cele mai bune tehnologii disponibile, indiferent de ţara în care acestea sunt dezvoltate.
„În general, cu cât există mai multă inovare, indiferent dacă aceasta provine din Statele Unite, China sau din altă parte, cu atât progresul inteligenţei artificiale va fi mai rapid, iar costurile vor tinde să scadă şi eficienţa să crească în timp”, a declarat Levie.
Deşi o mare parte a dezbaterii actuale se concentrează asupra modelelor chineze cu parametri deschişi, precum Kimi K3, numeroase companii au folosit distilarea pentru dezvoltarea propriilor sisteme, a declarat Shashi Bellamkonda, director de cercetare în cadrul companiei Info-Tech Research Group.
Nvidia, de exemplu, a utilizat distilarea în procesul de antrenare a seriei sale de modele Llama Nemotron, după cum este explicat într-o lucrare de cercetare publicată împreună cu acestea.
„Este o tehnică legitimă şi extrem de valoroasă, care permite antrenarea unui model mai mic şi mai ieftin folosind rezultatele unui model mai mare, iar această practică este utilizată permanent”, a spus Bellamkonda.
Anthropic denunţă distilarea realizată la scară industrială
Anthropic are însă o poziţie diferită, deoarece poate observa modul în care sunt utilizate modelele sale şi încearcă să îşi protejeze afacerea aflată în expansiune.
În februarie, compania a afirmat că sistemele sale Claude erau distilate la „scară industrială” de companiile chineze DeepSeek, Moonshot şi MiniMax, care ar fi utilizat aproximativ 24.000 de conturi false pentru a genera 16 milioane de interacţiuni.
Anthropic, evaluată la aproape 1.000 de miliarde de dolari şi care intenţionează să se listeze la bursă în viitorul apropiat, a declarat că oprirea distilării ilegale reprezintă o problemă de securitate naţională.
„Anthropic şi alte companii americane dezvoltă sisteme care împiedică actori statali şi nestatali să folosească inteligenţa artificială, de exemplu, pentru dezvoltarea armelor biologice sau desfăşurarea unor activităţi cibernetice rău intenţionate”, a afirmat compania într-un mesaj publicat în februarie.
Oprirea acestor practici necesită „acţiuni rapide şi coordonate între companiile din industrie, autorităţi şi comunitatea globală din domeniul inteligenţei artificiale”, a adăugat Anthropic.
OpenAI şi Anthropic interzic distilarea modelelor lor prin condiţiile de utilizare. Potrivit lui Bellamkonda, cele două companii susţin, în esenţă, că folosirea neautorizată a modelelor lor de mari dimensiuni poate reprezenta un furt de proprietate intelectuală.
În condiţiile în care costurile dezvoltării inteligenţei artificiale cresc puternic, companiile vor încerca însă să folosească orice soluţie disponibilă pentru a-şi îmbunătăţi eficienţa.
Hamal a declarat că nu ar avea nicio problemă să utilizeze la SecurityPal modele chineze cu parametri deschişi, precum Kimi K3, pentru automatizarea evaluărilor de securitate cu ajutorul inteligenţei artificiale, deoarece acestea ar putea reduce considerabil costurile.
„Ne-am asigura că nu există portiţe ascunse sau componente periculoase în cod”, a spus Hamal.
„Dar, după ce realizăm o evaluare, de ce să nu îl găzduim pe propria noastră infrastructură?”, a adăugat el.
OpenAI şi Anthropic, acuzate la rândul lor că au folosit conţinut fără permisiune
Una dintre principalele probleme cu care se confruntă Anthropic şi OpenAI atunci când invocă furtul de proprietate intelectuală este faptul că ambele companii au folosit la rândul lor conţinut provenit din alte surse pentru a-şi dezvolta modelele şi au fost acţionate în justiţie din acest motiv.
Max Pritt, avocat în cadrul firmei Boies Schiller Flexner, care reprezintă autori de cărţi în litigii privind drepturile de autor împotriva companiilor de inteligenţă artificială, a declarat că guvernul american se confruntă cu aceeaşi contradicţie.
„Administraţia s-a concentrat, cel puţin la nivel public, asupra protejării proprietăţii intelectuale a companiilor tehnologice, dar a rămas în mare parte tăcută în privinţa proprietăţii intelectuale a creatorilor şi persoanelor fizice, care au fost utilizate fără autorizaţie”, a afirmat Pritt.
