Cu o lună în urmă, Google a anunțat oficial lansarea platformei avansate de inteligență artificială Gemini 1.5. Această platformă include mai multe modele de IA cu capacități și optimizări diferite pentru diverse dispozitive și sarcini. Modelul Gemini 1.5 Pro este conceput să fie cel mai avansat și inteligent, fiind orientat în special către lucrul cu volume mari de date. Printre altele, poate analiza texte lungi de sute de pagini și chiar videoclipuri. Reprezentanții Google au subliniat de mai multe ori capacitățile semnificative ale lui Gemini în lucrul cu texte mari. Cu toate acestea, în realitate, lucrurile nu au fost atât de bune pe cât au fost promovate.

Două studii independente realizate de cercetători de la Universitățile din Massachusetts și California au evidențiat probleme serioase în înțelegerea și furnizarea răspunsurilor corecte în fața volumelor mari de date de către sistemele actuale de inteligență artificială. Într-unul dintre experimente, în care s-a lucrat cu opere literare mari, Gemini 1.5 a furnizat răspunsuri corecte în intervalul de 40-50%. De exemplu, după procesarea unei cărți cu 260 de mii de cuvinte (520 de pagini), Gemini 1.5 Pro a oferit răspunsuri corecte la afirmațiile veridice/false în 46,7% din cazuri, în timp ce modelul mai simplu Gemini Flash 1.5 a răspuns corect în doar 20% din cazuri. Una dintre provocările majore pentru IA este verificarea afirmațiilor care necesită analiza unei părți mari din lucrare sau chiar a întregii cărți, unde Gemini întâmpină dificultăți semnificative în înțelegerea datelor mari și a contextului acestora. Într-un alt experiment, s-a testat capacitatea de înțelegere a videoclipurilor (serii de slide-uri), iar rezultatele au fost mai bune, cu Gemini Flash obținând răspunsuri corecte în 50% din cazuri.

Unul dintre participanții la studiu a subliniat că niciun model de IA nu poate atinge performanțele umane. Într-o comparație cu performanța umană de 97%, cel mai bun model GPT-4o a obținut răspunsuri corecte în 55,8% din cazuri.

În testare nu s-a utilizat cea mai recentă versiune a lui Gemini, dar experții consideră că acest lucru nu a avut un impact semnificativ asupra rezultatelor. Unii experți sunt de părere că Google exagerează capacitatea sistemului său de inteligență artificială. La începutul anului, Google a fost deja nevoit să-și ceară scuze pentru generatorul său de imagini, care afișa figuri istorice extrem de bizare.

De asemenea, interesul pentru IA generativă în domeniul afacerilor a scăzut ușor. S-a avut așteptări mari cu privire la noile tehnologii și la capacitatea lor de a înlocui oamenii în multe domenii. Totuși, recenta sondare realizată de compania de consultanță Boston Consulting Group arată că mai mult de jumătate dintre managerii de vârf nu se așteaptă ca IA să aducă o revoluție sau să crească productivitatea, ci sunt îngrijorați de probabilitatea erorilor și de datele inexacte.