OpenAI väidab, et GPT-4 võidab teid eksamil 90% • Register

OpenAI teatas teisipäeval GPT-4 kvalifitseeritud saabumisest, selle uusimast verstapostist helistamis- ja vastusepõhiste süvaõppemudelite loomisel ning mis võib näiliselt ületada oma lihavaid loojaid olulistel eksamitel.

OpenAI sõnul näitab mudel “inimtasemel jõudlust erinevatel professionaalsetel ja akadeemilistel võrdlusalustel”. GPT-4 suudab sooritada simuleeritud baarieksami 10 protsendi parimatest testis osalejatest, samas kui selle eelkäija GPT-3.5 (ChatGPT alus) saavutas umbes 10 protsendi alumise skoori.

GPT-4 toimis hästi ka mitmesugustel muudel eksamitel, nagu SAT-matemaatika (700 800-st). See ei ole siiski universaalselt võimeline, AP inglise keele ja kompositsiooni kohta ainult 2 (14.–44. protsentiil).

Üks asi, mida tuleks arvesse võtta: OpenAI GPT-seeria on oma olemuselt regurgitatsioonimootorite perekond, mis tugineb materjalile, mille põhjal see on koolitatud, ja paneb selle uuesti kokku, et vastata teie päringule. Mõnikord on see õige ja mõnikord vale. See, et see suudab meelde tuletada eksamite üksikasju, ei pruugi teile nii muljetavaldav tunduda või võib see olla pigem kommentaar selle kohta, milliseid teste me, inimesed, tegema peame.

“See on endiselt vigane, endiselt piiratud ja tundub esmakordsel kasutamisel ikkagi muljetavaldavam kui pärast seda, kui olete sellega rohkem aega veetnud,” tunnistas OpenAI tegevjuht Sam Altman, viidates GPT-4-le.

GPT-4 on suur multimodaalne mudel, erinevalt suurest keelemudelist. See on loodud päringute vastuvõtmiseks teksti- ja pildisisendite kaudu ning vastused tagastatakse tekstina. See tehakse algselt kättesaadavaks ootenimekirjas oleva GPT-4 API kaudu ja ChatGPT Plusi tellijatele ainult tekstina. Pildipõhist sisendit veel täpsustatakse.

Vaatamata visuaalse sisendmehhanismi lisamisele ei ole OpenAI avatud ega paku oma mudeli loomisele nähtavust. Algaja on otsustanud mitte avaldada üksikasju oma suuruse, koolituse ega selle kohta, millised andmed protsessi läksid.

“Arvestades nii suuremahuliste mudelite, nagu GPT-4, konkurentsiolukorda ja ohutust, ei sisalda see aruanne täiendavaid üksikasju arhitektuuri (sealhulgas mudeli suuruse), riistvara, koolitusarvutuse, andmestiku koostamise, koolitusmeetodi või muu sarnase kohta.” ütles ettevõte oma tehnilises dokumendis [PDF].

OpenAI president ja kaasasutaja Greg Brockman näitas YouTube’i otseülekandes GPT-4 ja GPT-3.5 erinevust, paludes mudelitel teha OpenAI GPT-4 ajaveebi postituse kokkuvõtte ühe lausega, kus iga sõna algab. tähega “G.”

GPT-3.5 lihtsalt ei proovinud. GPT 4 tagastas “GPT-4 loob murrangulisi, suurejoonelisi kasu, mis suurendab suuresti üldiste tehisintellekti eesmärkide saavutamist.” Ja kui Brockman ütles mudelile, et “AI” lisamine lausesse ei lähe arvesse, muutis GPT-4 oma vastust teises G-koormatud lauses, ilma “AI”ta.

Seejärel lasi GPT-4 genereerida Pythoni koodi Discordi roboti jaoks. Veelgi muljetavaldavam tegi ta pildi naljaveebisaidi käsitsi joonistatud maketist, saatis pildi Discordile ja seotud GPT-4 mudel vastas maketi saidi realiseerimiseks HTML-i ja JavaScripti koodiga.

Lõpuks seadistas Brockman GPT-4, et analüüsida 16 lehekülge USA maksukoodeksit, et tagastada tavapärane mahaarvamine paarile, Alice’ile ja Bobile, konkreetsete rahaliste tingimustega. OpenAI mudel vastas õige vastusega koos sellega seotud arvutuste selgitusega.

Lisaks parematele arutluskäikudele, mis ilmnevad selle paranenud testitulemustes, on GPT-4 mõeldud olema koostöövõimelisem (itereerides vastavalt eelmise väljundi parandamisele), suutma paremini käsitleda palju teksti (analüüsides või väljastades umbes 25 000-sõnalisi novelli pikkuseid tükke). ja pildipõhise sisendi aktsepteerimine (objekti tuvastamiseks, kuigi see võimalus pole veel avalikult saadaval).

Veelgi enam, GPT-4 peaks OpenAI andmetel olema vähem tõenäoline kui tema eelkäijad.

“Oleme kuus kuud GPT-4 iteratiivse joondamisega, kasutades meie võistleva testimisprogrammi ja ChatGPT õppetunde, mille tulemuseks on meie kõigi aegade parimad tulemused (kuigi kaugel täiuslikkusest) faktilisuse, juhitavuse ja kaitsepiiretest väljapoole minemast keeldumise osas. “ütleb org.

Inimesed võivad selle “kaugelt täiuslikust” ohutustasemega juba tuttavad olla Microsoft Bingi küsimustele vastamise võimaluste kivisest debüüdist, mis, nagu selgub, kasutab oma Prometheuse mudeli aluseks GPT-4.

OpenAI tunnistab, et GPT-4 “hallutsineerib fakte ja teeb arutlusvigu” nagu tema esivanemad, kuid organisatsioon nõuab, et mudel teeb seda vähemal määral.

GPT-4 vähendab oluliselt hallutsinatsioone võrreldes eelmiste mudelitega

“Kuigi GPT-4 on endiselt tõeline probleem, vähendab see märkimisväärselt hallutsinatsioone võrreldes eelmiste mudelitega (mis on iga iteratsiooniga paranenud), ” selgitab ettevõte. “GPT-4 hinded on 40 protsenti kõrgemad kui meie uusim GPT-3.5 meie sisemiste võistlevate faktihinnangute põhjal.”

GPT-4 hind on 0,03 dollarit 1 000 viipade kohta ja 0,06 dollarit 1 000 lõpetamismärgi kohta, kus märgis on umbes neli märki. Samuti on vaikemäära limiit 40 000 märki minutis ja 200 taotlust minutis.

Samuti OpenAI avatud lähtekoodiga Evals, masinõppemudelite, sealhulgas enda mudelite hindamise ja võrdlusuuringu programm.

Vaatamata jätkuvale murele tehisintellektiriskide pärast, kiirustatakse tehisintellektimudelite turule toomist. Samal päeval, kui GPT-4 saabus, tutvustas endiste OpenAI töötajate moodustatud idufirma Anthropic oma vestluspõhist abimeest nimega Claude teksti kokkuvõtete ja genereerimise, otsimise, küsimuste ja vastuste, kodeerimise ja muuga tegelemiseks. See on saadaval ka piiratud eelvaate kaudu.

Ja Google, kes oli mures AP-mudelite turundamises mahajäämise pärast, kiusas välja API nimega PaLM, et suhelda erinevate suurte keelemudelitega ja prototüüpimiskeskkonnaga MakerSuite.

Mõni nädal varem tõi Facebook turule oma LLaMA suure keelemudeli, mille Stanfordi teadlased on nüüdseks muutnud Alpaca mudeliks, mis Register käsitletakse üksikasjalikumalt hiljem.

“Veel on palju tööd teha ja ootame selle mudeli täiustamist kogukondlike ühiste jõupingutuste kaudu, mille käigus ehitatakse, uuritakse ja panustatakse mudelisse,” lõpetas OpenAI. ®