Altmanas nuliūdino investuotojus? – Monica Anderson
Sam Altmanas („Openai“ generalinis direktorius, kuris padarė „ChatGpt“) neseniai sakė, kad jis ketina pranešti apie svarbų pranešimą, kuris sujaudins daugelį investuotojų.
Kai kurie žmonės spėlioja, kad tai bus apie „Openai“ atvirą sprendimą. Kai kurie mano, kad jis paprašys daugiau reguliavimo. Kai kurie mano, kad jis paskelbs ilgą vėlavimą prieš GPT5. Tiesą sakant, „Openai“ dar net nepradėjo to mokyti.
Mano tikrai laukinės spekuliacijos: „Mums iš tikrųjų nereikia GPU“
GPT5 vėlavimą galėjo atlikti „Openai“ tyrimai, dėl kurių buvo galima rasti daug pigesnių GPU be LLM algoritmų, ir kad šie algoritmai dar gali būti ne visai pasirengę geriausiam laikui.
Įspėjimas apie „nuviliančius investuotojus“ būtų todėl, kad debesų paslaugos, susijusios su GPU, nebūtų reikalingas kalbų supratimui nuo šiol; Jie vis tiek būtų kritiški vaizdams, vaizdo įrašams, kalbai, garantims, mokslinėms programoms ir kt. Tai sujaudins daugelį biudžetų ir bendrovių, prekiaujančių GPU.
Egzistuoja šie GPU be gamtos kalbos supratimo (NLU) algoritmai. Nuo 2001 m. Aš tyrinėju LLM savo įmonėje „Syntive Inc“. Mūsų produktas yra mažesnis, greitesnis, pigesnis LLM, kurį dabar vadiname SSM – mažu sintaksės modeliu. Mes galime sukurti „naudingą“ SSM nešiojamajame kompiuteryje per mažiau nei penkias minutes, naudodami tik 5 MB korpuso, ir nenaudodami GPU. Debesyje turime UM1 demonstracinį serverį, kuris įkelia mažą SSM išmoktą tik kelias valandas. Kodas, skirtas išbandyti šį demonstracinį serverį, paskelbtas „GitHub“.
Beveik prieš metus paskelbiau santrauką, kaip kuriami mano SSMS ir kaip jie naudojami mano pagrindinėje leidybos svetainėje. 8 skyriuje aptariama „OL“ mokymosi algoritmas ir 9 skyrius Debesis pagrįsta „UM1“ vykdymo laiko paslauga. Atminkite, kad šiame vienerių metų skyriuje kalba nenaudoja termino „SSM“, nes aš pradėjau ja vartoti tik neseniai.
https://experimental-epistemology.ai/organic-learning/
Turiu „teisingą“ istoriją, kurią sukūriau iš viso audinio, nes nebuvau kambaryje, kai tai atsitiko. Apsvarstykite šį fiktyvų scenarijų:
Kažkada 2006–2014 m. Tokie žmonės kaip Geoffas Hintonas gauna gilų mokymąsi (DL), gerai dirbantis vaizdų supratimui.
Iki to laiko ir tikriausiai savarankiškai kai kurie NLP tyrėjai (-ai) išranda termino ir „Word2Vec“. Šios idėjos suteikia garsiosios karaliaus – vyro + moters = karalienės lygties funkcionalumą, leidžiant linijinei algebrai dirbti aukšto matmens semantinės koncepcijos erdvėje.
Dabar DL tyrėjams yra natūralus žingsnis bandyti suprasti žmogaus kalbą, konvertuojant įvesties tekstą į keistą „vaizdą“, naudojant terminuotą vektoriaus paiešką vertimui iš, gerai, terminus iki vektorių. Ir tada naudoti vaizdų supratimo algoritmus, kuriuos jie jau sukūrė, kad suprastų tekstą.
Ir tai veikė tikrai gerai, ir buvo pagrindas daugelį metų sparčiai tobulėti DNN pagrįstoje NLU.
Bet mano teorija (šioje fiktyvioje istorijoje) yra ta, kad jiems per anksti pasisekė.
Jie ėjo su termino vektoriais, nes tai veikė. Ir niekada nesivargino ieškoti pigesnės alternatyvos.
Taigi šie algoritmai prasideda nuo semantikos (terminų žodžio lygyje), importuojamais iš išorės (kaip surinko „Word2Vec“), ir tada jie bando išmokti kalbos sintaksės iš pagrindinio mokymosi korpuso. Aš vadinu šiuos semantikos pirmuosius algoritmus.
Mokydamiesi sintaksės, jie bus rengiami aplink šiuos termino. Kuris yra labai brangus. Dėl šios priežasties jiems reikia važiuoti galingais ir brangiais GPU.
Svarbiausias giliojo neuroninio tinklo kamino algoritmas yra konvoliucija. Tai naudojama koreliacijos atradimui. Vaizduose koreliacijos atradimas reikalauja, kad per visą vaizdą būtų padaryta daugybė leidimų, atliekant įvairias matricos operacijas, naudojant linijinę algebrą.
Tekste visi įmanomi koreliacijos yra (tiesiniame) ankstesniame tekste, kuris jau buvo perskaitytas, ir jas galima rasti naudojant indeksavimo metodus, tokius kaip naudojami žiniatinklio paieškai. Veiksmingesnis indeksavimo metodas, galintis išsaugoti daug daugiau konteksto, yra neuroninis tinklas, naudojantis atskirus neuronus. Tai mes naudojame ir aptariame 9 skyriuje.
Taigi, remiantis mano tiesiogine istorija, ML bendruomenė pavertė 1 matmenų indeksuotą koreliacijos paiešką į 2D konvoliuciją, kuriai reikėjo ieškoti šių koreliacijų. Ir dar yra daugiau: konvoliucija turi būti pakartotinai atlikta, kol ji susilieja, nes koreguojant svorius iš dalies paneigia ankstesnes pastangas.
Ir šie DL algoritmai veikia Euklido erdvėje, o tai reiškia, kad atstumo matavimai apima šimtų plaukiojančių taškų skaičių ir kvadratinių šaknų kvadratus. Priešingai, mano SSM naudoja „Jaccard“ atstumą dar aukštesnės dimensijos loginėse erdvėse. Daugelis mano algoritmų yra pagrįsti nustatyta teorija.
Tai yra priežastys, dėl kurių LLMS kainuoja „Openai“ pagal milijardų JAV dolerių užsakymą, kad mokytų savo LLM. GPU yra brangūs.
Mokymosi kalba tiesiogiai, charakteris pagal charakterį yra lengvai milijoną kartų greičiau nei naudojant termino. Tai sukuria SSM, o ne LLM, nes jis neprasidėjo semantika. Mes žinome, kad SSMS gali tvarkyti klasifikaciją. Ar jie gali tvarkyti dialogą?
Niekas nežino.
Ar tikrai termino vektoriai yra būtini dialogui?
Niekas nežino.
O gal Openai žino.
Mano algoritmas, ekologiškas mokymasis, veikia nuo 2017 m., Tačiau aš neturiu pakankamai didelės mašinos, kad galėčiau išmokti ne tik tai, ko mums reikėjo klasifikacijai. Visiems tyrimams mes naudojame 10 metų „Apple Macintosh Pro“ 2103 m. Vėlyvą.
„Openai“ neabejotinai turi finansavimą, skaičiavimą ir talentą, kurio jiems prireiks norint pereiti prie pirmųjų sintaksių algoritmų, tokių kaip mano. Gali būti, kad kiti dirbtų prie panašių idėjų, ir aš prognozuoju, kad šioje srityje pamatysime daugiau tyrimų veiklos dabar, kai žinome, kad įmanoma bent jau pasiekti.
Mano įmonei reikia 4TB RAM serverio su maždaug 220 gijų, kad būtų galima išmokti įvairių klasifikatorių versijų keliomis kalbomis ir eksperimentams, kuriais siekiama išmokti pakankamai, kad galėtum atlikti dialogo dialogą „ChatGPt“ stiliumi už milijoną jų biudžeto.
Mes esame patys finansuojami ir negalime sau leisti tokių eksperimentų.
