Monica Anderson biografija

Aš esu eksperimentinis AI epistemologas. Gimė Švedijoje, dabar JAV pilietis, gyvenantis Silicio slėnyje. Aš turiu MS CS su nepilnamečiu EE iš Linköpingo universiteto. Kalba yra mano dalykas. Aš esu poliglotas (anglų, švedų, suomių, vokiečių ir kai kurių prancūzų kalba) ir profesionaliai vartojau daugiau nei 30 kompiuterių kalbų.

Aš turiu 23 metų LLM tyrimų patirtį. Ne pokštas. Šią pretenziją gali pareikšti mažiau nei 10 žmonių. Aš greičiausiai taip pat esu svarbiausias pasaulyje skirtumo tarp XX amžiaus iki XXI amžiaus AI ekspertas; Jie yra artimi polinėms priešingybėms, tačiau dauguma žmonių (net AI versle) to nepastebėjo, todėl sukelia kognityvinius disonansus, kuriuos sukelia bandymas suderinti šiuos didelius skirtumus. Mano informavimas sutelkia dėmesį į tai paaiškinti. Kaip užuomina, „Paperclip“ maksimizatoriai yra seni AI ir dabar visiškai nesvarbūs.

Aš sugalvoju, kaip LLM turėtų veikti, remdamasis daug labiau bioplieziniais modeliais nei dabartiniai LLM dizainai, ir tada išbandau šias teorijas įgyvendindamas savo rūšies LLM Java, C ir Clojure.

Šis tyrimas prasidėjo 2001 m. Sausio 1 d. (Be to, kad yra XX amžiaus AI pramonės jėgos karjera, orientuota į NLP ir LISP) ir buvo visiškai finansuojamas naudodamas pajamas ir akcijų pasirinkimo sandorius iš „Google“ ir kelių trumpalaikių darbo ir konsultacijų. Daugybė bendrų tyrėjų, dirbančių „Equity“, bėgant metams padėjo, tačiau dabartinis dizainas yra mano. Aš turiu visą IP. Kol kas naudoju komercinės paslapties apsaugą.

Aš evangelizuoju savo epistemologijos lygio idėjas savo AI susitikimuose, savo subsake, „Facebook“ ir keliolikoje vaizdo įrašų (daugiau vaizdo įrašų vamzdyne). Aš esu patyręs viešas pranešėjas. Aš per 5 metus (2 per mėnesį) vedžiau Silicio slėnio AI susitikimą 100 ir daugiau susitikimų. Daugelyje jų rodė valandą mano „AI improvizacijos“, kai aš vesdavau auditoriją sužinoti naujų tiesų apie AI.

Tyrimų apžvalga

Žr. Susikaupusių rezultatų nuorodų sąrašą puslapio apačioje.
Mano LLM naudoja atskirus pseudo-neuronus ir pseudo-sinapsus, susijusius su nereikšmingu, bet epistemologiškai tinkamu dizainu. Dabartinių LLM skirtumai yra ryškūs; Jų yra daug, tačiau jie turėtų parodyti skirtumo dydį:

Populiarus LLMS Vs. Ekologiškas mokymasis
Semantika „First vs.“ Sintaksė pirmiausia

Analoginės koncepcijos erdvė Vs. Diskrečių neuronų jungtis

Euklido atstumas Vs. „Jaccard“ atstumas

SGD, atgalinė kopija vs. Neuroninis darvinizmas

Skirtingi Vs. Nėra reikalavimas

GPUS Vs. Ne reikalavimas (net nepadės)

„Token“ pagrįstas įvestis Vs. Įrašas, pagrįstas charakteriu

Įterpimai Vs. „Connectome“ algoritmai

Parametrai Vs. Sinapsių skaičius

Dydis ribotas GPU RAM Vs. Dydis ribotas pagrindinės atminties

Išmokti „Cloudmonths Vs.“ Išmoko bet kokios kalbos sintaksės per 5 minutes

Algoritmas aprašytas 8 ir 9 skyriuose (nuorodos apačioje)
Atminkite, kad mano 4 metų demonstracinės versijos algoritmas tvarko tik sintaksę pagrįstą (bet mašina išmoko ir galėjo būti bet kurios kalbos) klasifikacija, o ne dialogo langas. Be to, aš taip pat pritaikiau GPT stiliaus žetono numatymą savo sistemoje ir tai įgyvendinu dabar. Dar nėra paskelbtų rezultatų. Sintaksės pakanka daugumai XX amžiaus NLP užduočių, tokių kaip šlamšto/neapykantos/skelbimų filtravimas ir pranešimų klasifikacija, o mano sistema vis tiek turėtų rinką, jei ji nebūtų buvusi „ChatGPT“ sėkmė, kuri pakeitė finansavimo kraštovaizdį.
Kita vertus, sintaksės mokymas .

„MAC X86“ nešiojamame kompiuteryje OL sužino pakankamai angliškos sintaksės, kad būtų galima 100% teisingai įvertinti mano nepriklausomame, ne korpuse ir paprastą, bet teisingą klasifikavimo testą (žr. „GitHub“ nuorodą kodo ir bandymo duomenims).

Jis mokosi per mažiau nei 5 minutes, o UM1, išvadų variklis – gali aptarnauti beveik 1 m simbolius per sekundę, kad būtų galima įterpti į bet kurią pagrįstą mašiną. Pusė šio greičio RPI 4. Jei skambinate UM1 poilsio tarnybai tik tekstu, rezultatai yra pseudo-neurono unikalūs identifikatoriai, kurie buvo pasiekiami supratimo metu tekste, kaip vektorius.

8 skyriuje pateiktas trumpas mano nešiojamojo kompiuterio mokymosi anglų kalba vaizdo įrašas realiuoju laiku ir pakartotinai vykdo mano testą. Energijos reikalavimai, kaip paleisti GPU debesyje, buvo pripažinta kaip pagrindinė problema. Mano sistemos gali būti mokomos namuose bet kuriame nešiojamame kompiuteryje.

Aš naudoju „Connectome“ algoritmus, kad atrasčiau abstrakcijas, sinonimus ir koreliacijas. Tai dar ne visai veikia, tačiau rodo, kad jie vis tiek bus daug pigesni nei naudojant GPU. Nors tai nėra teisingas palyginimas, pastebėta, kad savo sintaksės mokymosi greitį ir energijos pranašumą vertinu, palyginti su dabartinėmis LLM, kad būtų maždaug milijonas laiko ir energijos, kad išmokytų GPT. „Connectome“ algoritmai naudoja šiek tiek daugiau skaičiavimo. Bet vis tiek nėra GPU, o debesies nereikia.

Mano skaičiavimo ištekliai

Žemiau yra mano tyrimų sąrankos nuotrauka. Kiekvienas iš dviejų 55 colių monitorių (320 USD iš „Amazon“) gali būti prijungti prie keturių skirtingų kompiuterių. Du „Mac“ kompiuteriai, vienas „Linux“ dėžutė su 2 GPU (skirtų konkuruojančių LLM bandymams) ir viena „Linux“ dėžutė, pavadinta „Oliveris“ (pavadintas Oliverio Selfridge’o, pirmojo AI epistemologo vardu), su mano paties algoritmais 1,5 TB arba RAM. Kalbos, kurią „Oliveris“ galėtų išmokti, kiekis greičiausiai yra daug didesnis nei tai, ką gali laikyti šiuolaikiniai 80 GB GPU.
Vienas „Mac“ yra už mano prieigos prie interneto ribų, visi kiti yra viduje.

Aš taip pat prižiūriu tris debesies serverius.

Finansavimas

Neseniai praradau pagrindinį globėją (nuo 5 ir daugiau metų) ir ieškau naujų būdų, kaip finansuoti šį tyrimą. Aš galiu pateikti interviu, korporacijų seminarus apie savo teorijas ir kartu su korporacijomis ir bet kokiu užimtumu, kuris leidžia man išlaikyti visą dabartinę ir būsimą intelektinę nuosavybę mano įgyvendinimui.

Aš galiu apsvarstyti rizikos kapitalo finansavimą, tačiau niekam nedalyvavau nuo tada, kai 2017 m. Įsteigiau A16Z, ir manau, kad esu labai artimas kalbų generavimo darbui, todėl turėčiau atidėti žingsnį, kol galėsiu tai parodyti … nes tada įmonės vertinimas bus 1000 kartų didesnis.

Nuorodos

Aš nebuvau akademinėje bendruomenėje nuo koledžo (aš mokiau AI kolegijos lygį kaip nepilnametis) ir net negaliu publikuoti „Arxiv“ be dviejų paskelbtų autorių, garantuojančių mano kompetenciją. Taigi aš neturiu akademinių leidinių.

3 minučių tylus vaizdo įrašas apie AI suderinimą (apibendrinant „Soties“ įrašą):

Pagrindinis tyrimų puslapis: https://experimental-epistemology.ai
Svarbiausia: https://experimental-epistemology.ai/the-red-pill-of-machine-learning/
Mano LLM: https://experimental-epistemology.ai/organic-learning/
UM1 išvados debesyje: https://experimental-epistemology.ai/um1/

Didžiąją dalį savo medžiagos išleidžiu anksti (atsiliepimams) į „Facebook“: https://www.facebook.com/pandemonica/https:/

AI politikos tinklaraštis apie „Matake“: https://zerothprinciples.substack.com

Senesni vaizdo įrašai „Vimeo“: https://vimeo.com/showcase/5329344

„Zeroth Principals“ susitikimas: https://www.meetup.com/silicon-valley-artificial-intelligence/

Dienoraštis iš 2007 m.: Https://www.artificial-intuicija.com/

Korporatyvinis puslapis: https://syntience.com/

Mano idėjos apie „antisocialinį“ šlamštą/neapykantą/be skelbimų socialinę žiniasklaidą:
„Bubble City PDF V.2“. https://syntience.com/bubbleCity2.pdf
)

„GitHub“ į UM1 serverio išbandymą: https://github.com/syntience-inc/um1

Keletas interviu:

https://www.youtube.com/watch?v=wj2tqor5qpy
https://www.youtube.com/watch?v=y82smnvpyKu
https://www.youtube.com/watch?v=2ehirrynnto

Mano robotas: https://www.youtube.com/watch?v=rezrywozhwc
Premija: Mano profilio nuotrauka yra iš grupės vakarienės su draugais 2024 m. Birželio mėn. Ar atpažįstate šalia manęs sėdintį džentelmeną, draugą nuo 20 metų? Jei to nepadarysite, „Google“ jo marškinėliai, kuriuose sakoma: „Potrzebie!“ Jam patinka jo privatumas ir aš retai tuo dalinuosi.

Source link