Eliza, Sophie, ChatGpt
Tai mano antrasis pranešimas apie kalbos modelių istoriją. Pirmasis aptartas „Typo.C“, kurį sukūrė prof. Robertas Morrisas, Sr.
Mano pirmasis susitikimas su kalbos modeliu
Buvau mokymo asistentas kolegijoje ir man buvo rimtai užuomina apie mano būsimą karjerą, kai manęs paprašė suplanuoti ir surengti AI laboratorijos sesiją, susijusią su Sophie analize, kuri buvo pažangiausias kalbos modelis.
Jį sukūrė Bobrow, Brownas, Burtonas ir De Kleeris pagal sutartį su JAV kariniu jūrų laivynu, būdamas Bolt, Beranek ir Newman.
Nustatymas buvo naudoti natūralią kalbą, kad būtų galima bendrauti su karinio jūrų laivyno įdarbinimo priemonėmis, mokančiomis pašalinti elektroninę įrangą. Studentams buvo suteikta schema ir prieiga prie maitinimo šaltinio modeliavimo, įgyvendinamo naudojant populiariausią šių dienų elektronikos simuliatorių, vadinamą „Spice“.
Tai galėtų tvarkyti vartotojo įvesties sakinius, tokius kaip „Įdėkite kietą gedimą“, „Kas yra įtampa visame rezistoriuje R4“, „Manau, kad problema yra bazė, kurią reikia išmesti trumpai tranzistoriuje Q5“ ir kt.
Ir tai atsakytų atlikdamas matavimus, kuriuos jis gavo iš prieskonių modelio, kurį jis veikė žemesniame siūle. „P12 įtampa yra +0,4 V“
Jei išsakytumėte hipotezę, tai pasakytų kažką panašaus
„Jūs tvirtinate, kad nesėkmė yra bazinė, trumpa Q5. Pažiūrėkime, ar tai buvo pagrįsta….
Išmatuojote įtampą taške p12 kaip 0,4 volto. Jei būtumėte teisingi, ta įtampa būtų buvusi 14,1 voltų.
(… ir tai visiškai sunaikina mano metodiką …: D)
Faktinė klaida yra… “
Sophie vis dar buvo XX amžiaus AI
Iki 2001 m., Išskyrus kai kurias išimtis, pažymėtos kitose mano pranešimuose, visi kalbų modeliai buvo tikri modeliai. Mes panaudojome žodžių sąrašus ir gramatiką, kartos šablonus ir kt. Kalbos modelį sukūrė žmonių programuotojai, tokie kaip aš. Mes bandytume supaprastinti kalbos supratimo problemą iki taisyklių, kurias galėtume programuoti į savo sistemas. Jei būtume žinoję, kokia sunki ši problema iš tikrųjų buvo, galbūt mes galėtume atsisakyti anksčiau.
Turime atsiminti, kad tuo metu prieinami kompiuteriai buvo maži – per maži, kad visi net įsivaizduotų holistinius (be modelio) metodus, būtent tai mus privertė į XX amžiaus LLM.
Aš tvirtinu, kad kalbėdamas kaip epistemologas, kad dabartiniai didelių kalbos modeliai iš tikrųjų nėra modeliai. Tai yra ankstesnės patirties kolekcijos, saugomos kaip modelių modeliai ir modeliai. Todėl jie yra holistiniai, o ne redukcionistai ar moksliniai. Jei tai naujiena jums, sveiki, skaitykite dar keletą mano įrašų.
Sophie buvo ištikima XX amžiaus redukcionistinei, modeliams pagrįstai paradigmai. Tiesą sakant, tai padarė gana gerą darbą. Tokios sistemos kaip „Eliza“ veikė kelerius metus, tačiau jos naudojo nereikšmingus kalbų modelius, kai didžioji dalis pokalbių buvo rankomis pagamintos bendrosios raginimo priversti vartotoją tęsti. Strategija, kurią vis dar galime pamatyti dabartinių LLM pėdsakų.
Sophie mieste transporto priemonė buvo „Interlisp“ programa, skirta suderinti maitinimo šaltinį, tačiau jų pagrindinis tyrimas buvo apie tai, kaip pakelti pokalbį ir atpažintų bei teisingai analizuotų sakinių skaičių į kitą lygį. Atkreipiame dėmesį, kad jų pasirinktas kalbos domenas buvo labai siauras – kaip pašalinti maitinimo šaltinį. Tai nebuvo Didelis Kalbos modeliai. Be mašininio mokymosi, tai buvo visas kalbos sudėtingumas, kurį tuo metu galėjome susitvarkyti, nes visa kalbos kompetencija turėjo būti sukurta ir įgyvendinta tam tikru detalumu.
ATNC
Jie sukūrė ATNC – papildytą pereinamojo laikotarpio tinklo kompiliatorių -, kuris gali užtrukti aukšto lygio (BNF panašų) dialogo būsenos aparato, kuriame dabartinė „reikšmė“ yra mazgas valstybinėje diagramoje, aprašymas ir, gavę naują įvestį, galite pereiti prie kitų būsenų, pavyzdžiui, atsakymas į užduotą klausimą. Tuo metu tai buvo pažangi kompiliatoriaus technologija ir jie ją pritaikė natūraliam kalbai.
Dešimtmečiais vėliau aš padariau tą karjeros temą. Keliuose sužadėtuvėse aš rašiau natūralių kalbų supratimo sistemas, tokias kaip „Corporate Carverly Reports“ ir „Panaši“, naudodama „Antlr“-populiarų kompiliatoriaus kompiliatorių, generuojantį „Java“ kodą-aš panaudojau savo natūralias kalbų programas, o ne į programavimo kalbas. Tai buvo nuostabiai galingas receptas. Aš įkūriau įmonę, kurioje mes pardavėme šią techniką, suvyniotą į debesų paieškos federacinę internetinę svetainę.
Bet ar tai holistinis?
Kaip mes galime pasakyti, ar sistema, tokia kaip LLM, yra redukcionistinė ar holistinė?
Holistinės sistemos
-
Jie mokosi. O tai reiškia, kad jiems sekasi geriau
-
Jie atspėja. Jie negali garantuoti teisingų rezultatų.
-
Jie yra tvirti savo problemos srityje
-
Pačios srities žinios nėra programavimo pastangų dalis.
Redukcionizmo sistemos
-
Jie tai supranta pirmojo bandymo metu
-
Jie yra trapūs pokyčių akivaizdoje ar kitose srityse
-
Jie reikalauja išorinio problemos srities supratimo
-
Norint pakeisti bet ką, reikia perprogramuoti.
Pavyzdys: LLM gali išmokti anglų kalbos ar kinų, neperprogramuodami, tačiau jei norėtume prancūziškos Elizos ar Sophie versijos (kurios abu naudojo redukcionizmo NLP), mes programuotojams turėtume atlikti daug programos, žodyno ir gramatikos lygio pakeitimų šioje sistemoje.
Ir gerai nesuprasdami savo problemos srities (pvz., Raketijos) ir tiksliai supraskite, ką reiškia F = Ma (fizikos modelis), jūs nežinotumėte, kaip naudoti tą modelį. Redukcionizmas reikalauja išorinio problemos srities supratimo, nes episteminį redukciją atlieka žmonės.
LLM nėra modeliai, nes juose nėra nieko, ką galime ištraukti prasmingai. Net ne gramatikai. Jie yra nepermatomi redukcionizmo tikrinimui, nes modeliai būtų viskas, ką galėtume aptikti naudodamiesi tokiais įrankiais, ir aš tvirtinu, kad LLMS gali įveikti be jokių modelių. Jų sunkumai samprotavimai yra užuomina ir tiesiogiai atsiranda dėl to, kad nėra modelių, apie kuriuos reikia pagrįsti.
„Castle Siege Siege“ pavyzdyje aptariama https://vimeo.com/showcase/5329344/video/5012093
