Superžmogiški atsakymų generatoriai – Monica Anderson

Evoliucinis skaičiavimas yra nepakankamai įvertintas. Prieštaravimai apima „Evolution tebeslantennia“ ir „Aš negaunu prasmės“.

Jie yra (arba turėtų būti) labai svarbūs AI bendruomenės žmonėms, nes jie yra primityvus žvalgybos pirmtakas. Evoliucijos skaičiavimo (EB) supratimas palengvins supratimą.

Kad nebereikės apibrėžti „AI“, dabar apibrėžsiu naują terminą Shag kuris reiškia „Superžmogiško atsakymo generatorius“.

„Shag“ yra kompiuterinė sistema, galinti pateikti atsakymus į klausimus, į kuriuos klientas ar programuotojas, naudojantis sistemą, negali (arba negali būti trukdoma) apskaičiuoti atsakymą sau. Arba trumpesnis: Shag sukuria atsakymus, kurių žmonės negali generuoti.

Nenuostabu, kad visi LLM yra skiautės. Jie gali generuoti atsakymus, kurių jų programuotojai negalėjo. Tokių kaip supratimas ir atsakymas Suomijoje.

Daugeliui dar labiau stebina, kad visi skiautai (taigi ir visi LLM) yra holistiniai. Kadangi skiautai yra holistiniai, galime nustatyti keletą problemų, kuriomis dalijasi visos holistinės sistemos (mano ilgainiui aptartos Raudona piliulė)

– Pateikti atsakymai gali būti netinkami
– Pateikti atsakymai nėra žinomi kaip optimalūs, išsamūs, pakartojami, apgailėtini, paaiškinami ar skaidrūs.

Kaip įrodymus mes pripažįstame šias problemas kaip endemines dabartinėms LLM.

Bet ar yra skiautelių, kurie nėra LLM? Be dabartinių LLM (įskaitant mano paties giliavandenį-diskretinį-neurono tinklą LLM), genetiniai algoritmai (GA), genetinis programavimas (GP) ir imituotas atkaitinimas (SA) yra šagai. Aš daugiausia aptarsiu dujas toliau.

Mano mėgstamiausias būdas naudoti dujas:

– Apibrėžkite asmenį, kuris apibrėžia sprendimą, tačiau turi konkuruoti dėl išgyvenimo, atsitiktinai inicializuotą dėl įvairovės.
– Sukurkite tų populiaciją ir laikykite juos visuose masyve. Tarkime, 1000 gyventojų asmenų.
– Apibrėžkite tikslo funkciją, kuri grąžina skaičių, nurodantį, koks geras (tinkamas) individas.
– Apibrėžkite kryžminimo funkciją, kuri sukelia du sėkmingus asmenis, tikėdamiesi sukurti dar geresnius palikuonis
– Apibrėžkite mutacijos funkciją, kuri kai kuriems asmenims iš naujo įveda daugiau įvairovės.

Kilpa, kol sistema nustos tobulėti, o tai galima aptikti pastebėjus, kad elitas nesikeičia. Tai gali užtrukti vos 10 ciklų, kad gerai elgtųsi problemos:

– Apskaičiuokite tinkamą kiekvienam asmeniui, naudodamas tikslo funkciją
– rūšiuokite masyvą pagal asmenų tinkamumą
– Pradėkite nuo blogiausio asmens ir pereikite prie geresnių:
– Pakeiskite individą dviejų aukštesnių asmenų kryžminimo
– Sustabdykite pakaitalus šiek tiek žemiau viršaus (kad išsaugotumėte „elitą“)

Visi dujos naudoja asmenis, turinčius tam tikrą genomą. Dalis „Crossover“ projektavimo iššūkio ir tikslo funkcijos yra ta, kad praktikas turi pakankamai gerai suprasti problemą, kad ne tik nustatytų, kuris asmuo (žiūrimas kaip sprendimas) yra geresnis, bet ir sugebėti nustatyti parametrus, kuriuos sudaro visi Sprendimai.

Paprastosiose dujose tikrai nėra fenotipo. Mes vertiname genotipą tiesiogiai naudodamiesi tikslo funkcija. Tai yra gana radikalus nuoroda, tačiau iš tikrųjų pradedama naudoti „Wetlab“ genomikoje: laboratorijos gamina grūdus su geresniu derliumi, nesivargindami metus auginti sėklų, nes jie žino, kaip atrodo didesnio derliaus DNR genomas.

Tarkime, kad norėjote naudoti GA, kad optimizuotumėte siuntimo kainą, kad būtų galima kuo pigiau sukurti kvadratinę kampą, pakankamai didelę, kad 200 svarų grūdų (su žinomu vidutiniu tankiu). Genome būtų dėžutės x, y ir z dydžiai, o iš pradžių jie būtų visiškai atsitiktiniai kiekvienam asmeniui. Tikslo funkcija grąžina nulinį kiekvienos dėžutės tinkamumą, kurio tūris yra nepakankamas, kad būtų reikiamas grūdų kiekis, ir kitaip grąžina ilgį ir perimetrą, kad galėtume apskaičiuoti siuntimo kainą tradiciniu būdu.

Kryžminio funkcija gali paimti du tėvus ir naudoti x iš vieno ir y bei z iš kito, o kartais x ir y iš vieno ir z iš kito. Visi tėvai geriau tinka nei pakeistas asmuo; Mes tikimės, kad rekombinacija sukels dar geresnius palikuonis, nes iš dalinių sprendimų tėvams bus skirta.

Labai greitai pastebėsime, kad geriausios kiekvienos kartos dėžutės tampa mažesnės, mažesnės ir pigesnės gabenti. Kai elitas yra stabilus, visi jie turi tą patį x, y ir z, kuris yra optimalus sprendimas.

Dabar apsvarstykite didesnę problemą su 500 skaitmeninių parametrų ir tikslo funkcija, kuri naudoja kiekvieną iš jų. Tai gali būti brangu vystytis, tačiau jei tai yra vienintelis kelias į priekį, mes jį imsimės. Gerai elgiasi problemos greitai suartės.

Tipiškas asmuo išlaikytų šias 500 verčių masyve (panašiai kaip genai chromosomoje), o kryžminis Pasirinkti supjaustyti taškai.

1. Mutacija yra daug mažiau svarbi nei kryžminimas, kad būtų neprivaloma. Pradedantiesiems tai atsigauna ir net vadovėliai to nepakankamai pabrėžia. Jei nenaudojate „Crossover“, tada jūs tiesiog naudojate atsitiktinę paiešką ir išmetate visą GA tašką ir galią.
   1000 populiacijoje galiu naudoti 10 elitą, todėl pakeisiu 990 blogiausių asmenų, turinčių potencialiai pranašesnius palikuonis kiekvienam posūkiui per kilpą. Aš paprastai naudoju mutaciją daugiausia porai procentų visų asmenų.

2. Turi būti Kai kurie Galimybė paveldėti palikuonis Kai kurie Funkcija (-os) to, kas padarė tėvą (-us) sėkmingą. Mačiau, kad pradedantieji daro kryžminio funkcijas, kurios klaidingai atmeta visą istoriją iš tėvų, todėl sistema žemina atsitiktinę paiešką. Tai svarbu tokiems dalykams kaip sprendimas dėl supjaustytų taškų (kai naudojami masyvo reprezentacijos), kur kai kurios savybės bus linkusios keliauti kartu dėl sinergijos priežasčių.

3. Šią klaidą galime paversti matavimu. Norėdami patikrinti, ar jūsų GA veikia, palyginkite savo pilno GA konvergenciją su versijos konvergencija, kurioje pakeisite kryžminio funkcijos funkciją tik sukurdami naują atsitiktinį (pradžios tašką) asmenį be tėvų istorijos. Dabar turite atsitiktinę paieškos sistemą. Jei jis nėra žymiai lėtesnis nei jūsų visiškai veikiantis GA, tuomet turite grįžti į brėžinio lentą. Tai taip pat parodys, kiek EV gali pagreitinti reikalus per tiesinę ar atsitiktinę paiešką (šie du yra lygiaverčiai).

Dabar galime susidoroti su prieštaravimu, kad „evoliucija užtrunka tūkstantmečius“. Gamtoje tai daro, ypač jei gausite tik vieną galimybę sukurti palikuonis per metus. Kompiuteriai tai daro greičiau.

Modernus procesorius veikia 3 GHz – 3E9 CPS, tai yra 3 000 000 000 laikrodžių ciklų per sekundę.

Tarkime, kad turime problemą, kai tikslo funkcijos vertės apskaičiavimas užima 1000 laikrodžio ciklų vienam asmeniui. Tai dažnai būna dosnu. Todėl GA, kuriame gyvena 1000 gyventojų, gali būti 3000 kartų per sekundę … per siūlą. Jei skubame, galime naudoti daugialypį ryšį ir yra specialių GA sistemų versijų, kurios gali veikti debesyje.

Taigi greitis nėra problema.

Kalbant apie kitus prieštaravimus: „Shags“ esmė ta, kad jie gali pateikti atsakymų problemas, kurias žmonės negali išspręsti, įskaitant problemas be patikimų ir išsamių įvesties duomenų, ir NP-HARD ir NP-baigimo problemas, tokias kaip „Knapsack“ problemos. Jie aptariami raudonoje piliulėje.

Dujos šviečia situacijose, kai daugelis parametrų daro įtaką rezultatams sudėtingais (net sudėtingais) būdais ir kai niekas nežino, kaip rasti optimalų atsakymą, tačiau kur galime gerokai pigiai nustatyti, koks geras atsakymas, kurį atspindi bet kurio asmens genomas.

Jei esate šioje situacijoje, jums gali būti gerai ištirti holistinius metodus ir turite žinoti, kad GA kartais gali būti pasirinkimas. GA gali būti milijoną kartų pigiau nei LLM už daugelį suderintų užduočių, o tai tampa ekonomiškai svarbi dažnai kylančioms problemoms.

Taigi kompiuteriuose yra LLM ir kitos (ateities?) AIS, GA, GP ir SA. Tačiau didžiausias iš visų skiepų yra Darvinijos rūšių evoliucija gamtoje. Žmonės tikrai negalėjo padaryti plačiai nuo nulio, tačiau evoliucija padarė. Daugiau apie tai kitame straipsnyje.

Norėdami suprasti, kaip LLM išsprendžia problemas, mes, žmonės, negalime savęs išspręsti (pvz., Baltymų sulankstymo), pirmiausia turėtume ištirti paprastesnį genetinių algoritmų atvejį.