„Android XR“ leis prieigai prie fotoaparato, kaip telefone

„Passthrough“ fotoaparato prieiga šiuo metu yra karšta tema XR bendruomenėje Ir nors žinomos „Meta“, „Apple“ ir „Pico“ pozicijos, visi klausia, ką „Google“ darys su „Android XR“. Po to, kai kalbėjau tiesiogiai su įmone, Aš galiu pasakyti, kad jie pasiūlys sprendimą, panašų į telefoną. Skaitykite toliau, kad sužinotumėte daugiau!

Fotoaparato prieigos dilema

Leiskite man atsitraukti nuo jūsų visų, kurie klausia, apie ką aš kalbu. Visi žinome, kad visos naujausios atskiros VR ausinės yra Tiesą sakant, MR Headsets ir jie vartotojui rodo RGB paslėpimo viziją apie pasaulį, užfiksuotą priekinių kamerų. Tai leidžia mums turėti visas tas gražias mišrias realybės programas, tokias kaip „Cubism“, „Starship Home“, „Pencil“ ir pan.

Operacinė sistema naudoja fotoaparatų užfiksuotus rėmus, kad parodytų mums „Passthrough“. Mes kūrėjai taip pat norėtume naudotis šiais fotoaparato rėmais, kad galėtume Išanalizuokite pasaulį aplink vartotoją naudodami AI ir kompiuterio matymo algoritmus ir stiprinkite savo realybę galingai. Kaip jau rašiau ankstesniame mano įraše, esu tvirtai tikintis Mums reikia prieigos prie fotoaparato, kad atrakintume tikrąją mišrią realybęNes tik dėl to, kad mūsų paraiškos gali būti visiškai suprantamos aplinkinės realybės kontekste. Pavyzdžiui, naudodamasi „Hacky Camera Access Trick on Quest“, aš sugebėjau prototipo AI+MR programą, kuri gali padėti žmonėms sukurti tam tikrą savo namų interjero dizainą. Tai nebūtų buvę įmanoma be jo.

Tai skamba puikiai, bet Yra didžiulis priešingas argumentas: privatumo problemos. Jei kenkėjiškam kūrėjui suteikiama prieiga prie kameros, jis gali, pavyzdžiui, gali tyliai patraukite visus aplinkos vaizdus aplink vartotoją, Vykdykite juos per tam tikrą AI aptikimą ir nuvalykite brangią asmeninę informaciją, pavyzdžiui, duomenis apie nacionalinius ID dokumentus ar banko korteles, kurias vartotojas turi ant lentelės, kol jis naudojasi programa. Jau nekalbant apie galimybę patraukti veido ar kūnų paveikslėlius kitoms neteisingoms reikmėms.

Tai labai subtilus dalykas: Iš vienos pusės svarbu garantuoti vartotojų privatumą, tačiau, iš kitos pusės, svarbu išlaisvinti mišrios realybės galimybes.

XR kompanijų elgesys

Labai ankstyvuose etapuose buvo siūloma visa prieiga prie kameros be jokių problemų. Jei nuo pat pradžių sekėte mane, galbūt prisimeni eksperimentai, kuriuos aš padariau su fotoaparato tekstūromis „Vive Focus“ su savo komanda NTW (Tai buvo 2019 m.): Sumažėjusi realybė, Aruco žymeklių stebėjimas, garso reaktyvumas ir tt …

Tada, kai tik mišri realybė pradėjo tapti dalyku, Bendrovės pradėjo žaisti saugiai, ir visos jos užblokavo prieigą prie fotoaparatų rėmelių, bijodamos dėl privatumo susirūpinimo. „Meta“, „Pico“, „HTC“, tada „Apple“ … Visi jie neleido kūrėjams pasiekti fotoaparato rėmų.

Tai tapo standartu, kol XR kūrėjų bendruomenė pradėjo suvokti šios funkcijos poreikį ir Pradėjo spausti XR gamintojus, kad suteiktų prieigą prie fotoaparato. Kai kurie žmonės šia prasme daug paviešino, pavyzdžiui, „Cix Liv“, Michaelas Gschwandtneris ir aš. Pradėjome klausti visų kartu naudotis fotoaparato rėmais, kurie buvo aiškūs ir skaidrūs vartotojui, kad jei vartotojas sutiko su tuo, Galėtume paleisti, pavyzdžiui, objektų atpažinimo ar kompiuterio matymo algoritmus, ką vartotojas turi priešais jį. Mes suabejojome, kodėl ši baimė dėl XR prietaisų, kai telefonuose, kurie yra prietaisai, kuriuos šiandien kiekvienas iš mūsų turi kišenėse, Prieiga prie fotoaparato įmanoma tik su leidimo užklausa.

Šis judėjimas paskatino XR kompanijas atverti šią funkciją su Meta žada, kad šių metų pradžioje bus galima įsigyti „Passthrough API“. Bet kaip su „Google“ ir „Android XR“?

„Android XR“, kad ausinės traktuos kaip telefoną

„Android“ yra daugumos telefonų visame pasaulyje operacinė sistema. Šiuo metu, jei kuriate „Android“ programą, galite paprašyti prieigos prie fotoaparato srauto paprašydami vartotojo leidimo. Jei vartotojas suteikia leidimą, jums tereikia nurodyti norimo pasiekti fotoaparato ID (pvz., Paprastai 0 yra galinė kamera), tada galite patraukti rėmus ir padaryti su jais tai, ko norite.

„Google“ nori padaryti „Android XR“ kaip įmanoma suderinamą su „Android“ programomis ir iš tikrųjų, Tai suteikia panašų elgesį su nauja operacine sistema. Apie tai buvo daug gandų, tačiau oficialus patvirtinimas nebuvo, todėl turėjau ilgą el. Pašto keitimąsi su „Google“ atstovu, kad tai patvirtinčiau. Leiskite man nukopijuoti jos atsakymą į mano užklausą apie prieigą prie fotoaparato „Android XR“, kad paaiškinčiau tai kartą ir visiems laikams:

• Panašus į bet kurią „Android“ programą, Kūrėjas gali naudoti esamus fotoaparato rėmus su vartotojo leidimu „XR“
• Mūsų kūrėjo straipsnis gilina į kitus leidimus, kurių gali paprašyti programos: https://developer.android.com/develop/xr/get-started#undertand-permissions.
• Kūrėjas gali paprašyti pagrindinio pasaulio kameros srauto fotoaparato_id = 0. Tai atitinka „galinę kamerą“ standartinėje „Android“ kalboje. Panašiai gali paprašyti kūrėjas camera_id = 1 pagrindiniam „selfie-camera“ srautui. Tai atitinka „priekinę kamerą“. Abi
• Norėdami gauti prieigą prie visame pasaulyje nukreipto fotoaparato tiekimo (panašus į galinę fotoaparatą išmaniajame telefone), programa turės paprašyti fotoaparato leidimų (Analogiškas leidimui, kurio prašoma prieigai prie fotoaparato telefonuose)
• Kai programos prašo „selfie“ kameros, jos gauna vaizdo srautą, kuriame yra vartotojo avataras. Šį „Avatar“ vaizdo srautą sukuria „Avatar“ teikėjo programos/paslaugos laisvų rankų įrangoje. Šios programos generuoja srautą pagal vartotojo stebėjimo duomenis iš „OpenXR API“, EG galvutės, rankos, akių, veido. Šie stebėjimo duomenys gaunami iš fizinių į vidų nukreiptų kamerų, kurios stebi vartotojo judesius ir veido išraiškas.

„Android“ kūrėjai gali taip naudotis Standartinės klasės, kurias jie šiandien naudoja telefonuose, kad valdytų fotoaparatų srautus (pvz., „Camerax“), taip pat „Android XR“ pagrįstose ausinėse. Kadangi šios klasės leidžia „Devs“ patraukti rėmus ir vaizdo įrašus, išsaugoti laikmenas ar atlikti ML analizę, tai turėtų būti leidžiama ir ausinėse bei akiniuose. Tai puiki žinia!

Bet kol priekinė kamera yra prieinama, Galinė kamera yra tik rekonstruotas avataras, Panašiai kaip tai, ką „Apple“ daro su „Vision Pro“. Manau, kad tai yra protingas sprendimas dėl kelių priežasčių, nes svarbiausia yra tai, kad tokiu būdu „Android XR“ vėl elgiasi kaip „Android“ telefonuose: Jei programa pasiekia „galinę kamerą“, ji mato pasaulį, kurį vartotojas turi priešais savo, tuo tarpu, jei ji pasiekia „selfie“ kamerą, ji mato vartotojo veidą. Ir Geriausias spėjimas, kurį OS turi vartotojo veido, yra rekonstruotas avataro veidas.

„Google“ bando įsitikinti, kad visos „Android“ programos veikia „Android XR“ dėžutėje, ir aukščiau aprašytus pasirinkimus įsitikinkite, kad įsitikinkite Taip pat programos, kurios pasiekia kameras, gali veikti vienodai. Tai labai protinga. Aš taip pat asmeniškai esu didelis gerbėjas Laikykitės nuoseklumo su leidimo užklausa tarp telefonų ir ausinių/akinių.

Šiuo metu vis dar turite keletą klausimų. Pirma, kaip reikia prieigai prie visų neapdorotų fotoaparatų srautų. Už tai neturiu jums teigiamo atsakymo, atsiprašau:

• Šiuo metu Mes nepateikiame kelio programoms, kad būtų galima pasiekti nestandartinius (pvz., Į priekį nukreipta kamera, rekonstruota vidinė kamera) Jutiklio duomenys.

Atsakymas aiškiai nurodo, kad kiekvienas fotoaparato srautas, kuris nėra standartinis, taigi, tai nėra priekinė ar galinė kamera, šiuo metu nebus pateikiami. Galime tikėtis, kad tai bus atidaryta ateityje, bent jau įmonės vartotojams.

Kitas geras klausimas yra apie vienybės plėtrą. „Android Camera2“ ir „Camerax“ yra „Android“ gimtosios klasės, taigi Ką galime padaryti „Unity“ kūrėjai? Na, jei „Android XR“ siūlo panašų kelią kaip „Android“, tada Mes, „Unity“ kūrėjai, greičiausiai galime naudoti internetinės kameros klasę, norėdami patraukti fotoaparato rėmus. Jei dėl kažkokios keistos priežasties tai gali neveikti, kažkas vis tiek gali naudotis „Jni Black Magic“, kad būtų sukurta vienybės ir gimtoji įvyniojimo biblioteka „Camerax“ funkcijos biblioteka suteikti bendruomenei galimybę turėti prieigą prie fotoaparato.

Šiek tiek įspėjimas apie „Android XR“

„Android XR“ vis dar yra peržiūra ir nėra jokių laisvų rankų įrangos, kurios ji nebuvo oficialiai išleista. Tai reiškia, kad visa tai, kas išdėstyta, gali pasikeisti prieš galutinį oficialų leidimą. Nemanau, kad tai įvyks, tačiau svarbu, kad jūs manote, jog yra galimybė.

Prieigos prie fotoaparato atidarymas

Kai „Google“ ir „Meta“ atidarys prieigą prie fotoaparato, tikriausiai visos kitos kompanijos seksis pavyzdžiu. 2025 m. Atrodo, kad tai yra metai, kai bus atrakintos naujos mišrios realybės galimybės. Negaliu laukti, kol pamatysiu, ką sukurs kūrėjų bendruomenė!

(Antraštės vaizdas, pagrįstas „Samsung“ vaizdu)

Susijęs