OmniTouch

Jedna od velikih revolucija u računalstvu bili su zasloni osjetljivi na dodir. Donijeli su novi način interakcije s računalom, bilo posebnim pokazivačem ili prstom. Godine 2011. Microsoft je otišao dalje uvođenjem OmniToucha, projekta koji je učinio svaku površinu dodirljivom. Osnovna ideja je montirati kameru i projektor na rame, koji projicira ekran i čita korisnikove pritiske na tipke. Mogućnosti su beskrajne, omogućujući nam da svoju ruku, zid, plahtu ili bilo koju drugu površinu pretvorimo u zaslon osjetljiv na dodir.

Kako radi OmniTouch: prepoznavanje pritisaka na tipke

Najvažniji dio OmniTouch projekta je praćenje položaja i dubine prstiju, kako bi se znalo gdje korisnik dodiruje. Za to je u prototipu korištena kamera PrimeSense osjetljiva na dubinu. Za razliku od normalne kamere koja mjeri boje, PrimeSense mjeri udaljenost svake točke na slici od leće kamere. Točnost od 1 mm i minimalni domet od 20 cm glavne su prednosti u odnosu na Kinect kameru, koja je izvorno korištena u projektu.

"

Da bi locirao prste, OmniTouch prvo snima mapu dubine (A). Zatim se izračunava mapa nagiba>"

U (B) možete vidjeti kartu prevedenu u boje: crvena znači da postoji manja dubina u pozitivnom smjeru X ili Y osi (gore ili udesno), a plava znači da postoji manja je dubina u negativnom smjeru osi X ili Y (dolje ili ulijevo).Ljubičasta znači da gotovo da nema promjene u dubini.

S ovom kartom, softver traži okomite cilindrične dijelove, površinu koja se približava kameri, zatim ostaje i konačno se udaljava. Što je bio prst ako njime prijeđeš s jedne strane na drugu, vau. Na karti u boji potražite crveni odjeljak, zatim ljubičasti odjeljak, zatim plavi odjeljak, sve na istoj okomitoj osi.

Mogući kandidati se filtriraju prema visini, kako bi se filtriralo sve što ne može biti prst (na primjer, cilindar visok 2 milimetra ne može se prepoznati kao prst, pa se odbacuje). Na slici (C) možete vidjeti sve identificirane dijelove prstiju.

Kada je to učinjeno, svi se okomiti dijelovi spajaju kako bi formirali prst (slika D). Prsti koji su možda prekratki se odbacuju, a pretpostavlja se da je krajnji lijevi dio prsta vrh, budući da je korisnik dešnjak.I evo, sada znamo kamo korisnik pokazuje .

Sada, kako znamo da prst dodiruje površinu? Oni to zovu poplavno punjenje, ali bit će vam poznatije ako vam kažem da je to poput punjenja kantom boje s bojom.

Tehnika je jednostavna: locirajte središnju točku prsta i počnite puniti piksele gore, lijevo i desno, s tolerancijom od 13 milimetara. Odnosno, oni ispunjavaju piksel samo ako je razlika između njegove dubine i dubine sredine prsta manja od 13 milimetara.

Na ovaj način, ako vaš prst ništa ne dodiruje, bit će popunjeni samo pikseli koji odgovaraju vašem prstu. Ako dodirnete ruku, mnogo više će biti ispunjeno. Na slici možete vidjeti što se događa ako je prst u zraku (lijevo) ili dodiruje ruku (desno). Kada se prijeđe određena margina popunjenih piksela, softver će poslati dodir ili klik na odgovarajuće mjesto.

Kako OmniTouch radi: Projiciranje slike

Iako je prepoznavanje prstiju središnji dio, ne možemo zaboraviti da OmniTouch također mora projicirati sliku na bilo koju površinu. Za to se također koristi dubinska komora. Sve površine na slici detektiraju se pomoću algoritma povezanih komponenti, koji vrlo učinkovito detektira međusobno povezane točke na slici.

Nakon što su površine manje od ruke odbačene, nastavljamo s fiksiranjem središta ili referentne točke za projiciranje slike. Ova točka pomaže u otkrivanju orijentacije površine i stoga omogućuje stvaranje slike koja ne izgleda iskrivljeno.

Sljedeća teška točka dolazi kada je u pitanju otkrivanje veličine površine.Budući da se rubovi površina ne mogu dovoljno dobro prepoznati, OmniTouch koristi srednju vrijednost i standardnu ​​devijaciju komponentnih točaka kako bi ih klasificirao u pet točaka: šaka, ruka, prijenosno računalo, zid i stol. Svaki od njih ima određenu veličinu i središte za sliku.

Softver generira sliku koja se projicira sa svim podacima, iskrivljujući je tako da ispravno izgleda na površini. Zatim prosljeđuje sliku projektoru, koji će prikazati sliku na bilo kojoj površini.

Precizna tehnologija s mnogo mogućnosti

Testovi koji se koriste za mjerenje točnosti OmniToucha.

U testiranju se OmniTouch pokazao kao vrlo precizna tehnologija. 96,5% točnosti kod prepoznavanja klika, vrlo dobra brojka i više s obzirom da se radi o prototipu.Što se tiče veličine sučelja, s tipkama promjera 2 centimetra prepoznalo bi se 95% pritisaka na tipke.

Ova najveća veličina je neophodna za sučelje koje se projicira u ruci. Na drugim udaljenijim površinama, poput stola ili zida, može se smanjiti na 15 milimetara, manje-više iste veličine koja se preporučuje za gumb na konvencionalnom zaslonu osjetljivom na dodir.

"

Što se tiče mogućnosti, one su beskrajne. S prototipom je nastala govornica za slikanje: na zidu si crtao, a lijevom rukom birao boje. Također se koristi kao highlighter>"

Ali najzanimljivije je ono što spominju na kraju dokumenta: mogućnosti koje OmniTouch otvara kada prestanemo razmatrati dvodimenzionalne površine, iskorištavajući prednosti oblika tijela kako bismo promijenili komuniciramo s računalom.

"

OmniTouch je doista uzbudljiv projekt, kako po svojoj tehnici tako i po svojim mogućnostima. O njemu ćemo opet uskoro u specijalu Budućnost prema Microsoft>"

U Xataka Windows | Budućnost prema Microsoftu Više informacija | OmniTouch