Tokrat me je navdušil tvit Fayeza Salka, produktnega menedžerja programskega podjetja in 3D umetnika, ki prikazuje, kako uporabljati AR (razširjeno resničnost) s pomočjo tehnologije. Klavir tako sam od sebe zaživi kot virtualni pianist. Preveri, o čem govorim!
Razširjena resničnost je impresivna
Poglej si spodnji video posnetek, na katerem se Salka sprehaja po trgovini s klavirji. Kamero svojega mobilnega telefona usmerja proti različnim modelom klavirjev. Na zaslonu se takoj pojavi pianist in začne na izbranem klavirju predvajati različne pesmi nagrajenih in svetovno znanih pianistov. V realnem času pa se toni, ki so zaigrani, prikazujejo na dnu zaslona. Vse to mu omogoča nova aplikacija AR Piano.
Our latest app, AR Pianist, uses machine learning to superimpose a virtual pianist on your piano. It works with any piano and features a library of songs performed by award winning pianists. #ar #arkit #ai #ios #vr #coreml #app #piano #apple #music #education #augementedreality pic.twitter.com/a7W7KYvoiP
— Fayez Salka (@fayezsalka) December 2, 2019
Natančno prepoznavanje tonov tudi brez 3D kamere
Aplikacija prepozna klavir, vključno z notami na tipkovnici. Ugotovi tudi njegov tridimenzionalni položaj in orientacijo v prostoru. To naredi z natančnostjo do enega centimetra celo brez uporabe trodimenzionalne kamere na telefonu.
Točno pozicioniranje je pomembno, saj se le tako virtualni pianist lahko poravna in vizualno namesti na točno določenem mestu na klavirju. Zanimivost tega je, da zaradi algoritma samostojnega učenja omenjena zadeva deluje na kateremkoli modelu klavirja katerekoli blagovne znamke. Tudi osvetlitvene razmere niso pomembne. Niti ni potrebno nastaviti posebnih slikovnih točk ali slikovnih označevalcev. Tudi klavirja ni treba predhodno skenirati. Naravnost neverjetno!
Aplikacija v trgovini App Store
Aplikacija je že na voljo v trgovini z aplikacijami za pametne naprave z operacijskim sistemom iOS. Fayez Salka in njegov poslovni partner Anas Wattar iz podjetja Massive Technologies Inc. sta namreč odpravila končne napake v aplikaciji in omogočila dostop do le-te ljudem po vsem svetu.
Zagotovo je potrebno še nekaj razmisleka, za katere dodatne namene bi aplikacijo lahko uporabili. Vsekakor pa je njena prihodnost vznemirljiva!
Ponovno doživite klavirsko glasbo na pametnih napravah
Aplikacija pianistom predstavlja odlično orodje za doživljanje klavirske glasbe na pametnem telefonu na povsem nov način. Popolnoma nov pa je tudi pristop s prej nepredstavljivimi scenariji za učenje igranja na instrument. V nadaljnjem razvoju bi aplikacija lahko zajela veliko več področij glasbe in različnih instrumentov.
Nov razvojni korak v glasbenem svetu
Če povzamem: predstavljena aplikacija predstavlja nov korak v razvoju umetne inteligence. Medtem ko je bila glasba, ki ni bila ustvarjena ročno, omejena na predvajanje, sekvence in podobno, je v tem primeru koncept popolnoma obrnjen na glavo: telefon preprosto usmeriš k klavirju in njegove zvoke ter vrhunske izvedbe skladb lahko doživiš v tistem trenutku.
Veliko idej je še vedno “v pečici”
Za Salka se je projekt začel kot hobi. Medtem je sodelovanje z Massive Technologies postalo njegova glavna naloga.
Fayez poroča, da se v njihovih glavah vsak dan porajajo nove ideje, radovednost nima meja. Aplikacija pa ima že več kot 7 milijonov prenosov.
Boš morda prav ti njen naslednji novi uporabnik? 🙂
SymphoNyna