Zadatak ovoga projekta jest osmisliti prototip za sustav koji bi pomogao gluhim i nagluhim osobama kod raspoznavanja zvukova iz svoje okoline. Jedna od najvećih poteškoća s kojom se te osobe susreću je nemogućnost pravovremenog i pravilnog reagiranja na različite zvukovne podražaje. Svakodnevno nailaze na takve situacije u svome domu(kucanje, zvono, telefon, glasanje životinje ili plač bebe) i prilikom bivanja van doma (sirene, trube, zvono bicikla).
Ključni zahtjevi koje se mora razmotriti su: prepoznavanje zvukova, obavještavanje korisnika i arhitektura sustava(koji uređaje korisnik mora koristiti? mobilna aplikacija? sustav integriran u dom korisnika? ….).
Kroz istraživanje postojećih rješenja pronađeno je relativno novo rješenje koje je trenutno u eksperimentalnoj fazi, ali zadovoljava većinu zahtjeva korisnika. Radi se o aplikaciji SoundWatch.
SoundWatch je sustav koji koristi kombinaciju pametnog sata i pametnog telefona kako bi snimao audio podražaje u korisnikovoj okolini. Nakon što zabilježi zvuk za koji je korisnik zatražio da bude obaviješten, korisniku šalje notifikaciju koja ga upozorava na prisustvo zvuka.
S obzirom na to da je ovo rješenje predstavljalo zadovoljenje većine zahtjeve, fokus projekta se prebacio na neke mogućnosti za doradu i nadogradnju sustava SoundWatch.
Tri cilja koja su postala fokus proučavanja su:
1. Razmatranja povećanja skupa zvukova koje SoundWatch može prepoznati - iako se za Soundwatch app napravila lista od 20 zvukova koje bi sustav trebao prepoznati, nisu svi implementirani u postojećoj aplikaciji, te se pokušalo istaknuti neke koji bi bilo važno dodati što prije(sirene vozila, kućno zvono i zvonjava telefona koji su već bili korišteni za učenje ali nisu dodani u aplikaciju) te zvono za bicikl i krikovi/vikanje ,koji nisu bili u skupu za učenje SoundWatcha
2. Nadogradnju na sustav kojom bi se slala svjetlosni signal obavijesti - uz postojeće notifikacije razmatralo se stvaranje ekstenzije sustava koja bi paralelno sa slanjem notifikacije satu, poslala i POST zahtjev web serveru koji bi se vrtio na Arduino pločici i koji bi generirao svjetlosni signal na Ledici koja bi bila spojena na sustav(ova komponenta je zamišljena za kućnu upotrebu SoundWatch aplikacije, ali može se razmotriti sustav koji bi koristio slični mehanizam u vanjskom svijetu)
3. Razlikovanje skupina zvukova SoundWatcha pomoću različitih boja - nastavljeno na prethodnu točku razmotrilo se i propisalo na koji način bi se korisnika obavijestilo o kojoj od 4 skupine zvukova iz aplikacije se radi(hitno, dom, ljudsko/životinjsko, vani) pomoću različitih boja RGB-a ledice koja je spojena na Arduino pločicu.
Odabir je sljedeći:
hitno - crveno
dom - plavo
ljudsko/životinjsko - žuto
vani - zeleno
SoundWatch nudi 4 moguće arhitekture za korištenje: samo pametni sat, pametni sat i mobitel, pametni sat i obla, pametni sat i mobitel i oblak
Za ova razmatranja uzeta je arhitektura pametni sat i mobitel
Napraviti sustav koji će moći prepoznati zvukove iz korisnikove okoline pomoću pametnog sata, poslati te audio informacije na korisnikov pametni telefon te tamo prepoznati o kojem se zvuku radi i o kojoj grupi zvukova se radi. Ako je zabilježen jedan od zvukova koje je korisnik odabrao u korisničkom sučelju aplikacije na mobitelu šalje se notifikacija na korisnikov pametni telefon, te se šalje POST zahtjev s grupom kojoj zvuk pripada(integer od 1-4) na web server prisutan na Arduino pločici. Potom se pali LED lampica u boji koja odgovara grupi zvukova kojoj taj zvuk pripada. Tako korisnik uvijek može dobiti notifikaciju na sat(ujedno se koristi i vibriranje kako bi se obavijestilo korisnika), ili u slučaju da je trenutno maknuo ili skinuo sat, a aplikacija još osluškuje i radi, dobije upozorenje preko LED lampice.
Ciljevi ovoga projekta su upoznavanje s radom Arduino pločice, strukturom i mogućnostima SoundWatch aplikacije, te razmatranje i predlaganje prototipa koji bi dodao neke nadogradnje na postojeći SoundWatch sustav u svrhu pokrivanja što većeg broja korisničkih zahtjeva .
| Datum | Očekivani rezultat | |
| 25.4. | odabir projekta, formiranje grupe, upoznavanje s problematikom | |
| 16.5. | intervju s korisnicima – upoznavanje s korisničkim zahtjevima i problemima, diskusija o postojećim rješenjima i mogućnostima, te razrada problematike intervju s profesorom - prvi, daljnja razrada rezultat intervjua, definiranje zadataka i rezultata koji se očekuje od projektnog tima | |
| 18.5 - 28.5 | pregled postojećih rješenja, potraga za komponentama ili sustavom pomoću kojih bi se mogao razviti prototip sustava | |
| 31.5. | intervju s profesorom – drugi, razmatranje stanja projekta i ideja za nadogradnju postojećeg sustava | |
| 11.6. | testiranje SoundWatch aplikacije, isprobavanje mogućnosti servera za prepoznavanje zuvkova koji je prisutan u SoundWatch aplikaciji | |
| 17.6. | predlaganje nadogradnji SoundWatch sustava i razvoj koda za web server i LED lampicu za signalizaciju | |
| 21.6.-23.6. | izrada dokumentacije, prezentacija i opisa ideja |
(mora biti jasno tko je na čemu radio i tko je što napravio)
| Zadatak | Član tima | Utrošak vremena | Komentar |
| Intervju s korisnikom | Lovro Katić, Juraj Vrdoljak, Krešimir Blaić | 3 sata po osobi | Pripreme za intervju, odlazak i održavanje intervjua od otprilike sat vremena. Lovro Katić je bio zadužen za intervjuiranje dok su Juraj Vrdoljak i Krešimir Blaić zapisivali bilješke. |
| Potraga za komponentama koje bi se mogle iskoristiti za projektni zadatak | Lovro Katić, Juraj Vrdoljak, Krešimir Blaić | 4 sata po osobi | Svaki član tima je pokušao istražiti različite komponente. Lovro Katić je tražio library za prepoznavanje zvukova i gotova rješenja, Juraj Vrdoljak je istražio slična rješenja, a Krešimir Blaić je potražio kod koji bi mogao biti koristan prilikom testiranja i razvoja prototipa. |
| Istraživanje SoundWatch aplikacije | Lovro Katić, Krešimir Blaić | 2 sata po osobi | Lovro Katić je proučavao dokumentaciju i rad o SoundWatch aplikaciji dok je Krešimir Blaić istražio i proučio izvorni kod aplikacije. |
| Postavljanje dokumentacije i stvaranje zapisnika intervjua | Juraj Vrdoljak | sat i pol | Juraj Vrdoljak je postavio i pripremio potrebne dokumente, te sažeo svoj i Krešimirov zapisnik s intervjua u jednu prezentaciju |
| Izrada dokumentacije o sličnim rješenjima i prezentacije projekta | Juraj Vrdoljak | 4 sata | |
| Izrada dokumentacije o SoundWatch aplikaciji i predloženom prototipu sustava | Lovro Katić | 4 sata | |
| Testiranje SoundWatch aplikacije i servera za klasifikaciju | Krešimir Blaić | 2 sata | |
| Razrada prototipa i definiranje ponašanja sustava i načina testiranja | Lovro Katić, Juraj Vrdoljak, Krešimir Blaić | 5 sati po osobi | Odlučivanje za SoundWatch sustav kao bazu prototipa, definiranje poboljšanja i načina na koji bi se oni mogli implementirati |
| Pretraga i pisanje Arduino koda za predloženi web server | Krešimir Blaić, Lovro Katić, Juraj Vrdoljak | 1 sat po osobi, i dodatna 2 sata za Krešimira Blaića | Potraga za Arduino kodom koji može upravljati s LED lampicom i stvoriti server koji može primiti POST requestove |
| Izrada konačne dokumentacije | Krešimir Blaić, Lovro Katić, Juraj Vrdoljak | 3 sata po osobi | Popunjavanje stranice projekta i uređivanje i izmjene postojeće dokumentacije |
(mora biti jasno tko je na čemu radio i tko je što napravio)
| Zadatak | Član tima | Utrošak vremena | Komentar |
| Intervju s korisnikom | Lovro Katić, Juraj Vrdoljak, Krešimir Blaić | 3 sata po osobi | Pripreme za intervju, odlazak i održavanje intervjua od otprilike sat vremena. Lovro Katić je bio zadužen za intervjuiranje dok su Juraj Vrdoljak i Krešimir Blaić zapisivali bilješke. |
| Potraga za komponentama koje bi se mogle iskoristiti za projektni zadatak | Lovro Katić, Juraj Vrdoljak, Krešimir Blaić | 4 sata po osobi | Svaki član tima je pokušao istražiti različite komponente. Lovro Katić je tražio library za prepoznavanje zvukova i gotova rješenja, Juraj Vrdoljak je istražio slična rješenja, a Krešimir Blaić je potražio kod koji bi mogao biti koristan prilikom testiranja i razvoja prototipa. |
| Istraživanje SoundWatch aplikacije | Lovro Katić, Krešimir Blaić | 2 sata po osobi | Lovro Katić je proučavao dokumentaciju i rad o SoundWatch aplikaciji dok je Krešimir Blaić istražio i proučio izvorni kod aplikacije. |
| Postavljanje dokumentacije i stvaranje zapisnika intervjua | Juraj Vrdoljak | sat i pol | Juraj Vrdoljak je postavio i pripremio potrebne dokumente, te sažeo svoj i Krešimirov zapisnik s intervjua u jednu prezentaciju |
| Izrada dokumentacije o sličnim rješenjima i prezentacije projekta | Juraj Vrdoljak | 4 sata | |
| Izrada dokumentacije o SoundWatch aplikaciji i predloženom prototipu sustava | Lovro Katić | 4 sata | |
| Testiranje SoundWatch aplikacije i servera za klasifikaciju | Krešimir Blaić | 2 sata | |
| Razrada prototipa i definiranje ponašanja sustava i načina testiranja | Lovro Katić, Juraj Vrdoljak, Krešimir Blaić | 5 sati po osobi | Odlučivanje za SoundWatch sustav kao bazu prototipa, definiranje poboljšanja i načina na koji bi se oni mogli implementirati |
| Pretraga i pisanje Arduino koda za predloženi web server | Krešimir Blaić, Lovro Katić, Juraj Vrdoljak | 1 sat po osobi, i dodatna 2 sata za Krešimira Blaića | Potraga za Arduino kodom koji može upravljati s LED lampicom i stvoriti server koji može primiti POST requestove |
| Izrada konačne dokumentacije | Krešimir Blaić, Lovro Katić, Juraj Vrdoljak | 3 sata po osobi | Popunjavanje stranice projekta i uređivanje i izmjene postojeće dokumentacije |