ΘΕΜΑ: Paroysiash/Eksetash Metaptyxiakhs
Ergasias Apostolakis Myron_29/9/2014_ 14:00_Ε313 tmhma Episthmhs Ypologistwn_
Panepisthmio Kritis
ΑΠΟΣΤΟΛΕΑΣ: Gramateia Metaptyxiakou CSD [mailto:pgram@xxxxxxxxxx]
ΠΑΝΕΠΙΣΤΗΜΙΟ
ΚΡΗΤΗΣ
ΤΜΗΜΑ ΕΠΙΣΤΗΜΗΣ ΥΠΟΛΟΓΙΣΤΩΝ
ΠΑΡΟΥΣΙΑΣΗ / ΕΞΕΤΑΣΗ ΜΕΤΑΠΤΥΧΙΑΚΗΣ ΕΡΓΑΣΙΑΣ
Aποστολάκης Μύρων
Mεταπτυχιακός Φοιτητής
Τμήμα Επιστήμης Υπολογιστών, Πανεπιστήμιο Κρήτης
Eπόπτης Μεταπτ. Εργασίας: Καθηγητής Ι. Στυλιανού
Δευτέρα, 29 Σεπτεμβρίου 2014, 14:00
Αίθουσα σεμιναρίων Ε313, Τμήμα Επιστήμης
Υπολογιστών, Πανεπιστήμιο Κρήτης
"Ανάπτυξη
διαδραστικών εφαρμογών για εκπαίδευση φωνής σε παιδιά με προβλήματα ακοής
χρησιμοποιώντας διαδικτυακές τεχνολογίες σε πραγματικό χρόνο"
ΠΕΡΙΛΗΨΗ
Διεθνείς έρευνες και παγκόσμιες στατιστικές μετρήσεις έχουν δείξει ότι 1,5 %
των παιδιών μέχρι την ηλικία των 20 ετών έχουν μειωμένη ακουστική ικανότητα ενώ
1 σε 22 παιδιά σχολικής ηλικίας έχουν προβλήματα ακοής. Το γεγονός αυτό
φανερώνει ότι σήμερα στην Ευρώπη υπάρχουν περίπου ένα εκατομμύριο παιδιά με
προβλήματα ακοής, ενώ στις ΗΠΑ 12.000 παιδιά γεννιούνται ετησίως με απώλεια
ακοής. Στην Ελλάδα τα βαρήκοα παιδιά υπολογίζονται σε περίπου 80.000. Τα
στοιχεία αυτά κατατάσσουν την απώλεια ακοής στην πρώτη θέση μεταξύ των
ασθενειών των νεογνών.
Είναι συχνό φαινόμενο, τα άτομα με απώλεια ακοής να έχουν προβλήματα σε
επικοινωνιακό επίπεδο. Λόγω της έλλειψης της ηχητικής ανατροφοδότησης του
εγκεφάλου των παιδιών, το σύστημα παραγωγής ομιλίας τους δεν αναπτύσσεται
κανονικά. Δεδομένου ότι τα κωφά άτομα δεν μπορούν να ακούσουν την ομιλία τους,
δεν μπορούν να συντονίσουν τις φωνές τους σε ένα πιο «σωστό» ήχο. Στην
πραγματικότητα αδυνατούν να ελέγξουν τα όργανα παραγωγής λόγου (γλώσσα, δόντια
κλπ.) σωστά, επειδή δεν μπορούν να συνειδητοποιήσουν ποιος είναι ο σωστός
τρόπος για να το κάνουν. Ως εκ τούτου μιλούν πολύ δυνατά για τα φωνήεντα ή
παράγουν λάθος τα σύμφωνα. Ωστόσο, ένα πρόσωπο που έχασε την ακοή του σε
μεγαλύτερη ηλικία, έχει μεγαλύτερη πιθανότητα να μιλήσει πιο σωστά. Έτσι
καταλήγουμε στο γενικότερο συμπέρασμα ότι τα πάντα είναι θέμα ανατροφοδότησης.
Ο σκοπός αυτής της διατριβής είναι να εισάγει μια νέα προσέγγιση των εργαλείων
λογοθεραπείας με βάση την χρήση πολυμεσικών διαδικτυακών τεχνολογιών
λαμβάνοντας υπόψη τα ιδιαίτερα χαρακτηριστικά των ατόμων με προβλήματα ακοής,
ώστε να αποκτήσουν καλύτερες δεξιότητες επικοινωνίας. Η παρούσα προσέγγιση
αξιοποιεί τα ακουστικά χαρακτηριστικά του λόγου, όπως την ένταση, το ύψος και
τα σπεκτρογράμματα χρησιμοποιώντας τα ως οπτική ανατροφοδότηση, προκειμένου να
διδάξει ένα άτομο με απώλεια ακοής πώς να βελτιώσει τον έλεγχο της φωνής του.
Πιο συγκεκριμένα έχουμε αναπτύξει κατάλληλο διαδικτυακό χώρο, όπου ο χρήστης
μπορεί να συνδεθεί και να εξασκηθεί με τη συλλογή από διαδικτυακά παιχνίδια του
λόγου. Οι τεχνολογίες που χρησιμοποιήθηκαν για την υλοποίηση των παιχνιδιών
είναι η Java, _javascript_, HTML5, CSS3 και frameworks όπως Apache Shiro και το Hibernate. Η βάση δεδομένων που χρησιμοποιήθηκε είναι η MySQL και ως διαδικτυακός εξυπηρετητής ο XAMPP. Τα παιχνίδια αυτά εκτελούνται μέσω του
προγράμματος φυλλομετρητή και αλληλεπιδρούν με τον χρήστη αναλύοντας μια
ξεχωριστή ιδιότητα της φωνής του σε πραγματικό χρόνο. Κάθε παιχνίδι θα μπορούσε
να εκτελεστεί υπό την εποπτεία μιας ομάδας λογοθεραπευτών ή ακόμα και από το
χρήστη τον ίδιο από οποιαδήποτε τοποθεσία. Οι βαθμολογίες κάθε παιχνιδιού,
υπολογίζονται και αποστέλλονται στο διαδικτυακό εξυπηρετητή μας για να
αποθηκευτούν και να επεξεργαστούν στατιστικά. Στη συνέχεια, η απόδοση των
χρηστών στο πέρασμα του χρόνου εμφανίζεται σε πραγματικό χρόνο μέσω γραφημάτων.
Οι επόπτες λογοθεραπευτές, θα μπορούσαν να χρησιμοποιήσουν αυτά τα ειδικά
γραφήματα για να εντοπίσουν πιθανές αδυναμίες και να τροποποιήσουν τους στόχους
του παιχνιδιού καταλλήλως με απώτερο στόχο την ακόμα μεγαλύτερη βελτίωση του
χρήστη. Ακόμη η συλλογή των παιχνιδιών μας παρουσιάστηκε και αξιολογήθηκε από
έμπειρους χρήστες αντίστοιχου λογισμικού (λογοθεραπευτές). Τέλος,
πραγματοποιούμε σύγκριση των τεχνολογιών αιχμής (HTML5, _javascript_) οι οποίες χρησιμοποιήθηκαν κατά τη διάρκεια της
ανάπτυξης όμοιων παιχνιδιών της παρούσας εργασίας και παλιότερων, όπως η Java, όσον αφορά την ευελιξία τους και την
απόδοση τους στην παρούσα χρονική στιγμή.
Apostolakis
Myron
M.Sc. Thesis
Computer Science Department
University of Crete
Master's Thesis Supervisor: Professor Yannis Stylianou
Monday, 29/9/2014, 14:00
Room E313, Computer Science dept., University of Crete
"Development of Interactive User Interfaces for
Voice Training aimed to children with Hearing Loss using Web Technologies in
Real Time"
ABSTRACT
International
research and global statistics have shown that 1.5% of children up to the age
of 20 years have reduced auditory ability, 1 in 22 children of school age have impaired
hearing, which means that in nowadays in Europe there are about one million
hearing-impaired children, while in the U.S. 12,000 children born annually or
33 children a day with hearing loss. In Greece, statistically hard of
hearing children are estimated at about 80,000. These data classify the hearing
loss first among the diseases of newborns.
It is
often, people with hearing loss to have problems with their communication
skills. Because of the lack of audio feedback the speech production system is
not developed normally. Since deaf people cannot hear themselves speak, they
cannot tune their voices to a more 'correct' sounding tone. More generally they
cannot control their speech production system (tongue, teeth etc) properly,
because they cannot realize which is the right way to do it. As a result they
speak too loud for the vowels or they are misarticulating consonants. However,
a person who went deaf later on in life, has a better chance of being able to
speak more properly. So, everything is a matter of feedback.
The
purpose of this thesis is to introduce a new approach of speech therapy
multimedia tools based on the state of art web technologies and taking into
account the special characteristics of hearing impaired people, in order to
help them acquire better communication skills. This approach is taking
advantage of special speech properties such as intensity, pitch and
spectrograms using them as visual feedback, in order to teach a person with
hearing loss how to improve control of his voice.
More
specifically we developed a web site platform, where the user can login and
practice with a collection of web-based voice games, through browser in real
time. The technologies which were used for the implementation of our games is
Java, _javascript_, HTML5, CSS3 and frameworks like Apache Shiro and Hibernate.
The database which is used is MySQL and XAMPP as web server. Voice is analyzed
and converted to visual feedback. Each game could be played with a logo-therapy
supervisor or even by user himself. Score of each game, is calculated and is
sent to our web server for saving and statistic processing. In the end, user
performance in the passage of time is displayed through graphs in real time. A
logo-therapy supervisor could use these special graphs to spot possible
weaknesses and propose modification of game targets as necessary. Furthermore,
the evaluation of our platform is performed by specialists in speech therapy.
Finally, comparison between state of art technologies (HTML5, _javascript_) and
older, such as Java, in terms of flexibility and performance is taking place.
apo th grammateia
e.kosma
--
Postgraduate Secretariat
Computer Science Department
Voutes University Campus
Heraklion, Crete
GR-70013, Greece
tel: + 30 2810 393592, 393504
fax:+ 30 2810 393804
e-mail: pgram@xxxxxxxxxx
Url: http://www.csd.uoc.gr