Στο συγκεκριμένο αντικείμενο εντάσσονται δύο θέματα διπλωματικών εργασιών.

1. Εντοπισμός χειρονομιών με σημασιολογική πληροφορία σε νοηματικά βίντεο

Η εκπόνηση της διπλωματικής εργασίας 1 θα χρησιμοποιήσει το σύνολο των βασικότερων χειρονομιών που χρησιμοποιούνται στην τρισδιάστατη άρθρωση λόγου της Ελληνικής Νοηματικής Γλώσσας (ΕΝΓ) καθώς και ένα υποσύνολο χειρονομιών με καθορισμένη σημασιολογική υπόσταση (ταξινομητές), προκειμένου να διερευνήσει μια σειρά από προβλήματα σχετικά με τον εντοπισμό των χειρονομιών αυτών και την ανάκτηση συνδεόμενης με αυτές πληροφορίας μέσα σε σώματα νοηματικού βίντεο. Τα πειράματα που θα σχεδιαστούν προκειμένου να αναδειχτεί η καλύτερη μεθοδολογία εντοπισμού των χειρονομιών θα χρησιμοποιήσουν αρχικά κατάλληλα επισημειωμένα δεδομένα με στόχο την επέκταση του πειραματισμού και σε δεδομένα χωρίς επισημείωση.

2. Προσαρμογή συνόλου χαρακτηριστικών για αναζήτηση οπτικής πληροφορίας σε δεδομένα βίντεο

Η εκπόνηση της διπλωματικής εργασίας 2 θα εστιάσει στην ανάπτυξη του απαιτούμενου συνόλου χαρακτηριστικών τα οποία θα πρέπει να ενσωματωθούν σε νευρωνικό δίκτυο προκειμένου να εξυπηρετηθεί η αναζήτηση οπτικής πληροφορίας στο περιεχόμενο αρχείων βίντεο. Θα πρέπει να ληφθούν υπ’ όψιν παράμετροι όπως ένα σύνολο βασικών χειρονομιών, οι κινήσεις των χεριών, του κορμού και της κεφαλής, καθώς και το εύρος της τροχιάς των κινήσεων, προκειμένου να διερευνηθεί η σπουδαιότητα των συγκεκριμένων παραμέτρων στην αναζήτηση σημασιολογικά σημαντικών γεγονότων σε περιεχόμενο βίντεο. Τα πειράματα που απαιτούνται θα κάνουν χρήση επισημειωμένων αρχείων βίντεο και αρχείων χωρίς επισημειώσεις.

Το τελευταίο διάστημα η δημιουργία και αποθήκευση μεγάλων όγκων βίντεο έχει δημιουργήσει την ανάγκη για την ανάπτυξη τεχνολογικών λύσεων που θα επιτρέψουν την απευθείας ανίχνευση στοιχείων του περιεχομένου στα αρχεία βίντεο και την εξόρυξη πληροφοριών πέρα από το σύνολο μεταδεδομένων που μπορεί να συνοδεύει κάποιο αρχείο. Προς αυτή την κατεύθυνση παρατηρείται τα τελευταία χρόνια έντονη ερευνητική δραστηριότητα με δυναμική στροφή στη χρήση νευρωνικών δικτύων για τον εντοπισμό σημαντικών χαρακτηριστικών στο περιεχόμενο των αρχείων βίντεο. Στο πλαίσιο αυτό, τα δεδομένα νοηματικής γλώσσας αποτελούν ιδιαίτερα ενδιαφέρουσα κατηγορία δεδομένων, αφού περιλαμβάνουν τμήματα δομημένων εκφράσεων που πραγματώνονται στις τρεις διαστάσεις.

Υπεύθυνες:   Δρ Ελένη Ευθυμίου, Ερευνήτρια Α'

                    Δρ Ευίτα Φωτεινέα, Ερευνήτρια Α'

                    Ινστιτούτο Επεξεργασίας του Λόγου (ΙΕΛ)

Υποστήριξη:  Εργαστήριο Ευφυών Συστημάτων

Attachments:

1409.1556.pdf	[Simonyan, K. and Zisserman, A. (2014). Very deep convolutional networks for large-scale image recognition. arXivpreprint arXiv:1409.1556. ]	Georgios Alexandridis	195 Kb
239_EngJon_Ong.pdf	[Ong, E.-J. and Bowden, R. (2004). A boosted classifier tree for hand shape detection. In Automatic Face and Gesture Recognition, 2004. Proceedings. Sixth IEEE International Conference on Automatic Face and Gesture Recognition, pages 889–894. IEEE.]	Georgios Alexandridis	287 Kb
pfister14a.pdf	[Pfister, T., Simonyan, K., Charles, J., and Zisserman, A. (2014). Deep convolutional neural networks for efficient pose estimation in gesture videos. Asian Conference on Computer Vision (ACCV).]	Georgios Alexandridis	9028 Kb
Pirgou16Sign.pdf	[Lionel Pigou, Mieke Van Herreweghe and Joni Dambre (2016). Sign Classification in Sign Language Corpora with Deep Neural Networks. In Proceedings of 7th Workshop on the Representation and Processing of Sign Languages: Corpus Mining. In the framework of LR]	Georgios Alexandridis	2073 Kb