Μοντελοποίηση της Μουσικής ΄Εκπληξης μέσω Βαθιάς Μάθησης και Μελέτη της Νευροφυσιολογικής της Αντιστοιχίας

Abstract

Η μουσική έκπληξη (musical surprisal) αποτελεί έναν θεμελιώδη μηχανισμό μέσω του οποίου ο ανθρώπινος εγκέφαλος αντιλαμβάνεται, επεξεργάζεται και ανταποκρίνεται συναισθηματικά στη μουσική. Βασισμένη στην αρχή της προγνωστικής κωδικοποίησης (predictive coding), η αντίληψη της μουσικής διαμορφώνεται από τη συνεχή δημιουργία στατιστικών προσδοκιών, η παραβίαση των οποίων γεννά το αίσθημα της έκπληξης. Ενώ ιστορικά το φαινόμενο αυτό έχει μελετηθεί εκτενώς σε συμβολικά δεδομένα (όπως παρτιτούρες ή MIDI) μέσω υπολογιστικών μοντέλων προσδοκίας, η απευθείας εκτίμηση της έκπληξης από πραγματικά, πολυφωνικά ακουστικά σήματα (audio) παραμένει μια ανοιχτή ερευνητική πρόκληση. Η δυσκολία έγκειται στην ακριβή εξαγωγή μουσικών χαρακτηριστικών μέσα από τον ακουστικό θόρυβο, γεγονός που καθιστά τα παραδοσιακά στατιστικά μοντέλα ανεπαρκή και επιτάσσει τη μετάβαση σε πολυτροπικές προσεγγίσεις. Σε αυτήν τη διπλωματική εργασία, προτείνεται μια ολοκληρωμένη πολυτροπική προσέγγιση (multimodal approach) για την ανίχνευση και τον χαρακτηρισμό της μουσικής έκπληξης, συνδυάζοντας ρεαλιστικά ακουστικά σήματα, συμβολικές αναπαραστάσεις και νευροφυσιολογικά δεδομένα (EEG). Αρχικά, αποδεικνύεται η ικανότητα ενός σύγχρονου μοντέλου βαθιάς μάθησης (Transformer) να εξάγει το πληροφοριακό περιεχόμενο (Surprisal) απευθείας από τον ήχο, επιτυγχάνοντας βελτιωμένη πρόβλεψη της εγκεφαλικής δραστηριότητας σε συνεχή ροή μέσω μοντέλων γραμμικής απόκρισης (mTRF). Σε επόμενο επίπεδο, η ανάλυση των Προκλητών Δυναμικών (ERPs) αποκάλυψε την παρουσία χαρακτηριστικών διφασικών συνιστωσών (P200 και N400) στα σημεία μέγιστης έκπληξης, τα οποία, κατόπιν μουσικολογικής αξιολόγησης, ταυτίστηκαν με δομικές αλλαγές όπως τονικά άλματα και ρυθμικές συγκοπές. Παράλληλα, η σύγκριση της προτεινόμενης μεθόδου με παραδοσιακά στατιστικά baseline μοντέλα (n-grams) κατέδειξε την ανεπάρκεια των συμβατικών αλγορίθμων εξαγωγής μελωδίας απέναντι στον πολυφωνικό θόρυβο, επιβεβαιώνοντας την τεχνολογική υπεροχή της βαθιάς μάθησης. Τέλος, η μεθοδολογία επικυρώθηκε σε συμβολικό επίπεδο (MIDI), όπου διαπιστώθηκε ότι οι προβλέψεις του ακουστικού Transformer ταυτίζονται, τόσο στατιστικά όσο και νευροφυσιολογικά, με το κορυφαίο συμβολικό μοντέλο IDyOM. Τα ευρήματα αυτά καταδεικνύουν ότι η μουσική έκπληξη μπορεί να μοντελοποιηθεί υπολογιστικά και να επιβεβαιωθεί βιολογικά, προσφέροντας βαθύτερη κατανόηση της διεπιστημονικής σχέσης μεταξύ μουσικής δομής και εγκεφαλικής λειτουργίας.