Προσομοίωση Πολιτικών Ομιλιών µε Χρήση Μεγάλων Γλωσσικών Μοντέλων (LLMs)

Abstract

Η μελέτη του πολιτικού λόγου με υπολογιστικές μεθόδους βασίζεται κυρίως στην ανάλυση πραγματικών πολιτικών κειμένων. Η παραγωγή συνθετικού πολιτικού λόγου υπό ελεγχόμενες συνθήκες θα μπορούσε να προσφέρει ένα συμπληρωματικό μέσο πειραματικής διερεύνησης, εφόσον τα παραγόμενα κείμενα αντανακλούν αξιόπιστα τα ζητούμενα πολιτικά και θεματικά χαρακτηριστικά. Ένα τέτοιο μέσο θα επέτρεπε, για παράδειγμα, τη μελέτη του τρόπου με τον οποίο τα γλωσσικά μοντέλα αναπαριστούν κόμματα και ιδεολογίες, την προσομοίωση κοινοβουλευτικών συζητήσεων και τη δημιουργία δεδομένων για την ανίχνευση παραγόμενου πολιτικού κειμένου. Ιδίως για τον ελληνικό πολιτικό λόγο, η έρευνα προς αυτή την κατεύθυνση είναι περιορισμένη.

Η παρούσα εργασία επιχειρεί να συμβάλει στην κάλυψη αυτού του κενού, εξετάζοντας κατά πόσο μεγάλα γλωσσικά μοντέλα μπορούν να παράγουν συνθετικές ομιλίες ελληνικού κοινοβουλευτικού λόγου που αντιστοιχούν σε συγκεκριμένο κόμμα, ιδεολογικό προσανατολισμό, ρόλο ομιλητή, θέση ως προς την κυβέρνηση και θέμα συζήτησης. Οι ομιλίες αυτές προορίζονται για ερευνητική χρήση και δεν αποτελούν πραγματικές τοποθετήσεις κομμάτων ή βουλευτών. Από τα πρακτικά της Βουλής δημιουργήθηκε ένα σύνολο ομιλιών με πολιτικά και θεματικά μεταδεδομένα, με το οποίο εκπαιδεύτηκαν (fine-tuning) τέσσερα ανοιχτά γλωσσικά μοντέλα, ένα προσαρμοσμένο στα ελληνικά (Krikri) και τρία πολυγλωσσικά (Llama, Mistral, Yi), καθώς και εκδοχές των πολυγλωσσικών που είχαν ήδη εκπαιδευτεί σε ομιλίες του Βρετανικού Κοινοβουλίου. Τα μοντέλα παρήγαγαν ομιλίες για τις ίδιες εισόδους και οι ομιλίες αυτές αξιολογήθηκαν με αυτόματες μετρικές, μετρικές ευθυγράμμισης με το ζητούμενο πλαίσιο, ένα γλωσσικό μοντέλο ως κριτή (LLM-as-a-Judge) και στατιστικούς ελέγχους, ενώ οι μετρικές ευθυγράμμισης ελέγχθηκαν και σε πραγματικές ομιλίες.

Τα αποτελέσματα δείχνουν ότι το fine-tuning αυξάνει στατιστικά σημαντικά το ποσοστό των έγκυρων ομιλιών και μαθαίνει στα μοντέλα κυρίως το ύφος του ελληνικού κοινοβουλευτικού λόγου. Η αντιστοίχιση των παραγόμενων ομιλιών στο ζητούμενο κόμμα και προσανατολισμό μένει χαμηλότερη από εκείνη των πραγματικών, ενώ μόνο ως προς το θέμα φτάνει σε αντίστοιχο επίπεδο. Οι μετρικές ευθυγράμμισης, ωστόσο, διακρίνουν περιορισμένα τις κατηγορίες και στις πραγματικές ομιλίες, οπότε δείχνουν κυρίως ομοιότητα με τον τυπικό κοινοβουλευτικό λόγο. Το Krikri έχει την υψηλότερη μέση τιμή στις περισσότερες μετρικές, ενώ η προηγούμενη εκπαίδευση σε βρετανικό κοινοβουλευτικό λόγο δεν βελτιώνει με συνέπεια την παραγωγή ελληνικού. Το σύνολο δεδομένων, τα μοντέλα και το πλαίσιο αξιολόγησης της εργασίας αποτελούν βάση για μελλοντική έρευνα, όπως η ανθρώπινη αξιολόγηση και η παροχή του περιεχομένου της συζήτησης μέσω RAG.