Ανάπτυξη Μεγάλων Γλωσσικών Μοντέλων για την Υποστήριξη Επαγγελματιών Υγείας σε Περιπτώσεις Παιδικής Παχυσαρκίας

Abstract

Η παιδική παχυσαρκία είναι μια χρόνια νόσος για την οποία η προσέγγιση της θεραπείας περιλαμβάνει τη συνδυαστική χρήση καμπυλών ανάπτυξης, την τυποποίηση σύμφωνα με την ηλικία και το φύλο, τις συννοσηρότητες, το οικογενειακό περιβάλλον και τις ενημερωμένες κλινικές κατευθυντήριες οδηγίες. Τα Μεγάλα Γλωσσικά Μοντέλα (Large Language Models, LLMs) διερευνώνται ολοένα και περισσότερο ως ένας πιθανός τρόπος υποστήριξης της κλινικής λήψης αποφάσεων. Ωστόσο, τα γενικά μοντέλα δεν είναι εξειδικευμένα για τον παιδικό πληθυσμό ασθενών και έχουν πολλά περιοριστικά στοιχεία, συμπεριλαμβανομένων των «ψευδαισθήσεων» και της ξεπερασμένης πληροφορίας. Σε αυτή τη διπλωματική εργασία αναπτύσσουμε, υλοποιούμε και αξιολογούμε ένα πρωτότυπο chatbot που χρησιμοποιεί ένα συγκεκριμένο LLM ως βάση, ώστε να παρέχει βοήθεια στους κλινικούς ιατρούς στη διαχείριση της παιδικής παχυσαρκίας, και αξιολογούμε δύο στρατηγικές προσαρμογής του ίδιου ιατρικού βασικού μοντέλου (MedGemma-27B) στο πεδίο γνώσης: τη λεπτομερή προσαρμογή (fine-tuning) με αποδοτική χρήση παραμέτρων μέσω QLoRA και την Παραγωγή Επαυξημένη με Ανάκτηση (RAG) με χρήση ενός ευρετηρίου FAISS βασισμένου στο μοντέλο διανυσματικών αναπαραστάσεων SapBERT. Και οι δύο προσεγγίσεις μοιράζονται την ίδια βάση δεδομένων, που περιέχει 6.123 ζεύγη ερωτήσεων-απαντήσεων τα οποία έχουν εξαχθεί από διεθνείς και εθνικές κλινικές κατευθυντήριες οδηγίες και επιστημονικά άρθρα, το ίδιο μήνυμα συστήματος, το ίδιο όριο μήκους απάντησης και την ίδια μεθοδολογία αξιολόγησης, έτσι ώστε όλες οι διαφορές να μπορούν να αποδοθούν στη στρατηγική ενσωμάτωσης της γνώσης. Τα δύο συστήματα και μια ομάδα κλινικών ιατρών απαντούν σε ένα σταθερό σύνολο 20 κλινικών ερωτήσεων που έχουν δημιουργηθεί από έναν παιδοενδοκρινολόγο. Οι ανωνυμοποιημένες απαντήσεις αξιολογούνται τυφλά από ξεχωριστή ομάδα 18 κλινικών ιατρών, με μια εργασία κατάταξης συνοδευόμενη από μια κλίμακα βαθμολόγησης πέντε διαστάσεων, καθώς και από ένα LLM που χρησιμοποιείται ως αυτόματος αξιολογητής. Το σύστημα RAG κατέλαβε την πρώτη θέση στο 74% των αξιολογήσεων, προτιμήθηκε έναντι του fine-tuned συστήματος στο 84% των άμεσων συγκρίσεων ζευγών και έναντι της αναφοράς των ιατρών στο 89%, έλαβε τις καλύτερες συνολικές βαθμολογίες και ήταν λιγότερο πιθανό να επισημανθεί ως λανθασμένο ή επικίνδυνο (6% έναντι 9% για το fine-tuned σύστημα). Ο αυτόματος αξιολογητής αναπαρήγαγε τη σειρά προτίμησης της ομάδας ειδικών (ρ του Spearman = 0,78), αλλά ήταν συστηματικά πιο επιεικής στις απόλυτες βαθμολογίες (σταθμισμένο κ = 0,25), γεγονός που επιτρέπει τη χρήση του μόνο για την κατάταξη και όχι για την κλινική βαθμολόγηση. Τα αποτελέσματα αυτά δείχνουν ότι τα μοντέλα ανοιχτού κώδικα που βασίζονται στην ανάκτηση γνώσης από κατευθυντήριες οδηγίες είναι ήδη σε θέση να παρέχουν απαντήσεις που οι κλινικοί ιατροί βρίσκουν χρήσιμες, όταν χρησιμοποιούνται ως βοηθητικό εργαλείο.