Ενισχυτική Μάθηση για τη Βελτιστοποίηση της Ενεργειακής Ευελιξίας: Από τη Διαχείριση Κινήτρων Καταναλωτών στον Έλεγχο Φωτοβολταϊκών Συστημάτων με Αποθήκευση

Abstract

Η παρούσα διπλωματική εργασία εξετάζει την ενισχυτική μάθηση για τη βελτιστοποίηση κινήτρων συμμετοχής καταναλωτών στην τοπική αγορά ευελιξίας και τη διαχείριση οικιακών συστημάτων φωτοβολταϊκών και αποθήκευσης ενέργειας με μπαταρίες (PV-BESS). Αξιολογούνται η οικονομική αποτελεσματικότητα των στρατηγικών και η επίδραση της διαθέσιμης πληροφορίας και των συνθηκών λειτουργίας στην απόδοσή τους. Στο πρώτο μέρος μελετάται η επιλογή κινήτρων απόκρισης ζήτησης από φορέα σωρευτικής εκπροσώπησης για τη μεγιστοποίηση του κέρδους του, συνδυάζοντας δεδομένα κατανάλωσης και τιμών με πιθανοτικό μοντέλο συμμετοχής και εκτίμηση ευελιξίας. Το πρόβλημα διατυπώνεται ως contextual bandit, με πίνακα αξιών δράσης Q και άμεση οικονομική ανταμοιβή. Στο Πείραμα Α δεν υπάρχει προκαθορισμένος στόχος απόκρισης, ενώ στο Πείραμα Β επιδιώκεται η κάλυψη προκαθορισμένης ποσότητας που προσομοιώνει αποδεκτή προσφορά στην αγορά. Στο Β αποζημιώνεται η πραγματοποιηθείσα απόκριση έως τη συμφωνημένη ποσότητα, ενώ η απαίτηση πλήρους κάλυψής της για την καταβολή αποζημίωσης εξετάζεται διαγνωστικά. Στο δεύτερο μέρος μελετώνται 19 ανεξάρτητα οικιακά συστήματα PV-BESS υπό δυναμική τιμολόγηση βασισμένη σε πραγματικά δεδομένα τιμών εκκαθάρισης αγοράς. Το περιβάλλον προσομοίωσης διατυπώνεται ως Μαρκοβιανή διαδικασία αποφάσεων, με πιθανότητες μετάβασης εκτιμημένες από δεδομένα και φυσικούς περιορισμούς της μπαταρίας. Συγκρίνονται οι αλγόριθμοι Deep Q-Network (DQN) και Soft Actor-Critic (SAC), με διακριτό και συνεχή χώρο δράσεων αντίστοιχα, και εξετάζεται η επίδραση των προβλέψεων τιμής και της τρέχουσας ηλιακής ακτινοβολίας. Η αξιολόγηση χρησιμοποιεί κοινές διαδρομές προσομοίωσης, πέντε ανεξάρτητες εκτελέσεις εκπαίδευσης, μεθόδους αναφοράς βασισμένες σε κανόνες και μικτό ακέραιο γραμμικό προγραμματισμό (MILP) με πλήρη γνώση των μελλοντικών δεδομένων. Η προσαρμοζόμενη επιλογή κινήτρων βελτιώνει το οικονομικό αποτέλεσμα στα περισσότερα σενάρια. Στη βασική περίπτωση με δεσμευμένη ποσότητα, το μέσο ημερήσιο κέρδος φθάνει τα 0,667 €, έναντι 0,545 € της καλύτερης πρακτικής μεθόδου αναφοράς. Στα οικιακά συστήματα, ο SAC επιτυγχάνει χαμηλότερο μέσο κόστος από τον DQN και, με προβλέψεις τιμής, το 74,8% της μέγιστης εξοικονόμησης που προσδιορίζει το MILP. Οι προβλέψεις τιμής βελτιώνουν το μέσο αποτέλεσμα και των δύο αλγορίθμων, ενώ η τρέχουσα ηλιακή ακτινοβολία δεν προσφέρει συνεπές όφελος. Τα ευρήματα υποστηρίζουν την οικονομικότερη διαχείριση της ευελιξίας μέσω ενισχυτικής μάθησης στις εξεταζόμενες συνθήκες, χωρίς η πρόσθετη πληροφορία να εξασφαλίζει πάντοτε καλύτερες αποφάσεις.