Ενορχήστρωση εφαρμογών σε Multi-Cluster υπολογιστικές υποδομές με χρήση Ασφαλούς Ενισχυτικής Μάθησης

Abstract

Η ϱαγδαία εξέλιξη των τεχνολογιών αιχµής οδηγεί στη µετάβαση από το παραδοσιακό Υπολογιστικό Νέφος στο Συνεχές Υπολογιστικό Φάσµα (Cloud Continuum), µεταφέροντας την επεξεργασία αποκεντρωµένα, κοντά στην πηγή των δεδοµένων, µέσω της υπολογιστικής άκρων (Edge Computing). Η ανάπτυξη εφαρµογών σε αυτά τα περιβάλλοντα απαιτεί τε- χνολογίες containers και λύσεις Πολλαπλών Υποδοµών (Multi-Cluster), όπως το Karmada. Ωστόσο, η πολυπλοκότητα, η ετερογένεια και οι αυστηρά περιορισµένοι πόροι των υποδο- µών αυτών καθιστούν τη ϐέλτιστη κατανοµή πόρων και αντιγράφων (replicas) µια ιδιαίτερα κρίσιµη πρόκληση. Στην παρούσα διπλωµατική εργασία µελετάται η αξιοποίηση της Ενισχυτικής Μάθησης (Reinforcement Learning) για τη ϐελτιστοποίηση της κατανοµής πόρων σε Multi-Cluster υ- ποδοµές. Το πρόβληµα διατυπώθηκε αυστηρά ως ∆ιαδικασία Απόφασης Markov (Markov Decision Process - MDP). Επειδή η αποδοτική κατανοµή οφείλει να τηρεί τους περιορισµούς του συστήµατος, η προσέγγιση εντάσσεται στην Ασφαλή Ενισχυτική Μάθηση (Safe Reinforce- ment Learning - Safe RL). Υλοποιήθηκαν συµπληρωµατικοί µηχανισµοί action masking και action penalization για τον αποκλεισµό ή την αποθάρρυνση ενεργειών που οδηγούν σε µη έγκυρες καταστάσεις ή κατακερµατισµό πόρων. Για την επίλυση του προβλήµατος ανα- πτύχθηκε ένας πράκτορας (agent) ϐασισµένος στο tabular Q-learning, ο οποίος ενσωµατώνει προσοµοίωση της συµπεριφοράς των κόµβων. Αυτό περιορίζει το υπολογιστικό κόστος και τον καθιστά κατάλληλο για εφαρµογή σε περιορισµένα περιβάλλοντα edge. Για την αξιολόγηση της µεθόδου, υλοποιήθηκε ένα ελεγχόµενο scaled-down πειραµατικό περιβάλλον µε ετερογενή Kubernetes clusters υπό την κεντρική διαχείριση του Karmada. Η απόδοση του agent συγκρίθηκε µε τις προεπιλεγµένες πολιτικές διάδοσης του Karmada ϐάσει πολυκριτηριακής προσέγγισης, η οποία αξιολογεί το ποσοστό επιτυχούς εκτέλεσης pods, την ισορροπία στην κατανάλωση CPU και RAM, καθώς και τη χρονική επιβάρυνση (time overhead). Τα πειραµατικά αποτελέσµατα επιβεβαιώνουν την ικανότητα του agent να επιτυγχάνει υψηλότερα ποσοστά επιτυχούς λειτουργίας και καλύτερη ισορροπία ϕορτίου έναντι των στατικών πολιτικών, αναδεικνύοντας παράλληλα τα οφέλη και τους χρονικούς συµβιβασµούς από την ενσωµάτωση τέτοιων µεθόδων σε κατανεµηµένα συστήµατα.