33 research outputs found
Μεταφορά γνώσης στην ενισχυτική μάθηση
No full textThis thesis presents an original research in the field of machine learning and more specifically in the fields of reinforcement learning and transfer learning. Reinforcement learning addresses the problem of how an agent can learn an optimal behaviour through trial-and-error interactions with a dynamic environment. In the context of reinforcement learning,transfer learning refers to the process of using knowledge that has been acquired in one or more previously learned tasks, in order to enhance the learning performance in a new and usually more complex task.We specifically focus on the following research problems concerning transfer learning in reinforcement learning: a) improving data efficiency and reducing sample complexity in reinforcement learning, b) advancing transfer learning methodologies for specific types of transferred knowledge, c) transferring knowledge for significantly different tasks, d) transferring knowledge between heterogeneous agents and, e) applying reinforcement learning and transfer learning in complex and real-world problems.First, we present a novel method for transferring models to reinforcement learning agents.The models of the transition and reward functions of a task, are transferred to another relevant but different task. The proposed method introduces a hybrid agent architecture with two learning mechanisms, one for model-free learning and one for model-based learning in order to fully exploit the presence of a source task model.We then focus on policy transfer and specifically on action advice. In this setting, a teacher agent suggests actions to a student agent as the later learns a specific task. The interesting and realistic characteristics of this setting are that the teacher and the student agent may be significantly different (heterogeneous) and that the teacher may only give advice a limited number of times. The methods presented in this chapter allow such a teacher agent to produce quality advice and distribute its limited advice budget in the most effective way.We then continue exploring novel transfer learning methods for different types of transferred knowledge but we now extend the scope of the methods to that of automatic cross-domain transfer, i.e, transferring between significantly different tasks. One of the ways to enable cross-domain transfer is the use of inter-task mappings. To this end, we focus on methods that automatically discover suitable mappings in domains where human intuition cannot be applied to select them, i.e., complex domains with no domain expert, finally allowing autonomous transfer between different tasks.Finally, we present a number of novel and interesting applications of this thesis’ methods in complex and real-world problems. From transferring learning to humans using pol-icy advice to transferring knowledge between robots with different degrees of freedom and transferring between agents in complex video games, this part of the thesis demonstrates the ability of the presented methods to solve more complex TL problems.To αντικείμενο της διατριβής είναι η μελέτη μεθόδων Μεταφοράς Μάθησης (ΜΜ) για πράκτορες Ενισχυτικής Μάθησης (ΕΜ). Παρουσιάζονται νέοι αλγόριθμοι μεταφοράς μάθησης οι οποίοι είτε παρουσιάζουν καλύτερες επιδόσεις, σε σύγκριση με τις μεθόδους αιχμής από τη σχετική βιβλιογραφία, είτε καθιστούν δυνατή την αυτόνομη μεταφορά μάθησης σε περιπτώσεις όπου παραδοσιακά χρειαζόταν ανθρώπινη παρέμβαση.Αρχικά παρουσιάζονται καινοτομικές μέθοδοι για τη μεταφορά μοντέλων σε πράκτορες ΕΜ με σκοπό την μέγιστη αλλά και πολλαπλή αξιοποίηση τους. Τα μοντέλα των συναρτήσεων μετάβασης και ανταμοιβής μιας εργασίας πηγής μεταφέρονται σε μία σχετική, αλλά διαφορετική, εργασία στόχο. Ο αλγόριθμος μάθησης της εργασίας στόχου είναι υβριδικός, και εφαρμόζει ταυτόχρονα απευθείας μάθηση και μάθηση βασισμένη σε μοντέλο.Στη συνέχεια, μελετάται το μοντέλο μεταφοράς μάθησης με παροχή περιορισμένου αριθμού συμβουλών ενέργειας. Η διατριβή επικεντρώνεται σε πράκτορες δασκάλους που παρέχουν συμβουλές ενεργειών σε ετερογενείς πράκτορες μαθητές.Αρχικά, εξετάζονται μια σειρά από κρίσιμους παράγοντες που επηρεάζουν την ποιότητα των συμβουλών όπως η μέση επίδοση του ίδιου του δασκάλου στην εργασία, η διακύμανση της επίδοσης του κ.α. Τα αποτελέσματα των πειραμάτων δείχνουν τη σημασία του συντελεστή μεταβλητότητας (CV) της επίδοσης του δασκάλου ως στατιστικό εκτιμητή για την επιλογή πολιτικών παροχής συμβουλών.Στη συνέχεια, παρουσιάζεται μια σειρά από νέους αλγόριθμους για το πρόβλημα της κατανομής των συμβουλών και αξιολογούνται σε δύο σύνθετα ηλ. παιχνίδια: StarCraft και Pac-Man. Παρουσιάζεται επίσης μια καινοτόμα μέθοδος για την μάθηση μιας πολιτικής κατανομής συμβουλών. Επιπλέον, υποστηρίζεται ότι το πρόβλημα παροχής συμβουλών ενέργειας είναι υπο-περίπτωση ενός γενικότερου προβλήματος μάθησης. Προτείνουμε και μορφοποιούμε μια νέα υπο-κατηγορία προβλημάτων ενισχυτικής μάθησης την Ενισχυτική Μάθηση Περιορισμένης Αξιοποίησης (Constrained Exploitation Reinforcement Learning). Τα πειραματικά αποτελέσματά δείχνουν ότι η χρήση των προτεινόμενων μεθόδων είναι εφικτή και αποτελεσματική ακόμη και σε πιο σύνθετες εργασίες.Στη συνέχεια η διατριβή ασχολείται με μεθόδους για την αυτόνομη ΜΜ για εργασίες που έχουν σημαντικές διαφορές μεταξύ τους. Οι εργασίες αυτές μπορεί να διαφέρουν όχι μόνο ως προς τις συναρτήσεις μετάβασης και ανταμοιβών, αλλά και ως προς το χώρο ενεργειών και καταστάσεων τους.Αρχικά, περιγράφεται μία νέα μέθοδος με την ονομασία Value-Addition για τη μεταφορά συναρτήσεων αξίας που βασίζεται στις αξίες ενεργειών της εργασίας πηγής για την αυτόνομη επιλογή της συνάρτησης αντιστοίχισης των εργασιών.Στη συνέχεια περιγράφεται μια νέα μέθοδος με την ονομασία COMBREL για τη μεταφορά εμπειριών. Η συγκεκριμένη μέθοδος κάνει χρήση ενός πιθανοτικού μοντέλου. Συγκεκριμένα, προτείνεται μια νέα θεωρητική οπτική κατά την οποία το πρόβλημα πολλαπλών αντιστοιχίσεων μεταξύ δύο εργασιών είναι ισοδύναμο με το πρόβλημα πολλαπλών εργασιών καταδεικνύοντας τη σχέση μεταξύ δύο προβλημάτων που θεωρούταν προηγουμένως διαφορετικά. Ακολούθως, η νέα οπτική επιτρέπει τη μεταφορά ερευνητικών αποτελεσμάτων μεταξύ των δύο ερευνητικών προβλημάτων.Τέλος παρουσιάζονται μια σειρά από εφαρμογές της ΕΜ και των μεθόδων ΜΜ που παρουσιάστηκαν στα προηγούμενα κεφάλαια. Από μεθόδους παροχής συμβουλών ενέργειας σε ανθρώπους μέχρι τη μεταφορά μάθησης μεταξύ ρομπότ με διαφορετικούς βαθμούς ελευθερίας ή/και αρθρώσεις και την μεταφορά μεταξύ ετερογενών πρακτόρων σε ηλ. παιχνίδια, επαληθεύεται η δυνατότητα των προτεινόμενων μεθόδων να επιλύσουν πιο σύνθετα προβλήματα
Transferring Models in Hybrid Reinforcement Learning Agents
No full textPart 8: Reinforcement and Radial Basis Function ANNInternational audienceThe main objective of transfer learning is to reuse knowledge acquired in a previous learned task, in order to enhance the learning procedure in a new and more complex task. Transfer learning comprises a suitable solution for speeding up the learning procedure in Reinforcement Learning tasks. In this work, we propose a novel method for transferring models to a hybrid reinforcement learning agent. The models of the transition and reward functions of a source task, will be transferred to a relevant but different target task. The learning algorithm of the target task’s agent takes a hybrid approach, implementing both model-free and model-based learning, in order to fully exploit the presence of a model. The empirical evaluation, of the proposed approach, demonstrated significant results and performance improvements in the 3D Mountain Car task, by successfully using the models generated from the standard 2D Mountain Car
Online Shopping: Perceptions Of Greek Consumers
No full textThe sharp increase of Internet usage has transformed the way goods are bought and sold. Widely available online information about products and pricing has transferred many consumers from traditional to online stores. The scope of this paper is to examine the perceptions of Greek adopters and non-adopters of online shopping in terms of demographic profile, consumers’ expectations of online stores, advantages and problems related to online purchases. Additionally, the reasons for using or avoiding online shopping, as well as, the types of preferred products were studied. The findings of this paper are useful in explaining consumers’ online buying behaviour. The empirical results provide important managerial implications and set the basis for further research on this field
Learning to Teach Reinforcement Learning Agents
No full textIn this article, we study the transfer learning model of action advice under a budget. We focus on reinforcement learning teachers providing action advice to heterogeneous students playing the game of Pac-Man under a limited advice budget. First, we examine several critical factors affecting advice quality in this setting, such as the average performance of the teacher, its variance and the importance of reward discounting in advising. The experiments show that the best performers are not always the best teachers and reveal the non-trivial importance of the coefficient of variation (CV) as a statistic for choosing policies that generate advice. The CV statistic relates variance to the corresponding mean. Second, the article studies policy learning for distributing advice under a budget. Whereas most methods in the relevant literature rely on heuristics for advice distribution, we formulate the problem as a learning one and propose a novel reinforcement learning algorithm capable of learning when to advise or not. The proposed algorithm is able to advise even when it does not have knowledge of the student’s intended action and needs significantly less training time compared to previous learning approaches. Finally, in this article, we argue that learning to advise under a budget is an instance of a more generic learning problem: Constrained Exploitation Reinforcement Learning.</jats:p
Model-based reinforcement learning for humanoids: A study on forming rewards with the iCub platform
No full text
