2,520 research outputs found
Teacher-apprentices RL (TARL): leveraging complex policy distribution through generative adversarial hypernetwork in reinforcement learning
No full textTypically, a Reinforcement Learning (RL) algorithm focuses in learning a single deployable policy as the end product. Depending on the initialization methods and seed randomization, learning a single policy could possibly leads to convergence to different local optima across different runs, especially when the algorithm is sensitive to hyper-parameter tuning. Motivated by the capability of Generative Adversarial Networks (GANs) in learning complex data manifold, the adversarial training procedure could be utilized to learn a population of good-performing policies instead. We extend the teacher-student methodology observed in the Knowledge Distillation field in typical deep neural network prediction tasks to RL paradigm. Instead of learning a single compressed student network, an adversarially-trained generative model (hypernetwork) is learned to output network weights of a population of good-performing policy networks, representing a school of apprentices. Our proposed framework, named Teacher-Apprentices RL (TARL), is modular and could be used in conjunction with many existing RL algorithms. We illustrate the performance gain and improved robustness by combining TARL with various types of RL algorithms, including direct policy search Cross-Entropy Method, Q-learning, Actor-Critic, and policy gradient-based methods.Green Open Access added to TU Delft Institutional Repository ‘You share, we take care!’ – Taverne project https://www.openaccess.nl/en/you-share-we-take-care Otherwise as indicated in the copyright section: the publisher is the copyright holder of this work and the author uses the Dutch legislation to make this work public.Interactive Intelligenc
BADDr: Bayes-Adaptive Deep Dropout RL for POMDPs
No full textWhile reinforcement learning (RL) has made great advances in scalability, exploration and partial observability are still active research topics. In contrast, Bayesian RL (BRL) provides a principled answer to both state estimation and the exploration-exploitation trade-off, but struggles to scale. To tackle this challenge, BRL frameworks with various prior assumptions have been proposed, with varied success. This work presents a representation-agnostic formulation of BRL under partially observability, unifying the previous models under one theoretical umbrella. To demonstrate its practical significance we also propose a novel derivation, Bayes-Adaptive Deep Dropout rl (BADDr), based on dropout networks. Under this parameterization, in contrast to previous work, the belief over the state and dynamics is a more scalable inference problem. We choose actions through Monte-Carlo tree search and empirically show that our method is competitive with state-of-the-art BRL methods on small domains while being able to solve much larger ones.Green Open Access added to TU Delft Institutional Repository ‘You share, we take care!’ – Taverne project https://www.openaccess.nl/en/you-share-we-take-care Otherwise as indicated in the copyright section: the publisher is the copyright holder of this work and the author uses the Dutch legislation to make this work public.Interactive Intelligenc
A terceira edição de Memórias póstumas de Brás Cubas: O prólogo de Machado de Assis
No full textThis paper aims to publicize the recent discovery that the third edition of Memórias Póstumas de Brás Cubas has two states and discusses the possible implications of this discovery for future editions of the novel, especially if critical or faithful or reliable. One of these states (the best known) doesn’t bring the prologue written for it (“Prólogo da terceira edição”) by Machado de Assis; the other one does. The issue of the disposition of the pre-texts of the narrative is also discussed – because their disposition in the critical edition prepared by the Comissão Machado de Assis (Machado de Assis Commission) does not coincide with any of the editions made during the author’s lifetime. The methodology employed consisted of researching primary sources and reviewing the literature on topics addressed throughout the article. The result that was reached was the observation already indicated (at the beginning of this abstract).Este artigo tem o objetivo de divulgar uma descoberta recente – a de que a terceira edição das Memórias póstumas de Brás Cubas tem dois estados – e as possíveis implicações dessa descoberta para futuras edições do romance, especialmente se críticas ou fiéis ou fidedignas. Um desses estados (o mais conhecido) não traz o prólogo escrito para ela (“Prólogo da terceira edição”) por Machado de Assis, o outro o traz. Também é discutida a questão da disposição dos pré-textos da narrativa – já que a disposição deles na edição crítica preparada pela Comissão Machado de Assis não coincide com nenhuma das edições feitas em vida do autor. A metodologia empregada consistiu na pesquisa de fontes primárias e na revisão bibliográfica dos tópicos abordados ao longo do artigo. O resultado que se alcançou foi a constatação já indicada (no início deste resumo)
Refined Risk Management in Safe Reinforcement Learning with a Distributional Safety Critic
No full textSafety is critical to broadening the real-world use of reinforcement learning (RL). Modeling the safety aspects using a safety-cost signal separate from the reward is becoming standard practice, since it avoids the problem of finding a good balance between safety and performance. However, the total safety-cost distribution of different trajectories is still largely unexplored. In this paper, we propose an actor critic method for safe RL that uses an implicit quantile network to approximate the distribution of accumulated safety-costs. Using an accurate estimate of the distribution of accumulated safetycosts, in particular of the upper tail of the distribution, greatly improves the performance of riskaverse RL agents. The empirical analysis shows that our method achieves good risk control in complex safety-constrained environments.AlgorithmicsIntelligent Electrical Power Grid
qgym: A Gym for Training and Benchmarking RL-Based Quantum Compilation
No full textCompiling a quantum circuit for specific quantum hardware is a challenging task. Moreover, current quantum computers have severe hardware limitations. To make the most use of the limited resources, the compilation process should be optimized. To improve currents methods, Reinforcement Learning (RL), a technique in which an agent interacts with an environment to learn complex policies to attain a specific goal, can be used. In this work, we present qgym, a software framework derived from the OpenAI gym, together with environments that are specifically tailored towards quantum compilation. The goal of qgym is to connect the research fields of Artificial Intelligence (AI) with quantum compilation by abstracting parts of the process that are irrelevant to either domain. It can be used to train and benchmark RL agents and algorithms in highly customizable environments.Green Open Access added to TU Delft Institutional Repository ‘You share, we take care!’ – Taverne project https://www.openaccess.nl/en/you-share-we-take-care Otherwise as indicated in the copyright section: the publisher is the copyright holder of this work and the author uses the Dutch legislation to make this work public.Quantum Circuit Architectures and Technolog
MACHADO DE ASSIS EM DIÁLOGO COM A HISTÓRIA: UMA ANÁLISE DE “O CASO DA VARA”
No full textCom base na leitura de “O caso da vara”, de Machado de Assis, foi possível identificar a existência de um sistema de relações sociais vigente na sociedade brasileira escravocrata do século XIX. Tal sistema encontrava seus alicerces na dominação e na subserviência não só de senhores em relação aos seus escravos, mas também na dependência entre homens livres e pessoas detentoras de algum tipo de poder dentro da sociedade. Sendo assim, o objetivo do presente artigo é analisar o conto de Machado de Assis considerando as relações do texto literário com o contexto social e com os acontecimentos históricos da época do autor, recorrendo a autores como Antonio Candido, Nicolau Sevcenko e Sidney Chalhoub, que percebem a relação entre literatura e sociedade como chave interpretativa não só do texto literário em si como também da própria ficção machadiana. Desta forma, nota-se que, em “O caso da vara”, um dos principais escritores realistas brasileiros se utiliza de uma contenda doméstica, aparentemente sem grande relevância, para ilustrar algumas das marcas distintivas da sociedade patriarcal, tais como a escravidão, o poder senhorial e as relações de dependências, favores e apadrinhamentos
O estranho e o fingimento literário em “um esqueleto”, de Machado de Assis
No full textMediante a análise das relações entre o estranho e o fingimento literário, o presente trabalho revisita “Um esqueleto”, de Machado de Assis. Trata-se de uma releitura com o propósito de mostrar que este conto, publicado em 1875, além de aludir a temas essenciais da condição humana, busca despertar o efeito de imprevisto mas também a co-participação do leitor para complementar a estrutura comunicativa do texto artístico e, por essas razões, recorre a recursos como, por exemplo, o lúdico, a ironia e o humor
PSICANÁLISE E LITERATURA: uma leitura de O Espelho de Machado de Assis
No full textA partir de conceitos da Psicanálise de Freud e da Psicologia Analítica de Jung, procederemos à análise do conto O Espelho de Machado de Assis. A despersonalização de Jacobina e a irrealidade do seu Eu constituem um autêntico caso da clínica psicanalítica, não podendo, pois, ser entendido numa perspectiva apenas literária. Além desse conto estaremos percorrendo também outras obras (contos e romances) mostrando o quanto a ficção de Machado antecipa algumas das proposições psicanalíticas de Freud e Jung. Teceremos ao longo do trabalho comentários acerca da estrutura de narrativa do conto, comparando-a a outras do mesmo autor
Influence-Augmented Local Simulators: a Scalable Solution for Fast Deep RL in Large Networked Systems
No full textLearning effective policies for real-world problems is still an open challenge for the field of reinforcement learning (RL). The main limitation being the amount of data needed and the pace at which that data can be obtained. In this paper, we study how to build lightweight simulators of complicated systems that can run sufficiently fast for deep RL to be applicable. We focus on domains where agents interact with a reduced portion of a larger environment while still being affected by the global dynamics. Our method combines the use of local simulators with learned models that mimic the influence of the global system. The experiments reveal that incorporating this idea into the deep RL workflow can considerably accelerate the training process and presents several opportunities for the future.Interactive IntelligenceAlgorithmic
A terceira edição de Memórias póstumas de Brás Cubas: O prólogo de Machado de Assis
No full textEste artigo tem o objetivo de divulgar uma descoberta recente – a de que a terceira edição das Memórias póstumas de Brás Cubas tem dois estados – e as possíveis implicações dessa descoberta para futuras edições do romance, especialmente se críticas ou fiéis ou fidedignas. Um desses estados (o mais conhecido) não traz o prólogo escrito para ela (“Prólogo da terceira edição”) por Machado de Assis, o outro o traz. Também é discutida a questão da disposição dos pré-textos da narrativa – já que a disposição deles na edição crítica preparada pela Comissão Machado de Assis não coincide com nenhuma das edições feitas em vida do autor. A metodologia empregada consistiu na pesquisa de fontes primárias e na revisão bibliográfica dos tópicos abordados ao longo do artigo. O resultado que se alcançou foi a constatação já indicada (no início deste resumo)
- …
