Fisher's Blog

Sein heißt Werden
Leben heißt Lernen

0%

发表于 更新于 分类于 ， 阅读次数： Valine：
  1. 马尔可夫决策过程(MDP)定义整理
  2. 基于模型的动态规划 Planning by Dynamic Programming
  3. 无模型预测 Model-Free Predication
  4. 无模型控制 Model-Free Control
  5. 值函数近似 Value Function Approximation
    1. Deep Q-Network
    2. DQN 代码实现
    3. Double DQN & 代码实现
    4. Prioritized Experience Replay
    5. Prioritized Experience Replay 代码实现
    6. Dueling Network Architectures for Deep Reinforcement Learning & 代码实现
  6. 策略梯度 Policy Gradient
    1. Actor-Critic Softmax & Gaussian Policy 代码实现
    2. Deterministic Policy Gradient
    3. Deep Deterministic Policy Gradient
    4. DDPG 代码实现
    5. Deep Reinforcement Learning In Parameterized Action Space
    6. Asynchronous Methods for Deep Reinforcement Learning
    7. A3C 代码实现
    8. Trust Region Policy Optimization
    9. High-Dimensional Continuous Control Using Generalized Advantage Estimation
    10. Proximal Policy Optimization Algorithms
    11. Proximal Policy Optimization 代码实现
  7. 整合学习与规划 Integrating Learning and Planning

发表于 更新于 阅读次数： Valine：

CAT-SAC: Soft Actor-Critic with Curiosity-Aware Entropy Temperature, ICRL 2021

Stabilizing Deep Q-Learning with ConvNets and Vision Transformers under Data Augmentation, arXiv:2107.00644 [cs]

Self-Supervised Policy Adaptation during Deployment, ICLR 2021

阅读全文 »

发表于 更新于 阅读次数： Valine：

本文的基本思想是要通过表征学习，将图像的观测输入映射为向量化状态，再交由强化学习训练。但该表征学习不需要额外的领域知识，也不是 reconstruction 重建式的表征，它是通过衡量两个状态之间的 bisimulation metrics 来学习到一种不包含无关信息、对任务没有任何帮助的表征。

阅读全文 »

发表于 更新于 阅读次数： Valine：

本文主要针对强化学习中的泛化问题，提出了要分离价值网络与策略网络，来解决一个共享的表征导致的过拟合表征问题和价值函数估计不准确的问题，同时利用对抗网络，来鼓励学习一种与任务无关的表征，从这两点提高强化学习的泛化性。

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：

为了解决无模型强化学习中稳定优化非线性值函数估计、避免 Q-learning 中由于 target Q 引起的偏差传递及更有效的探索，SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep Reinforcement Learning 这篇论文结合了三种方法：1. 随机初始化一系列不同的智能体；2. 带权重的 Bellman backups；3. 在推断阶段使用上置信来选取动作。主要创新在第一点方法上，相当于是 TD3 算法的扩展。

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：

在强化学习中， 一直存在数据利用率低的问题，尤其是在观测值是高维图像的情况下。如果引入一些额外的辅助任务，将这些任务的知识迁移到强化学习主任务中是一个可以提高数据利用率的方法，同时也能帮助提高强化学习的基础表征，但如何将这些辅助任务进行融合是一个大问题，因为不确定这些辅助任务是否真的在帮助主任务，也不知道它们何时会对主任务的训练产生反作用。

Adapting Auxiliary Losses Using Gradient Similarity & Adaptive Auxiliary Task 主要利用各任务梯度之间的余弦相似度作为权重来判断辅助任务是否在帮助降低主任务的损失。Adaptive Auxiliary Task Weighting for Reinforcement Learning 则提出了一种在线学习的算法，主要基于辅助任务应该从长远来看提供一种帮助降低主任务损失的梯度方向。两篇论文都是想要动态调节辅助任务损失的权重来达到融合辅助任务的作用。

阅读全文 »

发表于 更新于 阅读次数： Valine：

本文主要说明在 Kubesphere 自动化生成的 Kubernetes 中，如何监控 GPU ，如何获取每个节点上使用 GPU 的进程信息并将其转换为 Kubernetes 中的 Pod 信息。所有信息数据都由 Kubesphere 生成的 prometheus 进行抓取。

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：

Never Give Up: Learning Directed Exploration Strategies 是 DeepMind 在 ICLR 2020 上发表的一篇论文，主要解决探索与利用问题。这篇论文可以看作是三篇论文的结合：

  1. Curiosity-driven Exploration by Self-supervised Prediction
  2. Neural Episodic Control
  3. Exploration by Random Network Distillation

也是使用内在奖励 (intrinsic reward) 机制，与外部奖励 (external reward) 合起来作为奖励值进行强化学习的训练。

阅读全文 »