SlideShare a Scribd company logo

[DL輪読会] Adversarial Skill Chaining for Long-Horizon Robot Manipulation via Terminal State Regularization (CoRL 2021)

Deep Learning JP, profile picture
Deep Learning JP

2021/12/10 Deep Learning JP: http://deeplearning.jp/seminar-2/

Technology
Related topics:
Deep Learning
1 of 18
Download to read offline
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ Adversarial Skill Chaining for Long-Horizon Robot Manipulation via Terminal State Regularization (CoRL 2021) Presenter: Mitsuhiko Nakamoto, The University of Tokyo
Adversarial Skill Chaining for Long-Horizon Robot Manipulation via Terminal State Regularization https://clvrai.github.io/skill-chaining/ Author: Youngwoon Lee, Joseph J. Lim, Anima Anandkumar, Yuke Zhu (USC, NVIDA, Caltech, UT Austin) Conference: CoRL 2021 概要: 複数のskillを繋げてlong-horizon manipulation taskを解くRL手法を提案 書誌情報
- 強化学習では、単一のpolicyでlong-horizon taskを解くのは難しい - 複数のsubtaskに分解して解くアプローチが主流 - それぞれの subtask policy を学習 → subtask policy を順番に実行 (skill chaining) - skill chainingは、 の終端状態分布と の初期状態分布が乖離していると上手くいかない πi πi+1 背景と課題
先行研究: Policy Sequencing - 赤: terminal states / 緑: initial states - (a) の終端状態分布と の初期状態分布が乖離していると上手くいかない - (b) の対応可能な初期状態分布を広げると、その分終端状態も広がってしまう πi−1 πi πi
提案手法: Terminal State Regularization - sub policy を学習する際に、終端状態が の初期状態分布に近づくような制約を加える πi−1 πi
提案手法の流れ 事前準備： - Long-horizon task を subtask に分解 - 各 subtask に対して、expert demonstations を用意 - , Step 1. Learning Subtask Policies - 各 subtask に対して、それ解く方策 を学習（デモデータから模倣学習） Step 2. Skill Chaining with Terminal State Regularization - 1だけだと、sub policy 間の終端/初期状態分布の乖離が生じて上手くskill chainingできない - 各 sub policy を Terminal State Regularization を用いてfine-tuning ℳi ℳi De i De i = {τe 1, …, τe N} τe j = (s0, a0, …, sTj−1, aTj−1, sTj) ℳi πi θ πi θ
Step 1. Learning Subtask Policies with GAIL - Subtaskの方策 を環境からの報酬のみで学習するのは効率が悪い - 本研究では、Generative Adversarial Imitation Learning (GAIL) を用いて効率化 - GAILでは、方策 の軌道を expert demonstrations と区別されないように学習 - の学習に使用する報酬は以下： πi θ πi θ De i πi θ Ri (st, at, st+1; ϕ) = λ1Ri ENV (st, at, st+1) + λ2Ri GAIL (st, at; ϕ) 通常の環境からの報酬 GAILのdiscriminatorを用いた報酬 Ri GAIL (st, at; ϕ) = 1 − 0.25 ⋅ [fi ϕ (st, at) − 1] 2
Step 2. Terminal State Regularization - sub policy の終端状態が の初期状態分布に近づくような制約を加えて fine-tuning - の終端状態と の初期状態を分別する discriminator を学習 - : を用いて を成功させた軌道の終端状態の集合 - : を用いて を成功させた軌道の初期状態の集合 - discriminator は 以下の損失関数を最小化して学習 πi−1 πi πi−1 πi βi−1 πi−1 subtaski−1 Ii πi subtaski Di ω (st)
Step 2. Terminal State Regularization - discriminator は、入力 が の初期状態に似ていれば大きい値を出力する - の終端状態が の初期状態分布に近づくような正則化項 (terminal state regularization) Di+1 ω (st) st πi+1 πi πi+1 - を以下の報酬でfine-tuning πi Ri (st, at, st+1; ϕ, ω) = λ1Ri ENV (st, at, st+1) + λ2Ri GAIL (st, at; ϕ) + λ3Ri TSR (st+1; ω) タスクを成功させるための報酬 terminal state regularization
[DL輪読会] Adversarial Skill Chaining for Long-Horizon Robot Manipulation via Terminal State Regularization (CoRL 2021)
実験環境: Furniture Assembly TABLE LACK: table leg x 4 CHAIR INGOLF: seat supports x 2, chair seat x 1, front legs x 1 - それぞれ4つのsubtaskに分解 - GAIL用のdemonstrationは、各subtaskにつき200個用意
Baselines BC, PPO, GAIL, GAIL + PPO: 単一の方策で学習 SPiRL: Hierarchical Skill-based learning [Pertsch+ 2020] Policy Sequencing: [Clegg+ 2018] T-STAR (Proposed)
実験結果 - 200 testing episodes におけるタスクの平均達成率 (1つのsubtaskを完了したら達成率+0.25) - BC, GAIL, SPiRL, PPOは一つのsubtaskを完了することすらできなかった - GAIL + PPOは1つの部品を組み立てることには成功したが、それ以上はできなかった
実験結果 - Policy Sequencingでは達成率が 0.63 & 0.77 であるのに対して、提案手法は 0.90 & 0.89 - policy間の終端状態と初期状態を近づけたことによってパフォーマンスが向上
実験結果: TABLE LACK T-STAR (Proposed) Policy Sequencing GAIL+PPO BC https://clvrai.github.io/skill-chaining/
実験結果: CHAIR_INGOLF T-STAR (Proposed) Policy Sequencing GAIL+PPO BC https://clvrai.github.io/skill-chaining/
実験結果: Qualitative Results - 3つ目のsub policyの終端状態をPCAで2次元に圧縮して可視化 (青: Proposed / 赤: Policy Sequencing) - Policy Sequencing (赤) は学習を進めるにつれ、終端状態の分布が広がっている - 提案手法 (青) は終端状態の分布がまとまっている
まとめ - 複数のskillを繋げてlong-horizon manipulation taskを解くRL手法を提案 - Terminal State Regularization を用いて policy 間の終端状態と初期状態を近づけた - Furniture assemblyのタスクで高いパフォーマンスを発揮

More Related Content

PDF
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
Deep Learning JP
 
PPTX
【DL輪読会】DayDreamer: World Models for Physical Robot Learning
Deep Learning JP
 
PDF
[DL輪読会]近年のオフライン強化学習のまとめ —Offline Reinforcement Learning: Tutorial, Review, an...
Deep Learning JP
 
PDF
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
 
PDF
Transformer メタサーベイ
cvpaper. challenge
 
PPTX
Tensor コアを使った PyTorch の高速化
Yusuke Fujimoto
 
PPTX
強化学習 DQNからPPOまで
harmonylab
 
PPTX
[DL輪読会]Dream to Control: Learning Behaviors by Latent Imagination
Deep Learning JP
 
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
Deep Learning JP
 
【DL輪読会】DayDreamer: World Models for Physical Robot Learning
Deep Learning JP
 
[DL輪読会]近年のオフライン強化学習のまとめ —Offline Reinforcement Learning: Tutorial, Review, an...
Deep Learning JP
 
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
 
Transformer メタサーベイ
cvpaper. challenge
 
Tensor コアを使った PyTorch の高速化
Yusuke Fujimoto
 
強化学習 DQNからPPOまで
harmonylab
 
[DL輪読会]Dream to Control: Learning Behaviors by Latent Imagination
Deep Learning JP
 

What's hot (20)

PPTX
【DL輪読会】論文解説：Offline Reinforcement Learning as One Big Sequence Modeling Problem
Deep Learning JP
 
PPTX
【DL輪読会】Transformers are Sample Efficient World Models
Deep Learning JP
 
PDF
自己教師学習（Self-Supervised Learning）
cvpaper. challenge
 
PPTX
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
Deep Learning JP
 
PPTX
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
 
PDF
第7回WBAシンポジウム：予測符号化モデルとしての 深層予測学習とロボット知能化
The Whole Brain Architecture Initiative
 
PDF
深層生成モデルと世界モデル
Masahiro Suzuki
 
PPTX
Transformerを雰囲気で理解する
AtsukiYamaguchi1
 
PPTX
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
Deep Learning JP
 
PPTX
Curriculum Learning （関東CV勉強会）
Yoshitaka Ushiku
 
PDF
【DL輪読会】DINOv2: Learning Robust Visual Features without Supervision
Deep Learning JP
 
PPTX
[DL輪読会] マルチエージェント強化学習と心の理論
Deep Learning JP
 
PPTX
【論文読み会】Autoregressive Diffusion Models.pptx
ARISE analytics
 
PPTX
強化学習アルゴリズムPPOの解説と実験
克海 納谷
 
PPTX
【DL輪読会】Contrastive Learning as Goal-Conditioned Reinforcement Learning
Deep Learning JP
 
PPTX
【DL輪読会】Data-Efficient Reinforcement Learning with Self-Predictive Representat...
Deep Learning JP
 
PPTX
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
 
PDF
【メタサーベイ】Video Transformer
cvpaper. challenge
 
PDF
Active Learning の基礎と最近の研究
Fumihiko Takahashi
 
PDF
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
narumikanno0918
 
【DL輪読会】論文解説：Offline Reinforcement Learning as One Big Sequence Modeling Problem
Deep Learning JP
 
【DL輪読会】Transformers are Sample Efficient World Models
Deep Learning JP
 
自己教師学習（Self-Supervised Learning）
cvpaper. challenge
 
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
Deep Learning JP
 
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
 
第7回WBAシンポジウム：予測符号化モデルとしての 深層予測学習とロボット知能化
The Whole Brain Architecture Initiative
 
深層生成モデルと世界モデル
Masahiro Suzuki
 
Transformerを雰囲気で理解する
AtsukiYamaguchi1
 
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
Deep Learning JP
 
Curriculum Learning （関東CV勉強会）
Yoshitaka Ushiku
 
【DL輪読会】DINOv2: Learning Robust Visual Features without Supervision
Deep Learning JP
 
[DL輪読会] マルチエージェント強化学習と心の理論
Deep Learning JP
 
【論文読み会】Autoregressive Diffusion Models.pptx
ARISE analytics
 
強化学習アルゴリズムPPOの解説と実験
克海 納谷
 
【DL輪読会】Contrastive Learning as Goal-Conditioned Reinforcement Learning
Deep Learning JP
 
【DL輪読会】Data-Efficient Reinforcement Learning with Self-Predictive Representat...
Deep Learning JP
 
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
 
【メタサーベイ】Video Transformer
cvpaper. challenge
 
Active Learning の基礎と最近の研究
Fumihiko Takahashi
 
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
narumikanno0918
 
Ad

More from Deep Learning JP (20)

PPTX
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
Deep Learning JP
 
PPTX
【DL輪読会】事前学習用データセットについて
Deep Learning JP
 
PPTX
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
Deep Learning JP
 
PPTX
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
Deep Learning JP
 
PPTX
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
Deep Learning JP
 
PPTX
【DL輪読会】マルチモーダル LLM
Deep Learning JP
 
PDF
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
Deep Learning JP
 
PPTX
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
Deep Learning JP
 
PDF
【DL輪読会】Can Neural Network Memorization Be Localized?
Deep Learning JP
 
PPTX
【DL輪読会】Hopfield network　関連研究について
Deep Learning JP
 
PPTX
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
Deep Learning JP
 
PDF
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
Deep Learning JP
 
PDF
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
Deep Learning JP
 
PPTX
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
Deep Learning JP
 
PPTX
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
Deep Learning JP
 
PDF
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
Deep Learning JP
 
PPTX
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
Deep Learning JP
 
PDF
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
Deep Learning JP
 
PDF
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
Deep Learning JP
 
PPTX
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
Deep Learning JP
 
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
Deep Learning JP
 
【DL輪読会】事前学習用データセットについて
Deep Learning JP
 
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
Deep Learning JP
 
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
Deep Learning JP
 
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
Deep Learning JP
 
【DL輪読会】マルチモーダル LLM
Deep Learning JP
 
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
Deep Learning JP
 
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
Deep Learning JP
 
【DL輪読会】Can Neural Network Memorization Be Localized?
Deep Learning JP
 
【DL輪読会】Hopfield network　関連研究について
Deep Learning JP
 
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
Deep Learning JP
 
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
Deep Learning JP
 
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
Deep Learning JP
 
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
Deep Learning JP
 
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
Deep Learning JP
 
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
Deep Learning JP
 
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
Deep Learning JP
 
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
Deep Learning JP
 
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
Deep Learning JP
 
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
Deep Learning JP
 
Ad

[DL輪読会] Adversarial Skill Chaining for Long-Horizon Robot Manipulation via Terminal State Regularization (CoRL 2021)

  • 1. DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ Adversarial Skill Chaining for Long-Horizon Robot Manipulation via Terminal State Regularization (CoRL 2021) Presenter: Mitsuhiko Nakamoto, The University of Tokyo
  • 2. Adversarial Skill Chaining for Long-Horizon Robot Manipulation via Terminal State Regularization https://clvrai.github.io/skill-chaining/ Author: Youngwoon Lee, Joseph J. Lim, Anima Anandkumar, Yuke Zhu (USC, NVIDA, Caltech, UT Austin) Conference: CoRL 2021 概要: 複数のskillを繋げてlong-horizon manipulation taskを解くRL手法を提案 書誌情報
  • 3. - 強化学習では、単一のpolicyでlong-horizon taskを解くのは難しい - 複数のsubtaskに分解して解くアプローチが主流 - それぞれの subtask policy を学習 → subtask policy を順番に実行 (skill chaining) - skill chainingは、 の終端状態分布と の初期状態分布が乖離していると上手くいかない πi πi+1 背景と課題
  • 4. 先行研究: Policy Sequencing - 赤: terminal states / 緑: initial states - (a) の終端状態分布と の初期状態分布が乖離していると上手くいかない - (b) の対応可能な初期状態分布を広げると、その分終端状態も広がってしまう πi−1 πi πi
  • 5. 提案手法: Terminal State Regularization - sub policy を学習する際に、終端状態が の初期状態分布に近づくような制約を加える πi−1 πi
  • 6. 提案手法の流れ 事前準備： - Long-horizon task を subtask に分解 - 各 subtask に対して、expert demonstations を用意 - , Step 1. Learning Subtask Policies - 各 subtask に対して、それ解く方策 を学習（デモデータから模倣学習） Step 2. Skill Chaining with Terminal State Regularization - 1だけだと、sub policy 間の終端/初期状態分布の乖離が生じて上手くskill chainingできない - 各 sub policy を Terminal State Regularization を用いてfine-tuning ℳi ℳi De i De i = {τe 1, …, τe N} τe j = (s0, a0, …, sTj−1, aTj−1, sTj) ℳi πi θ πi θ
  • 7. Step 1. Learning Subtask Policies with GAIL - Subtaskの方策 を環境からの報酬のみで学習するのは効率が悪い - 本研究では、Generative Adversarial Imitation Learning (GAIL) を用いて効率化 - GAILでは、方策 の軌道を expert demonstrations と区別されないように学習 - の学習に使用する報酬は以下： πi θ πi θ De i πi θ Ri (st, at, st+1; ϕ) = λ1Ri ENV (st, at, st+1) + λ2Ri GAIL (st, at; ϕ) 通常の環境からの報酬 GAILのdiscriminatorを用いた報酬 Ri GAIL (st, at; ϕ) = 1 − 0.25 ⋅ [fi ϕ (st, at) − 1] 2
  • 8. Step 2. Terminal State Regularization - sub policy の終端状態が の初期状態分布に近づくような制約を加えて fine-tuning - の終端状態と の初期状態を分別する discriminator を学習 - : を用いて を成功させた軌道の終端状態の集合 - : を用いて を成功させた軌道の初期状態の集合 - discriminator は 以下の損失関数を最小化して学習 πi−1 πi πi−1 πi βi−1 πi−1 subtaski−1 Ii πi subtaski Di ω (st)
  • 9. Step 2. Terminal State Regularization - discriminator は、入力 が の初期状態に似ていれば大きい値を出力する - の終端状態が の初期状態分布に近づくような正則化項 (terminal state regularization) Di+1 ω (st) st πi+1 πi πi+1 - を以下の報酬でfine-tuning πi Ri (st, at, st+1; ϕ, ω) = λ1Ri ENV (st, at, st+1) + λ2Ri GAIL (st, at; ϕ) + λ3Ri TSR (st+1; ω) タスクを成功させるための報酬 terminal state regularization
  • 11. 実験環境: Furniture Assembly TABLE LACK: table leg x 4 CHAIR INGOLF: seat supports x 2, chair seat x 1, front legs x 1 - それぞれ4つのsubtaskに分解 - GAIL用のdemonstrationは、各subtaskにつき200個用意
  • 12. Baselines BC, PPO, GAIL, GAIL + PPO: 単一の方策で学習 SPiRL: Hierarchical Skill-based learning [Pertsch+ 2020] Policy Sequencing: [Clegg+ 2018] T-STAR (Proposed)
  • 13. 実験結果 - 200 testing episodes におけるタスクの平均達成率 (1つのsubtaskを完了したら達成率+0.25) - BC, GAIL, SPiRL, PPOは一つのsubtaskを完了することすらできなかった - GAIL + PPOは1つの部品を組み立てることには成功したが、それ以上はできなかった
  • 14. 実験結果 - Policy Sequencingでは達成率が 0.63 & 0.77 であるのに対して、提案手法は 0.90 & 0.89 - policy間の終端状態と初期状態を近づけたことによってパフォーマンスが向上
  • 15. 実験結果: TABLE LACK T-STAR (Proposed) Policy Sequencing GAIL+PPO BC https://clvrai.github.io/skill-chaining/
  • 16. 実験結果: CHAIR_INGOLF T-STAR (Proposed) Policy Sequencing GAIL+PPO BC https://clvrai.github.io/skill-chaining/
  • 17. 実験結果: Qualitative Results - 3つ目のsub policyの終端状態をPCAで2次元に圧縮して可視化 (青: Proposed / 赤: Policy Sequencing) - Policy Sequencing (赤) は学習を進めるにつれ、終端状態の分布が広がっている - 提案手法 (青) は終端状態の分布がまとまっている
  • 18. まとめ - 複数のskillを繋げてlong-horizon manipulation taskを解くRL手法を提案 - Terminal State Regularization を用いて policy 間の終端状態と初期状態を近づけた - Furniture assemblyのタスクで高いパフォーマンスを発揮