OpenAI_ROS做强化学习
文章目录
一、主要资源
1、The openai_ros package
作为连接RL与ROS & Gazebo的桥梁,openai_ros包一定需要了解,链接为:
openai_ros
Learn the basics of openai_ros using a Turtlebot2 simulation
2、网页教程(免费)
主页
20180814_[ROS Projects] – Use OpenAI_ROS with Turtlebot2 Step by Step – PE
20180719_[ROS Projects] – Use OpenAI_ROS with Turtlebot2 Step by Step #Part 1
20180730_[ROS Projects] – Use OpenAI_ROS with TurtleBot2 Step-by-Step #Part 2
3、在线课程(收费)
二、CSDN上的资源
1、抚琴弹出情调零
gym-gazebo安装
系统: ubuntu18.04 ubuntu16.04(已弃用) ubuntu14.04(已弃用)
ROS: Melodic
Gzebo: 9.0
20190809_openai_ros教程( ros gazebo 深度强化学习)
测试环境:ubuntu16.04,kinetic
2、zhangrelay
其人应该是ROS界的大牛。
主页
20190430ROS、OpenAI和Gazebo机器人与人工智能仿真与实践教研杂记(一)安装配置
课程教学实践环境:
系统:Ubuntu 18.04.2 LTS + ROS Melodic(1.0)1.14.3 ~ 1943 + ROS Crystal(2.0)0.6.1 ~ 541 etc.
仿真:Gazebo 9.8.0 + V-Rep 3.6.1 + Webots 2019a.1 etc.
实物:Cozmo/Vector + Leap Motion + Joystick + Camera + Microphone + Speaker + Phone(ios&android)+ Arduino etc.
镜像:ROS2Go ver2.0 + 实验楼ROS + Exbot ROS iso indigo&kinetic etc.
书籍:ROS机器人高效编程 + ROS机器人项目开发11例 etc.
编程:Matlab 2018a + Python 2.7 + Python 3.6 + C++ etc.
智能:Tensorflow + Caffe + OpenAI etc.
语音:科大讯飞 + 百度语音 + Sphinx etc.
Ubuntu 18.04.2 LTS
gym-gazebo支持ROS Melodic(1.0)
gym-gazebo2支持ROS Crystal(2.0)
20190513_ROS、OpenAI和Gazebo机器人与人工智能仿真与实践教研杂记(三)深度学习
关于ROS、OpenAI和Gazebo已经测试过环境包括:
Ubuntu 16.04 + ROS 1 Kinetic + OpenAI + Gazebo 7
Ubuntu 18.04 + ROS 1 Melodic + OpenAI +Gazebo 9
3、天涯0508
开发环境为Ubuntu 16.04、ROS版本为kinetic、py2。
主页
20180830_ROS开发笔记(8)——Turtlebot3 Gazebo仿真环境下深度强化学习DQN(Deep Q-Learning)开发环境构建
20180909_ROS开发笔记(9)——ROS 深度强化学习应用之keras版本dqn代码分析
20180914_ROS开发笔记(10)——ROS 深度强化学习dqn应用之tensorflow版本(double dqn/dueling dqn/prioritized replay dqn)
4、lxlong89940101
主页
20190528_强化学习实现四旋翼无人机的路径选择(Gym+Gym-Gazebo+Gazebo+Ros)
20190410_ROS+Gazebo+Gym+Gym_gazebo安装配置
5、RainStarX
主页
20181010_安装Airsim并在Airsim仿真环境下进行DDPG DQN强化学习算法无人机训练
三、FYO_踩坑记录
1、初步尝试
按照“一、1”与“二、1”中的教程进行操作都不太顺利,于是把openai_examples_projects中的turtle2_openai_ros_example全部拷下来,仍然问题不断、不得其解。
当前阶段的最大问题在于gym-gazebo总是不能安装好:
$ sudo pip install -e [sudo] password for fyo: Usage: pip install [options] <requirement specifier> [package-index-options] ... pip install [options] -r <requirements file> [package-index-options] ... pip install [options] [-e] <vcs project url> ... pip install [options] [-e] <local project path> ... pip install [options] <archive url/path> ... -e option requires an argument
2、官方教程
找到了gym-gazebo的官方安装教程
里面写着几大打字:
Installation
Ubuntu 18.04
Ubuntu 16.04 (deprecated)
Ubuntu 14.04 (deprecated)
后面俩被官方弃用?!
不过后面也给出了Ubuntu 16.04 Basic requirements:
ROS Kinetic (/rosversion: 1.12.7)
Gazebo 8.1.1
Python 3.5.2
OpenCV3, installed from sources for Python 3 (git clone https://github.com/Itseez/opencv.git)
OpenAI gym
3、参考‘天涯0508’
Gazebo的版本倒还好说,但是python这恐怕是个大问题吧?当初为了安装ROS,特地建了一个使用python2.7的虚拟空间来着,现在忽然提到python3.5?我需要琢磨琢磨。
另外,即使未来可能出现兼容方面的问题,那也不应该此时安装不了呀?
‘天涯0508’和我的当前配置最为接近,我打算以他的内容为主要参考进行研究。完全参考他的这篇进行安装。安装tensorflow时有报错,回头再应对。
启动turtlebot3 gazebo环境等节点:
roslaunch turtlebot3_gazebo turtlebot3_stage_1.launch
发生报错:
根据这篇文章得以顺利解决:
export TURTLEBOT3_MODEL=burger
成功启动turtlebot3 gazebo环境等节点,调出仿真环境。
打开另外一个终端,启动DQN算法等节点:
source activate tensorflow roslaunch turtlebot3_dqn turtlebot3_dqn_stage_1.launch
有报错:
错误:ImportError: libcublas.so.9.0: cannot open shared object file: No such file or directory
问题:找不到cuda9.0的版本。
出现该错误的主要原因:cuda未安装或者cuda的版本有问题
接下来python、tensorflow、cuda、cudnn、ros之间的版本都需要进行统筹规划。目前py27虚拟环境中并没有安装cuda等,但是有tf。
接下来的安装过程重点参考这篇文章
另外,既然官方已经弃用了ubuntu16,那么我在尝试16.04上搭建环境之后,其实也应该尽快尝试搭建18.04环境!
- 点赞 2
- 收藏
- 分享
- 文章举报
- [失败] 尝试四:ubuntu18.04.3重装,搭建ROS Melodic & openai_ros [失败]
- [失败] 尝试二:ubuntu18.04.1重装,搭建ROS Melodic & openai_ros [失败]
- DeepMind的AI学会了画画,利用强化学习完全不需人教
- AI-Thinker AI Light / Noduino OpenLight
- 十倍模型计算时间仅增20%:OpenAI开源梯度替换插件
- 学界 | OpenAI 发布稀疏计算内核,更宽更深的网络,一样的计算开销
- 从OpenAI看深度学习研究前沿
- OpenAI新动态,马斯克“出局”董事会
- 牛津、剑桥、OpenAI 等多家机构发布重磅报告,论述恶意人工智能的「罪与罚」
- Win10环境下使用WSL安装OpenAI/gym +TensorFlow用强化学习DQN打砖块(Breakout Game)
- OpenAI发现人工智能已开始学会情绪判断能力
- 给我一个开头就能写故事, OpenAI的新型多功能AI模型GPT-2
- 这个高仿真框架AI2-THOR,想让让强化学习快速走进现实世界
- OpenAI Gym 关于CartPole的模拟退火解法
- 强化学习-安装OpenAI gym box2d-py遇到的问题
- 解决使用OpenAI gym进行调试时抛出异常的问题
- ubuntu16.04+ROS+科大讯飞+图灵AI机器人(一)
- how to open broswser in Swing
- Microsoft is investing $1 billion in OpenAI