使用ros_bridge获取深度数据

一、综述

ROS有其自己的消息格式为sensor_msgs/Image的显示图像，但是许多开发者想结合OpenCV来显示处理图像。CvBridge是ROS的一个类，此类提供了ROS与opencv相结合的接口。CvBridge能够在cv_bridge包中的vision_opencv栈中找到。

在本教程中，你将学会通过CvBridge编写一个节点并以此将ros图像转化为opencv中的CV::Mat格式。同样的，你也会学会将opencv图像转化为ros图像。

二、ros图像信息转化为opencv图像

CVBridge定义了一个包含opencv图像的CvImage类型。CvImage包含额外的sensor_msgs/Image信息，因此我们可以将上述俩者进行相互转换。当将ros的sensor_msgs/Image信息转化为CvImage时，CvBridge提供俩种不同的用例。

1.在我们要修改数据的地方。我们必须复制一份ros的信息数据。

2.如果我们不修改数据。我们可以安全地分享由ros消息所拥有的数据，而不用复制。

CvBridge为向CvImage转化提供如下函数：

Case 1: Always copy, returning a mutable CvImage
CvImagePtr toCvCopy(const sensor_msgs::ImageConstPtr& source,
const std::string& encoding = std::string());
CvImagePtr toCvCopy(const sensor_msgs::Image& source,
const std::string& encoding = std::string());

// Case 2: Share if possible, returning a const CvImage
CvImageConstPtr toCvShare(const sensor_msgs::ImageConstPtr& source,
const std::string& encoding = std::string());
CvImageConstPtr toCvShare(const sensor_msgs::Image& source,
const boost::shared_ptr<void const>& tracked_object,
const std::string&am
4000
p; encoding = std::string());

输入是图像的消息指针，以及一个可选的编码参数。编码是指定的cvimage。

toCvCopy从ROS信息中创建图像数据的副本，即使当源和目的地encodings匹配。然而，你可以自由修改返回的cvimage。

toCvShare将cv::Mat点返回在ROS的消息数据，避免复制，如果源和目的编码匹配。只要你保持一份返回的cvimage，ROS的消息数据将不会释放。如果编码不匹配时，它将分配一个新的缓冲区，执行转换。您不得修改返回的cvimage，因为它可能与ROS的图像信息共享数据，这反过来又可能与其他回调共享。

对于常见的图像编码，cvbridge会选择做颜色或像素深度转换是必要的。要使用此功能，指定编码为以下字符串之一:

const std::string RGB8 = "rgb8";
const std::string RGBA8 = "rgba8";
const std::string RGB16 = "rgb16";
const std::string RGBA16 = "rgba16";
const std::string BGR8 = "bgr8";
const std::string BGRA8 = "bgra8";
const std::string BGR16 = "bgr16";
const std::string BGRA16 = "bgra16";
const std::string MONO8="mono8";
const std::string MONO16="mono16";

// OpenCV CvMat types
const std::string TYPE_8UC1="8UC1";
const std::string TYPE_8UC2="8UC2";
const std::string TYPE_8UC3="8UC3";
const std::string TYPE_8UC4="8UC4";
const std::string TYPE_8SC1="8SC1";
const std::string TYPE_8SC2="8SC2";
const std::string TYPE_8SC3="8SC3";
const std::string TYPE_8SC4="8SC4";
const std::string TYPE_16UC1="16UC1";
const std::string TYPE_16UC2="16UC2";
const std::string TYPE_16UC3="16UC3";
const std::string TYPE_16UC4="16UC4";
const std::string TYPE_16SC1="16SC1";
const std::string TYPE_16SC2="16SC2";
const std::string TYPE_16SC3="16SC3";
const std::string TYPE_16SC4="16SC4";
const std::string TYPE_32SC1="32SC1";
const std::string TYPE_32SC2="32SC2";
const std::string TYPE_32SC3="32SC3";
const std::string TYPE_32SC4="32SC4";
const std::string TYPE_32FC1="32FC1";
const std::string TYPE_32FC2="32FC2";
const std::string TYPE_32FC3="32FC3";
const std::string TYPE_32FC4="32FC4";
const std::string TYPE_64FC1="64FC1";
const std::string TYPE_64FC2="64FC2";
const std::string TYPE_64FC3="64FC3";
const std::string TYPE_64FC4="64FC4";

// Bayer encodings
const std::string BAYER_RGGB8="bayer_rggb8";
const std::string BAYER_BGGR8="bayer_bggr8";
const std::string BAYER_GBRG8="bayer_gbrg8";
const std::string BAYER_GRBG8="bayer_grbg8";
const std::string BAYER_RGGB16="bayer_rggb16";
const std::string BAYER_BGGR16="bayer_bggr16";
const std::string BAYER_GBRG16="bayer_gbrg16";
const std::string BAYER_GRBG16="bayer_grbg16";

三、OpenCV图像转换为ROS图像

将Cvimage图像转换为ros图像，使用toImageMsg()成员函数：

class CvImage
{
sensor_msgs::ImagePtr toImageMsg() const;

// Overload mainly intended for aggregate messages that contain
// a sensor_msgs::Image as a member.
void toImageMsg(sensor_msgs::Image& ros_image) const;
};

四、ROS节点例子

1.在工作空间下创建程序包

这里是一个节点，监听ROS图像信息话题，将图像转换为cv::Mat并在其上画圆，用opencv显示图像。并输出深度值。

在工作空间下创建程序包

cd catkin_ws/src
catkin_create_pkg robot_vision roscpp std_msgs cv_bridge image_transport sensor_msgs
cd ..
catkin_make

2.创建.cpp源文件

在创建的程序包的src文件中创建一个文本文件，并命名为getImage.cpp

#include<ros/ros.h>
#include<iostream>
#include<cv_bridge/cv_bridge.h>
#include<sensor_msgs/image_encodings.h>
#include<image_transport/image_transport.h>

//OpenCV2标准头文件
#include<opencv2/core/core.hpp>
#include<opencv2/highgui/highgui.hpp>
#include<opencv2/imgproc/imgproc.hpp>

class RGB_GRAY
{
private:
ros::NodeHandle nh_;
image_transport::ImageTransport it_;
image_transport::Subscriber image_sub_, depth_sub_;
public:
RGB_GRAY()
:it_(nh_)
{
image_sub_ = it_.subscribe("camera/rgb/image_raw", 1, &RGB_GRAY::convert_callback, this);
depth_sub_ = it_.subscribe("/camera/depth/image", 1, &RGB_GRAY::depth_callback, this);
cv::namedWindow("image");
cv::namedWindow("depth");
}

~RGB_GRAY()
{
cv::destroyWindow("image");
cv::destroyWindow("depth");
}

void convert_callback(const sensor_msgs::ImageConstPtr& msg)
{
cv::Mat image;
try
{
image =  cv_bridge::toCvCopy(msg, sensor_msgs::image_encodings::BGR8) -> image;
}
catch(cv_bridge::Exception& e)
{
ROS_ERROR("cv_bridge exception: %s", e.what());
return;
}

//        image.at<cv::Vec3b>(image.rows / 2, image.cols / 2)[0] = 255;
//        image.at<cv::Vec3b>(image.rows / 2, image.cols / 2)[1] = 255;
//        image.at<cv::Vec3b>(image.rows / 2, image.cols / 2)[2] = 0;

cv::circle(image, cvPoint(image.cols / 2, image.rows / 2), 2, cv::Scalar(255, 0, 0), -1);

//        ROS_INFO("%d, %d", image.cols, image.rows);

cv::imshow("image", image);
cv::waitKey(5);
}

void depth_callback(const sensor_msgs::ImageConstPtr& msg)
{
cv::Mat image;
try
{
image =  cv_bridge::toCvCopy(msg, sensor_msgs::image_encodings::TYPE_32FC1) -> image; //image.type==CV32FC1   5
}
catch(cv_bridge::Exception& e)
{
ROS_ERROR("cv_bridge exception: %s", e.what());
return;
}

cv::imshow("depth", image);
cv::waitKey(5);
ROS_INFO("%f", image.at<float>(image.rows / 2, image.cols / 2));

}
};

int main(int argc, char** argv)
{
ros::init(argc, argv, "RGB");
RGB_GRAY obj;
ros::spin();
}

3.编译成可执行文件

在编写程序后，这个文本程序在编译成可执行文件之前是不能够运行的。首先在建立的robot_vision的程序包中的CMakeLists.txt文件中加入如下代码：

add_executable(grayImage src/grayImage.cpp)
target_link_libraries(grayImage ${catkin_LIBRARIES})
add_dependencies(grayImage robot_vision_generate_messages_cpp)

资源下载地址：

http://download.csdn.net/my

参考链接：

http://blog.csdn.net/qq_27050183/article/details/51141998

http://blog.csdn.net/robogreen/article/details/50488215

https://www.cnblogs.com/ronny/p/opencv_road_2.html