OpenCv入门（二）——仿射变换和透视变换

为什么要图像重映射？我们可以把每个像素的位置重新映射到新的位置，这可用来创建图像特效，或者修正因镜片等原因导致的图像扭曲。

如何实现？使用OpenCv的remap函数，首先需要定义在重映射处理中使用的映射参数，然后把映射参数应用到输入图像。很明显，定义映射参数的方式将决定产生的效果。这里定义一个转换函数，在图像上创建波浪形效果：

// 重映射图像，创建波浪形效果
void wave(const cv::Mat &image, cv::Mat &result) { 
     // 映射参数
     cv::Mat srcX(image.rows,image.cols,CV_32F); 
     cv::Mat srcY(image.rows,image.cols,CV_32F); 
     // 创建映射参数
     for (int i=0; i<image.rows; i++) { 
         for (int j=0; j<image.cols; j++) { 
         // (i,j)像素的新位置
         srcX.at<float>(i,j)= j; // 保持在同一列
         // 原来在第 i 行的像素，现在根据一个正弦曲线移动
         srcY.at<float>(i,j)= i+5*sin(j/10.0); 
         } 
     } 
     // 应用映射参数
     cv::remap(image, // 源图像
     result, // 目标图像
     srcX, // x 映射
     srcY, // y 映射
     cv::INTER_LINEAR); // 填补方法
}

程序实现原理：

重映射是通过修改像素的位置，生成一个新版本的图像，为了构建新图像，需要指定目标图像中每个像素的原始位置。我们需要的映射函数应该能根据像素的新位置得到像素的原始 位置。这个转换过程描述了如何把新图像的像素映射回原始图像，因此称为反向映射。

在opencv中可以用两个映射参数来说明反向映射参数来说明反向映射：一个针对x坐标，一个针对y坐标，它们都使用浮点数型的cv::Mat实例来表示：

// 映射参数
cv::Mat srcX(image.rows,image.cols,CV_32F); // x 方向
cv::Mat srcY(image.rows,image.cols,CV_32F); // y 方向

这些矩阵大小决定了目标图像的大小。用下面的代码可以从原始图像获得目标图像中(i,j)像素的值：

( srcX.at<float>(i,j) , srcY.at<float>(i,j) )

对于水平翻转，可以改变左右两边的坐标值，也可以实现：

// 创建映射参数
for (int i=0; i<image.rows; i++) { 
     for (int j=0; j<image.cols; j++) { 
         // 水平翻转
         srcX.at<float>(i,j)= image.cols-j-1; 
         srcY.at<float>(i,j)= i; 
     } 
}

要实现效果只需要调用remap函数：

// 应用映射参数
cv::remap(  image, // 源图像
            result, // 目标图像
            srcX, // x 方向映射
            srcY, // y 方向映射
            cv::INTER_LINEAR); // 插值法

（1）使用图像实现逆透视（鸟瞰图）

参考博客：逆透视变换(IPM)多种方式及代码总结 - 古月居

在自动/辅助驾驶中，车道线的检测非常重要。要在前视摄像头拍摄的图像中，由于透视效应的存在，本来平行的事物，在图像中确实相交的。而IPM变换就是消除这种透视的效应，所以也叫逆透视。

IPM分为三种：透视变换、仿射变换、单应性变换。

• 透视变换：不能保证物体形状的"平行性"。透视变换是将一个平面投射到另一个平面，就是把一张图片投射到另一张图片，求的是同一张图片到它的投影图片之间的变换。

• 仿射变换：透视变换的特殊形式。保证物体形状的”平值性“和”平行性"，一般为平移旋转等操作。

• 单应性变换：由三维空间拍摄两张不同的图片来获取关键点，求的是该图片到另一个角度图片的变换，但是变换过后还是这张图片，没有变成另一个角度的图片，变换过后和另一张图片还是不同，因为三维空间得到的背景不同，所以变换后并不能获取关键点对的另一张图片。

IPM变换方法：

• 输入：至少四个对应点对，不能有三点及其以上共线，不需要知道摄像机参数或者平面位置的任何信息。

• 数学原理：利用点对，求解逆透视变换矩，其中map_matrix是一个3×3矩阵，所以可以构建一个线性方程组进行求解。其实就是我们上面说的类似于卷积的操作了。如果大于4个点，可采用ransc的方法进行求解，一边具有更好的稳定性。

 

 

• 选点方法：一般采取手动选取，或者利用消影点（图像上平行线的交点，也叫消失点，vanish point）选取。

实现目标及其实现代码：

 

 

从拍照视角变成鸟瞰图，是自动驾驶领域和机器人导航种常用的手段，以便在该平面上进行规划和导航。这种变换常常用到透视变换，但我们今天在讲解透视变换时，需要普及一下其他的变换，包括平移、旋转、错切以及仿射变换。

基础的变换有如下：

 

 

• 平移

对于矩阵的平移怎么做？对每一个像素点坐标进行平移，就是在相应的矩阵上x,y都加一个变量。

 

 

• 放缩

就是将矩阵图像放缩n倍，也就是长宽各乘一个变量。

 

 

• 旋转

对矩阵（图片）进行旋转，关于旋转的数学推导在后边的仿射会介绍：

 

• 错切

关于公式的推导：

 关于y方向的错切：

 相应的数学表达：

 关于x轴方向的错切：

 那么相应的数学表达：

 之后把其两者合起来：

 那么我们就可以实现如下的四种变换：

那么等式右边就是仿射变换矩阵，是由原图像进行平移、旋转、放缩、错切之后得来的。

那么我们的仿射变换跟透视变换到底有什么区别？

仿射变换是可以将矩形变换成平行四边形（即变换后各边依旧平行），而透视变换可以变成任意不规则四边形。所以仿射变换是透视变换的子集。

仿射变换其实就是单纯对图片进行缩放，倾斜和旋转，因此图片不论如何变换，线之间的平行性是不变的。而透视变换，则是当观察者的视角发生变化时物体发生透视变换，此变换允许造成透视形变。

那么如何实现？

（2）仿射变换

opencv中给出了仿射变换的函数接口：

warpAffine(
	InputArray src,		//输入图像
	OutputArray dst,	//输出图像
	InputArray M,		//仿射计算矩阵
	Size dsize,			//输出图像大小
	int  flags = INIET_LINEAR,	//插值方法
	int  borderMode = BORDER_CONSTANT,
	const Scalar& borderValue = Scalar()
)

这函数的前两个函数就不用详细说了，那么第三个矩阵m是什么，第三个参数其实就是要我们输入上方的2*3的仿射计算矩阵：

 

这个东西可以去掉最后一行。

这个函数的推导在上面，就不多叙述了。这里的核心思想是：坐标系中某个点的旋转可以等价地去旋转坐标轴。

再用这张图看看：

 

我们需要将原坐标系原点(Xs0,Ys0)旋转至新坐标原点。然后要完成旋转操作，旋转操作是基于原点的，也就是图中的蓝色坐标。

我们如何把那点P转移到我们需要的坐标轴上？并且在新建的坐标上确定我们的坐标位置？

那就是一系列的几何知识了：

基于数学，我们可以通过简单的立体几何知识确定P在新坐标系中的坐标。P在新坐标中的X坐标和Y坐标分别是：

 

 那么由矩阵来表示就是这样：

 那么我们完成了旋转操作，那么接下来的平移：

 

那么这个矩阵就出来了。

那么推导是这样的，那怎么去实现?opencv提供了计算仿射矩阵的函数接口：

getAffineTransform(
	const Point2f* src,		//输入图像的点集
	const Point2f* dst		//输出图像的点集
)

 

我们需要输入三对点集。也就是上面的矩阵，要有六个变量，因此至少需要列六个等式才可以算出该矩阵。我们需要找输入图像和输出图像上一一对应的三对点（3个x，y对应计算式）来作为输入。

（3）透视变换原理

仿射变换是在二维空间中的旋转，平移和缩放。而透视变换则是在三维空间中视角的变化。

opencv给的透视变换的函数接口：

void warPerspective(
	InputArray src,		//输入图像
	OutputArray dst,	//输出图像
	InputArray M,		//输入透视变换矩阵M
	Size dsize,
	int flags = INTER_LINEAR,
	int borderMode=BORDER_CONSTANT,
	const Scalar& borderValue=Scalar()
);

 和仿射变换基本相同，不同的是输入透视变换矩阵M大小为3*3：

 上面的矩阵的未知量比仿射变换的矩阵多了一个透视变换矩阵T3（两个未知量），因此我们一共有八个未知量，所以需要给下面的透视变换矩阵的函数提供四对以上的点来求解：

Mat cv::getPerspectiveTransform (
 	const Point2f src[],    //输入图像点集                        
 	const Point2f dst[],    //输出图像点集
 )；

T1为线性变换完成旋转，错切和放缩，T2完成平移操作。T3就是设了两个变量来表示映射关系。

取原图上的四点，之后计算该四点变换后的位置。就是把那个像梯形的东西，转换为长方形。

代码如下：

 

//逆透视
cv::Mat road = cv::imread("./image/cross.jpg");
cv::imshow("原来", road);

//存放要更改的图片
cv::Mat dstImage(1500, 1500, CV_16F);
cv::Point2f imPts[4], objPts[4], mypoint[4];

//画原来的点
mypoint[0].x = 166; mypoint[0].y = 195;
mypoint[1].x = 482; mypoint[1].y = 195;
mypoint[2].x = 80; mypoint[2].y = 350;
mypoint[3].x = 568; mypoint[3].y = 350;

//你想要变成的点
objPts[0].x = 500; objPts[0].y = 200;
objPts[1].x = 1000; objPts[1].y = 200;
objPts[2].x = 500; objPts[2].y = 0;
objPts[3].x = 1000; objPts[3].y = 0;

//计算透视变换矩阵
cv::Mat H = cv::getPerspectiveTransform(mypoint, objPts);
//进行透视变换
cv::warpPerspective(road, dstImage, H, dstImage.size());
//画出透视变换后的四个点
circle(dstImage, objPts[0], 9, cv::Scalar(0, 0, 255), 3);
circle(dstImage, objPts[1], 9, cv::Scalar(0, 0, 255), 3);
circle(dstImage, objPts[2], 9, cv::Scalar(0, 0, 255), 3);
circle(dstImage, objPts[3], 9, cv::Scalar(0, 0, 255), 3);

cv::namedWindow("dddd", cv::WINDOW_FREERATIO);
cv::imshow("dddd", dstImage);

 

0x04 直方图统计像素

在单通道灰度图像种，每个像素都有一共0（黑色）~255（白色）的整数。对于每个灰度，都有不同数量的像素分布在图像内，具体取决于图片内容。

• 直方图是一个简单的表格，表示一幅图像（优势是一组图像）中具有某个值的像素的数量。所以直方图一共有256个项目，也叫箱子(bin)。

实现：

指定一个专门用于处理单通道的类：

class HistogramID {
private:
	int histSize[1];		//直方图中箱子的数量
	float hranges[2];		//值范围
	const float* ranges[1];	//值范围的指针
	int channels[1];		//要检查的通道数量

public:
	HistogramID()
	{
		//准备一维直方图的默认参数
		histSize[0] = 256;		//个数
		hranges[0] = 0.0;		//min
		hranges[1] = 256.0;		//max
		ranges[0] = hranges;	//指向它
		channels[0] = 0;		//先关注通道0
	}
};

计算灰度直方图：

//计算灰度直方图
cv::Mat HistogramID::getHistogram(const cv::Mat& image) {
	cv::Mat hist;
	//使用calcHist函数计算一维直方图
	cv::calcHist(&image, 1,		//仅为一幅图像的直方图
		channels,		//使用的通道
		cv::Mat(),		//不使用掩码
		hist,			//作为结果的直方图
		1,				//这是一维的直方图
		histSize,		//箱子数量
		ranges			//像素值的范围
	);
	return hist;
}

使用：

//计算灰度直方图
HistogramID VV;
cv::Mat histo = VV.getHistogram(image);
//遍历数组，可得到对应的灰度的个数
for (int i = 0; i < 256; i++)
		std::cout << "Value" << i << "=" << histo.at<float>(i) << std::endl;

可能这么看不大直观，可以使用画图画出来：

//创建一个表示直方图的图像
cv::Mat getImageOfHistogram(const cv::Mat& hist, int zoom)
{
	//取得箱子值的最大值和最小值
	double maxVal = 0;
	double minVal = 0;
	cv::minMaxLoc(hist, &minVal, &maxVal, 0, 0);

	//取值直方图
	int histSize = hist.rows;

	//用于显示直方图的方形图像
	cv::Mat histImg(histSize * zoom,histSize * zoom, CV_8U, cv::Scalar(255));
	//设置最高点为100%的箱子个数
	int hpt = static_cast<int>(1.00 * histSize);
	//为每个箱子画垂直线
	for (int h = 0; h < histSize; h++)
	{
		float binVal = hist.at<float>(h);
		if (binVal > 0)
		{
			int intensity = static_cast<int>(binVal * hpt / maxVal);
			cv::line(histImg, cv::Point(h * zoom, histSize * zoom),
				cv::Point(h * zoom, (histSize - intensity) * zoom),
				cv::Scalar(0), zoom);
		}
	}
	return histImg;
}

//画出直方图
 cv::Mat HistogramID::getHistogramImage(const cv::Mat& image,int zoom) {
	//计算出直方图
	cv::Mat hist =getHistogram(image);
	//创建图像
	return getImageOfHistogram(hist,zoom);
}

使用：

//以图像形式显示直方图
cv::namedWindow("Histogram");
cv::imshow("Histogram",VV.getHistogramImage(image));

 从上面图形化的直方图可以看出，在黑白两种颜色都有一个很大的尖峰，这两部分像素也分别对应了图像的背景和前景。所以在这两部分之间的那个值其实就是我们需要的阈值。我们取直方图中在升高为顶峰之前的最小值的位置（灰度值为100）对其进行阈值处理，可得到二值化图像:

//输出二值化图像
cv::Mat thresholded;	
cv::threshold(
                image,
                thresholded,
                100,
                255,
                cv::THRESH_BINARY	//阈值化类型
);
cv::imshow("thresholded", thresholded);

但是可以发现，这种方法算出来的二值化图像，实在是太多噪点了：