双目相机和立体视觉

概述

两个相机从不同角度同时拍摄某个物体，我们可以得出该物体的长宽，与相机的距离等，本文阐述这其中的原理。

相机成像原理

下图就是相机的成像原理，图像中的被摄点 $(x, y)$，在现实中的位置可以是该点和相机连成的直线上的任意位置。

如果要确定被摄点在现实中的位置，需要两个相机从不同角度同时拍摄，如下图所示，$(C_1, P_1)、(C_2, P_2)$ 两条直线相交于 $P$ 点，即被摄点在现实中的位置。

坐标系

相机坐标系 & 世界坐标系

上图中的画出的两个坐标系称为相机坐标系，以相机在现实中的位置 $C_1、C_2$ 为原点。

$P$ 所处的坐标系称为世界坐标系，原点位置可以任选，例如可以将左相机坐标系当作世界坐标系，以 $C_1$ 为原点。

投影坐标系 & 图像坐标系

上图中画出的 $P_1、P_2$ 所在的平面上的坐标系称为投影坐标系，以物理尺寸为单位；拍摄得到的图像上的坐标系称为图像坐标系，以像素为单位。

图像其实就是数组，数组中的元素就是像素，彩色图用3个整型值描述1个像素，灰度图用1个整型值描述1个像素。

图中 $O_0$ 为图像坐标系，原点为图像左上角像素位置；$O_1$ 为投影坐标系，原点为像主点 $(u_0, v_0)$ 位置。

像主点就是相机坐标系原点到成像平面的垂点，即图二中 $z$ 轴与成像平面的交点。

坐标转换

通过被摄点的两个图像坐标得到被摄点的世界坐标，就是立体视觉。

图像 ⇌ 投影

设单个像素对应到相机的感光平面上的物理尺寸为 $(d_x, d_y)$，像主点在图像坐标系中的坐标为 $(u_0, v_0)$，则有投影坐标 $(x, y)$ 和图像坐标 $(u, v)$ 间的转换关系如下：