Knowledge

Markov Property

Markov Property: The future is independent of the past given the present.
$P \{ X(t_n)<=x_n | X(t_{n-1}=x_{n-1}), X(t_{n-2}=x_{n-2}), ..., X(t_{1})=x_{1} \} = P \{ X(t_n)<=x_n | X(t_{n-1})=x_{n-1} \}$

Hidden Markov Model

Camera Calibration 相机标定

Coordinate System 相机坐标系
- World coordinate system 世界坐标系
- Camera coordinate system 相机坐标系
- Imgae coorinate system 图像坐标系
标定过程
1. 世界坐标系 -> 相机坐标系：三维点 -> 三维点，相机外参 $R, t$
2. 相机坐标系 -> 图像坐标系：三维点 -> 二维点，相机内参 $K$
相机坐标系 -> 图像坐标系 ( 三维点 -> 二维点，相机内参 $K$ )
1. 坐标系介绍
  - 名词解释
    - C 点表示 camera center，即相机的中心点，也是相机坐标系的中心点
    - Z 轴表示 principal axis，即相机的主轴
    - p 点所在的平面表示 image plane，即相机的像平面，也就是图片坐标系所在的二维平面
    - p 点表示 principal point，即主点，主轴与像平面相交的点
    - C 点到 p 点的距离，也就是右边图中的 f 表示focal length，即相机的焦距
  - 像平面坐标系、图像坐标系差别
    - 相机坐标系是以 X， Y， Z（大写）三个轴组成的且原点在 C 点，度量值为米（m）
    - 像平面坐标系是以 x，y（小写）两个轴组成的且原点在 p 点，度量值为米（m）
    - 图像坐标系一般指图片相对坐标系，在这里可以认为和像平面坐标系在一个平面上，不过原点是在图片的角上，而且度量值为像素的个数（pixel）
2. 相机 -> 像平面坐标系
  
  如果知道相机坐标系中的一个点 X（现实三维世界中的点），在像平面坐标系对应的点是 x，要求求从 相机坐标系 转为 像平面坐标系 的转换，也就是从 X 点的(X,Y,Z)通过一定的转换变为 x 点的(x,y)。
  
  转换公式： $x = fX/Z \\ y = fY/Z \\ \begin{pmatrix} X, & Y, & Z \end{pmatrix} \mapsto \begin{pmatrix} fX/Z, & fY/Z \end{pmatrix}$
  
  可用矩阵表示为： $\begin{pmatrix} X \\ Y \\ Z \\ 1 \\ \end{pmatrix} \mapsto \begin{pmatrix} fX \\ fY\\ Z \\ \end{pmatrix} =\begin{bmatrix} f & & & 0 \\ & f & & 0 \\ & & 1 & 0 \\ \end{bmatrix} \begin{pmatrix} X \\ Y \\ Z \\ 1 \\ \end{pmatrix}$
3. 像平面 -> 图像坐标系 (加入偏移量)
  
  主点 p 是像平面坐标系的原点，但在图像坐标系中的位置为 $(p_x, p_y)$
  
  转换公式： $\begin{pmatrix} X, & Y, & Z \end{pmatrix} \mapsto \begin{pmatrix} fX/Z+p_x, & fY/Z+p_y \end{pmatrix}$
  
  用矩阵表示为： $\begin{pmatrix} X \\ Y \\ Z \\ 1 \\ \end{pmatrix} \mapsto \begin{pmatrix} fX+Zp_x \\ fY+Zp_y \\ Z \\ \end{pmatrix} =\begin{bmatrix} f & & p_x & 0 \\ & f & p_y & 0 \\ & & 1 & 0 \\ \end{bmatrix} \begin{pmatrix} X \\ Y \\ Z \\ 1 \\ \end{pmatrix}$ 整理一下得： $\begin{pmatrix} fX+Zp_x \\ fY+Zp_y \\ Z \\ \end{pmatrix} =\begin{bmatrix} f & & p_x \\ & f & p_y \\ & & 1 \\ \end{bmatrix} \begin{bmatrix} 1 & & & 0 \\ & 1 & & 0\\ & & 1 & 0\\ \end{bmatrix} \begin{pmatrix} X \\ Y \\ Z \\ 1 \\ \end{pmatrix}$ 相机内参 K (Intrinsic parameters) 就是： $K=\begin{bmatrix} f & & p_x \\ & f & p_y \\ & & 1 \\ \end{bmatrix}$
  
  可定义投影矩阵 P $P=K\left[ \begin{array}{c|c} I&0 \end{array} \right]$
  
  有如下性质： $x=PX$
4. 坐标单位转换(m -> pixel)
  
  因为像素不一定是正方形，需要分别指定：
  - $m_x$ 表示在水平方向 1m 的长度包含的像素的个数；
  - $m_y$ 表示在竖直方向 1m 的长度包含的像素的个数；
  可以把相机内参更新为： $K=\begin{bmatrix} m_x & & \\ & m_y & \\ & & 1 \\ \end{bmatrix} \begin{bmatrix} f & & p_x \\ & f & p_y \\ & & 1 \\ \end{bmatrix} =\begin{bmatrix} α_x & & β_x \\ & α_y & β_y \\ & & 1 \\ \end{bmatrix}$
世界坐标系 -> 图像坐标系
1. 坐标系介绍
  
  从 世界坐标系 转换到 相机坐标系 是三维空间到三维空间的变换，一般来说需要一个平移操作和一个旋转操作就可以完成这个转换，用公式表示如下（可以理解为世界坐标系原点先平移到相机坐标系的位置然后在做一次坐标系旋转，使坐标轴对齐。）： $\widetilde X_{cam}=R(\widetilde X - \widetilde C)$ 其中
  - $R$ 表示旋转矩阵；
  - $\widetilde X$ 表示 X 点在世界坐标系中的位置；
  - $\widetilde C$ 表示相机原点 C 在世界坐标系中的位置；
  - $\widetilde X_cam$ 表示 X 点在相机坐标系中的位置；
2. 世界 -> 相机坐标系
  
  $X_{cam}=\begin{pmatrix} \widetilde X_{cam} \\ 1 \\ \end{pmatrix} =\begin{bmatrix} R & -R \widetilde C \\ 0 & 1 \\ \end{bmatrix} \begin{pmatrix} \widetilde X \\ 1 \\ \end{pmatrix} =\begin{bmatrix} R & -R \widetilde C \\ 0 & 1 \\ \end{bmatrix}X$
3. 世界 -> 图像坐标系
  
  $x=K\left[ \begin{array}{c|c} I&0 \end{array} \right]X_{cam} =K\left[ \begin{array}{c|c} R & -R \widetilde C \end{array} \right]X$
  
  最终，投影矩阵 P $P=K\left[ \begin{array}{c|c} R & t \end{array} \right]$ 其中 $t=-R \widetilde C$
  
  在这里，
  - K 一般称为相机内参（intrinsic parameters），描述了相机的内部参数，包括焦距 f、主点 p 的位置、以及像素与真实环境的大小比例等，这个是固有属性，是提供好的；
  - R 和 t 称为相机外参（extrinsic parameters）
    - R 在这里是旋转矩阵，可以转换为三维的旋转向量，分别表示绕x，y，z 三个轴的旋转角度
    - t 目前就是一个平移向量，分别表示在x，y，z 三个方向上的平移量。
畸变参数
Ref
- http://slazebni.cs.illinois.edu/spring16/
- http://blog.csdn.net/honyniu/article/details/51004397