OpenCVのcalibrateCamera関数を使ったカメラキャリブレーション

概要

この記事ではカメラの内部パラメータ（カメラの物理特性やレンズの光学特性）を画像から取得する方法について紹介します。カメラキャリブレーションは、画像から3D情報を取得するための重要なステップです。OpenCVのcalibrateCamera関数は、このプロセスを実行するための主要なツールとして利用されています。物体の3D座標とその2D画像上の対応点を使用して、カメラの内部パラメータ（焦点距離、光学中心など）と歪み係数を推定し、ロボットビジョン、AR/VR、ドローンのナビゲーション、3Dモデリングなど、3D空間の情報が必要なアプリケーションで広く使用されています。

キャリブレーション画像

出力結果

カメラ行列 : 
[[2.22316748e+03 0.00000000e+00 9.53407289e+02]
 [0.00000000e+00 2.17954342e+03 5.27455394e+02]
 [0.00000000e+00 0.00000000e+00 1.00000000e+00]]
歪み : 

[[-6.93341740e-01  1.68611317e+00 -3.47860617e-03  2.49888722e-03
  -3.58595488e+00]]
回転ベクトル : 

(array([[-0.05670753],
       [ 0.11145731],
       [-0.05411702]]), array([[ 0.0001874 ],
       [ 0.02157255],
       [-0.05575256]]), array([[-0.00751345],
       [-0.02596556],
       [-0.02433715]]), array([[-0.2511571 ],
       [-0.04236791],
       [-0.02396725]]), array([[ 0.13185458],
       [-0.0098366 ],
       [ 0.00658697]]))
平行移動ベクトル : 

(array([[-3.22927557],
       [-3.41872428],
       [30.86729749]]), array([[-4.84822483],
       [-4.91507281],
       [26.52208749]]), array([[-3.88182503],
       [-4.87841127],
       [27.45531436]]), array([[-3.94270144],
       [-2.71272356],
       [29.21697193]]), array([[-4.15810071],
       [-5.61976001],
       [31.35248365]]))

プログラム全体

#解説1
import cv2
import numpy as np
import matplotlib.pyplot as plt

#解説2
# 終了基準
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)

# 物体点を準備する、例えば (0,0,0), (1,0,0), (2,0,0) ....,(9,12,0)
objp = np.zeros((9*12,3), np.float32)
objp[:,:2] = np.mgrid[0:12,0:9].T.reshape(-1,2)

# 全ての画像から物体点と画像点を保存するための配列
objpoints = [] # 実世界空間での3D点
imgpoints = [] # 画像平面での2D点

#解説3
images = ['cal1.bmp', 'cal2.bmp', 'cal3.bmp', 'cal4.bmp', 'cal5.bmp']

for fname in images:
    img = cv2.imread(fname)
    if img is None:
        print(f'画像の読み込みに失敗しました {fname}')
        continue
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)


#解説4
    # チェスボードのコーナーを見つける
    ret, corners = cv2.findChessboardCorners(gray, (12,9), None)

    # 見つかった場合、物体点と画像点（これらを精緻化した後）を追加する
    if ret == True:
        objpoints.append(objp)

        corners2 = cv2.cornerSubPix(gray,corners, (11,11), (-1,-1), criteria)
        imgpoints.append(corners2)
        # コーナーを描画して表示する
        img = cv2.drawChessboardCorners(img, (12,9), corners2, ret)

#解説5
        plt.imshow(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))
        plt.show()
    else:
        print(f'チェスボードのコーナーが見つかりませんでした {fname}')

if len(objpoints) > 0 and len(imgpoints) > 0:
    ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)

    print('カメラ行列 : \n')
    print(mtx)
    print('歪み : \n')
    print(dist)
    print('回転ベクトル : \n')
    print(rvecs)
    print('平行移動ベクトル : \n')
    print(tvecs)
else:
    print('画像点が不足しているため、カメラのキャリブレーションに失敗しました')

解説

解説１：モジュールのインポート

import cv2
import numpy as np
import matplotlib.pyplot as plt

この部分では、プログラムで使用するモジュールをインポートしています。

これらのモジュールは、プログラムの機能を実現するために必要な機能を提供します。例えば、画像を読み込んだり、画像に対して処理を行ったり、結果を表示したりするためにこれらのモジュールを使用します。

解説２： 初期設定

# 終了基準
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)
# 物体点を準備する、例えば (0,0,0), (1,0,0), (2,0,0) ....,(9,12,0)
objp = np.zeros((9*12,3), np.float32)
objp[:,:2] = np.mgrid[0:12,0:9].T.reshape(-1,2)

# 全ての画像から物体点と画像点を保存するための配列
objpoints = [] # 実世界空間での3D点
imgpoints = [] # 画像平面での2D点

この部分では、カメラキャリブレーションに必要な初期設定を行っています。

これらの設定は、カメラキャリブレーションのために必要なパラメータを定義するために必要です。

解説３： 画像の読み込みと前処理

images = ['cal1.bmp', 'cal2.bmp', 'cal3.bmp', 'cal4.bmp', 'cal5.bmp']
for fname in images:
    img = cv2.imread(fname)
    if img is None:
        print(f'画像の読み込みに失敗しました {fname}')
        continue
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

この部分では、カメラキャリブレーションに使用する画像を読み込み、前処理を行っています。

解説４： チェスボードのコーナーの検出と保存

    # チェスボードのコーナーを見つける
    ret, corners = cv2.findChessboardCorners(gray, (12,9), None)

    # 見つかった場合、物体点と画像点（これらを精緻化した後）を追加する
    if ret == True:
        objpoints.append(objp)

        corners2 = cv2.cornerSubPix(gray,corners, (11,11), (-1,-1), criteria)
        imgpoints.append(corners2)

この部分では、チェスボードのコーナーを検出し、それらの座標を保存しています。

これらの操作は、カメラキャリブレーションのために必要な画像点と物体点を取得するために必要です。

解説５： コーナーの描画とカメラキャリブレーション

        # コーナーを描画して表示する
        img = cv2.draw

ChessboardCorners(img, (12,9), corners2, ret)
        plt.imshow(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))
        plt.show()
    else:
        print(f'チェスボードのコーナーが見つかりませんでした {fname}')

if len(objpoints) > 0 and len(imgpoints) > 0:
    ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)

    print('カメラ行列 : \n')
    print(mtx)
    print('歪み : \n')
    print(dist)
    print('回転ベクトル : \n')
    print(rvecs)
    print('平行移動ベクトル : \n')
    print(tvecs)
else:
    print('画像点が不足しているため、カメラのキャリブレーションに失敗しました')

ここでは、チェスボードのコーナーを見つけて、それを画像に描画し、その後カメラのキャリブレーションを行っています。それぞれの部分について説明します。

これらの操作は、検出したコーナーを視覚的に確認し、カメラキャリブレーションを行うために必要です。カメラキャリブレーションにより、カメラの内部パラメータと歪み係数を求めることができます。これらのパラメータは、画像から3D情報を取得するために必要です。

補足：使用ハードウェアについて

この記事ではThe imaging Source社の下記のカメラを使用しています。