視覚の幾何学２視覚の幾何学２

2010年6月7日参考書佐藤 淳：佐藤 淳：「コンピュータビジョン －視覚の幾何学－」ロナ社コロナ社

Two-view geometry3D reconstructionE i l tEpipolar geometryE-matrix comp.F-matrix comp.H t iH-matrix comp.Structure comp.

立体視Stereo Vision (Stereopsis)立体視Stereo Vision (Stereopsis)Main problem – recover 3D depth from two

(or more) image views

●一台のカメラから得られた一枚の画像のみからでは、● 台 カ ラ ら得られた 枚 画像 み ら は、３Ｄ物体の形状を一意に決定することができない

●２つ以上の異なる視点で得られた画像からはこのよう● 以 異なる視点 得られ 画像 ら ような不定性を取り除き、形状を決定することができる

●静止シーンの場合、1台のカメラから異なる視点で得られた2枚の画像でもＯＫ静 シ 場合、 台 ラ 異なる視点 得 れ 枚 画像 も●動く物体の場合、1台のカメラから固定視点で得られた画像

立体視の原理立体視の原理

三角計測法に基づいて三角計測法に基づいて、視線の交点が注視点の空間位置

1x

fBZ

2x

21 xx

視差(disparity)

座標値の符号を含む平行ステレオ対象までの距離Zは焦点距離f ベースB 視差△xの関数

座標値の符号を含む

対象までの距離Zは焦点距離f、ベ スB、視差△xの関数注：画像の中心のところに座標原点Oが設置されている

平行ステレオ視の距離推定平行ステレオ視の距離推定

点P(x,y,z)の座標値

hx

RL

L

xxhxx

RL

R

RL

L

xxhy

xxhyy

RLRL

xxhfz

RL xx

三角測量の原理（光軸が平行ではない場合）

Z = b sin θa sin θb ／(sin θa + sin θb )

zzθa θb

立体視の原理立体視の原理 Algorithm

R t t b th l ft d

P

• Rotate both left and right camera so that they share the same X

Pl Pr

axis : Or-Ol = T• Define a rotation matrix

Rrect for the left cameraRrect for the left camera • Rotation Matrix for the

right camera is RrectRTpl pr

Xl

Yl

Yr

• Rotation can be implemented by image transformation Ol Or

XlZl Zr

tX’l OrXrR, t

X ’ = T Y ’ = X ’xZ Z’ = X ’xY ’光軸は平行ではない場合

Xl = T, Yl = Xl xZl, Z l = Xl xYl

立体視の原理 Algorithm

R t t b th l ft d

P立体視の原理

• Rotate both left and right camera so that they share the same X

Pl Pr

axis : Or-Ol = T• Define a rotation matrix

Rrect for the left cameraRrect for the left camera • Rotation Matrix for the

right camera is RrectRTpl pr

Xl

Yl

Yr

• Rotation can be implemented by image transformation Ol Or

XlZl Zr

tX’l OrXrR, t

Xl’ = T, Yl’ = Xl’xZl, Z’l = Xl’xYl’光軸は平行になるように変換（R tが既知 カメラ校正済み） l , l l l, l l l（R,tが既知→カメラ校正済み）

Correlation Approach

( )LEFT IMAGE左画像からある点の周辺領域をテンプレットとする

(xl, yl)LEFT IMAGE

For each point (xl, yl) in the left image, define a window centered at the point

Correlation Approachテンプレットを用いて、右画像からその点の対応点を探す

(xl, yl)RIGHT IMAGEテンプレット

… search its corresponding point within a search region in the right image

Correlation Approach

(xl, yl)dx(xr, yr)RIGHT IMAGE

最大類似度を取れた点ペアの視差を求める

(xl, yl)dx(xr, yr)

… the disparity (dx, dy) is the displacement when the correlation is maximum

特徴に基づいた立体視特徴に基づいた立体視

特徴検出 corner line• 特徴コーナー、線、エッジ

• 対応特徴を見つける

corner line

structure対 特徴を見 ける

（相関評価による）

⇒視差（disparity）より奥行計算⇒視差（disparity）より奥行計算

残りの部分は表面内挿

よく用いられる相関評価方法よく用いられる相関評価方法

SSD(Sum of Squared Differences)

Wx

xdxd 2)()()( rl II

SSD(Sum of Squared Differences)

Wx

• 最も基本的な誤差関数

• 画像をベクトルとみなせば• 画像をベクトルとみなせば、

ベクトル間のユークリッド距離

外れ値の影響を受けやすい

ラスタスキャン多次 ベクト と考える

• 外れ値の影響を受けやすい

• 照明変化の影響を受けやすい多次元ベクトルと考える

画素毎に差をとって二乗

総和

よく用いられる相関評価方法よく用いられる相関評価方法 SAD(Sum of Absolute Differeces)

画素毎の差分の絶対値の和• 画素毎の差分の絶対値の和

xdxd |)()(|)( II

Wx

xdxd |)()(|)( lr II

• SSDに比べて外れ値の影響を受けにくい

• 照明の影響を受けやすい照明の影響を受けやすい

画像領域をベクトルで表現領 表

Normalized Cross CorrelationNormalized Cross Correlation

region A region B

write regions as vectors

a

b

vector a vector b

よく用いられる相関評価方法よく用いられる相関評価方法

CC(Cross Correlation) 正規化相互相関CC(Cross Correlation) 正規化相互相関

)()( xdx llrr IIII明るさの正規化

SSD SAD

|)(||)(|

)()()(

Wx

xdx llrr

llrr

IIIId

SSD,SAD,

1

)(,

1

)(

WxWx

dxx r

r

l

l

II

II

コントラストの正規化

• ベクトル間の内積（角度）

11 WxWx

クトル間の内積（角度）

• 照明変化に強い CC

ノルムが変化してもノルムが変化しても内積CCは変わらない

Local Features:Detectors & DescriptorsDetectedDetected

Interest Points/RegionsDescriptors

<0 12 31 0 0 23 …>

<5 0 0 11 37 15 …>

<14 21 10 0 3 22 …>各点の周辺領域から128次元の特徴量が得られる

最近の動向：SIFT特徴量によって点同士の対応付けを取る

CorrespondenceCo espo de ce Fundamental to many of the core vision problems

Recognition• Recognition• Motion tracking• Multiview geometry

Local features are the key Local features are the key

Images from: M. Brown and D. G. Lowe. Recognising Panoramas. In Proceedings of the ) the International Conference on Computer Vision (ICCV2003

特徴に基づいた立体視特徴に基づいた立体視

cornerx1x

f

21 xxfBZ

2x視差(disparity)

平行ステレオカメラ：平行ステレオカメラ：2枚の画像から3次元情報を復元3次元情報を復元

ExamplesExamples

Left Image Right Image Depth Map

StereoStereo

ボールの３Ｄ軌跡の計測ボ ルの３Ｄ軌跡の計測平行ステレビデオカメラ

右画像 左画像

エピポーラ線

エピポーラ平面

Multi Camera StereoMulti-Camera Stereo

立体視の原理P

立体視の原理

カメラキャリブレーション済みなら

• R,tが既知Pl Pr

• 光軸は平行になるように変換できる

• ２Ｄシーンから３Ｄ復元シ 復元pl pr

Xl

Yl

Yr

Ol Or

XlZl Zr

tX’lもう一つの問題： OrXrR, t

X ’ = T Y ’ = X ’xZ Z’ = X ’xY ’

もう つの問題：対応点の探索範囲をどう絞るか？

Xl = T, Yl = Xl xZl, Z l = Xl xYl

２眼視の幾何: Two-View Geometry２眼視の幾何: Two View Geometry

x’x3 x’3

x1x2

x’21 x’1

courtesy of F. Dellaert

画像間の点（xi to x’i ）の対応関係は1)カメラ間の剛体変換（カメラ行列 内部＋外部パラメ タ）1)カメラ間の剛体変換（カメラ行列：内部＋外部パラメータ）2)シーンの構造により決定により決定

エピポーラ幾何は１）だけに関係がある

エピポーラ幾何(Epipolar geometry）( p p g y複数の視点における相対的なカメラの位置や姿勢の情報をエピポ ラ幾何（Epipolar geometry）との情報をエピポーラ幾何（Epipolar geometry）と呼ばれる画像特有の幾何によって記述できる

もう一方のカメラでは、

画像上のどこに投影されるのか？画像上のどこに投影されるのか？

？

O OO

エピポーラ幾何（Epipolar Geometry）ピポ ラ幾何（Epipolar Geometry） Baseline: カメラ中心Cと C’を繋がる直線

Epipolar plane : baselineとシーンの中の点 Xより決定された平面決定された平面

エピポーラ平面

from Hartley& Zisserman

baseline

エピポーラライン（Epipolar Lines）ポ ララ （ p p ） Epipolar lines l, l’: epipolar plane と画像面との交線との交線

Epipoles e, e’: baselineと画像面との交点

エピポ ラ平面エピポーラ平面Epipolar lineエピポーラライン Epipolar line

E i l E i l

C C’ベ スラインベ スライン

Epipoleエピポール

Epipole

from Hartley& Zisserman

ベースラインベースライン

Epipolar Pencilp p シーンの中の点X の位置を変化すると、

epipolar planes はbaselineの周りに“rotate”• このような平面集合を epipolarepipolar pencilpencilと呼ぶ

E i l li は i l から“ di t ” Epipolar lines はepipole から“radiate”• これは pencil of pencil of epipolarepipolar lineslinesと呼ぶ

epipolarepipolar pencilpencilエピポーラペンシール

pencil of pencil of epipolarepipolar lineslines

from Hartley& Zisserman

エピポーラ拘束エピポーラ拘束

エピポーラ拘束エピポーラ線

O OO

エピポール エピポール

エピボーラ拘束（Epipolar Constraint）エピボ ラ拘束（Epipolar Constraint） エピボラ幾何より、片方の画像内の一点一点は必ずもう一方の画像内のエピポーラエピポーラ直線直線（（１１ＤＤ））上存在

探索は2次元から1次元に絞られる

エピポーラ直線エピポーラ直線一点一点

エピポ ラ直線エピポ ラ直線

C C’x’

from Hartley& Zisserman

Epipolar geometry example I: parallel cameras

Epipolar geometry depends only on the relative pose (position and orientation) and internal parameters of the two cameras, i.e. the position of ) p , pthe camera centres and image planes. It does not depend on the scene structure (3D points external to the camera).

Cross-correlation of neighbourhood regions

epipolarepipolarline

translate so that mean is zero

left image band

right image bandright image band1

cross correlation0.5

0

x

target region

left image band

right image bandright image band1

cross correlation0.5

0

x

Epipolar geometry example II: converging camerasconverging cameras

e e /

Note, epipolar lines are in general not parallel

例：Epipolar Lines for Converging Cameras

from Hartley & ZissermanLeft view Right view

epipolar linesの交線 = Epipole !他方のカメラ中心の位置を表すロボット・カメラの移動軌跡の推定

特例: Translation Parallel to Image Plane

カメラの運動が画像面と平行する場合、epipolar linesは平行（エピポ ルは無限遠）・epipolar linesは平行（エピポールは無限遠）・対応点は対応 epipolar line上に存在 (全種類のカメラ運動)

特例: Translation along Optical Axisg p

カメラの運動が画像平面と垂直：

Epipolesはfocus延長線上に一致

一般的に、無限遠点と異なる般的 、無限遠点 異なる

e’

e

ステレオから3眼視へステレオから3眼視へ

エピポーラ幾何より、片方の画像内の一点はかなら幾ずもう一方の画像内のエピボラ直線（１Ｄ）上存在

対応付け：対応付け：

点直線

左側の画像上の1点

点 直線

右側の画像上の一本の直線

C C’x’ 曖昧性が残っている

C C

Transfer: epipolar transferp p

点直線点直線

点点点点

Using more cameras to remove match ambiguity

3眼視3眼視

透視カメラのエピポーラ幾何透視カメラのエピポーラ幾何

複数のカメラの関係や対象物との関係を考えるために、何か基準となる座標系を考えなければならない（各カメラの座標系を元に考えるのではない）

すべてのカメラや対象物に対して共通に決められす ラ 対象物 対 共通 決 れた座標のことをワールド座標(world coordinates)と呼ぶ（ワールド座標を一つ決める）

ワールド座標を基準に考えなければならない

Coordinate Transformations座標変換

If we want to measure something (size of an object, depth of image points, distance between features……),

d t d t d th t f i t ldwe need to understand the geometry from image to worldCoordinate system transformations• Image (i) camera (c) world (w) object (o)• Image (i) camera (c) world (w) object (o)

yc yi

yw

Oc Ozc

zw

OcOi Ow

Oo

xc xi

xw

行列・ベクトルの外積行列・ベクトルの外積

0 232332 aababa

babba

00

12

13

1221

3113

aaaa

babababa

121221

存在

0 b)(aaba ばは同じ平面に存在すれと

0 b)(ab)(

幾何変換幾何変換Geometric transformation

]0|with [IKKPptRPP'

] with ]0| with

t|[RK'PK'p'[IKKPp

基本行列 (Essential matrix)基本行列 (Essential matrix) ２カメラ間の姿勢と位置：

• R : 3*3 rotation matrix• t : 3*1 translation vector

pとp’が対応点同士なら：

前提： pとp’は画像座標から計算さ⇒

前提： pとp は画像座標から計算された物理(カメラ)座標である

（カメラの内部パラメータ既知）

T

T

vuvu

p)1,','('

)1,,( with 0)](['

pp

Rtp

即ち：同一平面内の三つのベクトルから二つのベクトルの外積と残るもう一つのベクトルの内積は０となる

エピポーラ方程式 自由度が５：

基本行列（Ｅ行列） 回転３＋並進３－スケール１ RtEEpp'

with0

基本行列（Ｅ行列） 回転３＋並進３－スケール１

★ Ｅが求まれば、tとＲに分解することができる

RtE with

出席チェック

１ エピポーラ幾何の原理図を描き その原理に１．エピポーラ幾何の原理図を描き、その原理について述べなさい