UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE...

24
UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION TECHNIQUE USING TARGETS OF CIRCULAR FEATURES Ginés García Mateos Dept. de Informática y Sistemas Universidad de Murcia - España

Transcript of UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE...

Page 1: UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION.

UNIVERSIDAD DE MURCIA

LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y

RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN

CIENTÍFICA

A CAMERA CALIBRATION TECHNIQUE USING

TARGETS OF CIRCULAR FEATURES

A CAMERA CALIBRATION TECHNIQUE USING

TARGETS OF CIRCULAR FEATURES

Ginés García MateosDept. de Informática y Sistemas

Universidad de Murcia - España

Page 2: UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION.

2

A CAMERA CALIBRATION TECHNIQUE

USING TARGETS OF

CIRCULAR FEATURES

Ginés García Mateos

SIARP’2000LISBOASEPT. 2000

INTRODUCTIONINTRODUCTION

• Camera calibration: estimation of the unknown values in a camera model.– Intrinsic parameters.

– Extrinsic parameters.

• Calibration target: object of known geometry, easy to detect and locate, used in calibration.

Page 3: UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION.

3

A CAMERA CALIBRATION TECHNIQUE

USING TARGETS OF

CIRCULAR FEATURES

Ginés García Mateos

SIARP’2000LISBOASEPT. 2000

INTRODUCTIONINTRODUCTION

• The whole procedure of camera calibration [Heikkilä et al. 97]:– Determinate a camera model.

– Control point location in the images.

– Camera model fitting.

– Image correction for distortion.

– Estimate the errors of the previous stages.

Page 4: UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION.

4

A CAMERA CALIBRATION TECHNIQUE

USING TARGETS OF

CIRCULAR FEATURES

Ginés García Mateos

SIARP’2000LISBOASEPT. 2000

INTRODUCTIONINTRODUCTION

• Much research has been devoted to model fitting.

• Control point location:– Design physical target structure.

– Design an algorithm for target detection and location.

– Goals: accuracy, robustness, efficiency, simplicity.

Page 5: UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION.

5

A CAMERA CALIBRATION TECHNIQUE

USING TARGETS OF

CIRCULAR FEATURES

Ginés García Mateos

SIARP’2000LISBOASEPT. 2000

TARGET DESIGNTARGET DESIGN

• Previous work: square features.

• Typical methods use:– Edge, segment, corner detection.

– Line intersections.

– Contour following.

Page 6: UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION.

6

A CAMERA CALIBRATION TECHNIQUE

USING TARGETS OF

CIRCULAR FEATURES

Ginés García Mateos

SIARP’2000LISBOASEPT. 2000

TARGET DESIGNTARGET DESIGN

• Previous work: dot features.

• Point features (less than 5 pixels radius).

• Centroid calculation.

• Used in photogrametry.

Page 7: UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION.

7

A CAMERA CALIBRATION TECHNIQUE

USING TARGETS OF

CIRCULAR FEATURES

Ginés García Mateos

SIARP’2000LISBOASEPT. 2000

TARGET DESIGNTARGET DESIGN

• Circular features. Key ideas:– Circles (ellipses) are mapped to ellipses

(using perspective projection).– Ellipses are the most simple shape to

describe, detect and locate.

Page 8: UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION.

8

A CAMERA CALIBRATION TECHNIQUE

USING TARGETS OF

CIRCULAR FEATURES

Ginés García Mateos

SIARP’2000LISBOASEPT. 2000

TARGET DESIGNTARGET DESIGN• Previous work based on centroid.• Problem of perspective bias: ellipse

centroid is not necessarily the projected centroid of the circle.

C

Rw

RIM

P

e

e'

oo

Page 9: UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION.

9

A CAMERA CALIBRATION TECHNIQUE

USING TARGETS OF

CIRCULAR FEATURES

Ginés García Mateos

SIARP’2000LISBOASEPT. 2000

TARGET DETECTION/LOCATIONTARGET DETECTION/LOCATION

• Process for detection and location of the target. Main steps:– Detection and location of ellipses.

– Extraction of invariant points.

– Matching with known points of the target.

• Then model fitting (DLT) is applied.

Page 10: UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION.

10

A CAMERA CALIBRATION TECHNIQUE

USING TARGETS OF

CIRCULAR FEATURES

Ginés García Mateos

SIARP’2000LISBOASEPT. 2000

TARGET DETECTION/LOCATIONTARGET DETECTION/LOCATION

• Ellipse detection and location:– Image binarization.

• Threshold: median value of partial histogram.

– Connected component grouping.

– Gaussian component description.• For each region: , and number of

points.

Page 11: UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION.

11

A CAMERA CALIBRATION TECHNIQUE

USING TARGETS OF

CIRCULAR FEATURES

Ginés García Mateos

SIARP’2000LISBOASEPT. 2000

ELLIPSE DETECTION/LOCATIONELLIPSE DETECTION/LOCATION

Binarization

Connected compo-nent grouping

Acquired image

Gaussian description

Page 12: UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION.

12

A CAMERA CALIBRATION TECHNIQUE

USING TARGETS OF

CIRCULAR FEATURES

Ginés García Mateos

SIARP’2000LISBOASEPT. 2000

ELLIPTICAL SHAPE TESTELLIPTICAL SHAPE TEST

• Gaussian parameters: , .

22222

21 44 )()( xyyxvvRSRPixels

• Ellipse mayor and minor radius: a, b

• Ellipse area: SR=ab

• Radius from gaussian parameters:2

12 va 222 vb

Page 13: UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION.

13

A CAMERA CALIBRATION TECHNIQUE

USING TARGETS OF

CIRCULAR FEATURES

Ginés García Mateos

SIARP’2000LISBOASEPT. 2000

TARGET DETECTION/LOCATIONTARGET DETECTION/LOCATION

• Ellipse location is insufficient: invariant points should be extracted.

• Feature points in a target of circles.– Ellipse centroid is not an

invariant feature point.

– Invariant feature points can be obtained using relations between coplanar circles.

Page 14: UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION.

14

A CAMERA CALIBRATION TECHNIQUE

USING TARGETS OF

CIRCULAR FEATURES

Ginés García Mateos

SIARP’2000LISBOASEPT. 2000

TARGET DETECTION/LOCATIONTARGET DETECTION/LOCATION

• Tangent invariance: supposing perspective projection common tangent property remains invariant.

p'1

E2

E1

R'

p'2

q'1

q'2

C1

C2

p1

R

p2

q1

q2

Perspective projection

Page 15: UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION.

15

A CAMERA CALIBRATION TECHNIQUE

USING TARGETS OF

CIRCULAR FEATURES

Ginés García Mateos

SIARP’2000LISBOASEPT. 2000

TARGET DETECTION/LOCATIONTARGET DETECTION/LOCATION

• Some conclusions don’t held when radial distortion is considered.

• Dealing with distortion:– Iterative method: parameter

calculation/image correction.

– Independent estimation (and correction) of distortion.

Page 16: UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION.

16

A CAMERA CALIBRATION TECHNIQUE

USING TARGETS OF

CIRCULAR FEATURES

Ginés García Mateos

SIARP’2000LISBOASEPT. 2000

EXPERIMENTAL RESULTSEXPERIMENTAL RESULTS

• Tests are centered on the target detection/location procedure.– Accuracy: feature point location.

– Robustness: defocusing and noise.

– Efficiency: computation time.• Acquisition: low-cost videoconference

camera QuickCam Pro (Logitech).• Computer: off-the-self PC, with K6 at

350Mhz.

Page 17: UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION.

17

A CAMERA CALIBRATION TECHNIQUE

USING TARGETS OF

CIRCULAR FEATURES

Ginés García Mateos

SIARP’2000LISBOASEPT. 2000

EXPERIMENTAL RESULTSEXPERIMENTAL RESULTS

• Target used in the experiments.

320x240 pixels

256 gray levels

• Manual measure to determine ground-truth positions.

Page 18: UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION.

18

A CAMERA CALIBRATION TECHNIQUE

USING TARGETS OF

CIRCULAR FEATURES

Ginés García Mateos

SIARP’2000LISBOASEPT. 2000

EXPERIMENTAL RESULTSEXPERIMENTAL RESULTS

Location error vs. ellipse size in images

10 15 20 25 30 350

0.2

0.4

0.6

0.8

1.0

1.2

Mean ellipse radius (pixels)

Location error (pixels)

Manual measureaccuracy

Page 19: UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION.

19

A CAMERA CALIBRATION TECHNIQUE

USING TARGETS OF

CIRCULAR FEATURES

Ginés García Mateos

SIARP’2000LISBOASEPT. 2000

EXPERIMENTAL RESULTSEXPERIMENTAL RESULTS

• Manual measure is insufficient.

• Accuracy of the method (using ideal images): 0.05 pixels mean, 0.03 pixels standard deviation.

• The target was detected in 97% of the images.

Page 20: UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION.

20

A CAMERA CALIBRATION TECHNIQUE

USING TARGETS OF

CIRCULAR FEATURES

Ginés García Mateos

SIARP’2000LISBOASEPT. 2000

EXPERIMENTAL RESULTSEXPERIMENTAL RESULTS

• Robustness to defocusing and noise.

1 2 3 4 5 60

0.2

0.4

0.6

0.8

1.0

1.2

Gaussian smoothing level,

Location error (pixels)

1.4

7

Location error vs gaussian smoothing

Noise percentage (in each pixel)

Location error (pixels) 0

0.2

0.4

0.6

0.8

0% 10% 20% 30% 40%

Location error vs. random noise

Page 21: UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION.

21

A CAMERA CALIBRATION TECHNIQUE

USING TARGETS OF

CIRCULAR FEATURES

Ginés García Mateos

SIARP’2000LISBOASEPT. 2000

EXPERIMENTAL RESULTSEXPERIMENTAL RESULTS

• Efficiency:– The main process is a connected

component labeling algorithm.

– This requires a single scanning of the image, with a constant cost per pixel.

– The whole process can be made at approx. 10 Hz.

Page 22: UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION.

22

A CAMERA CALIBRATION TECHNIQUE

USING TARGETS OF

CIRCULAR FEATURES

Ginés García Mateos

SIARP’2000LISBOASEPT. 2000

CONCLUSIONSCONCLUSIONS• A technique for camera calibration is

proposed based in the use of circles as target features.

• This contribution is centered in target detection/location.

• Process of detection and location:– Gaussian description of connected

component.

– Feature point calculation and matching.

Page 23: UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION.

23

A CAMERA CALIBRATION TECHNIQUE

USING TARGETS OF

CIRCULAR FEATURES

Ginés García Mateos

SIARP’2000LISBOASEPT. 2000

CONCLUSIONSCONCLUSIONS

• The method is simple and low-level, which implies efficiency and robustness.

• Subpixel accuracy is clearly reached.

• High robustness to noise and defocusing.

• The technique is suited for automated systems.

Page 24: UNIVERSIDAD DE MURCIA LÍNEA DE INVESTIGACIÓN DE PERCEPCIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES - GRUPO DE COMPUTACIÓN CIENTÍFICA A CAMERA CALIBRATION.

24

A CAMERA CALIBRATION TECHNIQUE

USING TARGETS OF

CIRCULAR FEATURES

Ginés García Mateos

SIARP’2000LISBOASEPT. 2000

LASTLAST

• This work has been supported by CICYT project TIC98-0559.

• Línea PARP web page:

http://www.dis.um.es/parp

• Muito obrigado