WO1999058927A1

WO1999058927A1 - Image generating device and method

Info

Publication number: WO1999058927A1
Application number: PCT/JP1999/002381
Authority: WO
Inventors: Takayuki Yoshigahara; Toshifumi Fujita
Original assignee: Sony Corporation
Priority date: 1998-05-08
Filing date: 1999-05-07
Publication date: 1999-11-18
Also published as: JP4374625B2; US7015951B1

Description

明細書画像生成装置及び方法技術分野本発明は、ステレオ法を採用して距離画像及び濃淡画像を生成する画像生成装置及び方法に関し、 2台以上のカメラを用いて仮想位置と撮像対象物との距離を示す距離画像及び仮想位置から撮像対象物を撮像したときの濃淡画像を生成する画像生成装置及び方法に関する。背景技術一般的にステレオ法と称されている手法を用いたものとしては、例えばカメラ装置から撮像対象物までの距離情報を生成する距離計測装置が知られている。この距離計測装置は、撮像対象物の表面の三次元座標位置すなわち三次元形状を計測するために、視点の異なる複数台のカメラ装置で同一の撮像対象物を同時に撮像した画像を用い、その画像間での各画素毎に対応する対応点を求め、その視差によって距離計測装置から撮像対象物までの距離情報を得る。従来において、仮想的な位置 · 向きに配置したカメラ装置で距離情報からなる距離画像と輝度情報等からなる濃淡画像とを生成する代表的な第 1の手法を説明する。距離画像及び濃淡画像を生成するときには、先ず、撮像対象物を複数のカメラ装置で撮像することにより三次元計測を行う。次に、撮像対象物の空間的な座標（形状）を求める。次に、その空間内にカメラ装置を仮想的に配設し、撮像対象物の空間的な座標（形状）を用いて仮想的に配設したカメラ装置で観察されるべき距離画像を生成するとともに、濃淡画像を生成する。

つぎに、ステレオ法を採用して、一般的に撮像対象物についての距離画像を求める第 2の手法ついて説明する。ここでは、説明の簡単のため、基準カメラと当該基準カメラと撮像対象物との距離を検出する検出カメラとを用い、対応点を求めて距離画像を生成する一例について説明する。

先ず、それぞれ異なる位置に配設された基準カメラ及び検出カメラで撮像対象物を撮像し、基準カメラにより得た画像データから所定領域を切り出し、当該切り出した所定領域の画像デ一夕を検出力メラの画像上で順次変移させる。このとき、検出カメラの内部パラメ一夕や位置関係から求められるェピポーララインと称される直線上で所定領域の画像を変移させる。このように検出カメラの画像上を順次変移させることにより、基準カメラで撮像した所定領域の画像と、検出カメラで撮像した画像とを比較して一致度を求める。そして、最も- 致度の高い変移位置における変移量を、切り出した所定領域の画像の中心画素における視差に設定する。そして、基準力メラの画像の各画素についてこれらの処理を繰り返すことにより、距離画像を生成する。

すなわち、図 1に示すように基準カメラと検出カメラとで撮像対象物を観察し、 3次元画像中の点 Pが基準カメラによって撮像点 n _bに観察され、検出カメラによって撮像点 η <ιに観察されたことがわかれば、点 Pの 3次元位置を求めることができる。ここで、基準力メラの撮像点 n_bに対応する検出カメラの撮像点 n_dであることを判断するのは容易ではなく、これをステレオ視における対応点問題と呼んでいる。

現在一般に行われている対応点を検索するときには、図 1を参照して明らかなように、撮像点 n_dが基準カメラ及び検出カメラの光学中心と基準カメラの撮像点 n_bで決定される平面と検出カメラの撮像面が交わる直線上に存在している。この直線は、ェピポーララインと称される。そして、基準カメラと検出カメラとの位置関係及び各カメラの固有のパラメ一夕（焦点距離等）が既知であれば、基準力メラの各撮像点 n_b毎に検出カメラの画像面上のェピポ一ララィンを求めることができ、このェピポーラライン上で対応点の検索を行えばよいことになる。

ここで、基準カメラにより撮像された画像上の撮像点 n_bの対応点を検出カメラで撮像した画像上で検出する一例について述べる。このとき、図 2に示すように、基準カメラの撮像点 n_b周辺の小領域 1 00をテンプレートとして、検出カメラの画像のェピポ一ララィン上の数点で相関値を求める。ここでは、ェピポーララインの分解能、すなわち距離の分解能は撮像点 n_{d l}〜撮像点 n_d6までの 6点で、これら撮像点 n ci！〜撮像点 n _{d 6}までが基準カメラからの距離に対応する距離番号 1〜 6に相当する。そして、この距離番号 1〜6は、基準カメラからの視線上距離に相当する。相関は、 I (X) を基準力メラで撮像した画像の輝度値とし、 I ' (χ' ) を検出カメラで撮像した画像の輝度値とすると、以下の式 1で算出される。

Ι(χ+ί)-Γ(χ'+ι) (式 1 ) この式 1によれば、相関が大きくなるほど基準カメラで撮像した画像と検出カメラで撮像した画像との一致度が高く、相関が小さいほど一致度は低くなる。そして、この一致度に対応したパラメ一夕を評価値とし、当該評価値とェピポーラライン上の各撮像点 n _{d l}〜撮像点 n _{d 6}との関係を図 3に示す。ここで評価値は、相関が小さいほど大きくなり、相関が大きいほど小さくなる値である。

この図 3によれば、式 1で算出される相関に基づく評価値が.最も低いところに対応する撮像点 n _dを対応点とし、この場合では距離番号が「 3」となる。または、前述のように各撮像点 n _dから評価値が最低点に相当する距離を決定しても良いが、評価値が最低となるところの周辺の値から、サンプリングしたデータ間を補間して最低値を求める場合もある。このように基準カメラと検出カメラとから基準カメラが撮像した画像の距離を求めることにより、輝度情報を有する濃淡画像とともに距離画像を生成している。

しかし、上述の仮想的な位置 · 向きに配置したカメラ装置で距離情報からなる距離画像と輝度情報等からなる濃淡画像とを生成する第 1の手法では、撮像対象物を 3次元の画像に展開し、この 3次元に展開することにより得た 3次元画像を用いて距離画像を生成するので、多大な計算量を必要とする。また、この第 1の手法では、複数のカメラ装置で撮像した撮像対象物に対して 3次元計測を行うときに仮想的なカメラ装置から観察することができる座標を全て撮像する必要があり、多くの視点から 3次元計測を行わなければならない。さらに、第 1の手法では、 3次元画像を生成するときに各カメラ装置で撮像した画像を張り合わせる必要もある。

また、図 1〜図 3を参照して説明した第 2の手法では、基準カメラで撮像した画像をテンプレートとして検出カメラで撮像した画像を変移させて検索することで距離画像を生成するので、基準カメラの存在が不可欠となる。発明の開示本発明の目的は、上述したような実情に鑑みて提案されたものであり、基準カメラを用いないで、検出カメラのみで本来基準カメラが配される位置から撮像対象物までの距離を示す距離画像及び基準カメラから撮像対象物を撮像したときの濃淡画像を生成することができる画像生成装置及び方法を提供することにある。

上述したような目的を達成するため、本発明に係る画像生成装置は、撮像対象物を撮像して画像データを生成し、それぞれが異なる位置に配された 2以上の撮像手段と、仮想位置と撮像対象物とを結ぶ視線と、各撮像手段の位置と撮像対象物とを結ぶ視線との対応点を結ぶことにより決定されるェピポーラライン上で、上記各撮像手段により生成された各画像デ一夕同士を比較して相関を検出する相関検出手段と、上記相関検出手段により検出された相関関係に基づいて仮想位置と撮像対象物との距離を示す距離画像を生成する距離画像生成手段とを備えることを特徴とするものである。

このような画像生成装置によれば、 2以上の撮像手段で生成した画像データを用いて、相関検出手段で各撮像手段で生成した画像デ —夕を比較し、距離画像生成手段で仮想位置と撮像対象物との距離を示す距離画像を生成する。

本発明に係る画像生成方法は、それぞれが異なる位置に配された 2以上の固体撮像素子で撮像対象物を撮像して画像データを生成し、仮想位置と撮像対象物とを結ぶ視線と、各撮像手段の位置と撮像対象物とを結ぶ視線との対応点を結ぶことにより決定されるェピポ一ラライン上で、上記各撮像手段により生成された各画像データ同士を比較して相関を検出し、検出された相関関係に基づいて仮想位置と撮像対象物との距離を示す距離画像を生成することを特徴とする ₍ このような画像生成方法によれば、 2以上の固体撮像素子で生成した画像デ一夕を比較して相関を検出し、相関関係に基づいて仮想位置と撮像対象物との距離を示す距離画像を生成する。

本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施例の説明から一層明らかにされるであろう。図面の簡単な説明図 1は、従来の手法で基準カメラ及び検出カメラを用いて基準力メラと撮像対象物との距離を示す距離情報を生成することを説明するための図である。

図 2 Aは基準カメラの撮像点周辺の小領域をテンプレー卜することを説明するための図であり、図 2 Bは検出カメラの画像上に設定されるェピポーラライン上の数点で相関値を求めることを説明するための図である。

図 3は、評価値とェピポーラライン上の数点での位置との関係を示す図である。

図 4は、本発明に係る画像生成装置の一例を示すプロック図である。図 5は、仮想点 Aにおける距離画像及び濃淡画像を生成する前提として行うキヤリブレーションを行うキヤリプレーション装置の一例を示すブロック図である。

図 6は、基準画像の各座標に対応した各検出画像上のェピポーララインを求める一例について説明するための図である。

図 7は、撮像対象物が距離 Z！と距離 Z ₂に存在する場合に検出力メラの画像面に観察される観察点 n _{d l}と n _{d 2}とを示す図である。図 8は、本発明に係る距離画像生成部で距離画像及び濃淡画像を生成するときの前提として行うキヤリブレーションの一例を説明するための図である。

図 9は、キャリブレーション装置により生成されるルックアップテーブルの一例について説明するための図である。

図 1 0は、本発明に係る画像生成装置に備えられる距離画像生成部で距離画像及び濃淡画像を生成するときの処理の一例を示すフロ —チヤ一トである。

図 1 1は、仮想カメラが撮像すべき画像上の座標 n bに対応する検出画像のェピポーラライン上の距離番号ごとの画素（ n d 1〜n d 6 ) を導出することを説明するための図である。

図 1 2は、評価値と距離番号との関係を示す図である。

図 1 3は、本発明に係る画像生成装置に備えられる距離画像生成部で距離画像及び濃淡画像を生成するときの処理の他の一例を示すフローチヤ一卜である。

図 1 4は、本発明に係る画像生成装置に備えられる距離画像生成部で評価値画像を生成するときの処理の一例を示すフローチヤ一トである。発明を実施するための最良の形態以下、本発明の実施の形態について図面を参照しながら詳細に説明する。

本発明は、. 例えば図 4に示すように構成され、距離を測定して距離画像を生成するときに用いる画像生成装置 1に適用される。この画像生成装置 1は、撮像対象物 2を撮像する複数の検出カメラ 3

( 3 a、 3 b) と、複数の検出カメラ 3で撮像した画像データが格納されるフレームメモリ 4 a、 4 bと、フレームメモリ 4 a、 4 b に格納された画像データを用いて距離画像及び濃淡画像を生成する距離画像生成部 5とからなる。画像生成装置 1は、検出カメラ 3 a、 3 bで撮像対象物 2を撮像することにより、仮想点 Aに仮想的に配設し実在しない仮想カメラ 3 cで撮像するべき距離画像及び濃淡画像（以下、「仮想画像」と称する。）を生成するものである。

検出カメラ 3 a、 3 bは、例えば C CDイメージセンサ等を備え、撮像対象物 2を撮像することにより輝度情報等からなる画像（以下、

「検出画像」と略す。）を生成し、当該画像データをフレームメモリ 4 a、 4 bに格納する。このとき、検出カメラ 3 a、 3 bは、生成した画像データをフレーム毎にフレームメモリ 4 a、 4 bに格納する。

検出カメラ 3 a、 3 bは、図 4中の仮想点 Aとは異なる位置に複数台配設されている。本例では、検出カメラ 3を検出カメラ 3 a、検出カメラ 3 bとしてそれぞれ異なる位置に配設している。なお、これらの検出カメラ 3 a、 3 bが配設される位置、台数はこれに限定されず任意に設定可能である。

フレームメモリ 4は、検出カメラ 3 a、 3 bからの画像データをそれぞれフレームメモリ 4 a、 4 bに格納し、距離画像生成部 5に出力する。

距離画像生成部 5は、フレームメモリ 4 a、 4 bからの画像デー夕を処理することにより、仮想カメラ 3 cで生成される仮想画像を生成する。

つぎに、上述の図 4に示した画像生成装置 1に備えられた距離画像生成部 5で仮想点 Aにおける距離画像及び濃淡画像を生成する前提として行うキャリブレーションについて図 5のキヤリブレ一ション装置 1 0を参照して説明する。なお、キヤリブレ一ション装置 1 0の説明において、上述の画像生成装置 1 と同様の部分については同一符号を付することによりその詳細な説明を省略する。

図 5に示したキャリブレーション装置 1 0は、上述の仮想点 Aに配設された基準カメラ 1 1 と、この基準カメラ 1 1で撮像した画像デ一夕が格納されるフレームメモリ 1 2 とを備え、キヤリブレーシヨン部 1 3により撮像対象物 2を撮像した基準カメラ 1 1で撮像した画像（以下、「基準画像」と称する。）及び検出カメラ 3 a、 3 bで撮像した画像（以下、「検出画像」と称する。）を用いてキヤリブレーシヨンを行う。

キャリブレーション部 1 3は、検出カメラ 3 a、 3 b及び基準力メラ 1 1を位置決めして、検出画像上にェピポーララインを決定し、基準画像の座標と検出画像との対応関係を予め求めておき、例えば上述の距離画像生成部 5にルックアツプテーブルとして格納する処理を行う。このェピポーララィンは、基準カメラ 1 1及び検出カメラ 3 a、 3 bの光学中心（光軸）と基準カメラ 1 1の観察点 n _bによって決まる平面と、検出カメラ 3 a、 3 bの画像面が交わる直線である。ここで、基準画像の各座標に対応した各検出画像上のェビポーララインを求める一例について説明する。例えば図 6に示すように、 3次 ' 元空間に置かれた平面上の点 Pが基準カメラ 1 1の基準画像で点 η _bに観察され、検出カメラ 3の検出画像で点 n _dに観察されたとする。このような関係にある場合、検出画像の点 n _dは、点 n _bから点 n _dへ変換を行う 3 X 3の射影変換行列を Hとすると、 n _d = H -n_b (式 2 ) と表現される。そして、この距離画像生成部 5は、この射影変換行列 Hのパラメ一夕を変化させながら基準カメラ 1 1で撮像された基準画像に対して所定の射影変換を施し、検出画像と基準画像間の輝 '度の誤差が最小となるように射影変換行列 Hのパラメ一夕を決定する。射影変換行列 Hを求めることにより、キャリブレーション部 1 3は、基準画像の任意の点に対応する対応点を検出画像上から検索することが可能となる。なお、本例では、変換後の検出画像と基準画像とが正確に一致する射影変換行列 Hを求める方法（画像合わせ込み方法）としては、 Levenberg- Marquardt最小法（ L— M法）を用いている。このキャリブレーション部 1 3は、このような手法を用いて射影変換行列 Hを各距離毎に求め、当該射影変換行列 Hを用いてェビポ一ララインを求める。

すなわち、このキャリブレーション部 1 3は、例えば図 7に示すように、上述の L一 M法を用いて基準位置からの距離 Z iについての射影変換行列 H iを求めると、基準位置からの距離 Z！における基準画像上の点 n_bに対応する検出画像上の点が決定できる。ここで、基準画像上の点 n_bは任意であるので、キヤリブレーシヨン部 1 3は、距離 Z tにおける射影変換行列 H！を用いて、基準画像上の全ての点 n_bに対応する対応点を検出画像上の点 n_dとして算出することができる。キャリブレーション部 1 3は、同様にして、観察する平面を距離 Z ₂に、距離 Z ,の位置に置かれていた平面と平行となるように置いた場合の射影変換行列 H ₂を求める。

そして、キャリブレーション部 1 3は、距離 Z >及び距離 Z ₂に対応した射影変換行列 H！及び射影変換行列 H ₂により、基準画像上の点 n_bが距離 Z 又は距離 Z ₂にある場合には、検出画像上の点 n_{d l}又は点 n_d2にそれぞれ射影されることを算出する。このようにキヤリブレーシヨン部 1 3は、検出画像上の点 n_{d l}と点 n_d2との 2点を補間してェピポーララインを算出することにより、基準画像上の点 n _b、距離 Z及び検出画像上の点 n_dとの関係を求めることができる。この射影変換行列 Hを距離 Z毎に記憶しておくことにより、後述の方法を用い、画像生成装置 1に備えられた仮想カメラ 3 cで生成すべき仮想画像の距離情報を得ることができる。ただし、このように補間を行うときには、距離 Z tと距離 Z₂との間に位置する距離に置いた平面を設定することが必要となる。なお、上述のキヤリブレーシヨン部 1 3が行うキヤリブレーションの例に関する詳細は、特願平 9— 2 0 7 9 5 1号に記載されている。

つぎに、基準画像上の点 n_bと検出画像上の点 n_dとから距離 Zを求めるには、次のようにしても良い。キヤリブレーシヨン部 1 3は、算出したェピポーララィン上において図 6及び図 Ίに示すキヤリブレ一シヨンを行うことにより、基準画像上の点 n_bと、検出画像上の点 n_dとの関係を求め、この関係を、例えばルックアップテーブルに格納する。

このキヤリブレーシヨンは、例えば図 8に示すように検出画像のェピポーラライン上における点 n_{d l}と光学中心とを結ぶ視線と、基準画像上の点 n_bと基準カメラ 1 1の光学中心とを結ぶ視線との交わる点が基準カメラ 1 1から撮像対象物までの距離 Z >に対応することを用いて行い、距離を距離番号「 1」とする。このェピポ一ララインは、上述の射影変換行列 Hを用いて算出される。また、検出画像のェピポ一ラライン上における点 n _{d 2}と光学中心とを結ぶ視線と、基準画像上の点 n_bと基準カメラ 1 1の光学中心とを結ぶ視線との交わる点が基準カメラ 1 1から撮像対象物までの距離 Z ₂に対応する。このとき、距離 Z ₂を距離番号「2」とする。

このように、キャリブレーション部 1 3は、検出画像の点 n_{d l}~ n_{d 6}に対して順次、検出画像のェピポーラライン上における点 n_{d l} 〜n_d6と光学中心とを結ぶ視線と、基準画像上の点 n_bと基準カメラ 1 1の光学中心とを結ぶ視線との交わる点に対応する距離 Z ,~ Z ₆ を距離番号 1〜 6として検出することにより、上述の画像生成装置 1で行う距離画像生成の前にキヤリブレーションを行う。そして、キヤリブレーシヨン部 1 3は、基準画像上の点 n_bと検出画像上の点 n_dとの関係から、基準画像上の点 n_bが撮像すべき画像の距離番号 1〜6を得ることができる。

また、キャリブレーション部 1 3は、各距離 Z！〜距離 Z ₆について各平面を設定して基準画像上の点 n_bと検出画像上の点 n_dとの対応関係を示す各射影変換行列を生成しても良く、例えば距離 Z !、距離 Z ₃、距離 Z ₆の 3つの距離についてのみ平面を設定して検出画像上の点 n_bと検出画像上の点 n_dとの対応関係を示す射影変換行列を求めてから、距離 Z ,， Z Z の間に位置する距離 Z ，についての射影変換行列を補間して求めても良い。

すなわち、このキヤリブレーシヨン部 1 3は、光学中心（光軸）から基準画像上の点 n _bに対応する検出画像上の点 n _dをェピポーラライン上で順次キャリブレーションすることにより、ェビポ一ララィン上で対応点 n_{d l}〜n_d6を決定することにより距離 Z !〜Ζ ₆を決定し、対応点11<_{1 1}〜11 と距離番号 1〜6との対応付けを行ぃ、基準画像上の点 n_bと、検出画像上の点 n_dとの関係を求め、例えば図 9に示すようなルックアツプテ "^ブルを作成する。

この図 9においては、例えば基準画像上のある点 n_bに対応する距離（ Z l， Z 2 , Z 3 , · · ■ ) の検出カメラ 3 aが撮像した検出画像上の点（nd l , n d 2 , n d 3 , · · · ) 及び検出カメラ 3 bが撮像した検出画像上の点（nd l， n d 2 , n d 3， · · ·）が格納されてなる。そして、このルックアップテ一ブルは、例えば基準画像上の各画素毎に生成され、画像生成装置 1で距離画像を生成するときに、キヤリブレーシヨン部 1 3における基準画像上の画素が仮想画像上の画素として参照される。

つぎに、画像生成装置 1に備えられた距離画像生成部 5で検出力メラ 3 a、 3 bで生成された画像データを用い、上述のキヤリブレ —ション装置 1 0で生成したルックアップテーブルを参照して距離画像及び濃淡画像を生成するときの一例について図 1 0のフローチヤートを用いて説明する。図 1 0に示したフローチャートによれば、先ず、ステップ S T 1 において距離画像生成部 5は、仮想カメラ 3 cの仮想画像の画像デ一夕上の画素の座標 iを初期化することで i = 0とする。

次に、ステップ S T 2において距離画像生成部 5は、キヤリブレーシヨンを行ったときの距離方向の分解能に応じた距離番号 jを初期化することで j = 0としてステップ S T 3及びステツプ S T 4に進む。

ステップ S T 3において距離画像生成部 5は、図 1 1に示すように、仮想カメラ 3 cが撮像すべき画像上の座標 i (nb) に対応する検出画像のェピポーラライン上の距離番号： iでの画素 n_da ( i , j ) (nd l〜nd 6 ) を導出する。すなわち、距離画像生成部 5 は、ステップ S T 1で仮想カメラ 3 cが撮像すべき仮想画像上の座標 iが決定すると、上述の処理により決定された検出カメラ 3 aのェピポーラライン上の画素 n_da ( i， j ) をルックアップテ一ブルから検出してステップ S T 5に進む。なお、決定された検出画像の画素 n" ( i , j ) の位置は、整数値のみならず、サブピクセルで表現しても良い。

ステップ S T 5において距離画像生成部 5は、上述のステツプ S T 3で決定した距離番号： iにおける画素 n_da ( i , j ) の近傍を当該画素 n_da ( i， j ) を中心に小領域 WA ( i , j ) として切り出す。

一方、距離画像生成部 5は、ステップ S T 4において上述のステップ S T 3で説明した処理を検出カメラ 3 bについても行う。すなわち、この距離画像生成部 5は、仮想カメラ 3 cが撮像すべき画像上の座標 iに対応する検出カメラ 3 bが撮像した検出画像上のェピポーラライン上の距離番号 jでの画素 n_db ( i， j ) をルックアツプテーブルから検出してステヅプ S T 6に進む。

距離画像生成部 5は、ステップ S T 6においても、上述のステツプ S T 5と同様の処理を検出カメラ 3 bについて行う。すなわち、距離画像生成部 5は、上述のステップ S T 4で決定した距離番号 j における画素 n_db ( i , j ) の近傍を当該画素 n_db ( i , j ) を中心に小領域 WB ( i , j ) として切り出す。

次に、ステップ S T 7において距離画像生成部 5は、上述のステヅプ S T 5で切り出した小領域 W A ( i， j ) と、ステップ S T 6 で切り出した小領域 WB ( i， j ) とを比較することにより、相関を計算し、評価値 s ( j ) を得る。ここで、評価値 s ( j ) は、距離番号： Ϊにおける相関を示しており、例えば下式により算出される,

Ι(χ+ί)-Γ(χ'+ή (式 3 ) 相関は大きいほど小領域 WA ( i , j ) と小領域 WB ( i， j ) との類似度が高いことを示している。また、評価値 s ( j ) は、距離画像生成部 5で相関に対応して上記式 2で算出されることにより、相関が大きいほど評価値は小さい値を有する。すなわち、この距離画像生成部 5は、検出カメラ 3 aにより生成した検出画像の小領域 WA ( i , j ) と、検出カメラ 3 bにより生成した検出画像の小領域 WB ( i， j ) との輝度パターンを比較することで類似度を評価値 s ( j ) として生成する。

次に、ステップ S T 8において距離画像生成部 5は、距離番号 j を認識することにより全距離番号について評価値 s ( j ) を算出したか否かを判断し、全距離番号 jについて処理をしたときにはステヅプ S T 1 0に進む。一方、全距離番号 jについて処理をしていないときにはステップ S T 9に進み、距離番号 jをインクリメントして再びステップ S T 3及びステップ S T 4に進む。すなわち、距離画像生成部 5は、仮想カメラ 3 cの仮想画像の画素の座標 iに対して全距離番号 jについて上述のステツプ S T 3〜ステップ S T 7で説明した処理を行う。

次に、ステップ S T 1 0において距離画像生成部 5は、仮想画像の座標 iに対する全距離番号 jについての各評価値 s ( j ) のうち、最小の値を有する評価値 s ( j _{m l} n ) を選択する。例えば図 1 2に示すように距離番号 1〜 6に対応する評価値 s ( j ) を距離画像生成部 5で得たとき、距離番号が「3」が最小の値を有する評価値 s

( j mi n ) となる。このとき、距離画像生成部 5は、ステップ S T 7 で得た各評価値 s ( j ) 間を補間して最小の評価値 s ( j _{mi n}) を求めても良い。距離画像生成部 5は、補間して最小の評価値 s ( j _mi π ) を得るときには距離番号 n_dmが「 3. 3」を最小の評価値 s ( j _min) として得る。従って、この距離画像生成部 5は、補間して評価値 s ( j rn i n ) を得ることにより評価値の精度を高くすることができる。

次に、ステップ S T 1 1において距離画像生成部 5は、上述のステツプ S T 1 0において得た最小の値を有する評価値 s ( j _min) が示す距離番号 jに対応する距離 Zを仮想カメラ 3 cで撮像した距離画像の座標 iの距離情報として記憶する。

次に、ステップ S T 1 2において距離画像生成部 5は、上述のステツプ S T 1 0において得た最小の値を有する評価値 s ( j _{m i} n ) が示す距離番号 jに対応する検出カメラ 3 aで撮像した検出画像と検出力メラ 3 bで撮像した検出画像の画素の例えば片方の値又は双方の値を仮想画像の座標 iにおける輝度情報として記憶する。

次に、ステップ S T 1 3において距離画像生成部 5は、上述のステツプ S T 3〜ステップ S T 1 2までの処理を仮想カメラ 3 c上の各座標 iについて行うことで、仮想画像の全ての座標 iについて距離情報及び輝度情報を求める処理がなされたかを判断する。そして、距離画像生成部 5は、全ての座標 iについて距離情報及び輝度情報が求められたと判断したときには処理を終了し、全ての座標 iについて距離情報及び輝度情報が求められていないと判断したときには座標 iの値をステップ S T 1 4でインクリメントしてステップ S T 2に戻り、インクリメントした座標 i + 1についてステップ S T 2 〜ステップ S T 1 2までの処理を行い、全ての座標 iについて距離情報及び輝度情報を求めるまで繰り返す。

このような距離画像生成部 5を備えた画像生成装置 1は、仮想力メラ 3 cで生成すべき仮想画像について、仮想位置にカメラを配置しないで、検出カメラ 3 a、 3 bのみで本来カメラが配される仮想点 Aから撮像対象物 2までの距離を示す距離画像及び仮想点 Aから撮像対象物 2を撮像したときの濃淡画像を生成することができる。したがって、この画像生成装置 1によれば、仮想カメラ 3 cのみでは電子的に画像として生成することができない、各画素についての距離情報を有してなる距離画像を生成することができる。

また、画像生成装置 1によれば、仮想的な位置に配された仮想力メラからの距離画像及び濃淡画像を生成するときに、仮想カメラからの位置に実際にカメラを位置させてキヤリブレーションを行うことにより、従来のように撮像対象物の三次元空間の座標系に展開するという煩雑な処理を行う必要がなく仮想カメラで生成すべき距離画像及び濃淡画像を生成することができる。

更に、この画像生成装置 1によれば、例えばユーザの正面に画像を表示するスクリーンが存在している場合であって、ユーザの正面にカメラを配置することができない状態であっても、ユーザの周囲に複数台の検出カメラ 3を配置することにより、ユーザの正面から撮像して生成すべき距離画像及び濃淡画像を生成することができる ₍ 更にまた、この画像生成装置 1によれば、仮想カメラ 3 cの位置に高精細な撮像カメラ若しくは、フィルムを使用するカメラ等のように検出カメラ 3 a、 3 bとは異なるタイプのカメラを配設しても良い。このような画像生成装置 1は、 · 仮想的な位置に配された仮想カメラ 3 cと撮像対象物 2との距離を測定する処理とは独立に輝度情報及び色情報からなる濃淡画像を撮像することが可能となるとともに、仮想カメラ 3 cが配設される仮想的な位置に配置された通常のカメラで撮像されている撮像対象物 2の距離を測定することも可能となる。

つぎに、距離画像生成部 5が検出カメラ 3 a、 3 bで生成された画像デ一夕を用いて、距離画像及び濃淡画像を生成するときの他の一例について図 1 3に示すフローチャートを参照して説明する。この距離画像生成部 5は、先ず、ステツプ S T 2 1において、キャリブレーションを行ったときの距離方向の分解能に応じた距離番号 j を初期化することで j = 0とする。

次に、ステップ S T 2 2において距離画像生成部 5は、仮想カメラ 3 cの仮想画像上の各画素の座標 iを初期化することで i = 0としてステップ S T 2 3及びステツプ S Τ 24に進む。

ステップ S Τ 2 3において距離画像生成部 5は、上述のステツプ S Τ 3と同様に仮想カメラ 3 cが撮像すべき仮想画像上の座標 iに対応する検出カメラ 3 aが撮像した検出画像上のェピポーラライン上の距離番号 jでの画素 n_da ( i , j ) を導出してステップ S T 2 5に進む。

ステップ S T 2 5において距離画像生成部 5は、上述のステツプ S T 2 3において導出した画素 n_da ( i , j ) の輝度値を、視差画像 D aの画素 D a ( i ) として記憶する。

一方、ステップ S T 24において距離画像生成部 5は、上述のステツプ S T 4と同様に、仮想カメラ 3 cが撮像すべき仮想画像上の座標 iに対応する検出画像上のェピポーラライン上の距離番号 jでの画素 n_db ( i， j ) を導出してステップ S T 26に進む。

そして、距離画像生成部 5は、ステップ S T 26において上述のステップ S T 24において導出した画素 n_db ( i , j ) の輝度値を、視差画像 D bの画素 D b ( i ) として記憶する。

このように、距離画像生成部 5は、ステップ S T 2 5及びステツプ S T 2 6で示す処理を行うことにより、仮想画像の座標 i = 0において各検出カメラ 3 &、 3 bの距離番号 jでの視差画像 D a、 D bの画素 D a ( i ) 、 D b ( i ) を記憶する。このとき、距離画像生成部 5は、各検出画像のェピポーラライン上をキヤリブレ一ション装置 1 0でキャリブレーションしたときの距離番号 jに対応する画素 D a ( i ) 、 D b ( i ) をルックアップテ一ブルを参照して導出する。

次に、ステップ S T 27において距離画像生成部 5は、距離番号 jにおいて仮想画像の全ての座標 iについて視差画像 D a、 D bの画素 D a ( i ) 、 D b ( i ) を記憶したか否かを判断する。そして、この距離画像生成部 5は、全ての座標 iについて視差画像 D a、 D bの画素 D a ( i ) 、 D b ( i ) と記憶したと判断したらステップ S T 29に進み、全ての座標 iについて記憶していないと判断したときにはステップ S T 28において座標 iをインクリメントすることにより座標 i + 1 として再びステツプ S T 23及びステヅプ S T 24に戻る。すなわち、距離画像生成部 5は、距離番号 jにおける全ての座標 iについて視差画像 D a、 D bの画素 D a ( i ) 、 D b ( i ) を記憶するまでステップ S T 2 3〜ステップ S T 2 8までの処理を繰り返す。

- ステップ S T 2 9において距離画像生成部 5は、上述のステップ S T 2 3〜ステップ S T 28までの処理を行うことにより得た視差画像 D aに含まれる画素 D a ( i、 j ) と、視差画像 D bに含まれる D b ( i , j ) とを式 1を用いて比較することにより、検出カメラ 3 aで撮像した検出画像と検出カメラ 3 bで撮像した検出画像との相関を求め、各画素について相関に応じた評価値 s ( i , j ) を求める。そして、距離画像生成部 5は、距離 jにおける座標 iの評価値 s ( i , j ) からなる評価値画像 s ( i , j ) を生成する。なお、この評価値画像 S ( i , j ) を生成する処理についての詳細は後述する。

次に、ステップ S T 30において距離画像生成部 5は、距離番号 jを認識することにより全距離番号 jについて評価値画像 S ( i , j ) を生成したか否かを判断し、全距離番号 jについて処理をしたときにはステップ S T 32に進む。一方、全距離番号： iについて処理をしていないときにはステツプ S T 3 1に進み、距離番号 jをィンクリメントして距離番号 j + 1とし再びステツプ S T 2 3〜ステップ S T 3 1までの処理を繰り返す。

ステップ S T 3 2では、仮想カメラ 3 cの仮想画像上の各画素の座標 iを初期化することで座標 i = 0とする。

次に、ステップ S T 33で距離画像生成部 5は、上述の処理により得た座標 iにおける各距離番号 j毎の評価値画像 S ( i , j ) の値である評価値 s ( j ) が最小となる値を検索し、最小の評価値を有する画素 s ( i , j _min) に対応する距離番号 j _{mi n}を導出する。また、この距離画像生成部 5は、各距離番号 j毎の各評価値 s ( j ) を補間して最小の評価値 s ( j _mi„) を求めても良い。このように、距離画像生成部 5は、補間して最小の評価値 s ( j _min) を求めることにより、評価値 s ( j ) の精度をより高くすることができる。

次に、ステップ S T 34において距離画像生成部 5は、上述のステツプ S T 33において得た最小の評価値 s ( i , j _min) が示す距離番号 j _minに対応する距離 Zを仮想カメラ 3 cで撮像する距離画像の座標 iの距離情報として記憶する。

次に、ステップ S T 3 5において距離画像生成部 5は、上述のステツプ S T 3 3において得た最小の評価値 s ( i , j _min) が示す距離番号 j _minに対応する検出カメラ 3 aで撮像した検出画像と検出力メラ 3 bで撮像した検出画像の画素の輝度情報の例えば片方の値又は双方の値の平均の値を仮想画像の位置 iにおける輝度情報として

BCT 3 る。

次に、ステップ S T 3 6において距離画像生成部 5は、上述のステヅプ S T 3 3〜ステップ S T 3 5までの処理が仮想カメラ 3 c上の画素の各位置 iについて行うことで、仮想画像の全ての座標 iについて距離情報及び輝度情報を求める処理がなされたか否かを判断する。そして、距離画像生成部 5は、全ての座標 iについて距離情報及び輝度情報が求められたと判断したときには処理を終了し、全ての座標 iについて距離情報及び輝度情報が求められていないと判断したときには座標 iをステップ S T 3 7でインクリメントしてステツプ S T 3 3に戻り、インクリメントした座標 i + 1についてステツプ S T 3 3〜ステップ S T 3 6までの処理を行い、全ての座標 iについて距離情報及び輝度情報を求めるまでステツプ S T 3 3〜ステップ S T 3 7の処理を繰り返す。

つぎに、上述のステツプ S T 2 9で視差画像 D aと視差画像 D b とから評価値画像 S ( i， j ) を生成する一例について図 1 4を参照して説明する。

評価値画像 S ( i , j ) を生成するときには、先ず、ステップ S T 4 1において距離画像生成部 5は、評価値画像 S ( i , j ) の画像の座標 iを「 0」に初期化する。

次に、ステップ S T 4 2において距離画像生成部 5は、視差画像 D a ( i ) の近傍の小領域と、視差画像 D b ( i ) の近傍の小領域との輝度パターンを比較することにより、小領域毎に評価値 s ( j ) を計算する。この結果、各画素の情報としては、距離番号 j に対応した評価値 S ( j ) が存在することになる。このとき、距離画像生成部 5は、上述の式 1を用いて評価値 s ( j ) を計算しても良い。

次に、ステップ S T 4 3において距離画像生成部 5は、上述のステツプ S T 4 2で計算して得た評価値を評価値画像 S ( i , j ) の画素として記憶する。

次に、ステップ S T 4 4において距離画像生成部 5は、画面全体について評価値画像 S ( i , j ) の画素を生成したか否かを判断し、仮想画像の座標 iより全ての画素について評価値画像 S ( i , j ) の画素として記憶したら処理を終了し、座標 iより全ての画素について評価値画像 S ( i , j ) の画素として記憶していないと判断したときには座標 iをインクリメントして座標 i + 1 として再びステヅプ S T 4 2〜ステップ S T 4 3の処理を行い、結果的に全ての座標 iについて評価値画像 S ( i , j ) の画素を記憶するまで繰り返すこととなる。

このように、画像生成装置 1は、仮想カメラ 3 cで生成すべき仮想画像について、仮想位置にカメラを配置しないで、検出カメラ 3 a、 3 bのみで本来カメラが配される位置から撮像対象物 2までの距離を示す距離画像及び仮想カメラ 3 cから撮像対象物 2を撮像したときの濃淡画像を生成することができる。

更に、この画像生成装置 1は、視差画像 D a ( i ) の近傍の小領域と、視差画像 D b ( i ) の近傍の小領域との輝度パターンを比較することにより、小領域毎に評価値 s ( j ) を計算して仮想画像の座標を順次ィンクリメン卜しながら計算することにより、各距離番号毎の評価値画像 S ( i , j ) を生成して最小の評価値 s ( j _{m i n} ) を選択して距離情報からなる距離画像及び輝度情報からなる濃淡画像を生成するので、上述の図 1 0若しくは図 1 2で示した処理よりも計算量を減らすことができる。

なお、上述のフローチヤ一トを参照して説明した距離画像生成部 5の処理においては、仮想画像の全体の座標 iについて距離情報及び輝度情報を求める一例について説明したが、仮想画像の一部の座標 iについて距離情報及び輝度情報を求めても良い。

また、上述のフローチヤ一トを参照して説明した距離画像生成部 5の処理の前提として行うキヤリプレ一ション時に、例えば撮像対象の平面にパターン光を投光することにより、撮像対象物にテクスチヤを貼り付けても良い。このように画像生成装置 1 は、キヤリブレ一ション時に撮像対象物にテクスチャを貼り付けることにより、キャリブレーションの精度を向上させることができ、距離計測の精度を向上させることができる。

更に、この画像生成装置 1は、距離計測の精度を上げるために、例えば赤外線領域のパターン光を撮像対象物に投光し、仮想カメラ 3 cを配する位置に配され赤外線遮断フィル夕を備えたカメラと、その周囲に位置する検出カメラ 3とから構成しても良い。このときキャリブレーションを行ったカメラを仮想カメラとしてそのまま用いることとなる。これにより、この画像生成装置 1は、周囲の検出カメラにより赤外線領域のパターン光を受像して距離画像を生成し仮想カメラ 3 cを配する位置に配されたカメラで濃淡画像を生成する。このとき、仮想カメラ 3 cを配する位置に配されたカメラで生成した画像をそのまま濃淡画像として利用する。産業上の利用可能性以上詳細に説明したように、本発明に係る画像生成装置は、仮想位置と撮像対象物とを結ぶ視線と、各撮像手段の位置と撮像対象物とを結ぶ視線との対応点を結ぶことにより決定されるェピポーラライン上で、上記各撮像手段により生成された各画像データ同士を比較して相関を検出する相関検出手段と、相関検出手段により検出された相関関係に基づいて仮想位置と撮像対象物との距離を示す距離画像を生成する距離画像生成手段とを備え、 2以上の撮像手段で生成した画像デ一夕を用いて、相関検出手段で各撮像手段で生成した画像データを比較して相関関係を検出するので、仮想位置にカメラを配置しないで、仮想位置から撮像対象物までの距離を示す距離画像及び仮想位置から撮像対象物を撮像したときの濃淡画像を生成することができる。

また、本発明に係る画像生成方法は、仮想位置と撮像対象物とを結ぶ視線と、各撮像手段の位置と撮像対象物とを結ぶ視線との対応点を結ぶことにより決定されるェピポーラライン上で、上記各撮像手段により生成された各画像デ一夕同士を比較して相関を検出するので、仮想位置にカメラを配置しないで、仮想位置から撮像対象物までの距離を示す距離画像及び仮想位置から撮像対象物を撮像したときの濃淡画像を検出された相関関係に基づいて生成することができる。

Claims

請求の範囲

1 . 撮像対象物を撮像して画像デ一夕を生成し、それぞれが異なる位置に配された 2以上の撮像手段と、

仮想位置と撮像対象物とを結ぶ視線と、各撮像手段の位置と撮像対象物とを結ぶ視線との対応点を結ぶことにより決定されるェピポ —ラライン上で、上記各撮像手段により生成された各画像デ一夕同士を比較して相関を検出する相関検出手段と、

上記相関検出手段により検出された相関関係に基づいて仮想位置と撮像対象物との距離を示す距離画像を生成する距離画像生成手段と

を備えることを特徴とする画像生成装置。

2 . 上記相関検出手段は、上記ェピポーラライン上に位置する複数の画素デ一夕からなる小領域の画像データ同士を比較して相関を検出すること

を特徴とする請求の範囲第 1項に記載の画像生成装置。

3 . 上記各撮像手段により生成された各画像デ一夕に基づいて仮想位置から撮像対象物を撮像したときの濃淡画像を生成する濃淡画像生成手段を備え、

上記濃淡画像生成手段は、上記各撮像手段により生成された画像データの輝度情報を用いて濃淡画像を生成すること

を特徴とする請求の範囲第 1項に記載の画像生成装置。

4 . 上記仮想位置に配置された基準カメラを備え、

上記基準カメラは、撮像対象物の濃淡画像を生成し、上記距離画像生成手段は、上記 2以上の撮像手段により生成された画像デ一夕に基づいて上記基準カメラと撮像対象物との距離を示す距離画像を生成すること

を特徴とする請求の範囲第 1項に記載の画像生成装置。

5 . 撮像対象物に所定領域のパターン光を照射する発光手段と、上記基準カメラに入射される上記所定領域のパターン光を遮断するフィル夕手段とを備え、

上記基準カメラは、撮像対象物の濃淡画像を生成し、

上記距離画像生成手段は、上記 2以上の撮像手段が上記パターン光が照射された撮像対象物から反射する光を用いて生成した画像デ —夕に基づいて上記基準カメラと撮像対象物との距離を示す距離画像を生成すること

を特徴とする請求の範囲第 4項に記載の画像生成装置。

6 . 上記基準カメラは、各撮像手段で撮像した画像と、上記仮想位置と撮像対象物との距離との関係を示す距離データを生成することに用いられること

を特徴とする請求の範囲第 4項に記載の画像生成装置。

7 . 上記相関検出手段は、仮想位置と撮像対象物との距離に対応する上記各ェピポーラライン上の画像データ同士を比較して、距離画像を構成する少なくとも一画素からなる各画素プロックについて各距離毎の相関を検出し、

上記距離画像生成手段は、上記相関検出手段で検出された各距離毎の相関のうち、最も相関が高い各画像デ一夕における距離を距離画像の画素プロックの撮像対象物との距離とすること

を特徴とする請求の範囲第 1項に記載の画像生成装置。

8 . 上記最も相関が高い距離に対応するェピポ一ララィン上の上記各撮像手段で撮像した複数の画像デ一夕を用いて、上記仮想位置から撮像対象物を撮像したときの画像デ一夕を生成する濃淡画像生成手段を備えること

を特徴とする請求の範囲第 7項に記載の画像生成装置。

9 . 上記相関検出手段は、上記仮想位置と撮像対象物との距離に対応する上記各ェピポ一ララィン上の複数の画像デ一夕のうち、所定の距離を示す画像データ同士を比較して上記所定の距離についての相関を上記距離画像全体について検出する処理を全距離について行い、

上記距離画像生成手段は、各距離画像を構成する少なくとも一画素からなる各画素ブロック毎に、各距離毎の相関のうち、最も相関が高い各画像データにおける距離を各画素プロックについての撮像対象物との距離とすること

を特徴とする請求の範囲第 1項に記載の画像生成装置。

1 0 . 上記最も相関が高い距離に対応するェピポーラライン上の上記各撮像手段で撮像した複数の画像データを用いて、上記仮想位置から撮像対象物を撮像したときの画像データを生成する濃淡画像生成手段を備えること

を特徴とする請求の範囲第 9項に記載の画像生成装置。

1 1 . それぞれが異なる位置に配された 2以上の固体撮像素子で撮像対象物を撮像して画像データを生成し、

仮想位置と撮像対象物とを結ぶ視線と、各撮像手段の位置と撮像対象物とを結ぶ視線との対応点を結ぶことにより決定されるェピポ一ラライン上で、上記各撮像手段により生成された各画像データ同士を比較して相関を検出し、

検出された相関関係に基づいて仮想位置と撮像対象物との距離を示す距離画像を生成すること

を特徴とする画像生成方法。

1 2 . 上記ェピポーラライン上に位置する複数の画素データからなる小領域の画像デ一夕同士を比較して相関を検出することを特徴とする請求の範囲第 1 1項に記載の画像生成方法。

1 3 . 上記各固体撮像素子により生成された各画像デ一夕の輝度パターンを用いて濃淡画像を生成すること

を特徴とする請求の範囲第 1 1項に記載の画像生成方法。

1 4 . 上記 2以上の固体撮像素子で撮像した各画像データ同士を比較して画像全体の相関を検出し、

画像全体の相関関係に基づいて仮想位置と撮像対象物との距離を示す距離画像を生成すること

を特徴とする請求の範囲第 1 1項に記載の画像生成方法。

1 5 . 上記仮想位置と撮像対象物との距離に対応する上記各ェピポーラライン上の画像デ一夕同士を比較し、

上記距離画像を構成する少なくとも一画素からなる各画素プロックついて各距離毎の相関を検出し、

各距離毎の相関のうち、最も相関が高い各画像データにおける距離を上記仮想位置と撮像対象物との距離とすること

を特徴とする請求の範囲第 1 1項に記載の画像生成方法。

1 6 . 上記最も相関が高い各画像データにおける距離に対応するェピポーラライン上の各固体撮像素子で撮像した複数の画像データを用いて、上記仮想位置から撮像対象物を撮像したときの画像デー夕を生成すること

を特徴とする請求の範囲第 1 5項に記載の画像生成方法。

1 7 . 上記仮想位置と撮像対象物との距離に対応する上記各ェピポーラライン上の複数の画像データのうち、所定の距離を示す画像データ同士を比較して上記所定の距離についての相関を上記距離画像全体について検出する処理を全距離について行い、

各距離画像を構成する少なくとも一画素からなる各画素プロック毎に、各距離毎の相関のうち、最も相関が高い各画像データにおける距離を各画素プロックについての撮像対象物との距離とすることを特徴とする請求の範囲第 1 1項に記載の画像生成方法。

1 8 . 上記最も相関が高い各画像データにおける距離に対応するェピポーラライン上の各固体撮像素子で撮像した複数の画像デ一夕を用いて、上記仮想位置から撮像対象物を撮像したときの画像デー夕を生成すること

を特徴とする請求の範囲第 1 7項に記載の画像生成方法。