WO2000064175A1

WO2000064175A1 - Dispositif de traitement d'images et systeme de surveillance

Info

Publication number: WO2000064175A1
Application number: PCT/JP2000/002474
Authority: WO
Inventors: Shusaku Okamoto; Masamichi Nakagawa; Kunio Nobori; Atsushi Morimura
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 1999-04-16
Filing date: 2000-04-17
Publication date: 2000-10-26
Also published as: CA2369648A1; EP1179958A4; KR20010112433A; EP2410741A1; EP1179958A1; US7161616B1; EP1179958B1; CN1344470A; CN100438623C; EP2410742A1

Description

曰月糸田 β 画像処理装置および監視システム技術分野

本発明は、複数のカメラによって撮像された画像を用いて合成画像を生成する画像処理技術に関するものであり、特に、車両運転の際の安全確認の補助などに利用される監視システムに有効な技術に属する。背景技術

従来の一般的な監視システムでは、監視対象となる部分を 1台または複数台の監視カメラで撮影し、その画像をモニタに表示する構成が一般的である。この場合、通常は、設置されたカメラの台数に応じて、モニタを準備する。

また、従来の車両用の安全監視システムとしては、例えば、車両の周囲を撮影するカメラを設置し、カメラで撮影した画像を運転席近くに設置したモニタ一に表示させるものがある。このシステムにより、運転者は、車両後方のような、目視ゃミラ一では安全確認が困難な場所を、モニタで確認することができる。さらに、日本国特許公報第 2 6 9 6 5 1 6号では、ギアや車速に応じて、モニタ画面の分割表示を行う構成が開示されている。具体的には、車両が停止，微速状態にあると判定したときは、モニタ画面を 3分割して、車両の左右および下方に配置された 3個のカメラの撮像画像を合成して再生し、車両が前方走行状態にあると判定したときは、モニタ画面を 2分割して、車両の左右に配置された 2 個のカメラの撮像画像を合成して再生する。

また、日本国特許公開公報特開平 1 1— 7 8 6 9 2号では、車両用映像提示装置として、遭遇した場面毎に的確な映像を合成 · 表示する構成が開示されている。具体的には、後退車庫入れ状態か、前進車庫入れ状態か、縦列駐車状態か、あるいは見通しの悪い交差点に進入した状態か等の車両の運転状態に応じて、力メラ画像の変形 ·合成を行う。

しかしながら、このような従来の構成は、車両の運転者などのようなユーザにとって、必ずしも利用しゃすいシステムであるとはいえない。発明の開示

本発明は、画像処理装置または監視システムとして、車両の運転者などのユーザの利便性を、従来よりもさらに向上させることを目的とする。具体的には、本発明は、画像処理装置として、車両の周囲を撮影する複数の力メラの撮像画像を入力とし、これらのカメラ画像から、仮想視点から見た合成画像を生成する画像処理部を備え、前記画像処理部は、前記仮想視点の位置、視線の向きおよび焦点距離のうちの少なくともいずれか 1つを、前記車両の走行状態に応じて変更するものである。

そして、前記画像処理部は、前記仮想視点の位置、視線の向きおよび焦点距離のうちの少なくともいずれか 1つを、前記車両の走行速度に応じて変更するのが好ましい。

また、前記画像処理部は、仮想視点の位置、視線の向き、および焦点距離のうちの少なくともいずれか 1つの変更とともに、変更後の仮想視点の視野範囲外画像の取込の制御を行うのが好ましい。さらに、変更後の仮想視点の視野範囲外画像の取込の制御を、画像合成のためのモデルを変更することによって行うのが好ましい。

また、前記画像処理部は、前記仮想視点の位置、視線の向きおよび焦点距離のうちの少なくともいずれか 1つを、前記車両の舵角に応じて変更するのが好ましい。

また、前記画像処理部は、前記仮想視点の位置、視線の向きおよび焦点距離のうちの少なくともいずれか 1つを、前記車両が備えている物体検出センサによる検出結果に応じて変更するのが好ましい。

また、前記画像処理部は、原マツビングテーブルを有し、この原マツビングテ —ブルから切り出したマッビングテーブルを用いて合成画像の生成を行うものであり、かつ、前記原マッピングテーブルから切り出すマツビングテ一ブルを変更することによって、仮想視点の位置、視線の向き、および焦点距離のうちの少なくともいずれか 1つの変更を行うのが好ましい。

また、本発明は、画像処理装置として、車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これらのカメラ画像から、仮想視点から見た合成画像を生成する画像処理部を備え、前記画像処理部は、前記車両の走行状態に応じて、前記仮想視点の視野範囲外画像の取込の制御を行うものである。

また、本発明は、監視システムとして、車両の周囲を撮影する複数のカメラと、前記複数のカメラの撮像画像を入力とし、これらのカメラ画像から、仮想視点から見た合成画像を生成する画像処理部と、前記合成画像を表示する表示部とを備え、前記画像処理部は、前記仮想視点の位置、視線の向きおよび焦点距離のうちの少なくともいずれか 1つを、前記車両の走行状態に応じて変更するものである _c また、具体的には本発明は、画像処理装置として、車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これらのカメラ画像から合成画像を生成する画像処理部を備え、前記画像処理部は、仮想視点から見た第 1の画像と、前記第 1 の画像の仮想視点と位置、視線の向きおよび焦点距離のうちの少なくともいずれか 1つが異なる視点から見た、または前記第 1の画像とモデルが異なる第 2の画像とを含む画像を、前記合成画像として生成するものである。

そして、前記第 2の画像は、前記カメラ画像の少なくとも 1つであるのが好ましい。

また、前記第 1の画像は、自車およびその周辺を示す近傍画像であり、前記第 2の画像は、前記近傍画像が示す自車の周辺領域よりも遠方の領域を示す遠方画像であるのが好ましい。そして、前記画像処理部は、前記合成画像において、前記近傍画像の周囲に前記遠方画像を配置するのが好ましい。さらには、前記遠方画像は、前記近傍画像と連続性を有する画像であるのが好ましい。

また、前記第 1の画像は、自車両の少なくとも一部と自車両の周囲の少なくとも一部とを示す画像であり、前記第 2の画像は、前記第 1の画像が示す領域の少なくとも一部を拡大した画像であるのが好ましい。

また、本発明は、監視システムとして、車両の周囲を撮影する複数のカメラと、前記複数のカメラの撮像画像を入力とし、これらのカメラ画像から合成画像を生成する画像処理部と、前記合成画像を表示する表示部とを備え、前記画像処理部は、仮想視点から見た第 1の画像と、前記第 1の画像の仮想視点と位置、視線の向きおよび焦点距離のうちの少なくともいずれか 1つが異なる視点から見た、または前記第 1の画像とモデルが異なる第 2の画像とを含む画像を、前記合成画像として生成するものである。また、具体的には本発明は、車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これらのカメラ画像から合成画像を生成する画像処理部を備え、前記画像処理部は、前記合成画像において、自車両が存在する車両領域の少なくとも一部と、自車両の周囲の少なくとも一部を示し注意を喚起するための注意喚起領域とを表示するものである。

そして、前記合成画像は、前記車両の上方に設定された仮想視点から見た画像であるのが好ましい。

また、前記画像処理部は、前記車両領域に、自車両のイラスト画像または実画像を表示するのが好ましい。

また、前記注意喚起領域は、いずれのカメラからも撮影されない車両周囲の死角領域の少なくとも一部を含むのが好ましい。あるいは、前記注意喚起領域は、いずれのカメラからも撮影されない車両周囲の死角領域に相当する領域であるのが好ましい。そして、前記画像処理 ^は、各カメラ画像における自車両の映り込み領域を示す領域データを用いて、前記死角領域および車両領域を合わせた領域の範囲を決定するのが好ましい。

また、本発明は、監視システムとして、車両の周囲を撮影する複数のカメラと、前記複数のカメラの撮像画像を入力とし、これらのカメラ画像から合成画像を生成する画像処理部と、前記合成画像を表示する表示部とを備え、前記画像処理部は、前記合成画像において、自車両が存在する車両領域の少なくとも一部と、自車両の周囲の少なくとも一部を示し注意を喚起するための注意喚起領域とを表示するものである。また、具体的には本発明は、画像処理装置として、車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これらのカメラ画像から合成画像を生成する画像処理部を備え、前記画像処理部は、合成画像の画素とカメラ画像の画素との対応関係を記述する第 1のマツビングデータと、合成画像の画素とカメラ画像以外の画素デ一夕とが対応することを示す識別子を記述する第 2のマツビングデ一夕とを有するマッピングテーブルを用いて、前記合成画像を生成するものである。そして、前記カメラ画像以外の画素データは、前記車両または、前記車両の周囲の少なくとも一部にある死角領域を示すものであるのが好ましい。

また、前記画像処理部はカメラ画像以外の所定の画像を記憶しており、前記第 2のマッピングデータは、合成画像の画素に対し、当該画素に対応する，記憶された前記所定の画像における座標値を記述するものであるのが好ましい。

また、前記第 2のマッピングデータは、合成画像の画素に対応する画素データを記述するものであるのが好ましい。

また、本発明は、画像処理装置として、車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これらのカメラ画像から合成画像を生成する画像処理部を備え、前記画像処理部は、合成画像の画素と、カメラ画像の画素データおよび力メラ画像以外の画素データのうちの一方または両方からなる複数の画素データとの対応関係を記述し、かつ、各画素データに対してそれそれ必要度を記述したマッビングデータを用い、各画素データに対して必要度に応じた重み付けを行い、前記合成画像の画素の画素データを生成するものである。

また、本発明は、画像処理装置として、車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これらのカメラ画像から合成画像を生成する画像処理部を備え、前記画像処理部は、原マツビングテーブルを有し、この原マッピングテ一ブルから、合成画像の画素とカメラ画像の画素との対応関係を記述するマツピングテーブルを切り出し、切り出したマッピングテーブルを用いて、合成画像を生成するものである。図面の簡単な説明

図 1は本発明に係る監視システムの概念図である。

図 2はカメラ配置の例を示す図である。

図 3は図 2の各カメラの撮像画像の例である。

図 4は仮想視点と実力メラとの関係を概念的に示す図である。

図 5は生成された合成画像の例である。

図 6はマッピングテーブルを用いた画像合成動作を示す図である。

図 7は本発明の一実施形態に係る監視システムの構成例である。

図 8は図 7の画像合成部の動作を示すフローチヤ一トである。

図 9はマツビングテーブルの構成の例である。

図 1 0は図 8の画素合成ステップ S 1 4の詳細を示すフローチヤ一トである。図 1 1はカメラ画像以外の画素データを記述したマツピングデ一夕の一例である。

図 1 2は 8個のカメラ画像を利用した鉛直見下ろし画像の例である。図 1 3は 4個のカメラ画像を利用した鉛直見下ろし画像の例である。図 1 4は 2個のカメラ画像を利用した鉛直見下ろし画像の例である。

図 1 5は斜め見下ろし画像の例である。

図 1 6は前方パノラマモ一ドのパノラマ画像の例である。

図 1 7は後方パノラマモードのパノラマ画像の例である。

図 1 8は斜め見下ろし画像とパノラマ画像とを合わせた画像の例である。図 1 9は車両の走行状態に応じて仮想視点の高さを変更した場合の合成画像の例である。

図 2 0は車両の走行状態に応じて仮想視点の視線の向きを変更した場合の合成画像の例である。

図 2 1は車両の舵角に応じて仮想視点の視線の向きを変更した場合の合成画像の例である。

図 2 2は物体検出センサの出力信号に応じた画像切替の例を示す図である。図 2 3は物体検出センサの出力信号に応じた画像切替の例を示す図である。図 2 4は物体検出センサの出力信号に応じた画像切替の例を示す図である。図 2 5は本発明の一実施形態に係る監視システムの構成例である。

図 2 6は画像を平行移動する場合のマッビングテーブルの切り出しを示す図である。

図 2 7は画像を拡大 ·縮小する場合のマッピングテ一ブルの切り出しを示す図である。

図 2 8はマッビングテーブルを矩形以外の四辺形で切り出す例を示す図である図 2 9はカメラ画像の例である。

図 3 0は見下ろし画像の左右に斜め後方を撮すカメラ画像を貼り付けた合成画像の例である。

図 3 1は狭い範囲を示す見下ろし画像と広い範囲を示す見下ろし画像と並べて表示した例である。図 3 2は見下ろし画像の周囲に斜め見下ろし画像を貼り付けた例である。図 3 3は見下ろし画像の周囲に疑似円筒モデルを用いた画像を貼り付けた例である。

図 3 4は見下ろし画像の周囲にパノラマ画像を貼り付けた例である。

図 3 5は見下ろし画像の周囲に斜め見下ろし画像を貼り付け、四隅に空白部を設けた例である。

図 3 6はカメラ画像とともに仮想視点の位置を示す画像を表示した例である。図 3 7はカメラ画像と自車両の映り込み領域を示すマスクデ一夕の例を示す図である。

図 3 8は自車両の画像をスーパ一ィンポーズした例を示す図である。

図 3 9は自車両の映り込みをそのまま変換した場合の合成画像の例を示す図である。

図 4 0はマスクデータの一部を示す図である。

図 4 1は車両領域と死角領域とが示された合成画像の例である。

図 4 2は死角領域を求め、車両の画像を貼り付ける場合のマツビングデータの生成手順を示す図である。

図 4 3はマスクデータと合成画像の画素との関係を示す図である。

図 4 4は図 4 2の手順の結果得られたマツビングデータを用いた場合の合成画像の例である。

図 4 5は注意喚起領域を指定する場合のマツビングデータの生成手順を示す図である。

図 4 6は図 4 5の手順の結果得られたマツビングデータを用いた場合の合成画像の例である。

図 4 7は幾何変換を説明するための図である。

図 4 8は幾何変換を説明するための図である。

図 4 9は幾何変換を説明するための図である。図 5 0は幾何変換を説明するための図である。発明を実施するための最良の形態

図 1は本発明に係る監視システムの概念図である。図 1に示す監視システムにおいて、画像処理部 2は、撮像部 1から出力された複数のカメラ画像を入力とし、これらを合成して、仮想視点から見たときの合成画像を生成する。この合成画像は、例えば液晶ディスプレイのような表示部 3によって表示される。画像処理部 2によって、本発明に係る画像処理装置が構成される。

ここでの説明では、本監視システムは、車両に搭載されるものとし、駐車の際のアシストなどを用途として用いられるものとする。

図 2はカメラ配置の例、図 3は図 2のように配置された各カメラの撮像画像の例である。図 2に示すように、ここでは 5台のカメラが、車両のドアミラ一付近、後方ビラ一付近および後部トランク上に、それそれ配置されている。画像処理部 2は、図 3に示す 5枚のカメラ画像から、仮想視点から見たときの合成画像を生成する。

仮想視点は、コンピュータグラフィヅクスの映像生成におけるカメラ配置の場合と同様に、 3次元空間の任意の位置に、任意の方向に向けて、設定することができる。仮想視点を決定するパラメータは、 3次元空間での仮想視点の位置を表す座標（X座標， Y座標, Z座標）と、その向きを表す 3つの角度すなわち方位角（水平回転）、仰角（傾き）および Twi st (光軸周りの回転）と、視野範囲を決める焦点距離とからなる。焦点距離は、仮想視点と合成画像を生成する投影面との距離であり、小さいときは広角の画像になり、大きいときは望遠の画像になる。実際のカメラなどでは、投影面のフィルムのサイズ（3 5 m m ) に換算したときの距離（m m ) で表すことが多いが、本明細書では、合成画像のサイズを画素で表しているので、焦点距離も画素で考える。

この仮想視点の位置、向きおよび焦点距離を状況に応じて選択することによつて、適切な合成画像を生成することが可能になる。

図 4は仮想視点と実力メラとの関係を概念的に示す図である。図 4では、仮想視点は車両の上方に設定されている。図 5は生成された合成画像の例であり、図 4に示す仮想視点から見た、自車およびその近辺を示す画像が生成されている。本実施形態では、画像処理部 2は、複数のカメラ画像から合成画像を生成するために、マッピングテ一ブル 4を用いる。ここで、「マッピングテーブル」とは、合成画像の画素と、各カメラ画像の画素デ一夕との対応関係が記述されたテープルのことをいう。なお、後述するように、マッピングテーブルには、合成画像の画素とカメラ画像以外の画素データとの対応関係も記述可能である。

<マツビングテ一ブルの原理説明 >

以下、マッピングテーブルを用いて、複数のカメラ画像から合成画像を生成する動作について、説明する。

図 6はこの動作の概要を説明するための図である。図 6 ( a ) 〜（c ) は、互いに異なる位置に取り付けられた 3台のカメラ（図 2におけるカメラ 3 , カメラ 1およびカメラ 2にそれそれ対応する）の撮像画像である。図 6 ( d ) は、図 6 ( a ) 〜（ c ) の各カメラ画像から合成画像を生成するために用いるマツビングテ一ブルである。画像処理部 2は、図 6 ( a ) 〜（c ) の 3枚のカメラ画像から、図 6 ( d ) のマツビングテ一ブルの情報を基にして、図 6 ( e ) に示す 1枚の合成画像を生成するものとする。

図 6 ( d ) に示すマッピングテーブルは、図 6 ( e ) に示す合成画像の各画素について、それそれマツビングデータを有している。各マッピングデ一夕は、対応する合成画像の画素が、どのカメラ画像の画素によって生成されるか、という情報を記述する。

合成画像を生成する、ということは、合成画像の全ての画素の値を決定するということである。ここでは、画像処理部 2は左上から順次、ラス夕一順に合成画像の画素の値を決定するものとし、その途中で画素 P 1の値を決定する場合を例にとつて、その動作を説明する。

まず、合成画像の画素 P 1 に対応するマツビングデータ M P 1 を参照する。マヅビングデータ M P 1には、対応するカメラ番号と、そのカメラ画像の対応する画素の座標とが記述されている。いまマッピングデータ M P 1には、カメラ番号として「 1」、 X座標として「 3 4 0」、 Y座標として「 1 2 1」が記述されている。

画像処理部 2は、マツビングデータ M P 1の記述内容に従って、図 6 ( b ) に示すカメラ 1の撮像画像の座標（ 3 4 0 , 1 2 1 ) の画素データ C 1 を参照し、画素データ C 1の値から、合成画像の画素 P 1の値を決定する。ここでは、最も簡単な決定方法として、画素データ C 1の値をそのまま画素 P 1の値とする。同様の方法によって、合成画像の各画素について値を決定することによって、図 6 ( e ) に示すような合成画像が生成される。

例えば、合成画像の画素 P 2に対応するマッピングデータ M P 2は、図 6 ( c ) に示すカメラ 2の撮像画像の画素データ C 2を示しているので、画素 P 2 の値として画素データ C 2の値が与えられる。同様に、合成画像の画素 P 3に対応するマツビングデータ M P 3は、図 6 ( a ) に示すカメラ 3の撮像画像の画素デ一夕 C 3を示しているので、画素 P 3の値として画素データ C 3の値が与えられる。図 6 ( d ) のマツビングテーブルにおいて、領域 R 1はカメラ 1 に対応し、領域 R 2はカメラ 2に対応し、領域 R 3はカメラ 3に対応する。

各カメラに対応する 3つの領域 R 1〜R 3以外の領域 R 4は、各カメラの撮影領域以外であったり、自車両によって隠されている死角であったりすることによつて、対応するカメラ画像が存在しない領域である。例えば合成画像の画素 P 4 は、そのような領域 R 4の画素である。この場合、画素 P 4に対応するマツピングデータ M P 4のカメラ番号には、対応するカメラ画像が存在しないことを示す特定のカメラ番号（ここでは「ー 1」とする）を記述しておく。そして、カメラ番号「一 1」のとき、対応する画素 P 4には、撮影領域外や死角であることを示す所定の画素データを設定する。ここでは、所定の画素データとして黒色を設定する。

図 6の例では、マッピングテ一ブルは、車両上方の仮想視点から車両の周囲を見下ろすような合成画像が生成可能なように構成されている。このようなマツピングテーブルは、後述するように、いわゆる路面平面モデルを前提とした幾何変換を用いて作成することが可能である。あるいは、合成画像を見ながら、試行錯誤しながら作成してもかまわない。

実際には、マヅビングテーブルを用いることによって、合成画像とカメラ画像の画素データとの対応関係を、用途に応じて、自由に設定することができる。例えば、カメラ画像の任意の領域を拡大または縮小してカメラ画像の一部に合成したり、複数のカメラ画像を並べて合成するなど、任意の合成画像を生成することができる。

そして、いかなる合成画像を生成するマッピングテーブルであっても、画像処理部 2は、合成画像各画素について、マッピングデ一夕の参照、指定されたカメラ画像の画素データの参照、合成画像の画素値の設定を行うステツプを実行するだけですむので、その処理量は、画像合成をその都度演算によって実行する場合に比べて格段に小さくなる。このため、本方式は、合成画像の種類にかかわらず処理量が一定になり、かつ、高速処理が可能であるので、リアルタイムに一定時間で処理を終える必要のある監視や運転補助などの用途に対して、特に適している。

(合成画像生成動作の第 1例）

図 7は本実施形態に係る監視システムの構成例を示す図である。図 7において、画像処理部 2は、画像合成部 2 0 0、表示パターン記憶部 2 1 0および表示パターン設定部 2 2 0を備えている。表示パターン記憶部 2 1 0は、上述したようなマッピングテーブルを複数個記憶するマッピングテーブル記憶部 2 1 1を有している。表示パターン設定部 2 2 0は、マヅビングテーブル記憶部 2 1 1に格納されたマツビングテーブルから、生成する合成画像の表示パターンに応じて 1個のマツビングテーブル M P Tを選択し、画像合成部 2 0 0のマツビングテーブル参照部 2 0 2に設定する。

また、表示パターン記憶部 2 1 0は、様々なイラスト画像を記憶するイラスト記憶部 2 1 2を有している。表示パターン設定部 2 2 0は、合成画像の生成に必要となるイラスト画像をイラスト画像記憶部 2 1 2から読み出し、画像合成部 2 0 0のイラスト参照部 2 0 3に設定する。ここでは、自車両を示すイラスト画像が設定されるものとする。

画像合成部 2 0 0は、マツビングテーブル参照部 2 0 2に設定されたマツビングテ一ブル M P Tに従って、撮像部 1から出力されたカメラ画像を用いて、合成画像を生成する。タイミング生成部 2 0 5は、合成画像の動画系列を生成するためのタイミング信号を生成する。

各カメラ 1 0 1 には、一対のフレームメモリ 1 0 2 a , 1 0 2 bが設けられている。ここでは各カメラ 1 0 1は C C Dタイプであるものとする。カメラが C M 0 S夕ィブの場合には、カメラにフレームメモリの機能を持たせることも可能であり、この場合はフレームメモリを省くことができる。

図 8は合成画像の 1 フレームを生成するときの画像合成部 2 0 0の動作を示すフローチャートである。

まず、タイミング生成部 2 0 5から出力されたフレーム開始のタイミング信号に応じて、撮像部 1は、各カメラ 1 0 1 が撮影した画像を書き込むフレームメモリ 1 0 2 aと、画像合成部 2 0 0から参照されるフレームメモリ 1 0 2 bとを切り替える（ステップ S I 1 ) 。ここで、各カメラ 1 0 1に対してフレームメモリを 2個設けて切り替えを行うようにしたのは、後述するように、画像合成部 2 0 0はカメラ画像の画素データを、カメラ 1 0 1からの書き込みの順序とは関係無く、マッピングテーブル MP Tに応じて飛び飛びに参照するので、書き込みと参照とが互いに干渉しないようにするためである。

次に、タイミング生成部 2 0 5は、合成処理を行う画素をマツビングテーブル参照部 2 0 2に指定するための夕ィミング信号を生成する（ステップ S 1 2 ) 。マツビングテーブル参照部 2 0 2はマツビングテーブル MP丁から、指定された画素に対応するマツビングデータを読み出し、画素合成部 2 0 1に出力する（ステツプ S 1 3 ) 。

画素合成部 2 0 1は、入力されたマッピングデータの内容に応じて、フレームメモリ 1 02に格納された各カメラ画像の画素デ一夕や、ィラスト参照部 2 03 に格納されたィラスト画像の画素データなどを用いて、指定された合成画像の画素の値を生成し、映像信号生成部 2 04に出力する（ステップ S 1 4) 。このステツブ S 1 4の処理は、後に詳述する。

映像信号生成部 2 04は、タイミング生成部 2 0 5から出力されたタイミング信号に応じて、入力された合成画像の画素値を映像信号に変換し、表示部 3に出力する（ステップ S 1 5) 。

画像合成部 2 00はフレームの全画素について、ステップ S 1 2〜S 1 5の処理を実行する（ステップ S 1 6 , S 1 7 ) 。夕イミング生成部 2 0 5は、フレームの最終画素の処理が終わると、次のフレームの処理を開始する。

なお、フィールド単位でも、同様の処理を実行することができる。

図 9はマッビングテーブルの構成の例を示す図である。図 9に示すマッビングテーブルは、 4種類のマヅビングデータ MP 1 1 ~MP 1 4を有している。各マッビングデ一夕の構成は基本的には図 6に示すマッビングデータと同様であるが、カメラ番号および x， y座標に加えて、その画素値の必要度が記述されている。ここでは、「必要度」は 0から 1までの値によって表されており、値が大きいほど、その画素値の必要度は高いものとする。

マッピングデータ MP 1 1は、合成画像の画素と、 1個のカメラ画像の画素デ —夕との対応関係を記述したものである。この場合は、必要度は「 1」となる。また、マッピングデ一夕 M P 1 2は、合成画像の画素と、複数のカメラ画像の画素データとの対応関係を記述したものである。この場合は、合成画像の画素値は、カメラ画像の画素データに対し、その必要度に応じた重み付けを行った上で、生成する。

マッピングデータ M P 1 3は、合成画像の画素に、イラスト画像の画素データを貼り付けるために用いられるものである。すなわち、イラスト参照部 2 0 3に格納されたィラスト画像が認識できるように、ィラスト参照部 2 0 3にカメラ番号として、いずれの実力メラにも対応しない番号（ここでは「 9 9」）を割り当てる。

マッピングデータ M P 1 4は、合成画像の画素が、いわゆる死角領域に当たることを示すものである。すなわち、マッピングテーブルを生成する際に、合成画像の画素を生成するために参照するカメラ画像の画素の座標値を計算した結果、その座標値の画素が、例えば車両自体を撮している場合には、その合成画像の画素は、車両領域と死角領域とを合わせた領域に当たる。この領域から車両領域を除いたものが、死角領域になる。このため、例えばカメラ番号や X , y座標に実在しない値を与えることによって、死角領域であることを表す。ここでは、カメラ番号として「一 1」を与えるものとする。

図 1 0は画素合成ステップ S 1 4の詳細な処理の流れを示すフローチヤ一トである。

まず、合成する画素の値を「 0」に初期化する（ステップ S 2 1 ) 。

次に、合成する画素に対応するマッピングデータから、カメラ番号、 x， y座標および必要度を読み出す（ステップ S 2 2 ) 。

ステヅブ S 2 2において、読み出したカメラ番号がィラスト画像を示す識別番号「 9 9」であるとき（すなわちマッピングデータ M P 1 3の場合）、ステップ S 2 4にすすみ、ィラスト参照部 2 0 3に格納されたィラスト画像の、指定された x， y座標の画素データを読み出し、保持する。そして、ステップ S 28にすすむ。一方、カメラ番号が「9 9」でないときは、ステップ S 2 5にすすむ。ステップ S 2 5において、読み出したカメラ番号が死角領域を示す識別番号「一 1」であるとき（すなわちマツビングデータ MP 1 4の場合）、ステップ S 2 6にすすみ、予め設定された死角領域を表す画素データを保持する。そして、ステップ S 28にすすむ。一方、カメラ番号が「一 1」でないときは、ステップ S 2 7にすすむ。

ステヅプ S 2 7において、カメラ番号が「9 9」「一 1」以外の場合、すなわちィラスト画像を貼る領域でも死角領域でもないと判断される場合は、このカメラ番号は実際のカメラを示す番号であるとして、対応するカメラ番号のフレームメモリ 1 0 2に格納されたカメラ画像から、指定された x、 y座標の画素データを読み出し、保持する。

ステップ S 2 8において、保持した画素データに、その必要度に応じて重み付けを行い、合成画像の画素値に加算する。マツビングデータに記述された全てのカメラ番号について、ステップ S 2 2〜S 2 8の処理を繰り返す（ステップ S 2 9， S 3 0 ) 。全てのカメラ番号について処理が終了すると、画素合成部 2 0 1 は合成する画素の値を出力する（ステップ S 3 1 ) 。

例えば図 9に示すマツビングデータ MP 1 2の場合には、合成画像の画素値は、次の式によって求められる。

合成画像の画素値

= (カメラ 2の座標（10, 10) の画素値 x O . 3

+カメラ 3の座標（56,80) の画素値 X 0. 5 ) / ( 0. 3 + 0. 5) ここで、必要度の和（ 0. 3 + 0. 5 ) によって除するのは、画素値を正規化するためである。

以上のような動作によって、複数のカメラ画像を混合した合成画像や、ィラスト画像を含む合成画像を、容易に生成することができる。また、カメラ画像とィラスト画像とを必要度に応じて重み付けすることによって、実画像の上にィラスト画像を半透明で表示する合成画像も生成することができる。あるいは、カメラ画像以外の画素データ同士を必要度に応じて重み付けすることによって、ィラスト画像同士を半透明で表示するような合成画像も生成することができる。

また、イラスト画像としては、自車のイラストや画像以外にも、例えば、画像のスケールや指標などのような画面上で固定の形状を持つものを与えることが可能である。

なお、ここでの説明では、イラスト画像を参照するためのカメラ番号（「 9 9」）と、死角領域であることを示すカメラ番号（「一 1」）とを個別に設定するものとしたが、死角領域を表す画像をィラスト参照部 2 0 3に格納しておけば、イラスト画像を参照する場合と死角領域を示す場合とで、同じカメラ番号（「 9 9 j ) を用いることが可能になる。この場合には、例えば、車両を表すイラスト画像と死角領域を表す画像とを合わせて、ィラスト参照部 2 0 3に格納しておくことも可能になる。

また、表示パターン設定部 2 2 0は、表示モードの指定に応じて表示パターンを変更する場合には、新たな表示パターンに応じたマツビングテーブルを、マツビングテーブル記憶部 2 1 1から読み出して、マツビングテーブル参照部 2 0 2 に設定すればよい。あるいは、複数のマヅビングテーブルを合成し、新たなマツビングテーブルを生成してもよい。

またここでは、図 9に示すマッピングデ一夕 M P 1 3のように、ィラスト画像を表示するためにイラスト参照部 2 0 3の X， Y座標値を記述するものとしたが、この代わりに、ィラスト画像の画素デ一夕自体をマツビングデータに記述することも可能である。

図 1 1はこのような場合のマッピングデータの一例である。図 1 1のマツピングデータ M P 1 5は、カメラ番号が「 9 9」のとき、すなわちイラスト画像を表示させるとき、 X座標、 Y座標を記憶する領域に、イラスト画像の画素データ自体をそのまま赤（R ) 、緑（G ) 、青（B ) の値で記憶する。

例えば、 X座標、 Y座標をそれそれ 1 6ビットで表現するものとすると、その領域は 3 2 ビヅ卜のサイズになる。一方、ィラスト画像の画像データを R , G , B各色 8ビッ卜で表現するものとすると全部で 2 4ビットになるので、その上位 8ビヅトに " 0 " を付加し 3 2 ビットのデータとして、座標領域に記憶する。この場合、図 1 0のステップ S 2 4では、イラスト参照部 2 0 3を参照する代わりに、マヅビングデータ M P 1 5に記述された R， G , B値を読み出し保持する。この場合には、マツビングテーブルとイラスト画像とは一体のものとなり、ィラスト参照部 2 0 3は不要になる。また、マッピングデータから X , Y座標値を読み出して対応するィラスト画像の画素データを読み出すのではなく、マヅピングデータから直接 R， G , B値を読み出すので、処理の手順が 1つ省けることになる。

また、自車両のイラスト画像を表示するなどの場合には、通常は必要度を 1 . 0にすることが多いが、図 1 1の例のように、イラスト画像の必要度を 1 . 0よりも小さい値にして他のカメラ画像と合成することによって、合成画像の上に、スケールや指標を半透明で表示することが可能になる。

<基本的な合成画像の例 >

マツビングテ一ブルは、大きく、単独マップと複合マップの 2つに分けることができる。「単独マヅブ」とは、所定の空間モデル（詳細は後述する）を用いて、カメラ画像と仮想視点画像とを画素レベルで対応づけたものである。「複合マツブ」については後述する。

画像合成部 2 0 0にどのマヅビングテーブルが設定されるかによって、画像処理部 2の表示モードが決定される。この表示モードは、手動によって、または自動的に切り換えることができる。

代表的な単独マップと、それを用いた合成画像例を、以下に示す。 • 鉛直見下ろし（図 1 2〜図 1 4 )

空間モデルとしては、路面平面モデルを用いる。仮想視点の位置は、自車の上方であり、視線の向きは真下である。距離感が一目で分かることを特徴とし、主たる用途としては駐車（直角、縦列）等が考えられる。図 1 2は 8個のカメラ画像を利用したもの、図 1 3は 4個のカメラ画像を利用したもの、図 1 4は 2個のカメラ画像を利用したものである。

• 斜め見下ろし（図 1 5 )

空間モデルとしては、路面平面モデルを用いる。仮想視点の位置は、自車の上方であり、視線の向きは斜め後ろ向きである。視線の角度を調整することによつて、視野を自由に変換することができる。このモードでは、自車後方が、正しい位置関係で見渡すように一望できる。主たる用途としては、通常走行時のリアビユーモニタとして、あるいは、駐車動作開始時のような低速後退時の確認などが考えられる。低速走行時には、速度に応じて視野や向きを切り替えるようにしてもよい。

• ノノラマ（図 1 6，図 1 7 )

空間モデルとしては、円筒モデルを用いる。図 1 6は前方パノラマモードであり、仮想視点の位置は、自車の先端部であり、視線の向きは真正面である。このモードでは、走行方向前方の様子が分かるので、ブラインドコーナ一ビューモニ夕としての利用が考えられる。すなわち、狭い路地から広い通りに出るとき、このモードによって広い通りの様子を一目で認識することができる。

図 1 7は後方パノラマモードであり、仮想視点の位置は、自車の後端部であり、視線の向きは真後ろである。このモードでは、自車後方部分がパノラマ 1 8 0度画像として見渡すように一望できる。主たる用途としては、走行時（特に高速走行時）のリアビューモニタとしての利用が考えられる。

• 斜め見下ろし +パノラマ（図 1 8 )

空間モデルとしては、路面平面モデルと円筒モデルとを用いる。すなわち、図 1 8に示すように、自車後方の直近は、路面平面モデルを用いた斜め見下ろしモ —ドで表示し、自車後方遠方は、円筒モデルを用いたパノラマモードで表示する。したがって、このモードは、斜め見下ろしモードとパノラマモードの両方の用途に対応している。ぐ表示自動切替 >

本監視システムは、これまで例示したマヅビングテーブルを、様々な運転場面に応じて適宜切り換えることによって、より安全で快適な運転をサポ一卜することが可能となる。また、一つの運転操作においても、逐次変わりゆく自車周囲状況に応じてマツビングテーブルを切り換えることは、運転者にとって必要不可欠な機能となる。

すなわち、合成画像の仮想視点の位置、視線の向きおよび焦点距離の少なくともいずれか 1つを、車両の走行状態に応じて変更することによって、運転者の利便性を向上させることができる。

図 1 9は車両の走行状態に応じて、合成画像の仮想視点の高さを変更した場合の例を示す図である。図 1 9 ( a ) 〜（ f ) に示す各画像は、下に行くにつれて仮想視点の高さが徐々に高くなっており、車両を含めた表示領域が次第に広くなつている。すなわち、仮想視点の高さを下げることによってズームァヅプが実現され、仮想視点の高さを上げることによってズームダウンが実現される。なお、仮想視点の焦点距離を変更した場合でも、図 1 9 と同様に合成画像を変化させることができる。

仮想視点の高さを切り替えるトリガ一としては、まず、車両の走行速度が考えられる。例えば、車両の走行速度が上昇するにつれて、広い領域が表示されるよう仮想視点を高くする一方、低下するにつれて、狭い領域が表示されるよう仮想視点を低くすればよい。あるいは、車両が、自車と障害物との距離を測定する物体検出センサを備えているときは、その物体検出センサの出力信号を切替のトリガ一として用いてもよい。例えば、検出された障害物との距離が、近くなるにつれて、狭い領域が表示されるよう仮想視点を低くする一方、遠くなるにつれて、広い領域が表示されるよう仮想視点を高くすればよい。さらには、切替スィッチを設けておいて、運転手または他の乗員がそのスィツチを介して拡大 ·縮小を指定できるようにしてもよい。

図 2 0は車両の走行状態に応じて、合成画像の仮想視点の視線の向きを変更した場合の例を示す図である。図 2 0 ( a ) 〜（d ) に示す各画像は、下に行くにつれて、仮想視点の視線の向きが、斜め後方から徐々に鉛直下方に変化している。また、視線の向きとともに、合成画像を生成するためのモデルも変化している。すなわち、視線の向きが斜めに傾くほど、疑似円筒モデルの合成画像の領域が大きくなつており、より遠方が見やすくなつている。

図 2 0では、仮想視点の視線の向きの変更とともに、変更後の仮想視点の視野範囲外画像の取込が制御されている、といえる。すなわち、疑似円筒モデルを用いることによって、仮想視点の視野範囲外の画像が合成画像に取り込まれているそして、車両の走行状態に応じて、仮想視点の視野範囲外画像の取込の有無、そのサイズ、および、その撮像範囲が制御されている。

仮想視点の視線の向きを切り替えるトリガ一としては、仮想視点の高さを切り替える場合と同様に、車両の走行速度、スィッチ入力などが想定される。例えば、車両の走行速度が低いときは、視線の向きを真下にしておき、走行速度が上昇するにつれて、視線の向きを傾けて、より後方が表示されるようにすればよい。図 2 1は車両の舵角に応じて、合成画像の仮想視点の視線の向きを変更した例を示す図である。図 2 1の例では、舵角に応じて、仮想視点を光軸周りに回転させている。（a ) はギアがバックでハンドルが真っ直ぐの場合の合成画像である < この場合は車両が後方に直進するので、後方の領域が見やすくなるように、合成画像中の自車両が真っ直ぐになり、自車両の左右の領域が均等に表示されるように、仮想視点を設定する。一方、（b ) はギアがバヅクでハンドルを左に切った場合の合成画像である。この場合は車両は左後方に進むので、そのときに車が移動する領域すなわち自車両の右側、右後方および後方が見やすくなるように、仮想視点を光軸周りに回転させる。これにより、安全性が高まる。

図 2 2は物体検出センサの出力信号に応じた画像切替の例を示す図である。同図中、（a ) は物体検出センサが自車両に近接した障害物を検出する前の画面である。物体検出センサが自車両に近接した他の車両を検出したとき、画面は図 2 2 ( b ) のように切り替わる。すなわち、検出した障害物との距離がより認識できるように、画像を拡大して表示する。

このように、物体検出センサが障害物を検出したとき、画像を、障害物との距離に応じて、段階的または連続的に拡大/縮小/回転などして表示することによつて、障害物に対して、乗員の注意を喚起することができる。また、障害物が存在する位置に応じて、仮想視点の位置を変更してもよい。

さらに、図 2 3に示すように、障害物が存在する領域を拡大して表示するとともに、その領域を枠で囲んで表示してもかまわない。あるいは、枠を点滅させたり、枠内の色を反転させてもよい。このようにすれば、乗員の注意をさらに確実に喚起することができる。もちろん、画像を拡大せずに単に枠で囲んで表示するだけであっても、乗員の注意を喚起することはできることはいうまでもない。また、画面表示の変更とともに、警告音によって、障害物の存在を知らせるようにしてもかまわない。

図 2 4は物体検出センサの検出結果に応じた画像切替の他の例を示す図である。図 2 4では、車両後方に障害物を検知したとき、仮想視点の視線の向きを、真下からやや後ろ向きに変更している。これにより、車両後方の障害物がより見やすくなつている。また、検出した障害物が合成画像の中心にくるように、仮想視点を平行移動させてもよい。

なお、図 1 9〜図 2 4では、仮想視点が車両の上方にある場合の合成画像を例にとつて示したが、仮想視点が他の位置にある場合であっても、車両の走行状態に応じて仮想視点の位置、視線の向きおよび焦点距離のうちの少なくとも 1つを変更することによって、運転者の利便性を向上させることができる。仮想視点の位置の他の例としては、リアトランクの位置や、運転者の頭の位置などが考えられる。

また、図 2 0では、仮想視点の視線の向きの変更とともに、その視野範囲外画像の取込を制御しているが、仮想視点の位置や焦点距離の変更とともに、その視野範囲外画像の取込を制御してもよい。また、モデルを用いないで、仮想視点の視野範囲外画像を取り込んでもかまわない。さらに、仮想視点を変えないで、仮想視点の視野範囲外画像の取込の制御のみを、車両の走行状態に応じて、行ってもかまわない。

(合成画像生成動作の第 2例）

表示画像の切替は、用いるマツビングテーブルを適宜変更することによって、容易に実現することができる。ところがこの場合、表示画像の切替を連続的に行うためには、多数のマツビングテーブルを準備しておくことが必要になる。このため、装置に膨大な記憶容量を有する記憶部を設けることが必要になるので、好ましくない。

ここでは、合成画像よりも大きい原マッピングテーブルを設けておき、この原マッビングテーブルから切り出したマツビングテーブルを用いて、合成画像の生成を行うものとする。この場合には、切り出すマツビングテーブルを適宜変更することによって、表示画像の連続的な切替を容易に実現することができる。図 2 5は本例に係る監視システムの構成を示す図である。図 7に示す構成と異なるのは、マップ領域設定部 3 0 2が、タイミング生成部 2 0 5から出力された合成画像の画素の座標と、表示パターン設定部 2 2 0 Aによって設定されたマツピングテ一ブルの領域指定情報とに基づいて、対応するマッピングテ一ブルの要素を生成し、マッピングテーブル参照部 2 0 2に出力する点である。マッピングテーブル参照部 2 0 2には、表示パターン記憶部 2 1 0 Aが有する原マッビングテーブル記憶部 30 1に記憶された原マツビングテーブルが、表示パターン設定部 2 2 0 Aによって設定されている。

すなわち、上述した第 1例では、図 8に示すステップ S 1 3において、夕イミング生成部 2 0 5によって設定された現在出力すべき合成画像の画素に対し、この画素と同一位置にあるマツビングデータを読み出すものとしたが、本例では、原マツビングテーブル上で、利用するマッピングテ一ブルの領域を設定した後に、合成画像の画素に対応するマツビングデータの読み出しを行う。

本例におけるマツビングデータの読み出し方法について説明する。図 2 6および図 2 7は本例における合成画像と原マツビングテ一ブルとの関係を模式的に表したものである。図 2 6の例では、原マッピングテ一ブルから切り出す領域のサィズを合成画像と同一のサイズに固定し、オフセット値を変えることによって、合成画像の平行移動を実現する。図 2 7の例では、原マツビングテーブルから切り出す領域のサイズおよび要素の読み出しステップを変えることによって、合成画像の拡大 ·縮小を実現する。

まず、合成画像の平行移動を行う場合について、図 2 6を参照して説明する。図 2 6 (a) に示す合成画像は幅 W_D I S P, 高さ H— D I S Pのサイズを持ち、図 2 6 (b) に示す原マツビングテ一ブルは幅 W— MA P、高さ H— D I S Pのサイズを持つものとする。ここでは、原マツビングテーブルとして、車の上空の仮想視点から車の周囲の広い範囲を見下ろしたような画像を作るものを考える。これは、前述した第 1例において、焦点距離が一定であるとすると、仮想視点と投影面の距離が一定のまま、投影面のサイズが（W— D I S P , H— D I SP) から（W— MAP, H— MAP) に拡大したと考えて、原マッピングテ一ブルを構成すればよい。投影面の拡大によって、原マッピングテ一ブルには、より広範囲の領域に関する情報が含まれる。図 2 6 (d) はこのようなマツビングテーブルの各要素を、対応するカメラ画像およびィラスト画像に置き換えた画像である。

次に、表示パターン設定部 2 2 0 Aは、原マッピングテーブル上で、合成画像生成のためのマツビングテーブルとして用いる領域を、原点（0 , 0) からのォフセット（o f f— X , 0 f f _y) によって指定する。点（ 0 f f_x, o f f _y ) を開始点とした大きさ（W— D I S P， H— D I S P) の領域 MP丁が、画像合成のために用いられるマヅビングテーブルとなる。合成画像をラス夕一走査して得られた画素の X、 Y座標にこのオフセット（o f f— x， o f f— y) を加算した位置のマヅピングデ一夕が、マッピングテーブル参照部 2 02から読み出され、画素合成部 2 0 1に入力される。画素の合成処理は、第 1例と同様に、図 1 0のフローチャートに従って行われる。図 2 6 ( c ) は、図 2 6 ( b ) に示すマツピングテーブル MP Tを用いて得られた合成画像である。

オフセットを加えた座標が原マツビングテーブルの範囲を超えた場合は、画素合成部 2 0 1に通知し、予め設定した色（例えば黒）などを画素の値とするなど領域が判るような表示を行う。

本例によると、仮想視点を車両上方から路面を垂直に見下ろすように配置し、路面平面モデルを用いた場合に、仮想視点を路面と平行に移動させたときの合成画像を、マッピングテーブルを增やすことなく、生成することが可能になる。すなわち、上述した第 1例では、平行移動した仮想視点のそれそれに対応するマツビングテーブルが必要であつたが、本例では 1つの原マッビングテーブルのみで済む。例えばスムーズな視点移動を行うために 1画素ずつ仮想視点を移動するような場合、上述した第 1例では、移動ステップの全部に対応する多数のマツピングテ一ブルが必要になるが、本例では、広範囲の 1つの原マツビングテーブルにおいて、マツビングテーブルを切り出す開始位置（o f f— x， 0 f f _y) を変化させるだけで実現可能である。また本例では、例えばダイアルなどを回して仮想視点の位置を変更したり、障害物検出センサの出力の大きさに比例して障害物の方向へ仮想視点の位置を変更したりする場合に、細かいステップで仮想視点の位置が変更できるため、状況に応じた合成画像を容易に生成できる。本例では、仮想視点を細かなステツブで平行移動するために多数のマッビングテーブルを用いる必要がないので、マッビングテーブルを記憶するためのメモリは 1個の原マッピングテーブルを記憶可能な容量があればよい。また、第 1例では、マツビングテ一ブルの切換や設定に時間がかかるのに対し、本例ではオフセットの設定のみで済むので、処理の高速化を図ることができる。

次に、同様の方法を用いて合成画像の拡大 ·縮小を行う場合について、図 2 7 を参照して説明する。

図 2 7において、夕イミング生成部 2 0 5は（a) に示す合成画像の画素 P 1 の座標（X , y) を指定したとする。表示パターン設定部 2 2 0 Aは、領域の開始位置（o f f— x， 0 f f _y) とともに、要素の読み出しステップ（s t e P_x , s t e p_y) を指定する。このとき、画素 P 1に対応するマッピングデータ MDの座標を（u, V ) とすると、座標（U , V ) は次の式によって求められる。

u = s t e p― x * x + o f f― x

v = s t e p― * y + o f f― y

読み出しステップ（ s t e p_x , s t e p— y) の値を変えることによって、合成画像を滑らかに拡大 ·縮小することが可能になる。原マッピングテーブルから切り出されるマツビングテーブルの領域が、読み出しステツプ（ s t e p— x ， s t e p_y ) の変化に応じて MP T l， MP T 2 , MP Τ 3 , ΜΡ Τ 4と変化したとき、合成画像は（d) ， (e) , (f ) ， (g) のように変化する。座標（u， V ) が原マッピングテーブルの範囲を超えたときは、前述した平行移動の場合と同様に、指定の色などを出力する。また、読み出しステップ（s t e p_x, s t e p— y) の値は整数以外の値を用いることもでき、この場合は、計算結果の（u, V ) の値を整数に変換する。

本例に係る拡大 ·縮小によると、仮想視点を車両上方から路面を垂直に見下ろすように配置し、路面平面モデルを用いた場合、仮想視点の高さまたは焦点距離の変更によって視野範囲を拡大 · 縮小した場合と同様の、合成画像を生成できる。例えば、運転者などからの指示やセンサ入力に応じて、原画像の一部を拡大表示する場合、唐突に拡大画像を出力するのではなく、本例に係る方法を用いて滑らかに拡大して表示することによって、拡大画像が原画像のどの領域を拡大したものであるかが把握しやすくなる。

さらに、読み出しステップの変更とともに、オフセット値を変えることによつて、合成画像の拡大 ·縮小とともに、平行移動も実現することができる。

なお、一般には、マツビングテーブルの領域を矩形に限定する必要はない。すなわち、表示パターン設定部 2 2 0 Aが、マヅビングテーブルの領域を、四辺形の 4頂点の座標で指定するようにしてもよい。

図 2 8において、マッピングテーブルの領域を凸形の四辺形とし、 4点 n l， n 2 , η 3， η 4で指定する。このとき、合成画像の座標（x、 y ) の画素 P 1 に対応するマヅビングデータ MDの座標（u， V ) は、次のように求めることができる。

まず、頂点 n 1 , n 2を（y/H— D I S P ： 1— y/H— D I S P) に内分する点 n aの座標を求める。同様に、頂点 n 3 , n 4を（y/H— D I S P ： 1 — y/H— D I S P) に内分する点 n bを求める。次に、点 na， nbを（x/ W_D I S P : 1一 y/W_D I SP) に内分する点の座標を求めれば、これが対応するマッピングデータ MDの座標（u, V ) となる。

このような指定をすれば、平行移動、拡大、縮小、回転を含む、任意のマツビングテーブルの領域指定が可能となる。

なお、本方式によると、路面平面モデルを用いて、仮想視点が上方から路面を垂直に見下ろす場合については、仮想視点の平行移動や、視野範囲の拡大，縮小または路面に平行な回転のような仮想視点の変化と正確に一致する合成画像を生成することができる。ただし、モデルや仮想視点の向きが異なる場合には、仮想視点の変化と正確に一致する合成画像を生成することは、必ずしもできない。しかしながら、このような場合でも、仮想視点の変化に近似する合成画像を生成することは可能であるので、本方式は極めて有効である。ぐ複数種類の画像表示 >

複数種類の合成画像を、併せて 1つの画面に表示したり、合成画像とカメラ画像とを同時に 1つの画面に表示することによって、運転手の利便性を高めることができる。例えば、自車の近傍と遠方とを同時に表示したり、互いに異なる方向の画像を同時に表示したり、自車の全体と拡大した自車の一部とを同時に表示したりすることによって、運転手は、画面表示を切り替えなくても、車両の周囲の状況が的確に理解することができる。

このような複数種類の画像表示は、複合マップを用いることによって、容易に実現することができる。「複合マップ」とは、単独マップの必要な部分を切り出して適当な変形を行い、貼り合わせたり、単独マップにカメラ画像を貼り合わせたマツビングテーブルのことをいう。次に説明するような画像表示は、複合マツブを用いて容易に実現可能であるが、これ以外の画像表示についても、単独マツブ同士や、単独マップとカメラ画像とを組み合わせることによって、様々な運転場面に応じた複合マヅブを作ることは可能である。

ここでは、車両上方に設定された仮想視点から見た，自車およびその周辺を示す近傍画像としての、路面平面モデルを用いた見下ろし画像と、この見下ろし画像を示す自車の周辺領域よりも遠方の領域を示す遠方画像とを含む画像を、表示する例について、説明する。図 2 9はここでの説明の前提となるカメラ画像を示す図である。

図 3 0は第 1の画像としての見下ろし画像の左右に、第 2の画像としての斜め後方を撮すカメラ画像を貼り付けた例である。この例では、第 2の画像の視点は、第 1の画像の仮想視点と、位置、視線の向きおよび焦点距離が異なっている、といえる。図 3 0の画像では、見下ろし画像の右側には、右斜め後方の風景を撮すカメラ 2の画像が左右反転されて配置されており、見下ろし画像の左側には、左斜め後方の風景を撮すカメラ 6の画像が左右反転されて配置されている。すなわち、左右のドアミラー付近に設置されたカメラ 2， 6の画像が、実際にドアミラ —を介して見えるように、左右反転されて配置されている。したがって、運転手は、ドアミラ一を見るのと同じ感覚で、直感的に車両周囲の状況を理解することができる。もちろん、左右反転せずに表示してもかまわない。

図 3 1は狭い範囲を示す第 1の画像としての見下ろし画像と、広い範囲を示す第 2の画像としての見下ろし画像とを並べて表示した例である。この例では、第 2の画像の仮想視点は、第 1の画像の仮想視点と、高さまたは焦点距離が異なつている、といえる。図 3 1の画像を見ると、自車の近傍は詳細に、また広い範囲はサムネイル的に、一度に見ることができる。

図 3 2は第 1の画像としての見下ろし画像の周囲に、第 2の画像としての前後左右の斜め見下ろし画像を貼り付けた例である。この例では、第 2の画像の仮想視点は、第 1の画像の仮想視点と視線の向きが異なっている。図 3 3は第 1の画像としての見下ろし画像の周囲に、第 2の画像としての疑似円筒モデルを用いた魚眼レンズで見たような画像を貼り付けた例である。この例では、第 2の画像は第 1の画像とモデルが異なっている。図 3 4は第 1の画像としての見下ろし画像の周囲に、第 2の画像としての前後左右のパノラマ画像を貼り付けた例である。この例では、第 2の画像は、第 1の画像と、仮想視点の位置およびモデルが異なつている。図 3 2〜図 3 4の画像を見ると、自車の近傍においては距離感を保つことができ、かつ、自車周囲遠方は見渡すように一望することができる。

なお、見下ろし画像の前後左右全てに、遠方画像を貼り付ける必要は必ずしもなく、見せたい方向のみ、例えば右側のみ、後方のみに遠方画像を表示するようにしてもかまわない。

なお、図 3 5に示すように、見下ろし画像の周囲の前後左右に斜め見下ろし画像を貼り付ける場合、表示領域の四隅に空白部を設けて、斜め見下ろし画像は互いに連続性がないことを強調するようにしてもかまわない。

さらに、図 3 2〜図 3 5のような画像表示を行う際には、周囲の遠方画像を、フィルタ処理を施すことによって、ぼやかせて表示してもかまわない。これにより、運転者の注視領域を自車両の周辺に集中させることができる。また、周囲の遠方画像の歪みを目立たないようにすることができる。

このような部分的なほ'かし処理は、単独マッブを用いた画像表示の場合であつても有効である。例えば、図 5に示すような見下ろし画像の場合であっても、自車両およびその近傍にはぼかし処理を行わず、他の駐車車両が映っているような周辺領域にほかし処理を行うことによって、同様の効果を得ることができる。駐車時などの場合には、ぼかし処理を行わない領域は、自車両から 1 0 m以内の領域に設定すると適切である。また、自車両から距離が離れるにつれてぼかし強度を増加させてもよい。

また、図 3 1の画像は、自車両と、自車両の周囲を示す第 1の画像と、この第 1の画像が示す領域の少なくとも一部を拡大した第 2の画像とを含む合成画像であるともいえる。もちろん、第 1の画像が、自車両の全体ではなく自車両の一部を示していたり、自車両の周囲の一部を示していたりしていても、かまわない。また、表示画面をマルチウィンドウにし、サブウィンドウに、上述したような合成画像や、カメラ画像、仮想視点の位置を示す画像、文字情報などを表示するようにしてもよい。これにより、自車両の周囲状況がさらに容易に把握しやすくなり、運転手の利便性が向上する。

マルチ画面の表示方法としては、いろいろなものが考えられる。例えば、図 3 6に示すように、カメラ画像や合成画像とともに、仮想視点の位置を示す画像をサブウィンドウに表示してもよい。これにより、仮想視点の位置を容易に把握することができる。

また例えば、物体検出センサが障害物を検出したときに、各サブウィンドウのカメラ画像または合成画像上にその障害物の位置を示す警告マークを表示させるともに、別のサブウィンドウに、文字によって、その障害物の位置を表示させてもよい。

<死角領域および自車両領域の表示 >

(その 1 )

図 3 7はカメラ画像およびそのカメラ画像における自車両の映り込み領域を示す領域データとしてのマスクデ一夕の例を示す図である。図 3 7に示すように、各カメラ画像において自車両が映り込んだ部分を認識し、認識した車両の映り込み領域を示すマスクデータを、予め画像処理部 2に記憶させておく。図 3 7に示すマスクデータにおける黒色の部分が、車両の映り込み領域である。車両の映り込み領域は、カメラの仕様と向き、および自車両の形状が定まれば、予め一意に決定することができる。

図 3 8 ( a ) は図 3 7のカメラ画像を用いて合成した鉛直見下ろし画像である。図 3 8 ( a ) に示す合成画像では、画像の中央部に白く自車両が映り込んでおり、多少見づらくなつている。

そこで、各カメラ画像のマスクデ一夕を、仮想視点から見た画像に変換し、合成画像において、車両の映り込み領域を塗りつぶすことにする。この結果、図 3 8 ( b ) に示すような画像が得られ、見やすさが改善される。

また、図 3 8 ( a ) では、画像の中央部に自車両が映り込んでいるため見づらくなつているとともに、自車両が実際にどこにあるのかが分からないので、運転しづらい。そこで、自車両のイラスト画像または実画像を、自車両が実際に存在する位置に、スーパ一インポーズする。例えば、画像処理部 2は、標準の仮想視点から見たことを前提とする自車両のィラスト画像または実画像を予め記憶しておき、その画像を、表示する合成画像の仮想視点から見た画像に変換し、スーパ —インポ一ズすればよい。この結果、図 3 8 ( c ) に示すような画像が得られ、周りの物体に対する自車両の大きさや相対的な位置関係が、一目で分かるようになった。自車両画像の変換は、前述したマツビングテーブルを用いることによつて、容易に実現できる。

この場合、標準の仮想視点としては、例えば自車両の上方に設けた仮想視点や、側面に位置する仮想視点や、自車両の前方または後方などに設けた仮想視点を、用いることができる。また、標準の仮想視点を複数個設けて、複数の標準の仮想視点に対してそれそれ画像を準備してもよい。そして、合成画像を生成するための仮想視点の位置が決まると、その仮想視点と各標準の仮想視点との位置関係から、画像変換時に画像の歪みが最も小さくなる標準の仮想視点を選択するようにしてもかまわない。

なお、自車両のイラストまたは実画像を貼り付ける代わりに、 C A D / C A M や C Gの分野で公知のサーフェスモデルゃソリヅドモデルを用いた自車両の 3次元モデルを、合成画像に貼り付けるようにすることも可能である。この場合も、標準の仮想視点から見た 3次元モデルを表す画像を予め準備しておき、この画像を、表示する合成画像の仮想視点から見た画像に変換し、スーパ一インポーズすればよい。この変換も、前述したマツビンテーブルを用いることによって、容易に実現することができる。

さらに、自車両が実際に存在する領域を示す画像として、カメラ画像から生成した合成画像そのものを利用するようにしてもよい。また、自車両の一部、例えばバンパー部分のみを合成画像で表示し、これ以外の部分はィラストまたは実画像を貼り付けるようにしてもかまわない。

(その 2 )

仮想視点から見た合成画像には、いずれのカメラの撮像範囲にも属さない領域が含まれる場合ある。また、自車両が妨げになって、各カメラからは撮像できない領域も含まれる場合がある。この問題を解決するために、上述の（その 1 ) では、車両の映り込み領域に所定の画素データを与えて塗りつぶすことによって、合成画像をより見やすくした。ここで、図 3 9に示すように、自車両が映ったカメラ画像をそのまま仮想視点画像に変換すると、変換された自車両画像が合成画像に含まれることになり、見にくくなる（A 1 ) 。この場合は、自車両が映る領域を塗りつぶすことによって、見やすさは改善される。

ところが、仮想視点画像において、自車両が本来存在しない部分に、自車両の一部が映ってしまう場合が起こりうる（A 2 ) 。このような場合は、仮想視点画像において自車両の部分を塗りつぶすと、本来見えるべき部分までが消えてしまうので、好ましくない。この問題は、原カメラ画像を仮想視点画像に変換する際に利用する空間モデルが、カメラに映っている実世界と異なる（ほとんどは単純化される）場合に起こりうるものである。このため、この問題を原理的に解決するためには、実世界の奥行き情報を実時間で計算することが必要となり、非常に高速な演算能力が装置に要求される。したがって、実施は困難である。

そこで、次のような方法によって、この問題を解決する。

すなわち、合成画像の画素が車両の映り込み領域に含まれるか否かを、原カメラ画像と対になるマスクデータを参照して判断し、この画素の生成を、車両の映り込み領域に含まれる場合とそうでない場合とにおいて切り換える。すなわち、マスクデ一夕を仮想視点画像に変換するのではなく、マスクデータを、原カメラ画像の形態のまま用いる。

図 4 0はマスクデータの一例を示す図である。図 4 0に示すように、各カメラ画像に対して、自車両の映り込み部分など仮想視点画像合成に用いない領域を示すマスクデ一夕が設けられている。

この場合には、例えば、合成画像の生成のためにカメラ画像の画素データを参照するとき、このカメラ画像に対応するマスクデ一夕も参照し、その画素が車両の映り込み領域に含まれるときには、画素の生成を行わないで、死角領域であることが識別可能な色で塗りつぶすなどの処理を行えばよい。

また前述のマッピングデータ M P 1 4のように、合成画像の画素が死角領域に含まれるか否かの情報を、マッピングテーブル自体に持たせてもよい。この場合には、仮想視点画像合成の際に、フレーム毎にマスクデータを参照する必要が無くなり、処理の高速化が実現できる。また、マスクデータを蓄える記憶部を設ける必要がない、という利点がある。

図 4 1は画像合成の結果の一例を示す図である。図 4 1に示す合成画像では、自車両が存在する車両領域と、自車両の周囲の死角領域とが、示されている。車両領域を示すことによって、自車両と周囲の状況との位置関係や距離などが、運転者から把握しやすくなる。また、運転席からは直接見えにくい領域も合成画像によって確認できるようになるが、さらに死角領域を示すことによって、いずれのカメラからも撮影されない領域を運転者に認識させることができるので、安全性が向上する。

なお、自車両が存在する車両領域の全てを示す必要は必ずしもなく、車両領域の一部を示す場合もあり得る。例えば、カメラの設置台数が限られており、車両およびその周囲の一部しか撮影されない場合には、撮影された車両領域の一部と、その周囲の死角領域のみが示される。あるいは、車両周囲の特定の一部を拡大表示させるような場合には、表示する車両領域の一部と、その周囲の死角領域が示される。

また、死角領域の代わりに、車両の乗員などの注意を喚起するための注意喚起領域を示してもよい。この注意喚起領域は、いずれのカメラからも撮影されない車両周囲の死角領域を含んだ領域であってもよいし、死角領域そのものに相当する領域であってもかまわない。また、注意喚起領域は、車両の周囲の一部を示すものであってもよい。

注意喚起領域は、カメラの撮影範囲にかかわらず、車両領域との位置関係のみによって予め設定可能であるので、簡易な処理で合成することが可能である。また、注意喚起領域が死角領域を含んでいるとき、死角領域ではない、カメラから撮影された部分も注意喚起領域として隠されてしまう可能性があるが、例えば、注意喚起領域を半透明表示して、死角領域と併せて表示するようにしてもよい。図 4 2はマスクデータを用いて死角領域を求め、イラスト画像を貼り付ける場合におけるマッピングデータの生成手順を示す図である。図 4 2において、 は 1個のカメラ画像から生成される合成画像の画素、 は 2個のカメラ画像を参照するが、カメラ画像の 1つが車両の映り込みのために除去され、残りの 1個のカメラ画像から生成される合成画像の画素、 < Ρ Τ 3 >は 1個の力メラ画像を参照するが、そのカメラ画像が車両の映り込みのために除去される合成画像の画素、 < Ρ Τ 4 >は 1個のカメラ画像を参照するが、そのカメラ画像が車両の映り込みのために除去され、かつ、車両のイラスト画像が貼られる合成画像の画素である。

まず、ステップ 1において、参照座標および必要度の計算を行う。合成画像の画素に対し、全てのカメラ画像について参照座標を計算する。この参照座標の計算は、後述する幾何演算によって行う。このとき、求めた参照座標がカメラ画像の撮影範囲外（すなわち死角）にあるときは、座標値として（一 1，一 1 ) を記述する。またここでは、参照するカメラの台数を求め、その逆数を必要度として与えるものとする。必要度の与え方は、他の方法でもかまわないし、人手による入力で与えてもよい。このステップ 1 において、く Ρ Τ 1 >が参照するのはカメラ 6、く Ρ Τ 2 >が参照するのはカメラ 4 , 5、く Ρ Τ 3 >が参照するのはカメラ 6、 < Ρ Τ 4 >が参照するのはカメラ 2であることを得る。

次に、ステップ 2において、車両の映り込み領域を示すマスクデータを参照して、死角の処理を行う。座標値が（一 1 , 一 1 ) 以外のカメラに対応するマスクデータにおいて、その座標値が示す点が、車両の映り込み領域に属するか否かを判断する。車両の映り込み領域に属するときは、その座標値を（— 1 , 一 1 ) に変換する。この変換によって、参照するカメラの台数が減ったときは、必要度の値を再度計算する。

については、図 4 3 (d) に示すように、カメラ 6のマスクデ一夕において点（4 5 0， 2 00 ) は車両の映り込み領域に属しないので、座標値の変換は行わない。 については、図 43 (b) に示すように、カメラ 4 のマスクデ一夕において点（ 1 5 0， 2 80 ) は車両の映り込み領域に属するので、カメラ 4の座標値を（一 1 , 一 1 ) に変換する。一方、図 43 ( c ) に示すように、カメラ 5のマスクデータにおいて点（49 0， 2 8 0 ) は車両の映り込み領域に属しないので、カメラ 5の座標値は変換しない。そして、その必要度を「 1」に変換する。 については、図 43 ( d ) に示すように、カメラ 6のマスクデータにおいて点（ 1 1 0 , 2 5 0 ) は車両の映り込み領域に属するので、カメラ 6の座標値を（一 1 , — 1 ) に変換する。く P T 4 >については、カメラ 2のマスクデ一夕において点（ 600 , 2 9 0 ) は車両の映り込み領域に属するので、カメラ 4の座標値を（一 1 , — 1 ) に変換する。

次に、ステップ 3において、画像合成に最低限必要なデータにするために、冗長なデータの整理を行う。まず、座標値が（一 1，一 1 ) であるカメラ番号を全て「一 1」に変更する。そして、全てのカメラ番号が「一 1」である場合は、これらのデータを 1つに統合する（く Ρ Τ 3 >， <Ρ Τ 4 >) 。また、「一 1」以外のカメラ番号がある場合は、カメラ番号が「一 1」であるデータを除去する (< Ρ Τ 1 > , < Ρ Τ 2 >) 。

そして、ステップ 4において、自車両のイラスト画像の貼り付けを行う。自車両のィラスト画像を貼り付ける合成画像の画素については、マツビングデータのカメラ番号を「9 9」に変換し、ィラスト画像の参照座標を設定する。ここでは、 <Ρ Τ 4 >がイラスト画像を貼り付ける画素であるので、カメラ番号を「9 9」に変換するとともに、座標値をィラスト画像の参照座標値（ 3 6 0 , 44 ) に変換する。図 44 (a) はステヅブ 1終了時におけるマツビングデータを用いた場合の合成画像の例、図 44 (b) はステップ 3終了時におけるマッピングデータを用いた場合の合成画像の例、図 44 ( c ) はステップ 4終了時におけるマッピングデ一夕を用いた場合の合成画像の例である。

図 4 5はマスクデータを用いないで、注意喚起領域を指定する場合におけるマッビングデータの生成手順を示す図である。図 4 5において、 < 丁 5 >は 1個のカメラ画像から生成される合成画像の画素、 は注意喚起領域に指定される合成画像の画素、 は注意喚起領域に指定されるが、車両のイラスト画像が貼られる合成画像の画素である。

まず、ステップ 1，において、初期マヅビングテーブルの生成を行う。これは、図 42に示すステップ 1およびステップ 3の処理によって実行される。

次に、ステヅブ 2 ' において、注意喚起領域の指定を行う。ステップ 1 ' で生成した初期マッピングテーブルを用いて合成画像を作成し、この合成画像において、注意喚起領域を指定する。

次に、ステップ 3，において、注意喚起領域に該当するマッピングデータの書き換えを行う。ステップ 2 ' で指定された注意喚起領域に該当するマッピングデ一夕を、カメラ番号「一 1」、座標（一 1，一 1 ) に変換する。そして、参照するカメラの台数が減ったときは、必要度の値を再度計算する。

そして、ステップ 4 ' において、自車両のイラスト画像の貼り付けを行う。ここでは、 がイラスト画像を貼り付ける画素であるので、カメラ番号を「9 9」に変換するとともに、座標値をィラスト画像の参照座標値（ 3 60 , 4 4) に変換する。

図 4 6 (a) はステップ 1，終了時におけるマッピングデ一夕を用いた場合の合成画像の例、図 46 (b) はステップ 3，終了時におけるマッピングデータを用いた場合の合成画像の例、図 4 6 ( c ) はステップ 4 ' 終了時におけるマツビングデータを用いた場合の合成画像の例である。このようにすれば、自車両画像を合成画像に重ね合わせたり、死角領域や注意喚起領域を特定の色で塗りつぶしたりするような処理を、容易に行うことができる。そして、注意喚起領域を設定する場合は、カメラに対するマスクデータを参照しないで、予め決まった注意喚起領域を合成することによって、より簡易に合成画像を生成できる。一方、死角領域を設定する場合は、カメラに対するマスクデ一夕を参照することによって、カメラに映っている車両周囲の状況を余すことなく合成画像に反映させることが可能になる。なお、以上の説明では、本発明に係る監視システムや画像処理装置は、車両に適用するものとしたが、車両以外の移動体、例えば飛行機や船舶などであっても、同様に適用することができる。また、移動体以外の監視対象、例えば店舗、住居、ショールームなどにカメラを設置してもよい。

また、複数のカメラの設置位置や台数は、ここで示したものに限られるものではない。

また、本発明に係る画像処理装置の機能は、その全部または一部を、専用のハ ―ドウェアを用いて実現してもかまわないし、ソフトウェアによって実現してもかまわない。また、本発明に係る画像処理装置の機能の全部または一部をコンビュ一夕に実行させるためのプログラムを格納した記録媒体や伝送媒体を、利用することも可能である。

<幾何変換 >

合成画像のためのマッビングテーブルを作成するためには、仮想視点から見た合成画像の各画素に対応する各カメラ画像の画素の座標を決める必要がある。このために、まず、仮想視点からの合成画像の各画素に対応するワールド座標系（Xw、 Yw、 Zw ) を求め、そのワールド座標系の 3次元座標に対応するカメラ画像の画素の座標を求める 2段階を考えると判りやすい。最終的に必要な関係は、仮想視点の合成画像の各画素と各カメラ画像の画素との関係だけであり、このワールド座標系を経由するマツビングテーブルに限定されるものではない。ただし、このワールド座標系を経由するマツビングテ一ブルは、合成画像の実際の世界での座標系であるワールド座標系での意味付けが明確になるため、周囲の状況を実際の距離、位置関係と対応付けやすい合成画像を生成する点で重要である。

仮想視点の位置と向きを表すパラメータとして、視点のワールド座標系での座標を位置ベクトル Tv = ( Txv、 Tyv、 Tzv) 、視線の向きを、視平面座標系をヮ一ルド座標系の向きへ一致させる回転を表す 3行 3列の回転行列 Rvで表すとすると、合成画像の視点座標（Vxe , Vye , Vze) の対応するワールド座標（X Yw, Z ) は、式（ 1 ) で求められる。

ただし

図 4 7は、視点座標系とワールド座標系の関係を説明する模式図である。

図 4 8に示すように、仮想視点の向きを、視線がワールド座標系 Y-Z平面に対して水平回転の角度（方位角）をひ v、 X-Z平面に対してなす傾きの角度（仰角）を ? vとし、カメラの光軸周りの回転（Twi st) をァ Vとすると、回転行列 Rvは、 cos _v 0 - sin a_v 1 0 0 cosy_v sin y_v 0

R, 0 1 0 0 cos β_ν - sin β_ν - sin y_v cosy_v 0

sin t„ 0 cos ,, 0 sin β_ν cos y5_v 0 0 1

( 2 ) となる。

一方、仮想視点の視点座標系（Vxe, Vye, Vze) の Vxe、 Vyeと、投影面上の 2次元座標 Uv、 Vvの関係は、透視投影変換より焦点距離 fvを用いて以下の式（3 ) で表される。

v_Ze

f_v

( 3 ) 焦点距離の単位としては、投影面をフィルムや CCDとして、その大きさに対応する mmゃィンチであらわす場合や、合成画像のサイズに対応して画素であらわす場合などがあるが、今回は投影面を投影中心を中心として幅 2、高さ 2の正規化したものとし、それに対する焦点距離を考える。

よって、投影面上の座標と合成画像の画素の関係は、画像の右上から（Sv、 T V) の位置にある画素に対応する投影面上の座標（Uv， Vv) は、画像の横幅を Wv画素、縦幅を Hv画素とすれば、

Uv = 2 X Sv/Wv 一 1

Vv = 2 x Tv/Hv - 1 … （ 4 )

として求まる。

以上より、合成画像の任意の画素（Sv， Tv) に対応するワールド座標系の 3次元座標（Xw、 Yw、 Zw) は、式（ 1 ) 〜（4) より、カメラの位置 Txv, Tyv, Tzv, カメラの向きひ ν、 βν 7ν，焦点距離 fvより次の式（ 5 ) で求めることができる。 ( 5 )

ただし、式（ 5 ) では、合成画像の座標（Sv、 Tv) に対応する奥行き Vzeが未定である。言い換えると、合成画像に写る対象物までの各画素からの奥行き値を定める必要がある。

仮想視点から見える対象物の 3次元形状を知ることができれば、各画素の奥行きを得ることができるが、一般には困難である。そこで、仮想視点から見える対象物の形状に何らかのモデルを仮定することにより、上記 Vzeを求め、合成画像の座標とワールド座標系の 3次元座標との関係を求めることを行う。

—路面平面モデル一

その一例として、対象物を車が接している路面平面に限定した場合について説明する。

すべての対象物がワールド座標系の平面（路面）に存在すると仮定すると、ヮ —ルド座標系の 3次元座標（Xw,Yw，Zw) は、以下の平面の方程式を満たす。

ax_w + by_w + cz_w + d = 0 ( 6 ) よって、式（ 6 ) を式（ 5 ) に代入して、 Vzeを求めると. aT^+bT^ + cT^ + d

V ze =-f J v- aQ_{l +}bQ₂ + cQ₃

2S_V-W_V 2T_V-H_V

ただし、 ½ ⁼ 11 7_Τ ^h ' vl2 1 + ^Γν13 Jv

W_v H_v

_ 2S_V-W.. 2T_V-H_V

½ = ^rv2l ~ + ^Γν22 ~ + ^rv2iJv

W„ H,

^ 2S -W_V 2T -H_V ( 7 ) β₃ = r_v3l ^ν _ττΓ + _{32 τ} + r_v23f_v

W„

となる。

よって、式（ 7 ) を式（ 5 ) に代入することにより、仮想視点の合成画像の画素の座標（Sv, Tv) から、対応するワールド座標系の平面の 3次元座標（Xw， Yw, Zw) を求めることができる。

このワールド座標系での 3次元座標（Xw， Yw, Zw) に対応する、各カメラ画像の各画像の座標は式（ 1 ) と同様な関係式に、各カメラの位置、向きに対応する Tx、 Ty、 Tz、ひ、 β、ァのパラメ一夕を代入して計算することにより求めることができる。

例えば、カメラ 1の位置を Txl， Tyl, Tzl, 向きを αΐ, \, ァ 1とすれば、合成画像の画素（Sv，Tv) に対応するカメラ 1のカメラ座標系 Xel, Yel, Zelが，以下の式（ 8 ) より計算できる。

ただし、 cosy j - sin γ_ι 0 1 0 0 cosc^ 0 sin «j

1 smy_l cosyj 0 0 cos β_ι sin β_ι 0 1 0

( 8 ) 0 0 1 0 - sin β_ι cos β_ι 一 sin _x 0 cos _t このカメラ座標系とカメラ画像の座標系（Ul、 VI) との関係は、カメラ 1の焦点距離をとして、式（ 3 ) より Ul = fl/Zel x Xel

VI = f l/Zel x Yel … ( 9 )

として計算できる。対応するカメラ画像の画素は、カメラ画像のサイズを縦 HI画素、横 W1画素として、アスペクト比 1 ： 1、カメラ中心が画像の中心と考えると、次の式（ 1 0 ) で計算できる。

SI = W1/ 2 X (Uv + 1 )

Tl = HI/ 2 x (Vv + 1 ) - ( 1 0 )

以上の手続きにより、仮想視点画像の画素（Sv， Tv) に対応するカメラ 1の画像の画素（Sl， Tl ) を求めることができた。同様にカメラ 1以外の一般のカメラ nに対しても（Sv, Tv) に対応する画素座標（Sn， Tn) が計算できる。実際にパラメ一夕テーブルには、その中から、（Sn， Tn) が実際のカメラ画像の範囲内に写っているか、画素の拡大、縮小率が大きくないかなどの種々の条件により、その最適なものを 1つまたは複数選び、カメラ番号 nとその座標（Sn， Tn) を書きこむ。

—円筒モデル一

前記の路面平面モデルでは、カメラ画像で水平線から上に写っている物体は路面平面を無限遠に延ばしても路面平面上には載らないので、仮想視点から見ることことはできない。

これらの物体を仮想視点からの合成画像に反映するために、対象の 3次元形状として図 4 9に示すような円筒モデルを考える。このモデルは、仮想視点の向きが路面に対して平行に近くなつた場合などに有効である。

いま簡単のために、 X軸、 Z軸に軸を持つ円筒モデルを考えると、楕円円筒の中心を（Xc，Zc )とし、楕円のパラメ一タ（a， c )を用いて、そのモデルを次の式（ 1 1 ) としてあらわす。なお、 X軸、 Z軸以外に軸を持つモデルへも、 X Z平面上での回転を考えることにより、容易に拡張できる。

式（ 1 1 ) を用いて式（5 ) から Vzeを消去することによって、仮想視点の合成画像の座標（Sv, Tv)に対応するワールド座標系の 3次元座標（Xw， Yw, Zw) を求めることができる。この座標から、前記路面平面モデルと同様に、各カメラ画像の対応する画素を計算することにより、仮想視点画像の画素（Sv, Tv)と、カメラ画像の画素（Sn， Tn)の関係を求め、マツビングテーブルを作成する。

また、路面平面モデルと円筒モデルの組合せも可能である。先に路面平面モデルによるワールド座標系の 3次元座標を求めて、その 3次元座標が、円筒モデルの外側、もしくは平面との交点を持たずに解を生じない場合は、次に円筒モデルによる 3次元座標を求める。これにより路面平面モデルと円筒モデルの複合による合成が可能となる。

― 疑似円筒モデル一

路面平面モデルの周辺の遠方の状況を把握しやすくするため、周囲をお椀状の疑似円筒モデルを導入する。モデルの形状を図 50に示す。仮想視点画像の周辺になる程、遠方の部分が圧縮されて合成され、より広い範囲が表示可能となる。この疑似円筒の形状を式（ 1 2 ) で表す。

(Xw-Xcf (Yw-Ycf , (Zw-Zcf _Λ 〜（ _{1 2 )}

a² b c² お椀の中心が（Xc， Yc , Zc )、 X軸、 Y軸、 Ζ軸方向の（a， b , c) の長さを持つ _c 前記円筒モデルと同様に、式（ 1 2 ) および式（ 5 ) から、仮想視点からの合成画像の座標に対応するワールド座標系の 3次元座標（Xw , Yw , Zw) を計算し、合成画像の各画素と、各カメラ画像の画素の対応関係を求めることが可能となる。

なお、円筒モデルと同様に、路面平面モデルとの組合せによる複合モデルによる合成も可能である。

—レンズ歪み補正の処理一

次に、マヅビングテーブルによりレンズ収差を補正する方法について説明する。実際のカメラ画像にレンズ収差による歪みがある場合、この歪みを上記 Uv、 Vvから実際の画素 SI , T1を求めるときに、その歪みの分を補正した画素座標を計算することにより、合成画像からレンズ収差の影響を除くことが可能となる。この歪み補正は、マツビングテ一ブルの合成画像（Sv，Tv) とカメラ画像（Sn，Tn) の関係に取り込まれるため、最初に歪み補正を行ったマッピングテーブルを作れば、実際の合成時には、補正のための計算は不要となる。従来のレンズ歪み補正に使われるレンズ中心からの距離の関数などのような歪みが定式化できない場合でも、格子などのパターンを撮影し、レンズ歪みにより各画素がどのように移動するかの情報さえあれば、歪み補正が可能であるという特徴を持っている。

Claims

言青求の範囲

1 . 車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これらの力メラ画像から、仮想視点から見た合成画像を生成する画像処理部を備え、前記画像処理部は、

前記仮想視点の位置、視線の向き、および焦点距離のうちの少なくともいずれか 1つを、前記車両の走行状態に応じて、変更する

ことを特徴とする画像処理装置。

2 . 請求項 1記載の画像処理装置において、

前記画像処理部は、

前記仮想視点の位置、視線の向き、および焦点距離のうちの少なくともいずれか 1つを、前記車両の走行速度に応じて、変更する

ことを特徴とする画像処理装置。

3 . 請求項 1記載の画像処理装置において、

前記画像処理部は、

仮想視点の位置、視線の向き、および焦点距離のうちの少なくともいずれか 1 つの変更とともに、変更後の仮想視点の視野範囲外画像の取込の制御を行うことを特徴とする画像処理装置。

4 . 請求項 3記載の画像処理装置において、

前記画像処理部は、

変'更後の仮想視点の視野範囲外画像の取込の制御を、画像合成のためのモデルを変更することによって、行う

ことを特徴とする画像処理装置。

5 . 請求項 1記載の画像処理装置において、

前記画像処理部は、

前記仮想視点の位置、視線の向き、および焦点距離のうちの少なくともいずれか 1つを、前記車両の舵角に応じて、変更する

ことを特徴とする画像処理装置。

6 . 請求項 1記載の画像処理装置において、

前記車両は、障害物を検出する物体検出センサを備えており、

前記画像処理部は、

前記仮想視点の位置、視線の向き、および焦点距離のうちの少なくともいずれか 1つを、前記物体検出センサによる検出結果に応じて、変更する

ことを特徴とする画像処理装置。

7 . 請求項 1記載の画像処理装置において、

前記画像処理部は、

原マッピングテ一ブルを有し、この原マツビングテーブルから切り出したマッビングテーブルを用いて、合成画像の生成を行うものであり、かつ、

前記原マッビングテ一ブルから切り出すマッビングテ一ブルを変更することによって、仮想視点の位置、視線の向き、および焦点距離のうちの少なくともいずれか 1つの変更を、行う

ことを特徴とする画像処理装置。

8 . 車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これらの力メラ画像から、仮想視点から見た合成画像を生成する画像処理部を備え、前記画像処理部は、

前記車両の走行状態に応じて、前記仮想視点の視野範囲外画像の取込の制御を行う

ことを特徴とする画像処理装置。

9 . 車両の周囲を撮影する複数のカメラと、

前記複数のカメラの撮像画像を入力とし、これらのカメラ画像から、仮想視点から見た合成画像を生成する画像処理部と、

前記合成画像を表示する表示部とを備え、

前記画像処理部は、

ことを特徴とする監視システム。

1 0 . 車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これらの力メラ画像から、合成画像を生成する画像処理部を備え、

前記画像処理部は、

仮想視点から見た第 1の画像と、前記第 1の画像の仮想視点と位置、視線の向き、および焦点距離のうちの少なくともいずれか 1つが異なる視点から見た、または、前記第 1の画像とモデルが異なる、第 2の画像とを含む画像を、前記合成画像として生成する

ことを特徴とする画像処理装置。

1 1 . 請求項 1 0記載の画像処理装置において、

前記第 2の画像は、前記カメラ画像の少なくとも 1つである

ことを特徴とする画像処理装置。

1 2 . 請求項 1 0記載の画像処理装置において、前記第 1の画像は、自車およびその周辺を示す近傍画像であり、前記第 2の画像は、前記近傍画像が示す自車の周辺領域よりも遠方の領域を示す遠方画像である

ことを特徴とする画像処理装置。

1 3 . 請求項 1 2記載の画像処理装置において、

前記画像処理部は、

前記合成画像において、前記近傍画像の周囲に、前記遠方画像を配置することを特徴とする画像処理装置。

1 4 . 請求項 1 3記載の画像処理装置において、

前記遠方画像は、前記近傍画像と連続性を有する画像である

ことを特徴とする画像処理装置。

1 5 . 請求項 1 0記載の画像処理装置において、

前記第 1の画像は、自車両の少なくとも一部と、自車両の周囲の少なくとも一部とを示す画像であり、

前記第 2の画像は、前記第 1の画像が示す領域の少なくとも一部を拡大した画像である

ことを特徴とする画像処理装置。

1 6 . 車両の周囲を撮影する複数のカメラと、

前記複数のカメラの撮像画像を入力とし、これらのカメラ画像から、合成画像を生成する画像処理部と、

前記合成画像を表示する表示部とを備え、

前記画像処理部は、仮想視点から見た第 1の画像と、前記第 1の画像の仮想視点と位置、視線の向き、および焦点距離のうちの少なくともいずれか 1つが異なる視点から見た、または、前記第 1の画像とモデルが異なる、第 2の画像とを含む画像を、前記合成画像として生成する

ことを特徴とする監視システム。

1 7 . 車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これらの力メラ画像から、合成画像を生成する画像処理部を備え、

前記画像処理部は、

前記合成画像において、自車両が存在する車両領域の少なくとも一部と、自車両の周囲の少なくとも一部を示し、注意を喚起するための注意喚起領域とを、表示する

ことを特徴とする画像処理装置。

1 8 . 請求項 1 7記載の画像処理装置において、

前記合成画像は、前記車両の上方に設定された仮想視点から見た画像であることを特徴とする画像処理装置。

1 9 . 請求項 1 7記載の画像処理装置において、

前記画像処理部は、

前記車両領域に、自車両のィラスト画像または実画像を表示する

ことを特徴とする画像処理装置。

2 0 . 請求項 1 7記載の画像処理装置において、

前記注意喚起領域は、いずれのカメラからも撮影されない車両周囲の死角領域の少なくとも一部を、含むことを特徴とする画像処理装置。

2 1 . 請求項 1 7記載の画像処理装置において、

前記注意喚起領域は、いずれのカメラからも撮影されない車両周囲の死角領域に相当する領域である

ことを特徴とする画像処理装置。

2 2 . 請求項 2 0または 2 1記載の画像処理装置において、

前記画像処理部は、

各カメラ画像における自車両の映り込み領域を示す領域データを用いて、前記死角領域および車両領域を合わせた領域の範囲を決定する

ことを特徴とする画像処理装置。

2 3 . 車両の周囲を撮影する複数のカメラと、

前記合成画像を表示する表示部とを備え、

前記画像処理部は、

ことを特徴とする監視システム。

2 4 . 車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これらの力メラ画像から、合成画像を生成する画像処理部を備え、

前記画像処理部は、合成画像の画素と、カメラ画像の画素との対応関係を記述する第 1のマツビングデ一夕と、合成画像の画素と、カメラ画像以外の画素データとが対応することを示す識別子を記述する第 2のマツビングデ一夕とを有するマツビングテーブルを用いて、前記合成画像を生成する

ことを特徴とする画像処理装置。

2 5 . 請求項 2 4記載の画像処理装置において、

前記カメラ画像以外の画素データは、前記車両または、前記車両の周囲の少なくとも一部にある死角領域を示すものである

ことを特徴とする画像処理装置。

2 6 . 請求項 2 4記載の画像処理装置において、

前記画像処理部は、カメラ画像以外の所定の画像を記憶しており、

前記第 2のマツビングデータは、

合成画像の画素に対し、当該画素に対応する，記憶された前記所定の画像における座標値を記述するものである

ことを特徴とする画像処理装置。

2 7 . 請求項 2 4記載の画像処理装置において、

前記第 2のマッビングデータは、

合成画像の画素に対応する画素データを記述するものである

ことを特徴とする画像処理装置。

2 8 . 車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これらの力メラ画像から、合成画像を生成する画像処理部を備え、

前記画像処理部は、合成画像の画素と、カメラ画像の画素データおよびカメラ画像以外の画素デ一夕のうちの一方または両方からなる，複数の画素データとの対応関係を記述し、かつ、各画素データに対してそれそれ、必要度を記述したマッピングデータを用い、

各画素デ一夕に対して必要度に応じた重み付けを行い、前記合成画像の画素の画素データを生成する

ことを特徴とする画像処理装置。

2 9 . 車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これらの力メラ画像から、合成画像を生成する画像処理部を備え、

前記画像処理部は、

原マツビングテーブルを有し、

この原マッビングテーブルから、合成画像の画素とカメラ画像の画素との対応関係を記述するマツビングテーブルを切り出し、切り出したマツビングテーブルを用いて、合成画像を生成する

ことを特徴とする画像処理装置。