ファイル生成方法および装置並びに立体画像の表示制御方法および装置
【課題】立体表示や三次元形状認識に利用される三次元情報が、三次元情報を取得した撮像系に固有の座標系で表されていることに起因する種々の問題を解決する。
【解決手段】撮像系または記録媒体から撮影空間を撮影したときに撮像系により捉えられた各点の輝度値を表す輝度画像と、前記各点の空間的な位置を所定の座標系で表した三次元情報とを取得する。入力装置から前記座標系の軸方向ごとのオフセット値を指定する入力を受け付け、各オフセット値を所定のメモリに記憶せしめることにより、前記座標系の原点をオフセット値分変位させた点をオフセット原点として設定する。輝度画像を格納する領域、三次元情報を格納する領域、オフセット原点の情報を格納する領域（ｈ１０）を有する所定フォーマットのファイルを生成する。立体表示や三次元形状認識を行うときは、ファイルに格納されたオフセット原点の情報を使って三次元情報を座標変換してから処理を行う。
【解決手段】撮像系または記録媒体から撮影空間を撮影したときに撮像系により捉えられた各点の輝度値を表す輝度画像と、前記各点の空間的な位置を所定の座標系で表した三次元情報とを取得する。入力装置から前記座標系の軸方向ごとのオフセット値を指定する入力を受け付け、各オフセット値を所定のメモリに記憶せしめることにより、前記座標系の原点をオフセット値分変位させた点をオフセット原点として設定する。輝度画像を格納する領域、三次元情報を格納する領域、オフセット原点の情報を格納する領域（ｈ１０）を有する所定フォーマットのファイルを生成する。立体表示や三次元形状認識を行うときは、ファイルに格納されたオフセット原点の情報を使って三次元情報を座標変換してから処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影空間の三次元情報（距離画像など）を含むファイルの生成方法および装置、並びに、立体画像の表示を制御する方法および装置に関する。
【背景技術】
【０００２】
コンピュータビジョンの分野では、撮影空間をある方向から見たときに視認できる点の位置を光学的に計測することにより、撮影空間に配置された物体の三次元形状を認識したり、撮影空間の奥行きを認識したりすることが行われている。計測の手法としては、三角測量の原理を利用したステレオ画像法、光の照射から反射光の受光までの時間を測定するＴＯＦ（Time of Flight）法、スリット光を照射したときのパターン光を調べる光切断法などが知られている。
【０００３】
視認できる点の位置を所定の座標系における座標値として表し、その座標値を画素値として記録した画像は、一般に「距離画像」、「奥行画像」などと呼ばれている。距離画像には、人間が対象を両眼視することにより認識する空間的な位置の情報が含まれている。一方、通常の撮影により得られるＲＧＢデータあるいは濃淡画像には、人間が物体を見たときに認識する色や明るさの情報が含まれている。よって、距離画像から得られる情報とＲＧＢデータなどから得られる情報とを組み合わせれば、人間が視覚により取得するのとほぼ同等の情報をコンピュータに認識させることができる。これにより、撮影空間の立体映像をモニタ上に再生したり、コンピュータにより三次元の物体を判別することが可能となる。
【０００４】
このような技術は、あらゆる産業分野において有用な技術であるため、数々の研究が進められている。しかし、撮影空間の三次元情報を記録するときのフォーマットについては、いくつかの提案（例えば、特許文献１の図１１のフォーマット）は成されているものの、未だ十分な議論がなされていない。
【特許文献１】特開２００２−０９５０１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上記事情に鑑みて、距離画像など、撮影空間の三次元情報を記録するときのフォーマットとして、利便性に富んだフォーマットを提案することを目的とする。距離画像の画素値は、基準となる座標系が異なれば異なる値となる。しかし、撮影空間をどのような座標系で表現するかは、メーカー間、装置間で特に統一されていない。このため、同じ位置から同じ対象を撮影した場合でも、距離画像を生成する撮像装置が異なれば、距離画像の画素値は異なることとなる。
【０００６】
この座標系の相違は、異なる撮像装置を組み合わせて用いる場合や、撮像装置を交換した場合などに、不都合を生じさせる。例えば、複数の撮像装置により撮影を行ってから各撮像装置により取得された画像を合成するときに、使用する撮像装置によって合成により得られる画像の構成が違ってしまったり、距離画像の値に基づいて動作制御されるロボットが、ロボットの目として機能する撮像デバイスを交換した途端、期待通りの動作をしなくなるといった問題が起こり得る。
【０００７】
このような問題を回避するためには、座標系の形式や原点の位置を意識した表示制御、動作制御などを行う必要があるが、現在提供されているカメラ、センサなどの撮像装置は、座標系の情報をユーザに不可視な情報として保持している。このためユーザは、座標系を意識した制御処理を行うことができない。本発明は、このような不便を解消し、ユーザが所望の制御を行い、且つその制御により期待通りの結果を得られるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明のファイル生成装置は、三次元情報が記録されたファイルを生成するファイル生成装置であって、以下に説明する輝度画像取得手段、三次元情報取得手段、オフセット原点設定手段およびファイル生成手段を備える。
【０００９】
輝度画像取得手段は、撮影空間を撮影したときに撮像系により捉えられた各点の輝度値を表す輝度画像を取得する。ここで、画像処理の分野では、ＹＣＣ画像のＹ成分のみを取り出した画像を輝度画像を称することもあるが、本明細書における「輝度画像」は明るさ成分を画素値とするあらゆる画像を指す。よって、輝度画像には、ＲＧＢ画像、ＹＣＣ画像のほか、白と黒の濃淡画像も含まれる。
【００１０】
三次元情報取得手段は、前記各点の空間的な位置を所定の座標系で表した三次元情報を取得する。三次元情報は、前述したステレオ法、ＴＯＦ法などにより生成することができる。所定の座標系は、三次元直交座標系とすることが好ましいが、極座標系その他の座標系であってもよい。なお、輝度画像や三次元情報は、撮像装置から直接取得してもよいし、記録媒体の読取りにより取得してもよい。
【００１１】
オフセット原点設定手段は、所定の入力装置から、前記座標系の軸方向ごとのオフセット値を指定する入力を受け付けて、各オフセット値を所定のメモリに記憶せしめることにより、前記座標系の原点をオフセット値分変位させた点をオフセット原点として設定する。例えば座標系が三次元直交座標系であれば、奥行き方向（Ｚ軸方向）、水平方向（Ｘ軸方向）、垂直方向（Ｙ軸方向）のそれぞれについて、オフセット値の設定入力を受け付け、メモリに記憶せしめる。
【００１２】
ファイル生成手段は、輝度画像取得手段により取得された輝度画像を格納する領域、三次元情報取得手段により取得された三次元情報を格納する領域、およびオフセット原点設定手段が設定したオフセット原点の情報を格納する領域を有する所定フォーマットのファイルを生成する。オフセット原点の情報を格納する領域には、例えば、オフセット原点の設定の有無を示す値を格納し、オフセット原点が設定されているときは、さらにオフセット値を格納する。
【００１３】
上記構成では、画像ファイルに記録される輝度画像を画像ファイルに記録される三次元情報に基づいて再生あるいは解析することに何らかの不都合がある場合に、座標系原点のオフセット値を設定することができる。オフセット値は、輝度画像、三次元情報とともに画像ファイルに記録されるので、その画像ファイルを用いて立体画像表示や形状認識を行うときには、オフセット値を利用して三次元情報を調整することができる。オフセット値は入力装置からの入力により任意の値を設定できるので、不都合を解消するようにオフセット値を設定することで、ユーザの所望どおりの結果を得ることが可能になる。
【００１４】
上記ファイル生成装置には、輝度画像取得手段により生成された輝度画像、三次元情報取得手段により生成された三次元情報、およびオフセット原点設定手段により設定されたオフセット原点の情報に基づいて、確認用画像を生成する確認用画像生成手段と、確認用画像生成手段により生成された確認用画像を、所定の表示デバイスに出力する表示制御手段とをさらに設けることが好ましい。確認用画像生成手段および表示制御手段を備えた構成では、ユーザは、オフセット値が設定されたときの再生イメージを確認しながらオフセット値を設定することができるので、オフセット値の設定ミスは生じ難い。
【００１５】
確認用画像生成手段の処理としては、以下のような処理が考えられる。確認用画像生成手段は、例えば、輝度画像を、奥行き方向のオフセット値に基づいて決定した倍率で拡大または縮小することにより確認用画像を生成する。ここで、画像を拡大すると、輝度画像中の最も確認したいエリアが、モニタの表示範囲外となる可能性がある。これを避けるためには、上記ファイル生成装置に、所定の入力装置から、輝度画像内の一または複数の画素からなるエリアを指定する入力を受け付けるエリア指定手段をさらに設け、確認用画像生成手段が、エリア指定手段により指定された特定エリアを含む確認用画像を生成するとよい。特定エリアが略中央に配置された確認用画像を生成することとすれば、さらに特定エリアを確認し易くなる。なお、特定エリアが複数の画素により構成されるときは、確認用画像生成手段は、三次元情報の特定エリアに対応する一または複数の画素の平均画素値を算出し、その平均画素値を特定エリアの位置座標とみなして確認用画像の生成処理を行えばよい。
【００１６】
確認用画像生成手段が生成する確認用画像は、輝度画像と、オフセット原点の前記所定の座標系における座標値と、オフセット原点が設定された座標系における特定エリアの位置座標とを表す画像とすれば、なお好ましい。位置関係を、数値と画像の両方で確認することで、設定ミスが生じる可能性をさらに低減することができる。
【００１７】
なお、エリア指定手段を備えた構成では、ファイル生成手段は、特定エリアの位置を示す情報を格納する領域を有するファイルを生成することが好ましい。ファイルに格納された特定エリアの位置の情報は、表示制御に利用することができる。
【００１８】
また、オフセット原点設定手段により水平方向あるいは垂直方向のオフセット値が設定されたときの確認用画像生成手段の処理としては、以下のような処理が考えられる。確認用画像生成手段は、例えば、輝度画像を、水平方向および／または垂直方向のオフセット値に基づいて決定した位置に平行移動することにより、確認用画像を生成する。この際、オフセット原点の水平方向および／または垂直方向のオフセット値を示唆する位置に所定のマークを配してもよい。画像ファイル装置が前述したエリア指定手段を備えるときは、エリア指定手段により指定された特定エリアの奥行き方向の位置座標と、撮影空間を撮影したときの撮影画角の情報とに基づいて、マークの配置位置を算出することができる。
【００１９】
ここで、特定エリアやマークの配置位置が、モニタの表示範囲外となることを避けるためには、確認用画像生成手段は、算出された配置位置が所定の範囲内にあるときは、算出された配置位置にマークが配された確認用画像を生成し、算出された配置位置がその所定の範囲の外にあるときは、算出された配置位置にマークが配され且つ算出された配置位置が確認用画像の画像端となるように輝度画像が平行移動された確認用画像を生成することが好ましい。さらには、算出された配置位置が前記所定の範囲の外にあり且つ算出された配置位置と特定エリアの位置とが所定距離以上離れているときには、輝度画像を縮小することが好ましい。なお、前記所定範囲は、例えば、撮影空間を撮影したときの撮影画角の情報と、奥行き方向のオフセット値とに基づいて決定する。
【００２０】
本発明のファイル生成方法は、上記本発明のファイル生成装置により実施される方法であり、以下の手順により三次元情報が記録されたファイルを生成する。まず、撮像装置または記録媒体から、撮影空間を撮影したときに撮像系により捉えられた各点の輝度値を表す輝度画像と、前記各点の空間的な位置を所定の座標系で表した三次元情報とを取得する。一方で、所定の入力装置から、前記座標系の軸方向ごとのオフセット値を指定する入力を受け付け、各オフセット値を所定のメモリに記憶せしめることにより、前記座標系の原点をオフセット値分変位させた点をオフセット原点として設定する。そして、輝度画像を格納する領域、三次元情報を格納する領域、およびオフセット原点の情報を格納する領域を有する所定フォーマットのファイルを生成する。
【００２１】
続いて、本発明の表示制御装置について説明する。本発明の表示制御装置は、立体画像の表示を制御する表示制御装置であって、次のファイル取込手段、三次元情報変換手段、画像構成手段および出力制御手段を備える。
【００２２】
ファイル取込手段は、撮影空間を撮影したときに撮像系により捉えられた各点の輝度値を表す輝度画像、前記各点の空間的な位置を所定の座標系で表した三次元情報、および前記座標系の軸方向ごとに指定されたオフセット値の情報を含む画像ファイルを取り込む。
【００２３】
三次元情報変換手段は、ファイル取込手段により取り込まれた画像ファイル内の前記三次元情報を、画像ファイル内の前記オフセット値の情報に基づいて変位させることにより、前記座標系で表された三次元情報を、他の座標系で表された三次元情報に変換する。画像構成手段は、ファイル取込手段により取り込まれた画像ファイル内の輝度画像を、三次元情報変換手段により変換された後の三次元情報に基づいて補正することにより、立体表示用画像を構成する。立体表示用画像は、例えば、複数の視差画像からなる画像セットとする。出力制御手段は、画像構成手段により構成された立体表示用画像を表示デバイスに対し出力する。なお、画像構成手段は、さらに、その画像構成手段により構成された複数組の立体表示用画像を合成することにより立体表示用合成画像を構成する機能を備えていてもよい。
【００２４】
本発明の表示制御方法は、上記本発明の表示制御装置により実施される方法であり、次の手順により立体画像の表示を制御する。まず、撮影空間を撮影したときに撮像系により捉えられた各点の輝度値を表す輝度画像、前記各点の空間的な位置を所定の座標系で表した三次元情報、および前記座標系の軸方向ごとに指定されたオフセット値の情報を含む画像ファイルを取り込む。続いて、画像ファイル内の前記三次元情報を、その画像ファイル内のオフセット値の情報に基づいて変位させることにより、前記座標系で表された三次元情報を、他の座標系で表された三次元情報に変換する。そして、画像ファイル内の輝度画像を、変換された後の三次元情報に基づいて補正することにより、立体表示用画像を構成し、構成された立体表示用画像を表示デバイスに対し出力する。
【００２５】
本発明の表示制御方法および装置によれば、三次元情報の座標系が画像ファイルごとに異なっていても、オフセット値を設定して座標系の原点を変位させることで、座標系を統一することができる。これにより、立体画像を表示するときに、あるいは複数の立体画像を合成して表示するときに、各被写体が所望の位置に表示されるように位置関係を調整することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明のファイル生成装置の一実施形態であるステレオカメラについて、図面を参照しながら説明する。
【００２７】
［ 装置の概要 ］
図１Ａおよび図１Ｂはステレオカメラの外観図であり、図１Ａは正面側、図１Ｂは背面側の外観を示している。このステレオカメラ１は、撮影空間の奥行きをステレオ法により 測定するタイプのカメラで、２つの撮像レンズ２ａ、２ｂを備えている。ステレオカメラ１は、この他、一般のデジタルカメラと同様、シャッタレリーズボタン３、ファインダ４、操作ボタン５、液晶モニタ７、メモリカード９をセットするカードスロット８、ケーブルを接続する外部接続インタフェース１０、その他スピーカ、マイクなどを備えている。
【００２８】
図２は、ステレオカメラ１の内部構成を示すブロック図である。図に示すように、ステレオカメラ１は、撮像レンズ２ａ、２ｂ、絞り（図示せず）、ＣＣＤ１１ａ、１１ｂおよびレンズの位置や向き、絞りの開閉、ＣＣＤの電荷放出タイミングなどを制御するための機構（モータ、制御回路など：図示せず）からなる撮像系を備え、さらに撮像系により得られた信号をデジタルデータに変換する手段として、Ａ／Ｄ変換部１２ａ、１２ｂを備えている。撮像系の基線長および輻輳角は、モータの駆動により撮像レンズ２ａ、２ｂ（ＣＣＤなども含む）の位置や向きを変更することで、調整可能となっている。
【００２９】
また、ステレオカメラ１は、モニタ７への表示出力を制御する表示制御部１５、メモリカードスロット８に装填されたメモリカード９へのデータの記録およびメモリカード９からのデータの読み出しを制御する読出／書込制御部１７、外部接続インタフェース１０に接続された機器との間の入出力を制御する転送制御部１８を備える。これらの制御部は、それぞれ専用の回路もしくはドライバプログラムとして実装されている。
【００３０】
また、ステレオカメラ１は、ＳＤＲＡＭなどのメモリ２３と、カメラ全体の動作を制御する全体制御部１９を備える。全体制御部１９は、制御プログラムが記録されたＲＡＭ２１と、制御に利用する各種設定値が記録されたＥＥＰＲＯＭ２２と、制御プログラムを実行するＣＰＵ２０とにより構成され、シャッタレリーズボタン３や操作ボタン５からの入力を受け付けて、各部に対し直接またはシステムバス１４を介して指示信号を送出する。指示信号を受けた各部はメモリ２３を介して処理済みデータを交換しながら処理を行う。
【００３１】
システムバス１４には、この他、画像処理部１３ａ、１３ｂ、圧縮処理部６６、変位情報記憶部２４、距離画像生成部２５、確認用画像生成部６７および画像ファイル生成部２６が接続されている。本実施形態では、変位情報記憶部２４は後述するデータを記憶するＥＥＰＲＯＭとして実装され、画像処理部１３ａ、１３ｂ、圧縮処理部６６、距離画像生成部２５、確認用画像生成部６７および画像ファイル生成部２６は、それぞれ専用のプロセッサとして実装される。但し、これらの処理部の機能を兼ね備える１つのプロセッサとして実装してもよいし、全体制御部１９のＲＡＭ２１に記憶されるプログラムの１つとして実装してもよく、実装のしかたは特に限定されない。
【００３２】
以下、ステレオカメラ１の動作について、画像処理部１３ａ、１３ｂ、変位情報記憶部２４、距離画像生成部２５、確認画像生成部６７および画像ファイル生成部２６の処理に着目しながら説明する。
【００３３】
［ 撮影 ］
シャッタレリーズボタン３の押下など撮影のための操作が行われると、その操作は全体制御部１９により検出され、全体制御部１９から撮像系に対し各種指示信号が送出される。これにより、撮像系からＡ／Ｄ変換部１２ａ、１２ｂに撮影空間を表す映像信号が入力され、Ａ／Ｄ１２ａ、１２ｂから、それぞれ画像データ（輝度画像）が出力される。本実施形態ではＲＧＢデータが出力される。画像処理部１３ａ、１３ｂは、それぞれ、Ａ／Ｄ変換部１２ａ、１２ｂから供給されるＲＧＢデータを、メモリ２３に格納する。例えば、図３に示すように、三角錐の形をした物体２７が配置された撮影空間を撮影した場合であれば、図４に示すように、撮像レンズ２ａを通して得られたＲＧＢデータ２８ａと、撮像レンズ２ｂを通して得られたＲＧＢデータ２８ｂとが、メモリ２３に格納される。
【００３４】
続いて、画像処理部１３ａ、１３ｂは、それぞれ、Ａ／Ｄ変換部１２ａ、１２ｂから供給されたＲＧＢデータに対しＲＧＢ−ＹＣＣ変換を施す。そして、変換により得られたＹＣＣデータをメモリ２３に格納する。その後、このＹＣＣデータは圧縮処理部６６により読み出され、圧縮された後再度メモリ２３に格納される。これにより、レンズ２ａを通して得られたＲＧＢデータと、同時刻にレンズ２ｂを通して得られたＲＧＢデータと、それらのＲＧＢデータを変換、圧縮することにより生成された２つのＹＣＣデータとが、メモリ２３に格納されることとなる。但し、ＲＧＢ−ＹＣＣ変換は行わず、ＲＧＢデータをそのまま圧縮処理部６６により圧縮してメモリ２３に保存してもよい。その場合には、以下の説明において、ＹＣＣデータはＲＧＢデータと読み替えるものとする。
【００３５】
［ 距離画像の生成 ］
距離画像生成部２５は、同時刻に異なるレンズを通して取得された２つのＲＧＢデータをメモリ２３から読み出す。そして、パターンマッチングを行うことにより、２つのＲＧＢデータを構成する画素の対応づけを行う。例えば図４の例であれば、ＲＧＢデータ２８ａの画素ＰａはＲＧＢデータ２８ｂの画素Ｐｂと対応づけられる。同様にＲＧＢデータ２８ａ，２８ｂを構成する他の画素についても、同様の対応付けが行われる。
【００３６】
続いて、距離画像生成部２５は、上記画素の対応付けと撮像系の基長および輻輳角の情報を利用して、ステレオ法（三角測量法）に基づく演算を行い、撮影空間内のカメラで捉えられるすべての点の空間座標値を求める。この演算は撮像系に固有の座標系（以下、固有座標系）上で行い、各点の位置は、固有座標系における座標値として表すこととする。図５は、図３に示した撮影空間内に、ステレオカメラ１の左右方向をＸｎ軸、上下方向をＹｎ軸（図示せず）、背面から正面に向かう方向をＺｎ軸とした直交座標形式の固有座標系を配したところを示している。図の例では、固有座標系の原点は、カメラ正面側の、カメラの中心より撮像レンズ２ｂ側に少しずれた位置にある。ＲＧＢデータ２８ａの画素ＰａとＲＧＢデータ２８ｂの画素Ｐｂとが表していた、撮影空間内の点Ｐｒの位置は、（ｘｒ，ｙｒ，ｚｒ）と表される（但し、ｙｒは図示せず）。
【００３７】
演算を繰り返すことによりカメラが捉えたすべての点についての座標値（ｘ、ｙ、ｚ）が求まると、距離画像生成部２５は、各点について求めた座標値（ｘ、ｙ、ｚ）を、その撮影空間の距離画像として記録する。例えば、各点のｘ値、ｙ値、ｚ値を、それぞれ８ビットの画素データとして記録する。そして生成した距離画像を、前記ＲＧＢデータやＹＣＣデータとともに、メモリ２３に格納する。なお、距離画像も、ＹＣＣデータと同じく圧縮処理部６６により圧縮してもよい。
【００３８】
なお、ステレオカメラ１は、撮影空間を一方向から見たときに視認できる点の位置をステレオ法により求めるように構成されたカメラであるため、距離画像の画素値は（ｘ，ｙ，ｚ）座標値である。これに対し、ステレオ法以外の手法を用いるカメラの場合には、距離画像の画素値として他の値が記録されることもある。ステレオカメラ１と異なるタイプのカメラとしては、例えば、図２の破線で囲んだ部分の構成Ｓ１を、図６の破線で囲んだ構成Ｓ２に置き換えたカメラが考えられる。構成Ｓ２は、撮像レンズ２ｃ、ＣＣＤ１１ｃ、Ａ／Ｄ変換部１２ｃ、画像処理部１３ｃ、赤外線照射部２９および距離計測部３０を備えた構成である。構成Ｓ２では、赤外線照射部２９は撮影空間に対し振幅変調された赤外線を照射する。照射のタイミングや振幅変調の周波数は、距離計測部３０により制御される。照射された赤外線は撮影空間内の各所において反射され、反射光は撮像レンズ２ｃ、ＣＣＤ１１ｃにより受光される。Ａ／Ｄ変換部１２ｃは反射光を表す信号を距離計測部３０に供給する。距離計測部３０は、赤外線照射部２９に指示した照射タイミング、反射光の受光タイミングおよび照射光と反射光の位相ずれに基づいて（すなわちＴＯＦ法により）、撮影空間内のカメラが捉えられるすべての点までの距離および方向を算出する。つまり、撮影空間に極座標系を定義したときの座標値を求める。構成Ｓ２を備えたカメラの場合、距離画像生成部２５は、その極座標系の座標値（ｒ，θ，φ）を画素値とした距離画像を生成する。
【００３９】
なお、カメラの構成としては、この他、図２の構成Ｓ１と図６の構成Ｓ２とを兼ね備え、ステレオ法とＴＯＦ法を切り替えて用いることができるカメラも考えられる。図７に、２種類の構成Ｓ１、Ｓ２を兼ね備えたカメラの外観を例示する。図７に示される撮像レンズ２ｂは、図２の撮像レンズ２ｂとして機能するとともに、図６の撮像レンズ２ｃとしても機能する。
【００４０】
このように、撮影空間の三次元情報を取得するためのカメラの構成は種々考えられ、どの手法を採用するかによって得られる三次元情報の種類や精度は異なるが、撮影空間に係る三次元的な情報を取得することができれば、カメラの構成や距離画像の画素値として記録される値の種類は、どのようなものであってもよい。
【００４１】
［ 画像ファイルの生成 ］
次に、画像ファイル生成部２６による画像ファイルの生成処理について説明する。画像ファイル生成部２６は、図８に示すフォーマットのファイル、すなわち、ファイルヘッダＨ、距離画像Ｄ、および１組のＹＣＣデータ（以下、視差画像Ｒ，Ｌと称する）を含む画像ファイル３１を生成する。ファイルヘッダに設定する情報は、カメラを構成する各メモリから読み出す。もしくは、モニタ７に表示される設定画面においてユーザが選択あるいは入力した情報を取り込む。視差画像Ｒ，Ｌと距離画像Ｄは、メモリ２３に記憶されているものを読み出す。
【００４２】
なお、本実施形態では、画像ファイルに格納するＹＣＣデータを一組の視差画像Ｒ，Ｌとしているが、一方の撮像レンズを通して得られた画像から生成されたＹＣＣデータのみをファイルに格納するようにしてもよい。図６を参照して説明した構造のカメラを使用した場合も撮像レンズは１つであるため、１つのＹＣＣデータが画像ファイルに格納されることとなる。
【００４３】
画像ファイル生成部２６は、生成した画像ファイルを一旦メモリ２３に保存する。メモリ２３に記憶された画像ファイルは、全体制御部１９の制御の下、読出／書込制御部１７に転送され、カードスロット８を経てメモリカード９などの記録媒体に記録される。または、同じく全体制御部１９の制御の下、転送制御部１８に転送され、外部接続インタフェース１０を介して、他の装置へと転送される。あるいは、画像ファイルは表示制御部１５に転送され、表示制御部１５によりモニタ７に表示出力される。
【００４４】
以下に、画像ファイル３１のフォーマットの詳細を示す。画像ファイル３１は、前述したとおり、ファイルヘッダＨ、距離画像Ｄおよび視差画像Ｒ，Ｌにより構成される。ファイルヘッダＨには、ファイルタイプやファイルサイズのほか、ファイルの先頭から距離画像までのオフセットと、ファイルの先頭から視差画像Ｒ，Ｌまでのオフセットの情報が含まれている。よって、ファイルの先頭に記録されているファイルタイプの情報からヘッダ情報のフォーマットを認識し、ヘッダ情報中のオフセット情報を参照すれば、距離画像Ｄや視差画像Ｒ，Ｌを読み出すことができる。
【００４５】
また、図９に示すように、ファイルヘッダＨには、距離画像に関連する情報を設定する領域として、画像を撮影したときの輻輳角を設定する領域ｈ１、基線長を設定する領域ｈ２、焦点距離を設定する領域ｈ３、撮影画角を設定する領域ｈ４、距離画像の大きさ（縦横の画素数）を設定する領域ｈ５、距離画像の各画素に割り当てられたビット数を設定する領域ｈ６が設けられている。領域ｈ３はステレオカメラ１のように撮像レンズが２つあるカメラで各撮像レンズについての焦点距離を設定できるように定義されている。領域ｈ４は、水平方向の画角と垂直方向の画角を設定でき且つ２つの撮像レンズのそれぞれについて二方向の画角を設定できるように定義されている。
【００４６】
輻輳角、基線長、焦点距離、撮影画角、距離画像の大きさや一画素あたりのビット数は、撮像系に固有に定められているか、もしくは撮像系を調整したときに決定される。撮像系に固有か、調整により可変かは、カメラの仕様により異なる。例えば、輻輳角が固定されたカメラであれば輻輳角は固有の値であり、輻輳角が調整可能なカメラであれば輻輳角は可変な値となる。撮像系に固有の値は、ステレオカメラ１内の所定のメモリ（全体制御部１９のＥＥＰＲＯＭ２２、メモリ２３あるいは他の図示しないメモリでもよい）の予め決められた領域に記録されている。また、調整により決定される値は、調整を行った制御部（例えば輻輳角であれば、レンズの向きを制御する回路）により、調整が完了した時点で、所定のメモリに記録される。画像ファイル生成部２６は、そのようにしてメモリに記憶された値を読み出し、読み出した値をファイルヘッダの上記各領域ｈ１〜ｈ６に設定する。
【００４７】
また、ファイルヘッダには、距離画像に関連する情報を設定する領域として、さらに、共通座標系の座標形式（直交座標または極座標）を設定する領域ｈ７、共通座標系の変位情報を設定する領域ｈ８、ユーザが指定した一の共通座標系を設定する領域ｈ９、ユーザが指定したオフセット原点を設定する領域ｈ１０、後述する特定エリアの位置情報を設定する領域ｈ１１が設けられている。以下、領域ｈ７〜ｈ９に設定する共通座標系の情報、領域ｈ１０に設定するオフセット原点の情報、および領域ｈ１１に設定する特定エリアの位置情報について、さらに説明する。
【００４８】
[ 従来手法の問題点 ]
図１０は、撮影空間の三次元情報（距離画像など）を取得する機能を備えた第１のカメラ３２と、立方体の物体３３が配置された撮影空間と、第１のカメラ３２の固有座標系３４と、固有座標系３４の原点３５との関係を示す図である。また、図１１は、撮影空間の三次元情報を取得する機能を備えた第２のカメラ３６と、立方体の物体３７が配置された撮影空間と、第２のカメラ３６の固有座標系３８と、固有座標系３８の原点３９との関係を示す図である。図１０、図１１において、一点鎖線は、カメラ３２、３６を左右に分ける中心線を表している。図１０の撮像空間では、物体３３はカメラ３２の中心より左側に位置している。一方、図１１の撮像空間では、物体３７はカメラ３６の中心よりも右側に位置している。また、図１０と図１１の対比から明らかであるように、第１のカメラ３２と第２のカメラ３６とでは、固有座標系の原点の位置は大きく異なっている。なお、これらの図において、固有座標系３４、３８のＹ軸は図の紙面に垂直であり、原点３５、３９と重なって図示されている。
【００４９】
図１２は、図１０に示す位置関係で撮影を行い、図１１に示した位置関係で撮影を行い、２回の撮影により得られた２組の視差画像を合成して立体モニタ４０に表示するときの、表示座標系４１と、表示される物体３３および物体３７の関係を示す図である。従来手法では、固有座標系上で求められた距離画像の各画素値が、表示の奥行き感を表す値としてそのまま用いられる。すなわち、図１０に示した原点３５と物体３３の位置関係は、表示座標系４１における原点４２と物体３３の位置関係として、そのまま維持される。同様に、図１１に示した原点３９と物体３７の位置関係も、表示座標系４１における原点４２と物体３７の位置関係として、そのまま維持される。その結果、立体モニタ４０には、図１３に示すように、物体３７の背後に物体３３が配置された映像が表示されることとなる。
【００５０】
一方、図１１に示した位置関係で、物体３７を含む撮影空間の撮影を行うときにも、物体３３を含む撮影空間の撮影を行ったときと同じく第１のカメラ３２を使用したとすれば、物体３３はカメラの中心よりも左側に配置され、物体３７はカメラの中心よりも右側に配置され、また固有座標系のＺ軸はカメラの中心よりも左側にあるので、画像合成により得られる立体画像では、図１４に例示するように、物体３３と物体３７とが離れた状態で表示されることとなる。
【００５１】
図１３と図１４の対比として示されるように、従来手法では、複数の立体画像から合成立体画像を生成しようとした場合、撮影に用いたカメラによって、合成により得られる結果が異なってしまうという問題がある。また、同様の理由で、従来手法では、立体画像から物体の形状や位置を認識して制御を行う場合に、同じ撮像系を使い続けない限り、安定した認識を行えないという問題がある。
【００５２】
［ 共通座標系 ］
共通座標系は、固有座標系と同じく、撮影空間内に定義される座標系である。但し、固有座標系が個々のカメラにより定義されユーザに見えないものであるのに対し、共通座標系はユーザが把握できる形で定義される。
【００５３】
図１５は、図５に示したステレオカメラ１の固有座標系に、一例としての共通座標系を重ねて示した図である。この例では、共通座標系は３次元直交座標であり、そのＸｕ軸はステレオカメラ１の左方向から右方向に向かい、Ｙｕ軸はステレオカメラ１の下方向から上方向に向かい、Ｚｕ軸はＸｕ軸、Ｙｕ軸の両方に垂直で、カメラから撮影空間に向かって延びている。また、この例では、共通座標系の原点Ｏｎは、ステレオカメラ１の背面の中心にある。
【００５４】
画像ファイルを生成するときには、座標系を固有座標系から共通座標系に切り替えたときの原点の変位、すなわち固有座標系の原点Ｏｎと共通座標系の原点Ｏｕとのズレを、ファイルヘッダに記録する。言い換えれば、固有座標系の原点Ｏｎを始点、共通座標系の原点Ｏｕを終点とする変位ベクトルを記録する。例えば、固有座標系で表したときの共通座標系の原点Ｏｕの位置が（ｘｃ、ｙｃ、ｚｃ）という座標値（ベクトル）で表されるのであれば、そのｘｃ、ｙｃ、ｚｃの値を、共通座標系の変位情報としてファイルヘッダに格納する。
【００５５】
この共通座標系の変位情報を画像ファイルのヘッダに記録しておけば、立体画像処理や形状認識処理など距離画像を利用した処理を行うときに、距離画像の各画素値を、固有座標系における座標値から、共通座標系における座標値に置き換えてから、処理を行うことができる。
【００５６】
図１０〜１４を参照して説明した従来手法の問題は、第１の撮像系により取得された距離画像の各画素値を固有座標系における座標値から共通座標系における座標値に置き換え、同様に第２の撮像系により取得された距離画像の各画素値を固有座標系における座標値から共通座標系における座標値に置き換え、置き換え後の距離画像を使って画像の合成を行うことで、解決することができる。
【００５７】
同様に、継続的に行われる撮影の途中でカメラを交換した場合でも、交換前のカメラにより取得された距離画像、交換後のカメラにより取得された距離画像の画素値について、それぞれ上記のような置き換えを行えば、カメラを交換したことでそれまでの撮影が無駄になるということもない。その他、座標系がカメラに固有であるがために生じるあらゆる問題は、共通座標系の概念を取り入れることにより、解決することができる。
【００５８】
上記共通座標系の説明では、理解を容易にするため、共通座標系が１つしか定義されていない場合を例示しながら説明したが、本実施形態のステレオカメラ１では、共通座標系として選択し得る座標系、すなわち共通座標系の候補が、複数定義されている。そして、ファイルヘッダＨには、ユーザが選択し得るすべての座標系の変位情報と、ユーザが選択した変位情報を特定するための情報とが記録される。
【００５９】
まず、領域ｈ７に設定される共通座標系の座標形式について説明する。共通座標の座標形式については、撮影を行う前に、全体制御部１９がモニタ７に表示する設定画面において、ユーザから座標形式の指定を受け付けておく。選択画面において入力されたデータは、一旦図２の変位情報記憶部２４に記憶される。画像ファイル生成部２６は、画像ファイルの生成時に変位情報記憶部２４からそのデータを読み出し、ヘッダの領域ｈ７に記録する。本実施形態では、領域ｈ７には、“０”、“１”または“２”のいずれかの数値データが記録される。“１”は共通座標系が３次元直交座標系であることを示し、“２”は共通座標系が極座標系であることを示し、“０”は座標形式が不明、すなわちユーザによる座標形式の指定が行われなかったことを示す。
【００６０】
続いて、領域ｈ８に設定される共通座標系の変位情報について説明する。本実施形態のステレオカメラ１では、共通座標系の原点となり得る点として、固有座標系の原点Ｏｕ０、共通座標系の概念の説明において例示したカメラ本体背面の中心点Ｏｕ１を含む合計８個の点が定義されている。このうち、カメラ本体背面の中心点は、図１６に例示するように、モニタ７に基点マーク４３を表示することで、外観上認識できるようにしている。但し、基点マーク４３の表示は、ユーザが所定の操作を行ったときのみ行う。なお、図１７に例示するように、モニタが開閉するタイプのカメラで、モニタを使用するときと使用しないときとで、カメラの背面の状態が異なるようなときには、カメラの外装部材に、印刷または加工により形成される基点マーク４４ａ、４４ｂをつけてもよい。
【００６１】
このように、共通座標系の原点を外観上認識し得る部材の外観上認識し得る位置に設けておけば、例えばカメラを交換するときに、交換前と交換後とで基点マークが同じ位置にくるようにカメラを配置することで、位置あわせを行うことができる。
【００６２】
図１８は、共通座標系の原点の候補として定義されている他の点を示す図である。図に示すように、撮像レンズ２ａと２ｂの中心点Ｏｕ２、撮像レンズ２ａ、撮像レンズ２ｂそれぞれの中心点Ｏｕ３，Ｏｕ４、ＣＣＤ１１ａと１１ｂの中心点Ｏｕ５、ＣＣＤ１１ａ、ＣＣＤ１１ｂそれぞれの中心点Ｏｕ６，Ｏｕ７が、共通座標系の原点の候補として定義されている。これらの点は、外観上は認識できないが、カメラ内部の通常見えない点であっても、所定の部材の中心点、端点など何らかの特徴がある点であれば、共通座標系の原点となり得る。
【００６３】
これら８個の点Ｏｕ０〜Ｏｕ７の固有座標系における座標値、すなわち変位情報は、カメラの製造時に変位情報記憶部２４に記憶される。但し、撮像系が焦点距離が可変なズームレンズを備えている場合には、固有座標系が撮像系の特性に応じて再定義されるため、変位情報記憶部２４に記憶されている変位情報は焦点距離の変更に応じて再設定される。本実施形態では、全体制御部１９が、ユーザによるズーム操作を受け付けたときに、変位情報設定手段として機能する。全体制御部１９は、ズーム操作により設定された焦点距離を検出し、検出された焦点距離に応じて変位情報記憶部２４に記憶されている変位情報を書き換える。焦点距離と固有座標系の原点の対応付けは予めＲＡＭ２１などに登録されている。よって、その対応付けを参照することにより、検出された焦点距離に対応する固有座標系の原点を求め、その原点を基準とした変位を計算しなおせば、変位情報を再設定することができる。画像ファイル生成部２６は、上記のように記憶あるいは再設定された変位情報を変位情報記憶部２４から読み出し、ファイルヘッダの領域ｈ８に格納する。
【００６４】
図１９に、変位情報を設定する領域ｈ８の詳細フォーマットを示す。領域ｈ８は、識別子と変位情報とを対応付けて格納する複数の領域からなる。識別子は数字、アルファベットその他記号により構成される値である。図は０から始まる通し番号を識別子とした場合を例示している。各領域にどの点の変位情報を設定するかは、予め共通のルールを設けておくことが好ましい。本実施形態では、識別子０に対しては前述した点Ｏｕ０の変位情報（すなわち０，０，０）を、識別子１に対しては点Ｏｕ１（基点マーク位置）の変位情報を、以下識別子の番号が若い順に、図１８に示した点Ｏｕ２〜Ｏｕ７の変位情報を対応付けて記録するものとする。
【００６５】
なお、領域ｈ８にはステレオカメラ１が変位情報を設定する領域のほか、撮像レンズやＣＣＤを１つしか備えていないタイプのカメラが変位情報を設定する領域を備えている。１つの撮像レンズの中心点の変位情報を設定する領域（識別子８の領域）とその１つのＣＣＤの中心点の変位情報を設定する領域（識別子９の領域）である。また、領域ｈ８にはさらに予備の領域（識別子１０の領域）も用意されている。使用されない領域には、図に示すように、０，０，０の値が設定される。
【００６６】
続いて、図９の領域ｈ９に設定されるユーザ指定情報について説明する。ユーザ指定情報は、座標形式と同じく、撮影を行う前に、全体制御部１９がモニタ７に表示する設定画面において指定を受け付けておく。選択画面において入力されたデータは、一旦図２の変位情報記憶部２４に記憶され、画像ファイル生成部２６により読み出されて領域ｈ９に設定される。領域ｈ９には、値“０”またはユーザが選択した一の変位情報を指し示す識別子の値が設定される。値“０”はユーザが変位情報の選択を行わなかったことを意味する。
【００６７】
以上に説明したように、ファイルヘッダの構造を、複数の座標系の変位情報を格納でき且つユーザが指定した変位情報を指示す識別子および座標形式を格納できる構造としておけば、ユーザはその画像ファイルを利用した処理を行う上で最も都合のよい共通座標系を選択することができ、その共通座標系を利用することで従来手法にはない利便性を確保することができる。さらには、その共通座標系に不都合が生じた場合に他の座標系を共通座標系として指定しなおすことができるので、目的に合わせて共通座標系を使い分けることで目的を達成しやすくなる。
【００６８】
［ オフセット原点 ］
続いて、オフセット原点について説明する。共通座標系を利用した位置合わせは、所望の位置にカメラを設置できることを前提としている。しかし、実際の撮影現場では、必ずしも所望の位置にカメラを設置できるとは限らないので、共通座標系の原点の位置を、さらに調整しなければならないときがある。オフセット原点は、共通座標系の原点の位置調整が必要になったときの、調整後の原点である。オフセット原点は、共通座標系の原点を基準とする各座標軸方向のオフセット値、言い換えればオフセット原点の共通座標系における座標値として設定する。
【００６９】
オフセット原点は、撮影を行うユーザが、モニタ７に表示される所定の設定画面をみながら操作ボタン５を操作することにより設定する。モニタ７への設定画面の表示や、設定されたオフセット値の取り込みおよびファイルへの記録は、全体制御部１９により制御される。本実施形態では、オフセット原点が設定されると、モニタ７に、オフセット値に応じて調整された画像が表示される。ユーザは、その表示をみて、設定したオフセット値が適切か否かを確認することができる。また、本実施形態では、オフセット原点の設定を行うときに、撮影空間内の所定の箇所を特定エリアと定め、特定エリアを確認しやすい確認用画像を表示させることができる。
【００７０】
図２０は、物体６８が配置された撮影空間内に、ステレオカメラ１の左右方向をＸｕ軸、上下方向をＹｕ軸（図示せず）、背面から正面に向かう方向をＺｕ軸とし、２つの撮像レンズの中心点Ｏｕを原点とした共通座標系を配したところを示している。オフセット原点Ｏｏｆの共通座標系における座標値は、（ｘｏｆ，ｙｏｆ，ｚｏｆ）と表記する。つまり、Ｘ軸方向のオフセット値はｘｏｆ、Ｙ軸方向のオフセット値はｙｏｆ、Ｚ軸方向のオフセット値はｚｏｆと表記する。特定エリアＡは、ユーザが指定したエリアである。以下、図２０に例示した撮影空間を例示しながら、オフセット原点Ｏｏｆを設定する処理について説明する。オフセット原点Ｏｏｆは、Ｚ軸方向のオフセット値ｚｏｆを設定し、さらにＸＹ軸方向のオフセット値ｘｏｆ、ｙｏｆを設定するというように、段階的に設定する。
【００７１】
図２１に、Ｚ軸方向のオフセット値設定処理の一例を示す。全体制御部１９は、オフセット設定画面を呼び出す操作を検知すると、確認用画像生成部６７に対し確認用画像の生成を指示する。確認用画像生成部６７は、画像ファイル生成部２６が生成した画像ファイルからＲＧＢデータと距離画像を取得して右目用の視差画像を構成し、これにオフセット原点を示す数値情報を合成し、表示制御部１５に供給する。これにより、モニタ７には、確認用画像が表示される（Ｓ１０１）。このとき、オフセット原点は、初期化処理により、共通座標系の原点と同じ点に設定されている。
【００７２】
全体制御部１９は、撮影空間内の所定の点またはエリアを特定エリアＡとして指定する操作を検知すると（Ｓ１０２）、確認用画像生成部６７にその特定エリアＡを基準にして、モニタ７に表示する画像を構成するよう指示する。確認用画像生成部６７は、この指示を受けて、まず距離画像の特定エリアＡに対応する画素の平均値（ｘａ，ｙａ，ｚａ）を算出する（Ｓ１０３）。また、確認用画像生成部６７は、距離画像の特定エリアＡの中心点の共通座標系における位置座標の値を算出する（Ｓ１０４）。なお、特定エリアＡに画素が１つしか含まれていないときは、その画素の値がそのまま平均値（ｘａ，ｙａ，ｚａ）となり、その画素の位置が中心点となる。
【００７３】
続いて、確認用画像生成部６７は、中心点に特定エリアマークを合成し、さらに中心点が画面中央に配置されるように画像を平行移動した後、表示制御部１５にその画像を供給する（Ｓ１０５）。図２２に、平行移動後のモニタ画面の表示例を示す。同図に示すようにモニタ７には、画像とともに、オフセット原点を設定したとき特定エリアＡの中心点の位置座標６９が表示される。さらに、その数値の右側に、原点のオフセット値７０が表示される。なお、画像を平行移動した場合、画像領域７１がモニタ画面よりも小さくなる場合があるが、本実施形態では、モニタ画面の画像が配置されない領域は黒く表示するものとする。
【００７４】
全体制御部１９がオフセット値を確定する操作を検知したときは（Ｓ１０６）、画像ファイル生成部２６に指示して、その時点で設定されているオフセット値ｚｏｆを、Ｚ軸方向の確定したオフセット値として画像ファイルに記録する（Ｓ１１１）。このとき、特定エリアについて算出された値（ｘａ，ｙａ，ｚａ）も、画像ファイルに記録する。
【００７５】
一方、オフセット値の確定操作が未だ検出されていなければ（Ｓ１０６）、全体制御部１９は引き続きオフセット値の設定操作を待つ。オフセット値の設定操作を受け付けたら（Ｓ１０７）、設定されたオフセット値ｚｏｆを所定のメモリに一時記憶する（Ｓ１０８）。続いて、確認用画像の表示倍率Ｅを、次式（１）
Ｅ＝ｚａ／（ｚａ−ｚｏｆ）・・・（１）
に基づいて算出し（Ｓ１０９）、確認用画像が算出された表示倍率Ｅで表示されるように、確認用画像を拡大または縮小する（Ｓ１１０）。図２３に確認用画像拡大時の画面、図２４に確認用画像縮小時の画面を、それぞれ例示する。
【００７６】
確認用画像生成部６７は、拡大または縮小後の画像を、特定エリアの中心点が画面中央に配置されるように平行移動した後、表示制御部１５にその画像を供給して表示を更新する（Ｓ１０５）。以降、ステップＳ１０６においてオフセット値の確定操作が検出されるまで、Ｓ１０５〜Ｓ１１０の処理が繰り返し実行される。
【００７７】
次に、図２５に、Ｘ軸方向のオフセット値設定処理の一例を示す。全体制御部１９は、Ｚ軸方向のオフセット値設定処理と同様、モニタ７に確認用画像を表示させ（Ｓ２０１）、特定エリアを指定する操作を検知し（Ｓ２０２）、確認用画像生成部６７に対し、その特定エリアＡを基準にして確認用画像を構成するよう指示する。確認用画像生成部６７は、この指示を受けて、距離画像の特定エリアＡに対応する画素の平均値（ｘａ，ｙａ，ｚａ）を算出し（Ｓ２０３）、さらに、特定エリアの中心点の位置座標を算出する（Ｓ２０４）。
【００７８】
ＸＹ軸方向のオフセット値設定処理では、確認用画像生成部６７は、次に、画像ファイルの領域ｈ４に格納されている撮影画角の値α（図２０中に図示）を読み出す。また、確認用画像生成部６７は、画像ファイルの領域ｈ８に格納されている撮影レンズの中心点のｘ座標値を参照し、特定エリアＡの中心のｘ座標値との差分Ｋｘ（図２０中に図示）を算出する。そして、次式（２）に基づき、モニタ７に表示されている範囲の左端ＸＬおよび右端ＸＲ（図２０中に図示）の、共通座標系における座標値ｘＬ，ｘＲを算出する（Ｓ２０５）。
ｘＬ ＝ Ｋｘ−ｚａ×ｔａｎα
ｘＲ ＝ Ｋｘ＋ｚａ×ｔａｎα ・・・（２）
全体制御部１９は、オフセット値を確定する操作を検知したときは（Ｓ２０６）、画像ファイル生成部２６に指示して、その時点で設定されているオフセット値ｘｏｆを、Ｘ軸方向の確定したオフセット値として画像ファイルに記録する（Ｓ２１４）。このとき、特定エリアについて算出された値（ｘａ，ｙａ，ｚａ）も画像ファイルに記憶する。
【００７９】
一方、オフセット値の確定操作が未だ検出されていなければ（Ｓ２０６）、全体制御部１９は引き続きオフセット値の設定操作が行われるのを待つ。オフセット値の設定操作を受け付けたら（Ｓ２０７）、設定されたオフセット値ｘｏｆを所定のメモリに一時記憶する（Ｓ２０８）。
【００８０】
続いて、全体制御部１９は、オフセット値ｘｏｆが、モニタ７のＸ軸方向の表示幅内にある値か否かを、次の判定式（３）に基づき判定する（Ｓ２０９）。
ｘＬ≦ｘｏｆ≦ｘＲ ・・・（３）
値ｘｏｆが判定式（３）の条件を満たすときは、確認用画像生成部６７は、図２６に例示するように、オフセット原点の位置を示唆するマーク７２（以下、基準マーク７２）を配した確認用画像を生成する。基準マーク７２は、ｘ座標値がオフセット値ｘｏｆと同じで、ｙ座標値が特定エリアのｙ座標値ｙａと同じである点に配置する。基準マーク７２と特定エリアマークの２つのマークを表示することにより、オフセット原点と特定エリアの中心点とが、Ｘ軸方向にどの程度離れているかの確認が容易になる。また、確認用画像には、特定エリアＡの中心点の座標値６９が表示される。さらに、その数値の右側に、原点のオフセット値７０が表示される。この確認用画像は表示制御部１５に供給され、モニタ７の表示が更新される（Ｓ２１１）。
【００８１】
一方、値ｘｏｆが判定式（３）の条件を満たさないときは、全体制御部１９により、さらに次式（４）に基づく判定が行われる（Ｓ２１０）。
ｘａ−ｘｏｆ≦ｘＲ−ｘＬ ・・・（４）
判定式（４）の条件を満たす範囲では、確認用画像生成部６７は、図２７に例示するように、基準マーク７２が画面の左端（または右端）に配置されるように平行移動された画像を生成し、その画像を表示制御部１５に供給して表示を更新する。値ｘｏｆを増減させた場合、モニタ画面では、基準マーク７２は画面の左端に固定されたままで特定エリアマークを含む物体６８の画像だけが左右に移動する（Ｓ２１２）。
【００８２】
一方、判定式（４）の条件が満たされない範囲では、確認用画像生成部６７は、図２８に例示するように、縮小された右目用視差画像に、特定エリアマークと基準マークとを配した確認用画像を生成する。本実施形態では、右目用視差画像は１／２に縮小される。判定式（４）の条件が満たされない範囲でも、確認用画像生成部６７は、基準マーク７２が画面の左端（または右端）に配置されるように平行移動された画像を生成し、その画像を表示制御部１５に供給して表示を更新する。（Ｓ２１３）。
【００８３】
以降、ステップＳ２０６においてオフセット値の確定操作が検出されるまで、Ｓ２０７〜Ｓ２１３の処理が繰り返し実行される。
【００８４】
全体制御部１９、確認用画像生成部６７および表示制御部１５は、図２５〜図２８を参照して説明した処理と同等の処理を、Ｙ軸方向についても実行する。これにより、Ｙ軸方向のオフセット値ｙｏｆと、オフセット値ｙｏｆを設定したときの特定エリアの座標値が、画像ファイル生成部２６により画像ファイルに記録される。
【００８５】
画像ファイル生成部２６は、ステップＳ１１１あるいはステップＳ２１４において全体制御部１９からの指示を受けると、メモリに記憶されている値ｘｏｆ、ｙｏｆ、ｚｏｆを読出し、画像ファイルのヘッダＨの領域ｈ１０に格納する。さらに、メモリに記憶されている特定エリアの位置座標を読出し、画像ファイルのヘッダＨの領域ｈ１１に格納する。
【００８６】
本実施形態では、領域ｈ１０には、オフセット原点の有無を示すフラグと、オフセット値ｘｏｆ、ｙｏｆ、ｚｏｆとが記録される。フラグの値は、オフセット原点が設定されたときは１、設定されなかったときは０に設定される。領域ｈ１０のフラグの値が０のときは、領域ｈ１０のオフセット値も領域ｈ１１の特定エリアの座標値も記録されない。もしくは何らかの値が記録されていても、その値は無効である。なお、領域ｈ１０に格納する情報は、オフセット値ｘｏｆ、ｙｏｆ、ｚｏｆのみとしてもよい。また、領域ｈ１１への値の格納は必須ではなく、領域ｈ１１がないファイルフォーマットも考えられる。
【００８７】
［ 表示制御装置の概要 ］
以下、本発明の表示制御装置の一実施形態を示しながら、上記ステレオカメラ１が出力する画像ファイルの利点についてさらに説明する。この表示制御装置は、１つの画像ファイルを参照して立体画像表示を行えるのみならず、複数の画像ファイルから、合成立体画像を形成して表示する画像合成装置としての機能を兼ね備える。
【００８８】
図２９に、立体画像表示システムの概要を示す。図に示すように、この立体画像表示システム４５は、表示制御装置４６と、立体表示モニタ４７と、偏光メガネ４８により構成される。立体表示モニタ４７は、左目用、右目用の２つで一組の視差画像が表示制御装置４６から供給されたときに、左目用と右目用とで偏光方向を異ならせて、２つの画像を同時に一画面に出力するものである。偏光メガネ４８は、レンズの代わりに偏光フィルタを配したメガネで、偏光フィルタのフィルタ特性は、立体表示モニタ４７による偏光の方向と対応している。これにより、偏光メガネ４８をかけて立体表示モニタ４７を観察したときには、右目は右目用の画像のみ、左目は左目用の画像のみを認識するというしくみである。
【００８９】
なお、立体画像表示の方式としては、図示した例のほか、メガネを用いない裸眼タイプの方式も知られている。代表的なものとしては、レンチキュラー方式、パララックスバリア方式、光源分離方式、ＤＦＤ（Depth Fused 3-D）方式などが知られている。さらに、最近では被写体からの光線角度を、実際と同等に再現させる表示方法もあり、その方法では視差画像ではない立体表示用画像の方法も提案されている。これらの方式も、表示制御に距離画像を使用するので、図２９に例示した方式に代えて、これらの方式を採用してもよい。
【００９０】
図３０は、表示制御装置４６の構成を示す図である。表示装置はＤＶＤ（Digital Versatile Disk）、メモリカードなど複数の記録媒体用のメディアドライブ４９ａ〜４９ｃと、メディアドライブ４９ａ〜４９ｃにセットされた記録媒体からの画像ファイルの読み出しおよび記録媒体への画像ファイルの書き込みを制御する読出／書込制御部５０と、ケーブルを接続する外部接続インタフェース５１と、外部接続インタフェース５１を介した画像ファイルの転送を制御する転送制御部５２と、取得した画像ファイルその他処理中のデータを記憶するメモリ５６と、立体モニタ４７と接続するための表示インタフェース５３と、表示インタフェース５３を介した表示出力を制御する表示出力制御部５４を備える。読出／書込制御部５０、転送制御部５２、表示出力制御部５４およびメモリ５６は、システムバス５５により接続されている。
【００９１】
システムバス５５には、さらに、再生伸長処理部５７と、距離画像変換部５８と、画像構成部５９とが接続されている。再生伸長処理部５７は、読出／書込制御部５０または転送制御部５２により取得され、メモリ５６に保存されている画像ファイルから、画像ファイル内に圧縮された状態で記録されているＹＣＣデータを取得する。そして、ＹＣＣデータを、圧縮前の状態となるように伸長し、さらにＹＣＣ−ＲＧＢ変換し、変換により得られた一組の視差画像を再びメモリ５６に保存する。
【００９２】
距離画像変換部５８は、図３１のフローチャートが示す処理Ｐ３００を実行する。距離画像変換部５８は、メモリ内の画像ファイルを参照し、そのファイルのヘッダが図９に例示した領域ｈ１〜ｈ１１を備えた構造をしているか、確認する（Ｓ３０１）。その画像ファイルが異なる構造を有するファイルであれば、以降の処理は行われない。領域ｈ１〜ｈ１１を備えたヘッダを有するファイルであれば、距離画像Ｄと、ファイルヘッダＨの領域ｈ１〜ｈ１１に格納されている情報を取得する（Ｓ３０２）。
【００９３】
続いて、ファイルヘッダＨの領域ｈ９に設定されている値が“０”か否かを判定することにより、ユーザが共通座標系の指定を行ったか否かを判別する（Ｓ３０３）。領域ｈ９に設定されている値が“０”以外の識別子であるときは、ファイルヘッダＨの領域ｈ９からその識別子と対応付けられている変位情報を取得する（Ｓ３０４）。ここでは、変位情報として取得された座標値を（ｘｃ，ｙｃ，ｚｃ）と表すこととする。
【００９４】
続いて領域ｈ１０に記録されているフラグの値が“０”か否かを判定することにより、ユーザがオフセット原点の設定を行ったか否かを判別する（Ｓ３０５）。オフセット原点指定されていれば、オフセット値（ｘｏｆ，ｙｏｆ，ｚｏｆ）を取得する（Ｓ３０６）。その後、距離画像変換部５８は、以下に示す手順で、固有座標系で表される距離画像を、ユーザが指定した共通座標系で表される距離画像に変換する。
【００９５】
オフセット原点が設定されていないときは、距離画像を構成する各画素（ｉ，ｊ）の値（ｘｄｉｊ，ｙｄｉｊ，ｚｄｉｊ）から、変位情報が示す座標値（ｘｃ，ｙｃ，ｚｃ）を減算する。但しここで、ｉおよびｊは、画素の縦横の位置を示すものとする（Ｓ３０７）。一方、オフセット原点が設定されているときは、距離画像を構成する各画素（ｉ，ｊ）の値（ｘｄｉｊ，ｙｄｉｊ，ｚｄｉｊ）から、変位情報が示す座標値（ｘｃ，ｙｃ，ｚｃ）を減算し、さらにオフセット値（ｘｏｆ，ｙｏｆ，ｚｏｆ）を減算する（Ｓ３０８）。ステップＳ３０７とＳ３０８は、それぞれ、距離画像を構成するすべての画素を対象として実行する。
【００９６】
変換後の距離画像は、再びメモリ５６に保存される（Ｓ３０９）。なお、ステップＳ３０３においてユーザ指定情報の値が“０”であった場合には、距離画像の変換は行われず、ステップＳ３０２において取得された距離画像が、そのままメモリ５６に保存される（Ｓ３０９）。
【００９７】
図３２は、画像構成部５９の処理を示すフローチャートである。画像構成部５９は、メモリ５６から、再生伸長処理部５７が保存した画像（ＲＧＢデータ）と、距離画像変換部５８が保存した変換後の距離画像とを取得する（Ｓ４０１）。そして、取得した画像（ＲＧＢデータ）と、変換後の距離画像とを使用して、右目用、左目用の視差画像を再構成する（Ｓ４０２）。再構成された視差画像はメモリ５６に保存される（Ｓ４０３）。表示出力制御部５４は、このときメモリ５６に保存された視差画像を立体モニタに出力する。
【００９８】
［ 合成画像の生成および表示 ］
上記説明は、画像ファイル単体の表示制御処理についての説明であるが、続いて、図３３を参照して、複数の画像ファイルを取り込んだときの表示制御処理について説明する。ユーザが図示されない操作部から、画像ファイルの連続取り込みの操作を行うと、読出／書込制御部または転送制御部もしくはその両方は、ユーザの操作に応じて画像ファイルの取り込みを、ユーザから取り込み完了を伝える入力があるまで、連続して実行する（Ｓ５０１，Ｓ５０２）。この操作により取り込まれた画像ファイルは、すべてメモリ５６に保存される。距離画像変換部５８は、図３１を参照して説明した距離画像変換処理Ｐ３００を、メモリ５６に記憶されている全画像ファイルを対象として繰り返し実行する（Ｓ５０３）。
【００９９】
画像構成部５９は、メモリ５６に記憶されている複数の画像ファイルを対象として合成視差画像ファイルの生成処理（Ｐ６００）を実行し、生成した合成視差画像ファイルをメモリ５６に保存する（Ｓ５０４）。メモリ５６に保存された合成画像ファイルは、その後、表示出力制御部５４によりメモリ５６から読み出されて立体モニタ４６に出力される（Ｓ５０５）。また、メモリ５６に保存された合成画像ファイルは、読出／書込制御部５０を介してメモリカードなどの記録媒体に保存したり、転送制御部５２を介して他の装置に転送することもできる（Ｓ５０５）。
【０１００】
以下、合成視差画像ファイルの生成処理（Ｐ６００）について、２つの画像ファイルから合成視差画像ファイルを生成する場合を例示しながら、さらに説明する。図３４は、合成の対象となる１つ目の画像ファイル（以下、主画像ファイル）を取得したときの、カメラ、撮影空間および共通座標系の関係を示す図である。この図が示すように、主画像ファイルは、ステレオカメラ１を用い、比較的広い画角で、物体６１、物体６３および物体６４が配された撮影空間を撮影することにより得るものとする。図３５に、この撮影により得られた視差画像をモニタに出力したときの表示例を示す。
【０１０１】
図３６は、合成の対象となる２つ目の画像ファイル（以下、副画像ファイル）を取得したときの、カメラ、撮影空間および共通座標系の関係を示す図である。この図が示すように、副画像ファイルは、ステレオカメラ６０を用い、ステレオカメラ１による撮影よりも狭い画角で、物体６２が配された撮影空間を撮影することにより得るものとする。なお、ステレオカメラ６０は、ステレオカメラ１と同じく、図８や図９を参照して説明したフォーマットの画像ファイルを出力するカメラである。図３７に、この撮影により得られた視差画像をモニタに出力したときの表示例を示す。
【０１０２】
図３８は、合成視差画像ファイル生成処理Ｐ６００を示すフローチャートである。画像構成部５９は、まず、主画像ファイルから水平方向の画角値αｈと、垂直方向の画角値αｖを読み込み、さらに副画像ファイルから水平方向の画角値βｈと、垂直方向の画角値βｖを読み込む（Ｓ６０１）。
【０１０３】
次に、画像構成部５９は、読み込んだ画角値を使って、次式（５）により合成を行うときの主画像ＭＩ上の副画像ＳＩの配置領域を求める（Ｓ６０２）。式（５）において、Ｈｄは主画像の水平表示画素数，Ｖｄは主画像の垂直表示画素数を表す。また、副画像の配置領域は、主画像の左下の頂点を（０、０），右上の頂点を（Ｈｄ，Ｖｄ）と表したときの、副画像の水平方向の配置範囲ｈａ１〜ｈｂ１、垂直方向の配置範囲ｖａ１〜ｖｂ１として求める。図３９に、Ｈｄ，Ｖｄ，ｈａ１，ｈｂ１，ｖａ１およびｖｂ１の関係と、それにより特定される副画像の配置領域６５を例示する。
ｈａ１＝（Ｈｄ／２）−（Ｈｄ／２）×（ａｒｃｔａｎ βｈ／ａｒｃｔａｎ αｈ）
ｈｂ１＝（Ｈｄ／２）＋（Ｈｄ／２）×（ａｒｃｔａｎ βｈ／ａｒｃｔａｎ αｈ）
ｖａ１＝（Ｖｄ／２）−（Ｖｄ／２）×（ａｒｃｔａｎ βｖ／ａｒｃｔａｎ αｖ）
ｖｂ１＝（Ｖｄ／２）＋（Ｖｄ／２）×（ａｒｃｔａｎ βｖ／ａｒｃｔａｎ αｖ）
・ ・・（５）
画像構成部５９は、ステップＳ６０２において求めた配置領域６５にあわせて、副画像ファイル内の視差画像を縮小する（Ｓ６０３）。そして、主画像については、変換後距離画像を用いて主画像視差画像を再構成する（Ｓ６０４）。副画像についても、変換後距離画像を用いた画像の再構成を行うが、この処理は、副画像ファイルに記録されている画像ではなく、ステップＳ４０３で縮小した画像を対象として行う（Ｓ６０５）。続いて、ステップＳ４０４で再構成した主画像視差画像に、ステップＳ６０５で構成した縮小副画像の視差画像を重畳合成し、合成視差画像を生成する（Ｓ６０６）。図４０に、この処理により生成される合成視差画像をモニタに出力したときの表示例を示す。
【０１０４】
合成視差画像は以上に説明した処理により完成するが、本実施形態の画像構成部５９はさらに、配置領域６５のみを対象とした拡大合成視差画像を生成する。以下、この拡大合成視差画像の生成について説明する。
【０１０５】
画像構成部５９は、主画像ファイル内の視差画像、すなわち合成前の視差画像から、副画像の配置領域に相当する部分の画像を切り出す（Ｓ６０７）。以下、切り出した視差画像を部分画像と称する。続いて、切り出した部分画像を縮小される前の副画像と同じサイズまで拡大する（Ｓ６０８）。以下、拡大された視差画像を部分拡大画像と称する。続いて、画像構成部５９は、部分拡大画像の視差画像を、変換後距離画像を用いて再構成する（Ｓ６０９）。図４１に、再構成された部分拡大画像の視差画像をモニタに出力したときの表示例を示す。
【０１０６】
また、副画像についても、変換後距離画像を用いて視差画像を再構成する（Ｓ６１０）。そして、ステップＳ６０９で再構成した部分拡大画像の視差画像に、ステップＳ６１０で再構成した副画像視差画像を重畳合成する。これにより、副画像の配置領域６５のみの合成視差画像が生成される（Ｓ６１１）。図４２に、副画像の配置領域６５のみの合成視差画像をモニタに出力したときの表示例を示す。画像構成部５９は、次に、ステップＳ６０６で生成した合成視差画像、ステップＳ６１１で生成した副画像配置領域のみの合成視差画像、およびステップＳ６０２で求めた配置領域の情報を含む合成視差画像ファイルを生成する（Ｓ６１２）。
【０１０７】
３以上の画像ファイルを対象とした合成処理を行う場合には、ステップＳ６０１において読み取った画角の情報に基づいて、最も画角の広い画像を主画像とし、他を副画像として以降の処理を行うとよい。この場合、副画像に関連するステップは、副画像ごとに実行することとなる。あるいは、副画像の画角が主画像よりも広いままで合成を行うとすれば、副画像から主画像の画角を越える範囲を削除してから合成を行うことが考えられる。
【０１０８】
なお、上記例では、物体同士の位置関係を正確に再現することを優先し、図４０の合成視差画像、図４２の合成視差画像ともに、変換後距離画像に忠実な表示を行っている。これに対し、正確さよりも見易さを優先する形態も考えられる。例えば、ユーザは、副画像をよく観察したいときに、図４２の合成視差画像の表示を要求するであろう。よって、図４２の合成視差画像の表示が要求された場合には、位置関係の正確な再現よりも、副画像の見易さを優先してもよい。そのような思想に基づいて合成視差画像ファイルを生成するときは、図４２に示した表示に代えて、図４３に示すような特殊表示を行うとよい。すなわち、主画像の中に、副画像に含まれる物体を覆い隠す位置にある物体が存在する場合には、その物体のみ表示を行わないようにする。
【０１０９】
特殊表示を行うときは、ステップＳ６０９で部分拡大画像の視差画像を再構成する以前に、副画像ファイルのヘッダの領域ｈ１１に前述した特定エリアＡの位置座標（ｘａ、ｙａ，ｚａ）の情報が格納されているか否かを判定する。副画像ファイルが特定エリアの位置座標の情報を含んでいる場合には、奥行き方向の値ｚａを取得する。一方、副画像ファイルが特定エリアの位置座標の情報を含んでいなければ、副画像の距離画像に基づいて副画像内の物体のうち、最も手前に位置する物体の中心点などを特定エリアとみなし、その奥行き方向の位置座標の値ｚａを副画像の距離画像から取得する。
【０１１０】
そして、主画像の距離画像から、奥行き方向の座標値としてｚａ以下の値を有する画素を探索し、その画素の値を無限に遠くを指す値に置き換える。これにより置き換えを行った範囲には物体は配置されていないことになるので、ステップＳ６０９において再構成される部分拡大画像の視差画像は、図４４に示すようなものとなる。すなわち、副画像に含まれる物体を覆い隠す位置にある物体は非表示となる。以降の処理は、前述したステップＳ６１０、Ｓ６１１およびＳ６１２の処理と同じである。
【０１１１】
以下、合成視差画像ファイルのフォーマットについて説明する。図４５に示すように、合成視差画像ファイルは、ファイルヘッダＨ´、上記ステップＳ６０６で生成される画像全体の合成視差画像、および上記ステップＳ６１１で生成される副画像の配置領域のみの合成視差画像により構成される。副画像ファイルが複数あるときには、図に示すように、ファイルには、副画像の配置領域のみの合成視差画像が複数記録される。
【０１１２】
図４６に示すように、ファイルヘッダＨ´には、合成の対象となる画像ファイルの数を格納する領域ｈ´１、メモリ内の主画像ファイルのファイルナンバーを格納する領域ｈ´２、副画像ファイルのファイルナンバーを格納する領域ｈ´３、副画像配置領域のみの合成視差画像の有無を示すデータを格納する領域ｈ´４、副画像の配置領域情報ｈ´５、合成視差画像のアドレスを格納する領域ｈ´６、副画像の配置領域のみの合成視差画像のアドレスを格納する領域ｈ´７が設けられている。領域ｈ´３、ｈ´５およびｈ´７は副画像の数に相当する数の領域が設けられる。なお、これ以外に、合成に用いた元の画像ファイルへのリンク情報を格納する領域を設けてもよい。
【０１１３】
領域ｈ´１にはファイルの数を示す数値が設定される。領域ｈ´２および領域ｈ´３に設定するファイルナンバーはファイルを指定する識別子であり、アルファベットなどを含む記号でもよい。領域ｈ´４には、副画像配置領域のみの合成視差画像がファイルに含まれているときには“１”、含まれていないときには“０”という値が設定される。図３８に示したフローチャートでステップＳ６０７〜Ｓ６１１の処理が省略された場合には、領域ｈ´４には値“０”が設定される。領域ｈ´５には、ステップＳ６０２で求められた値ｈａ１，ｈｂ１，ｖａ１およびｖｂ１が格納される。領域ｈ´６および領域ｈ´７には、各合成視差画像が格納された位置を示すアドレスが設定される。ここでアドレスとは、例えば、図４５に示されるファイルの先頭から各合成視差画像までのオフセットとする。
【０１１４】
以上に説明したように、画像構成部５９は、距離画像変換部５８による変換後の距離画像を用いて画像の合成を行う。すなわち共通座標系上で視差画像の合成を行う。このため、主画像ファイルと副画像ファイルとで、ファイルヘッダで同一の共通座標系を指定しておけば、従来手法において発生していた問題は生じず、合成の対象となる各画像ファイルが同じ装置により生成されたものであるときも、異なる装置により生成されたものであるときも、合成処理の結果は同じになる。特に、上記例のように、拡大縮小を伴う複雑な合成処理は、座標系の違いによる位置ずれが生じてしまう従来手法では、安定した結果を得ることができない。本実施形態では、座標系のずれを気にすることなく種々の画像処理を施すことができるため、上記例以上に複雑な合成処理を行ったとしても常に安定した結果を得ることができる。
【０１１５】
また、本実施形態では、画像構成部５９は表示の度に合成処理を行うのではなく、合成処理により得られた合成視差画像および合成の過程で得られた情報を１つの画像ファイルにまとめて保存しておく。このため、後に同じ合成視差画像の表示が必要になった場合には、ファイル内の合成視差画像をモニタ上に再生するだけでよく、処理時間を大幅に短縮することができる。また、合成視差画像ファイルとして保存するようにしたことで、合成処理と表示処理とを異なる装置で分担して行うことが可能になる。合成処理を別個の装置に行わせることで、表示制御装置を構成する回路を簡略化することができるので、表示制御装置の小型化、低コスト化にもつながる。
【０１１６】
［ 変形例 ］
上記実施形態は、共通座標系の原点からのオフセット値を指定することによりオフセット原点を設定するというものである。すなわち、上記実施形態においては、撮影空間を撮影したときに撮像系により捉えられた各点の空間的な位置を所定の座標系で表した三次元情報は、距離画像Ｄと共通座標系の情報（ヘッダＨの領域ｈ７〜ｈ９に格納される情報）を合わせた情報ということになる。これに対し、本発明の他の実施形態としては、共通座標系の概念を導入せず、固有座標系の原点からの直接のオフセット値を指定することによりオフセット原点を設定する形態も考えられる。
【０１１７】
また、本発明のファイル生成装置は、表示デバイスと入力装置に接続された（もしくはそれらを内蔵する）パソコンでもよい。すなわち、本発明の他の実施形態としては、記録媒体に記録されている画像ファイルを読み込んで、モニタ画面に輝度画像を表示し、キーボードによるオフセット原点の設定入力を受け付けて、画像ファイルを生成する形態が考えられる。読み込んだ画像ファイルが、オフセット原点の情報を格納する領域を備えないフォーマットであるときは、オフセット原点の情報を格納する領域を備えたフォーマットの画像ファイルを生成して出力する。また、読み込んだ画像ファイルが、ステレオカメラによりオフセット原点の情報が格納されたファイルであれば、格納されている値を更新すればよい。
【図面の簡単な説明】
【０１１８】
【図１Ａ】本発明のファイル生成装置の一実施形態であるステレオカメラの外観図(正面側)
【図１Ｂ】本発明のファイル生成装置の一実施形態であるステレオカメラの外観図(背面側)
【図２】ステレオカメラの内部構成を示すブロック図
【図３】撮影空間を例示した図
【図４】視差画像（ＲＧＢデータ）を例示した図
【図５】固有座標系を例示した図
【図６】カメラの他の構成を例示した図
【図７】他の構成を有するカメラの外観を例示した図
【図８】画像ファイルのフォーマットを示す図
【図９】画像ファイルのファイルヘッダの一部領域を示す図
【図１０】従来手法の問題点について説明するための図
【図１１】従来手法の問題点について説明するための図
【図１２】従来手法の問題点について説明するための図
【図１３】従来手法の問題点について説明するための図
【図１４】従来手法の問題点について説明するための図
【図１５】共通座標系を例示した図
【図１６】外観上認識し得る原点の一例を示す図
【図１７】外観上認識し得る原点の他の例を示す図
【図１８】共通座標系の原点の他の候補を示す図
【図１９】変位情報を設定する領域ｈ８の詳細フォーマットを示す図
【図２０】オフセット原点について説明するための図
【図２１】Ｚ軸方向のオフセット値設定処理の一例を示す図
【図２２】Ｚ軸方向のオフセット値設定画面の表示例を示す図
【図２３】Ｚ軸方向のオフセット値設定画面の表示例を示す図
【図２４】Ｚ軸方向のオフセット値設定画面の表示例を示す図
【図２５】Ｘ軸方向のオフセット値設定処理の一例を示す図
【図２６】Ｘ軸方向のオフセット値設定画面の表示例を示す図
【図２７】Ｘ軸方向のオフセット値設定画面の表示例を示す図
【図２８】Ｘ軸方向のオフセット値設定画面の表示例を示す図
【図２９】立体画像表示システムの概要を示す図
【図３０】表示制御装置の構成例を示す図
【図３１】距離画像変換部の処理を例示したフローチャート
【図３２】画像構成部の処理を例示したフローチャート
【図３３】複数画像ファイル取込時の表示制御処理を例示したフローチャート
【図３４】主画像取得時のカメラ、撮影空間、共通座標系の関係を例示した図
【図３５】主画像のみの表示例を示す図
【図３６】副画像取得時のカメラ、撮影空間、共通座標系の関係を例示した図
【図３７】副画像のみの表示例を示す図
【図３８】合成視差画像ファイルの生成処理を例示したフローチャート
【図３９】副画像の配置領域について説明するための図
【図４０】合成視差画像の表示例を示す図
【図４１】主画像の部分拡大画像の表示例を示す図
【図４２】副画像の配置領域のみの合成視差画像の表示例を示す図
【図４３】副画像の配置領域のみの合成視差画像の特殊表示の例を示す図
【図４４】特殊表示のための部分拡大画像の補正例を示す図
【図４５】合成視差画像ファイルのフォーマットを示す図
【図４６】合成視差画像ファイルのヘッダの一部領域を示す図
【符号の説明】
【０１１９】
１ ステレオカメラ、 ２ａ，２ｂ，２ｃ 撮像レンズ、
３ シャッタレリーズボタン、 ４ ファインダ、 ５ 操作ボタン、
７ モニタ、 ８ カードスロット、 ９ メモリカード、 １０ 外部接続Ｉ／Ｆ、
１１ａ，１１ｂ，１１ｃ ＣＣＤ、 １４，５５ システムバス、
２７，３３，３７，６１，６２，６３，６４ 撮影空間に配置された物体
２８ａ，２８ｂ ＲＧＢデータ、 ２９ 赤外線照射部、
３１ 画像ファイル、 Ｈ，Ｈ´ ヘッダ、 ３２，３６ 従来のステレオカメラ、
３４，３８ 固有座標系、 ４０，４７ 立体表示モニタ、
４３，４４ａ，４４ｂ 基点マーク、
４５ 立体表示システム、 ４６ 表示制御装置、 ６５ 副画像の配置領域、
Ａ 特定エリア、 ７２ 基準マーク
【技術分野】
【０００１】
本発明は、撮影空間の三次元情報（距離画像など）を含むファイルの生成方法および装置、並びに、立体画像の表示を制御する方法および装置に関する。
【背景技術】
【０００２】
コンピュータビジョンの分野では、撮影空間をある方向から見たときに視認できる点の位置を光学的に計測することにより、撮影空間に配置された物体の三次元形状を認識したり、撮影空間の奥行きを認識したりすることが行われている。計測の手法としては、三角測量の原理を利用したステレオ画像法、光の照射から反射光の受光までの時間を測定するＴＯＦ（Time of Flight）法、スリット光を照射したときのパターン光を調べる光切断法などが知られている。
【０００３】
視認できる点の位置を所定の座標系における座標値として表し、その座標値を画素値として記録した画像は、一般に「距離画像」、「奥行画像」などと呼ばれている。距離画像には、人間が対象を両眼視することにより認識する空間的な位置の情報が含まれている。一方、通常の撮影により得られるＲＧＢデータあるいは濃淡画像には、人間が物体を見たときに認識する色や明るさの情報が含まれている。よって、距離画像から得られる情報とＲＧＢデータなどから得られる情報とを組み合わせれば、人間が視覚により取得するのとほぼ同等の情報をコンピュータに認識させることができる。これにより、撮影空間の立体映像をモニタ上に再生したり、コンピュータにより三次元の物体を判別することが可能となる。
【０００４】
このような技術は、あらゆる産業分野において有用な技術であるため、数々の研究が進められている。しかし、撮影空間の三次元情報を記録するときのフォーマットについては、いくつかの提案（例えば、特許文献１の図１１のフォーマット）は成されているものの、未だ十分な議論がなされていない。
【特許文献１】特開２００２−０９５０１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上記事情に鑑みて、距離画像など、撮影空間の三次元情報を記録するときのフォーマットとして、利便性に富んだフォーマットを提案することを目的とする。距離画像の画素値は、基準となる座標系が異なれば異なる値となる。しかし、撮影空間をどのような座標系で表現するかは、メーカー間、装置間で特に統一されていない。このため、同じ位置から同じ対象を撮影した場合でも、距離画像を生成する撮像装置が異なれば、距離画像の画素値は異なることとなる。
【０００６】
この座標系の相違は、異なる撮像装置を組み合わせて用いる場合や、撮像装置を交換した場合などに、不都合を生じさせる。例えば、複数の撮像装置により撮影を行ってから各撮像装置により取得された画像を合成するときに、使用する撮像装置によって合成により得られる画像の構成が違ってしまったり、距離画像の値に基づいて動作制御されるロボットが、ロボットの目として機能する撮像デバイスを交換した途端、期待通りの動作をしなくなるといった問題が起こり得る。
【０００７】
このような問題を回避するためには、座標系の形式や原点の位置を意識した表示制御、動作制御などを行う必要があるが、現在提供されているカメラ、センサなどの撮像装置は、座標系の情報をユーザに不可視な情報として保持している。このためユーザは、座標系を意識した制御処理を行うことができない。本発明は、このような不便を解消し、ユーザが所望の制御を行い、且つその制御により期待通りの結果を得られるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明のファイル生成装置は、三次元情報が記録されたファイルを生成するファイル生成装置であって、以下に説明する輝度画像取得手段、三次元情報取得手段、オフセット原点設定手段およびファイル生成手段を備える。
【０００９】
輝度画像取得手段は、撮影空間を撮影したときに撮像系により捉えられた各点の輝度値を表す輝度画像を取得する。ここで、画像処理の分野では、ＹＣＣ画像のＹ成分のみを取り出した画像を輝度画像を称することもあるが、本明細書における「輝度画像」は明るさ成分を画素値とするあらゆる画像を指す。よって、輝度画像には、ＲＧＢ画像、ＹＣＣ画像のほか、白と黒の濃淡画像も含まれる。
【００１０】
三次元情報取得手段は、前記各点の空間的な位置を所定の座標系で表した三次元情報を取得する。三次元情報は、前述したステレオ法、ＴＯＦ法などにより生成することができる。所定の座標系は、三次元直交座標系とすることが好ましいが、極座標系その他の座標系であってもよい。なお、輝度画像や三次元情報は、撮像装置から直接取得してもよいし、記録媒体の読取りにより取得してもよい。
【００１１】
オフセット原点設定手段は、所定の入力装置から、前記座標系の軸方向ごとのオフセット値を指定する入力を受け付けて、各オフセット値を所定のメモリに記憶せしめることにより、前記座標系の原点をオフセット値分変位させた点をオフセット原点として設定する。例えば座標系が三次元直交座標系であれば、奥行き方向（Ｚ軸方向）、水平方向（Ｘ軸方向）、垂直方向（Ｙ軸方向）のそれぞれについて、オフセット値の設定入力を受け付け、メモリに記憶せしめる。
【００１２】
ファイル生成手段は、輝度画像取得手段により取得された輝度画像を格納する領域、三次元情報取得手段により取得された三次元情報を格納する領域、およびオフセット原点設定手段が設定したオフセット原点の情報を格納する領域を有する所定フォーマットのファイルを生成する。オフセット原点の情報を格納する領域には、例えば、オフセット原点の設定の有無を示す値を格納し、オフセット原点が設定されているときは、さらにオフセット値を格納する。
【００１３】
上記構成では、画像ファイルに記録される輝度画像を画像ファイルに記録される三次元情報に基づいて再生あるいは解析することに何らかの不都合がある場合に、座標系原点のオフセット値を設定することができる。オフセット値は、輝度画像、三次元情報とともに画像ファイルに記録されるので、その画像ファイルを用いて立体画像表示や形状認識を行うときには、オフセット値を利用して三次元情報を調整することができる。オフセット値は入力装置からの入力により任意の値を設定できるので、不都合を解消するようにオフセット値を設定することで、ユーザの所望どおりの結果を得ることが可能になる。
【００１４】
上記ファイル生成装置には、輝度画像取得手段により生成された輝度画像、三次元情報取得手段により生成された三次元情報、およびオフセット原点設定手段により設定されたオフセット原点の情報に基づいて、確認用画像を生成する確認用画像生成手段と、確認用画像生成手段により生成された確認用画像を、所定の表示デバイスに出力する表示制御手段とをさらに設けることが好ましい。確認用画像生成手段および表示制御手段を備えた構成では、ユーザは、オフセット値が設定されたときの再生イメージを確認しながらオフセット値を設定することができるので、オフセット値の設定ミスは生じ難い。
【００１５】
確認用画像生成手段の処理としては、以下のような処理が考えられる。確認用画像生成手段は、例えば、輝度画像を、奥行き方向のオフセット値に基づいて決定した倍率で拡大または縮小することにより確認用画像を生成する。ここで、画像を拡大すると、輝度画像中の最も確認したいエリアが、モニタの表示範囲外となる可能性がある。これを避けるためには、上記ファイル生成装置に、所定の入力装置から、輝度画像内の一または複数の画素からなるエリアを指定する入力を受け付けるエリア指定手段をさらに設け、確認用画像生成手段が、エリア指定手段により指定された特定エリアを含む確認用画像を生成するとよい。特定エリアが略中央に配置された確認用画像を生成することとすれば、さらに特定エリアを確認し易くなる。なお、特定エリアが複数の画素により構成されるときは、確認用画像生成手段は、三次元情報の特定エリアに対応する一または複数の画素の平均画素値を算出し、その平均画素値を特定エリアの位置座標とみなして確認用画像の生成処理を行えばよい。
【００１６】
確認用画像生成手段が生成する確認用画像は、輝度画像と、オフセット原点の前記所定の座標系における座標値と、オフセット原点が設定された座標系における特定エリアの位置座標とを表す画像とすれば、なお好ましい。位置関係を、数値と画像の両方で確認することで、設定ミスが生じる可能性をさらに低減することができる。
【００１７】
なお、エリア指定手段を備えた構成では、ファイル生成手段は、特定エリアの位置を示す情報を格納する領域を有するファイルを生成することが好ましい。ファイルに格納された特定エリアの位置の情報は、表示制御に利用することができる。
【００１８】
また、オフセット原点設定手段により水平方向あるいは垂直方向のオフセット値が設定されたときの確認用画像生成手段の処理としては、以下のような処理が考えられる。確認用画像生成手段は、例えば、輝度画像を、水平方向および／または垂直方向のオフセット値に基づいて決定した位置に平行移動することにより、確認用画像を生成する。この際、オフセット原点の水平方向および／または垂直方向のオフセット値を示唆する位置に所定のマークを配してもよい。画像ファイル装置が前述したエリア指定手段を備えるときは、エリア指定手段により指定された特定エリアの奥行き方向の位置座標と、撮影空間を撮影したときの撮影画角の情報とに基づいて、マークの配置位置を算出することができる。
【００１９】
ここで、特定エリアやマークの配置位置が、モニタの表示範囲外となることを避けるためには、確認用画像生成手段は、算出された配置位置が所定の範囲内にあるときは、算出された配置位置にマークが配された確認用画像を生成し、算出された配置位置がその所定の範囲の外にあるときは、算出された配置位置にマークが配され且つ算出された配置位置が確認用画像の画像端となるように輝度画像が平行移動された確認用画像を生成することが好ましい。さらには、算出された配置位置が前記所定の範囲の外にあり且つ算出された配置位置と特定エリアの位置とが所定距離以上離れているときには、輝度画像を縮小することが好ましい。なお、前記所定範囲は、例えば、撮影空間を撮影したときの撮影画角の情報と、奥行き方向のオフセット値とに基づいて決定する。
【００２０】
本発明のファイル生成方法は、上記本発明のファイル生成装置により実施される方法であり、以下の手順により三次元情報が記録されたファイルを生成する。まず、撮像装置または記録媒体から、撮影空間を撮影したときに撮像系により捉えられた各点の輝度値を表す輝度画像と、前記各点の空間的な位置を所定の座標系で表した三次元情報とを取得する。一方で、所定の入力装置から、前記座標系の軸方向ごとのオフセット値を指定する入力を受け付け、各オフセット値を所定のメモリに記憶せしめることにより、前記座標系の原点をオフセット値分変位させた点をオフセット原点として設定する。そして、輝度画像を格納する領域、三次元情報を格納する領域、およびオフセット原点の情報を格納する領域を有する所定フォーマットのファイルを生成する。
【００２１】
続いて、本発明の表示制御装置について説明する。本発明の表示制御装置は、立体画像の表示を制御する表示制御装置であって、次のファイル取込手段、三次元情報変換手段、画像構成手段および出力制御手段を備える。
【００２２】
ファイル取込手段は、撮影空間を撮影したときに撮像系により捉えられた各点の輝度値を表す輝度画像、前記各点の空間的な位置を所定の座標系で表した三次元情報、および前記座標系の軸方向ごとに指定されたオフセット値の情報を含む画像ファイルを取り込む。
【００２３】
三次元情報変換手段は、ファイル取込手段により取り込まれた画像ファイル内の前記三次元情報を、画像ファイル内の前記オフセット値の情報に基づいて変位させることにより、前記座標系で表された三次元情報を、他の座標系で表された三次元情報に変換する。画像構成手段は、ファイル取込手段により取り込まれた画像ファイル内の輝度画像を、三次元情報変換手段により変換された後の三次元情報に基づいて補正することにより、立体表示用画像を構成する。立体表示用画像は、例えば、複数の視差画像からなる画像セットとする。出力制御手段は、画像構成手段により構成された立体表示用画像を表示デバイスに対し出力する。なお、画像構成手段は、さらに、その画像構成手段により構成された複数組の立体表示用画像を合成することにより立体表示用合成画像を構成する機能を備えていてもよい。
【００２４】
本発明の表示制御方法は、上記本発明の表示制御装置により実施される方法であり、次の手順により立体画像の表示を制御する。まず、撮影空間を撮影したときに撮像系により捉えられた各点の輝度値を表す輝度画像、前記各点の空間的な位置を所定の座標系で表した三次元情報、および前記座標系の軸方向ごとに指定されたオフセット値の情報を含む画像ファイルを取り込む。続いて、画像ファイル内の前記三次元情報を、その画像ファイル内のオフセット値の情報に基づいて変位させることにより、前記座標系で表された三次元情報を、他の座標系で表された三次元情報に変換する。そして、画像ファイル内の輝度画像を、変換された後の三次元情報に基づいて補正することにより、立体表示用画像を構成し、構成された立体表示用画像を表示デバイスに対し出力する。
【００２５】
本発明の表示制御方法および装置によれば、三次元情報の座標系が画像ファイルごとに異なっていても、オフセット値を設定して座標系の原点を変位させることで、座標系を統一することができる。これにより、立体画像を表示するときに、あるいは複数の立体画像を合成して表示するときに、各被写体が所望の位置に表示されるように位置関係を調整することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明のファイル生成装置の一実施形態であるステレオカメラについて、図面を参照しながら説明する。
【００２７】
［ 装置の概要 ］
図１Ａおよび図１Ｂはステレオカメラの外観図であり、図１Ａは正面側、図１Ｂは背面側の外観を示している。このステレオカメラ１は、撮影空間の奥行きをステレオ法により 測定するタイプのカメラで、２つの撮像レンズ２ａ、２ｂを備えている。ステレオカメラ１は、この他、一般のデジタルカメラと同様、シャッタレリーズボタン３、ファインダ４、操作ボタン５、液晶モニタ７、メモリカード９をセットするカードスロット８、ケーブルを接続する外部接続インタフェース１０、その他スピーカ、マイクなどを備えている。
【００２８】
図２は、ステレオカメラ１の内部構成を示すブロック図である。図に示すように、ステレオカメラ１は、撮像レンズ２ａ、２ｂ、絞り（図示せず）、ＣＣＤ１１ａ、１１ｂおよびレンズの位置や向き、絞りの開閉、ＣＣＤの電荷放出タイミングなどを制御するための機構（モータ、制御回路など：図示せず）からなる撮像系を備え、さらに撮像系により得られた信号をデジタルデータに変換する手段として、Ａ／Ｄ変換部１２ａ、１２ｂを備えている。撮像系の基線長および輻輳角は、モータの駆動により撮像レンズ２ａ、２ｂ（ＣＣＤなども含む）の位置や向きを変更することで、調整可能となっている。
【００２９】
また、ステレオカメラ１は、モニタ７への表示出力を制御する表示制御部１５、メモリカードスロット８に装填されたメモリカード９へのデータの記録およびメモリカード９からのデータの読み出しを制御する読出／書込制御部１７、外部接続インタフェース１０に接続された機器との間の入出力を制御する転送制御部１８を備える。これらの制御部は、それぞれ専用の回路もしくはドライバプログラムとして実装されている。
【００３０】
また、ステレオカメラ１は、ＳＤＲＡＭなどのメモリ２３と、カメラ全体の動作を制御する全体制御部１９を備える。全体制御部１９は、制御プログラムが記録されたＲＡＭ２１と、制御に利用する各種設定値が記録されたＥＥＰＲＯＭ２２と、制御プログラムを実行するＣＰＵ２０とにより構成され、シャッタレリーズボタン３や操作ボタン５からの入力を受け付けて、各部に対し直接またはシステムバス１４を介して指示信号を送出する。指示信号を受けた各部はメモリ２３を介して処理済みデータを交換しながら処理を行う。
【００３１】
システムバス１４には、この他、画像処理部１３ａ、１３ｂ、圧縮処理部６６、変位情報記憶部２４、距離画像生成部２５、確認用画像生成部６７および画像ファイル生成部２６が接続されている。本実施形態では、変位情報記憶部２４は後述するデータを記憶するＥＥＰＲＯＭとして実装され、画像処理部１３ａ、１３ｂ、圧縮処理部６６、距離画像生成部２５、確認用画像生成部６７および画像ファイル生成部２６は、それぞれ専用のプロセッサとして実装される。但し、これらの処理部の機能を兼ね備える１つのプロセッサとして実装してもよいし、全体制御部１９のＲＡＭ２１に記憶されるプログラムの１つとして実装してもよく、実装のしかたは特に限定されない。
【００３２】
以下、ステレオカメラ１の動作について、画像処理部１３ａ、１３ｂ、変位情報記憶部２４、距離画像生成部２５、確認画像生成部６７および画像ファイル生成部２６の処理に着目しながら説明する。
【００３３】
［ 撮影 ］
シャッタレリーズボタン３の押下など撮影のための操作が行われると、その操作は全体制御部１９により検出され、全体制御部１９から撮像系に対し各種指示信号が送出される。これにより、撮像系からＡ／Ｄ変換部１２ａ、１２ｂに撮影空間を表す映像信号が入力され、Ａ／Ｄ１２ａ、１２ｂから、それぞれ画像データ（輝度画像）が出力される。本実施形態ではＲＧＢデータが出力される。画像処理部１３ａ、１３ｂは、それぞれ、Ａ／Ｄ変換部１２ａ、１２ｂから供給されるＲＧＢデータを、メモリ２３に格納する。例えば、図３に示すように、三角錐の形をした物体２７が配置された撮影空間を撮影した場合であれば、図４に示すように、撮像レンズ２ａを通して得られたＲＧＢデータ２８ａと、撮像レンズ２ｂを通して得られたＲＧＢデータ２８ｂとが、メモリ２３に格納される。
【００３４】
続いて、画像処理部１３ａ、１３ｂは、それぞれ、Ａ／Ｄ変換部１２ａ、１２ｂから供給されたＲＧＢデータに対しＲＧＢ−ＹＣＣ変換を施す。そして、変換により得られたＹＣＣデータをメモリ２３に格納する。その後、このＹＣＣデータは圧縮処理部６６により読み出され、圧縮された後再度メモリ２３に格納される。これにより、レンズ２ａを通して得られたＲＧＢデータと、同時刻にレンズ２ｂを通して得られたＲＧＢデータと、それらのＲＧＢデータを変換、圧縮することにより生成された２つのＹＣＣデータとが、メモリ２３に格納されることとなる。但し、ＲＧＢ−ＹＣＣ変換は行わず、ＲＧＢデータをそのまま圧縮処理部６６により圧縮してメモリ２３に保存してもよい。その場合には、以下の説明において、ＹＣＣデータはＲＧＢデータと読み替えるものとする。
【００３５】
［ 距離画像の生成 ］
距離画像生成部２５は、同時刻に異なるレンズを通して取得された２つのＲＧＢデータをメモリ２３から読み出す。そして、パターンマッチングを行うことにより、２つのＲＧＢデータを構成する画素の対応づけを行う。例えば図４の例であれば、ＲＧＢデータ２８ａの画素ＰａはＲＧＢデータ２８ｂの画素Ｐｂと対応づけられる。同様にＲＧＢデータ２８ａ，２８ｂを構成する他の画素についても、同様の対応付けが行われる。
【００３６】
続いて、距離画像生成部２５は、上記画素の対応付けと撮像系の基長および輻輳角の情報を利用して、ステレオ法（三角測量法）に基づく演算を行い、撮影空間内のカメラで捉えられるすべての点の空間座標値を求める。この演算は撮像系に固有の座標系（以下、固有座標系）上で行い、各点の位置は、固有座標系における座標値として表すこととする。図５は、図３に示した撮影空間内に、ステレオカメラ１の左右方向をＸｎ軸、上下方向をＹｎ軸（図示せず）、背面から正面に向かう方向をＺｎ軸とした直交座標形式の固有座標系を配したところを示している。図の例では、固有座標系の原点は、カメラ正面側の、カメラの中心より撮像レンズ２ｂ側に少しずれた位置にある。ＲＧＢデータ２８ａの画素ＰａとＲＧＢデータ２８ｂの画素Ｐｂとが表していた、撮影空間内の点Ｐｒの位置は、（ｘｒ，ｙｒ，ｚｒ）と表される（但し、ｙｒは図示せず）。
【００３７】
演算を繰り返すことによりカメラが捉えたすべての点についての座標値（ｘ、ｙ、ｚ）が求まると、距離画像生成部２５は、各点について求めた座標値（ｘ、ｙ、ｚ）を、その撮影空間の距離画像として記録する。例えば、各点のｘ値、ｙ値、ｚ値を、それぞれ８ビットの画素データとして記録する。そして生成した距離画像を、前記ＲＧＢデータやＹＣＣデータとともに、メモリ２３に格納する。なお、距離画像も、ＹＣＣデータと同じく圧縮処理部６６により圧縮してもよい。
【００３８】
なお、ステレオカメラ１は、撮影空間を一方向から見たときに視認できる点の位置をステレオ法により求めるように構成されたカメラであるため、距離画像の画素値は（ｘ，ｙ，ｚ）座標値である。これに対し、ステレオ法以外の手法を用いるカメラの場合には、距離画像の画素値として他の値が記録されることもある。ステレオカメラ１と異なるタイプのカメラとしては、例えば、図２の破線で囲んだ部分の構成Ｓ１を、図６の破線で囲んだ構成Ｓ２に置き換えたカメラが考えられる。構成Ｓ２は、撮像レンズ２ｃ、ＣＣＤ１１ｃ、Ａ／Ｄ変換部１２ｃ、画像処理部１３ｃ、赤外線照射部２９および距離計測部３０を備えた構成である。構成Ｓ２では、赤外線照射部２９は撮影空間に対し振幅変調された赤外線を照射する。照射のタイミングや振幅変調の周波数は、距離計測部３０により制御される。照射された赤外線は撮影空間内の各所において反射され、反射光は撮像レンズ２ｃ、ＣＣＤ１１ｃにより受光される。Ａ／Ｄ変換部１２ｃは反射光を表す信号を距離計測部３０に供給する。距離計測部３０は、赤外線照射部２９に指示した照射タイミング、反射光の受光タイミングおよび照射光と反射光の位相ずれに基づいて（すなわちＴＯＦ法により）、撮影空間内のカメラが捉えられるすべての点までの距離および方向を算出する。つまり、撮影空間に極座標系を定義したときの座標値を求める。構成Ｓ２を備えたカメラの場合、距離画像生成部２５は、その極座標系の座標値（ｒ，θ，φ）を画素値とした距離画像を生成する。
【００３９】
なお、カメラの構成としては、この他、図２の構成Ｓ１と図６の構成Ｓ２とを兼ね備え、ステレオ法とＴＯＦ法を切り替えて用いることができるカメラも考えられる。図７に、２種類の構成Ｓ１、Ｓ２を兼ね備えたカメラの外観を例示する。図７に示される撮像レンズ２ｂは、図２の撮像レンズ２ｂとして機能するとともに、図６の撮像レンズ２ｃとしても機能する。
【００４０】
このように、撮影空間の三次元情報を取得するためのカメラの構成は種々考えられ、どの手法を採用するかによって得られる三次元情報の種類や精度は異なるが、撮影空間に係る三次元的な情報を取得することができれば、カメラの構成や距離画像の画素値として記録される値の種類は、どのようなものであってもよい。
【００４１】
［ 画像ファイルの生成 ］
次に、画像ファイル生成部２６による画像ファイルの生成処理について説明する。画像ファイル生成部２６は、図８に示すフォーマットのファイル、すなわち、ファイルヘッダＨ、距離画像Ｄ、および１組のＹＣＣデータ（以下、視差画像Ｒ，Ｌと称する）を含む画像ファイル３１を生成する。ファイルヘッダに設定する情報は、カメラを構成する各メモリから読み出す。もしくは、モニタ７に表示される設定画面においてユーザが選択あるいは入力した情報を取り込む。視差画像Ｒ，Ｌと距離画像Ｄは、メモリ２３に記憶されているものを読み出す。
【００４２】
なお、本実施形態では、画像ファイルに格納するＹＣＣデータを一組の視差画像Ｒ，Ｌとしているが、一方の撮像レンズを通して得られた画像から生成されたＹＣＣデータのみをファイルに格納するようにしてもよい。図６を参照して説明した構造のカメラを使用した場合も撮像レンズは１つであるため、１つのＹＣＣデータが画像ファイルに格納されることとなる。
【００４３】
画像ファイル生成部２６は、生成した画像ファイルを一旦メモリ２３に保存する。メモリ２３に記憶された画像ファイルは、全体制御部１９の制御の下、読出／書込制御部１７に転送され、カードスロット８を経てメモリカード９などの記録媒体に記録される。または、同じく全体制御部１９の制御の下、転送制御部１８に転送され、外部接続インタフェース１０を介して、他の装置へと転送される。あるいは、画像ファイルは表示制御部１５に転送され、表示制御部１５によりモニタ７に表示出力される。
【００４４】
以下に、画像ファイル３１のフォーマットの詳細を示す。画像ファイル３１は、前述したとおり、ファイルヘッダＨ、距離画像Ｄおよび視差画像Ｒ，Ｌにより構成される。ファイルヘッダＨには、ファイルタイプやファイルサイズのほか、ファイルの先頭から距離画像までのオフセットと、ファイルの先頭から視差画像Ｒ，Ｌまでのオフセットの情報が含まれている。よって、ファイルの先頭に記録されているファイルタイプの情報からヘッダ情報のフォーマットを認識し、ヘッダ情報中のオフセット情報を参照すれば、距離画像Ｄや視差画像Ｒ，Ｌを読み出すことができる。
【００４５】
また、図９に示すように、ファイルヘッダＨには、距離画像に関連する情報を設定する領域として、画像を撮影したときの輻輳角を設定する領域ｈ１、基線長を設定する領域ｈ２、焦点距離を設定する領域ｈ３、撮影画角を設定する領域ｈ４、距離画像の大きさ（縦横の画素数）を設定する領域ｈ５、距離画像の各画素に割り当てられたビット数を設定する領域ｈ６が設けられている。領域ｈ３はステレオカメラ１のように撮像レンズが２つあるカメラで各撮像レンズについての焦点距離を設定できるように定義されている。領域ｈ４は、水平方向の画角と垂直方向の画角を設定でき且つ２つの撮像レンズのそれぞれについて二方向の画角を設定できるように定義されている。
【００４６】
輻輳角、基線長、焦点距離、撮影画角、距離画像の大きさや一画素あたりのビット数は、撮像系に固有に定められているか、もしくは撮像系を調整したときに決定される。撮像系に固有か、調整により可変かは、カメラの仕様により異なる。例えば、輻輳角が固定されたカメラであれば輻輳角は固有の値であり、輻輳角が調整可能なカメラであれば輻輳角は可変な値となる。撮像系に固有の値は、ステレオカメラ１内の所定のメモリ（全体制御部１９のＥＥＰＲＯＭ２２、メモリ２３あるいは他の図示しないメモリでもよい）の予め決められた領域に記録されている。また、調整により決定される値は、調整を行った制御部（例えば輻輳角であれば、レンズの向きを制御する回路）により、調整が完了した時点で、所定のメモリに記録される。画像ファイル生成部２６は、そのようにしてメモリに記憶された値を読み出し、読み出した値をファイルヘッダの上記各領域ｈ１〜ｈ６に設定する。
【００４７】
また、ファイルヘッダには、距離画像に関連する情報を設定する領域として、さらに、共通座標系の座標形式（直交座標または極座標）を設定する領域ｈ７、共通座標系の変位情報を設定する領域ｈ８、ユーザが指定した一の共通座標系を設定する領域ｈ９、ユーザが指定したオフセット原点を設定する領域ｈ１０、後述する特定エリアの位置情報を設定する領域ｈ１１が設けられている。以下、領域ｈ７〜ｈ９に設定する共通座標系の情報、領域ｈ１０に設定するオフセット原点の情報、および領域ｈ１１に設定する特定エリアの位置情報について、さらに説明する。
【００４８】
[ 従来手法の問題点 ]
図１０は、撮影空間の三次元情報（距離画像など）を取得する機能を備えた第１のカメラ３２と、立方体の物体３３が配置された撮影空間と、第１のカメラ３２の固有座標系３４と、固有座標系３４の原点３５との関係を示す図である。また、図１１は、撮影空間の三次元情報を取得する機能を備えた第２のカメラ３６と、立方体の物体３７が配置された撮影空間と、第２のカメラ３６の固有座標系３８と、固有座標系３８の原点３９との関係を示す図である。図１０、図１１において、一点鎖線は、カメラ３２、３６を左右に分ける中心線を表している。図１０の撮像空間では、物体３３はカメラ３２の中心より左側に位置している。一方、図１１の撮像空間では、物体３７はカメラ３６の中心よりも右側に位置している。また、図１０と図１１の対比から明らかであるように、第１のカメラ３２と第２のカメラ３６とでは、固有座標系の原点の位置は大きく異なっている。なお、これらの図において、固有座標系３４、３８のＹ軸は図の紙面に垂直であり、原点３５、３９と重なって図示されている。
【００４９】
図１２は、図１０に示す位置関係で撮影を行い、図１１に示した位置関係で撮影を行い、２回の撮影により得られた２組の視差画像を合成して立体モニタ４０に表示するときの、表示座標系４１と、表示される物体３３および物体３７の関係を示す図である。従来手法では、固有座標系上で求められた距離画像の各画素値が、表示の奥行き感を表す値としてそのまま用いられる。すなわち、図１０に示した原点３５と物体３３の位置関係は、表示座標系４１における原点４２と物体３３の位置関係として、そのまま維持される。同様に、図１１に示した原点３９と物体３７の位置関係も、表示座標系４１における原点４２と物体３７の位置関係として、そのまま維持される。その結果、立体モニタ４０には、図１３に示すように、物体３７の背後に物体３３が配置された映像が表示されることとなる。
【００５０】
一方、図１１に示した位置関係で、物体３７を含む撮影空間の撮影を行うときにも、物体３３を含む撮影空間の撮影を行ったときと同じく第１のカメラ３２を使用したとすれば、物体３３はカメラの中心よりも左側に配置され、物体３７はカメラの中心よりも右側に配置され、また固有座標系のＺ軸はカメラの中心よりも左側にあるので、画像合成により得られる立体画像では、図１４に例示するように、物体３３と物体３７とが離れた状態で表示されることとなる。
【００５１】
図１３と図１４の対比として示されるように、従来手法では、複数の立体画像から合成立体画像を生成しようとした場合、撮影に用いたカメラによって、合成により得られる結果が異なってしまうという問題がある。また、同様の理由で、従来手法では、立体画像から物体の形状や位置を認識して制御を行う場合に、同じ撮像系を使い続けない限り、安定した認識を行えないという問題がある。
【００５２】
［ 共通座標系 ］
共通座標系は、固有座標系と同じく、撮影空間内に定義される座標系である。但し、固有座標系が個々のカメラにより定義されユーザに見えないものであるのに対し、共通座標系はユーザが把握できる形で定義される。
【００５３】
図１５は、図５に示したステレオカメラ１の固有座標系に、一例としての共通座標系を重ねて示した図である。この例では、共通座標系は３次元直交座標であり、そのＸｕ軸はステレオカメラ１の左方向から右方向に向かい、Ｙｕ軸はステレオカメラ１の下方向から上方向に向かい、Ｚｕ軸はＸｕ軸、Ｙｕ軸の両方に垂直で、カメラから撮影空間に向かって延びている。また、この例では、共通座標系の原点Ｏｎは、ステレオカメラ１の背面の中心にある。
【００５４】
画像ファイルを生成するときには、座標系を固有座標系から共通座標系に切り替えたときの原点の変位、すなわち固有座標系の原点Ｏｎと共通座標系の原点Ｏｕとのズレを、ファイルヘッダに記録する。言い換えれば、固有座標系の原点Ｏｎを始点、共通座標系の原点Ｏｕを終点とする変位ベクトルを記録する。例えば、固有座標系で表したときの共通座標系の原点Ｏｕの位置が（ｘｃ、ｙｃ、ｚｃ）という座標値（ベクトル）で表されるのであれば、そのｘｃ、ｙｃ、ｚｃの値を、共通座標系の変位情報としてファイルヘッダに格納する。
【００５５】
この共通座標系の変位情報を画像ファイルのヘッダに記録しておけば、立体画像処理や形状認識処理など距離画像を利用した処理を行うときに、距離画像の各画素値を、固有座標系における座標値から、共通座標系における座標値に置き換えてから、処理を行うことができる。
【００５６】
図１０〜１４を参照して説明した従来手法の問題は、第１の撮像系により取得された距離画像の各画素値を固有座標系における座標値から共通座標系における座標値に置き換え、同様に第２の撮像系により取得された距離画像の各画素値を固有座標系における座標値から共通座標系における座標値に置き換え、置き換え後の距離画像を使って画像の合成を行うことで、解決することができる。
【００５７】
同様に、継続的に行われる撮影の途中でカメラを交換した場合でも、交換前のカメラにより取得された距離画像、交換後のカメラにより取得された距離画像の画素値について、それぞれ上記のような置き換えを行えば、カメラを交換したことでそれまでの撮影が無駄になるということもない。その他、座標系がカメラに固有であるがために生じるあらゆる問題は、共通座標系の概念を取り入れることにより、解決することができる。
【００５８】
上記共通座標系の説明では、理解を容易にするため、共通座標系が１つしか定義されていない場合を例示しながら説明したが、本実施形態のステレオカメラ１では、共通座標系として選択し得る座標系、すなわち共通座標系の候補が、複数定義されている。そして、ファイルヘッダＨには、ユーザが選択し得るすべての座標系の変位情報と、ユーザが選択した変位情報を特定するための情報とが記録される。
【００５９】
まず、領域ｈ７に設定される共通座標系の座標形式について説明する。共通座標の座標形式については、撮影を行う前に、全体制御部１９がモニタ７に表示する設定画面において、ユーザから座標形式の指定を受け付けておく。選択画面において入力されたデータは、一旦図２の変位情報記憶部２４に記憶される。画像ファイル生成部２６は、画像ファイルの生成時に変位情報記憶部２４からそのデータを読み出し、ヘッダの領域ｈ７に記録する。本実施形態では、領域ｈ７には、“０”、“１”または“２”のいずれかの数値データが記録される。“１”は共通座標系が３次元直交座標系であることを示し、“２”は共通座標系が極座標系であることを示し、“０”は座標形式が不明、すなわちユーザによる座標形式の指定が行われなかったことを示す。
【００６０】
続いて、領域ｈ８に設定される共通座標系の変位情報について説明する。本実施形態のステレオカメラ１では、共通座標系の原点となり得る点として、固有座標系の原点Ｏｕ０、共通座標系の概念の説明において例示したカメラ本体背面の中心点Ｏｕ１を含む合計８個の点が定義されている。このうち、カメラ本体背面の中心点は、図１６に例示するように、モニタ７に基点マーク４３を表示することで、外観上認識できるようにしている。但し、基点マーク４３の表示は、ユーザが所定の操作を行ったときのみ行う。なお、図１７に例示するように、モニタが開閉するタイプのカメラで、モニタを使用するときと使用しないときとで、カメラの背面の状態が異なるようなときには、カメラの外装部材に、印刷または加工により形成される基点マーク４４ａ、４４ｂをつけてもよい。
【００６１】
このように、共通座標系の原点を外観上認識し得る部材の外観上認識し得る位置に設けておけば、例えばカメラを交換するときに、交換前と交換後とで基点マークが同じ位置にくるようにカメラを配置することで、位置あわせを行うことができる。
【００６２】
図１８は、共通座標系の原点の候補として定義されている他の点を示す図である。図に示すように、撮像レンズ２ａと２ｂの中心点Ｏｕ２、撮像レンズ２ａ、撮像レンズ２ｂそれぞれの中心点Ｏｕ３，Ｏｕ４、ＣＣＤ１１ａと１１ｂの中心点Ｏｕ５、ＣＣＤ１１ａ、ＣＣＤ１１ｂそれぞれの中心点Ｏｕ６，Ｏｕ７が、共通座標系の原点の候補として定義されている。これらの点は、外観上は認識できないが、カメラ内部の通常見えない点であっても、所定の部材の中心点、端点など何らかの特徴がある点であれば、共通座標系の原点となり得る。
【００６３】
これら８個の点Ｏｕ０〜Ｏｕ７の固有座標系における座標値、すなわち変位情報は、カメラの製造時に変位情報記憶部２４に記憶される。但し、撮像系が焦点距離が可変なズームレンズを備えている場合には、固有座標系が撮像系の特性に応じて再定義されるため、変位情報記憶部２４に記憶されている変位情報は焦点距離の変更に応じて再設定される。本実施形態では、全体制御部１９が、ユーザによるズーム操作を受け付けたときに、変位情報設定手段として機能する。全体制御部１９は、ズーム操作により設定された焦点距離を検出し、検出された焦点距離に応じて変位情報記憶部２４に記憶されている変位情報を書き換える。焦点距離と固有座標系の原点の対応付けは予めＲＡＭ２１などに登録されている。よって、その対応付けを参照することにより、検出された焦点距離に対応する固有座標系の原点を求め、その原点を基準とした変位を計算しなおせば、変位情報を再設定することができる。画像ファイル生成部２６は、上記のように記憶あるいは再設定された変位情報を変位情報記憶部２４から読み出し、ファイルヘッダの領域ｈ８に格納する。
【００６４】
図１９に、変位情報を設定する領域ｈ８の詳細フォーマットを示す。領域ｈ８は、識別子と変位情報とを対応付けて格納する複数の領域からなる。識別子は数字、アルファベットその他記号により構成される値である。図は０から始まる通し番号を識別子とした場合を例示している。各領域にどの点の変位情報を設定するかは、予め共通のルールを設けておくことが好ましい。本実施形態では、識別子０に対しては前述した点Ｏｕ０の変位情報（すなわち０，０，０）を、識別子１に対しては点Ｏｕ１（基点マーク位置）の変位情報を、以下識別子の番号が若い順に、図１８に示した点Ｏｕ２〜Ｏｕ７の変位情報を対応付けて記録するものとする。
【００６５】
なお、領域ｈ８にはステレオカメラ１が変位情報を設定する領域のほか、撮像レンズやＣＣＤを１つしか備えていないタイプのカメラが変位情報を設定する領域を備えている。１つの撮像レンズの中心点の変位情報を設定する領域（識別子８の領域）とその１つのＣＣＤの中心点の変位情報を設定する領域（識別子９の領域）である。また、領域ｈ８にはさらに予備の領域（識別子１０の領域）も用意されている。使用されない領域には、図に示すように、０，０，０の値が設定される。
【００６６】
続いて、図９の領域ｈ９に設定されるユーザ指定情報について説明する。ユーザ指定情報は、座標形式と同じく、撮影を行う前に、全体制御部１９がモニタ７に表示する設定画面において指定を受け付けておく。選択画面において入力されたデータは、一旦図２の変位情報記憶部２４に記憶され、画像ファイル生成部２６により読み出されて領域ｈ９に設定される。領域ｈ９には、値“０”またはユーザが選択した一の変位情報を指し示す識別子の値が設定される。値“０”はユーザが変位情報の選択を行わなかったことを意味する。
【００６７】
以上に説明したように、ファイルヘッダの構造を、複数の座標系の変位情報を格納でき且つユーザが指定した変位情報を指示す識別子および座標形式を格納できる構造としておけば、ユーザはその画像ファイルを利用した処理を行う上で最も都合のよい共通座標系を選択することができ、その共通座標系を利用することで従来手法にはない利便性を確保することができる。さらには、その共通座標系に不都合が生じた場合に他の座標系を共通座標系として指定しなおすことができるので、目的に合わせて共通座標系を使い分けることで目的を達成しやすくなる。
【００６８】
［ オフセット原点 ］
続いて、オフセット原点について説明する。共通座標系を利用した位置合わせは、所望の位置にカメラを設置できることを前提としている。しかし、実際の撮影現場では、必ずしも所望の位置にカメラを設置できるとは限らないので、共通座標系の原点の位置を、さらに調整しなければならないときがある。オフセット原点は、共通座標系の原点の位置調整が必要になったときの、調整後の原点である。オフセット原点は、共通座標系の原点を基準とする各座標軸方向のオフセット値、言い換えればオフセット原点の共通座標系における座標値として設定する。
【００６９】
オフセット原点は、撮影を行うユーザが、モニタ７に表示される所定の設定画面をみながら操作ボタン５を操作することにより設定する。モニタ７への設定画面の表示や、設定されたオフセット値の取り込みおよびファイルへの記録は、全体制御部１９により制御される。本実施形態では、オフセット原点が設定されると、モニタ７に、オフセット値に応じて調整された画像が表示される。ユーザは、その表示をみて、設定したオフセット値が適切か否かを確認することができる。また、本実施形態では、オフセット原点の設定を行うときに、撮影空間内の所定の箇所を特定エリアと定め、特定エリアを確認しやすい確認用画像を表示させることができる。
【００７０】
図２０は、物体６８が配置された撮影空間内に、ステレオカメラ１の左右方向をＸｕ軸、上下方向をＹｕ軸（図示せず）、背面から正面に向かう方向をＺｕ軸とし、２つの撮像レンズの中心点Ｏｕを原点とした共通座標系を配したところを示している。オフセット原点Ｏｏｆの共通座標系における座標値は、（ｘｏｆ，ｙｏｆ，ｚｏｆ）と表記する。つまり、Ｘ軸方向のオフセット値はｘｏｆ、Ｙ軸方向のオフセット値はｙｏｆ、Ｚ軸方向のオフセット値はｚｏｆと表記する。特定エリアＡは、ユーザが指定したエリアである。以下、図２０に例示した撮影空間を例示しながら、オフセット原点Ｏｏｆを設定する処理について説明する。オフセット原点Ｏｏｆは、Ｚ軸方向のオフセット値ｚｏｆを設定し、さらにＸＹ軸方向のオフセット値ｘｏｆ、ｙｏｆを設定するというように、段階的に設定する。
【００７１】
図２１に、Ｚ軸方向のオフセット値設定処理の一例を示す。全体制御部１９は、オフセット設定画面を呼び出す操作を検知すると、確認用画像生成部６７に対し確認用画像の生成を指示する。確認用画像生成部６７は、画像ファイル生成部２６が生成した画像ファイルからＲＧＢデータと距離画像を取得して右目用の視差画像を構成し、これにオフセット原点を示す数値情報を合成し、表示制御部１５に供給する。これにより、モニタ７には、確認用画像が表示される（Ｓ１０１）。このとき、オフセット原点は、初期化処理により、共通座標系の原点と同じ点に設定されている。
【００７２】
全体制御部１９は、撮影空間内の所定の点またはエリアを特定エリアＡとして指定する操作を検知すると（Ｓ１０２）、確認用画像生成部６７にその特定エリアＡを基準にして、モニタ７に表示する画像を構成するよう指示する。確認用画像生成部６７は、この指示を受けて、まず距離画像の特定エリアＡに対応する画素の平均値（ｘａ，ｙａ，ｚａ）を算出する（Ｓ１０３）。また、確認用画像生成部６７は、距離画像の特定エリアＡの中心点の共通座標系における位置座標の値を算出する（Ｓ１０４）。なお、特定エリアＡに画素が１つしか含まれていないときは、その画素の値がそのまま平均値（ｘａ，ｙａ，ｚａ）となり、その画素の位置が中心点となる。
【００７３】
続いて、確認用画像生成部６７は、中心点に特定エリアマークを合成し、さらに中心点が画面中央に配置されるように画像を平行移動した後、表示制御部１５にその画像を供給する（Ｓ１０５）。図２２に、平行移動後のモニタ画面の表示例を示す。同図に示すようにモニタ７には、画像とともに、オフセット原点を設定したとき特定エリアＡの中心点の位置座標６９が表示される。さらに、その数値の右側に、原点のオフセット値７０が表示される。なお、画像を平行移動した場合、画像領域７１がモニタ画面よりも小さくなる場合があるが、本実施形態では、モニタ画面の画像が配置されない領域は黒く表示するものとする。
【００７４】
全体制御部１９がオフセット値を確定する操作を検知したときは（Ｓ１０６）、画像ファイル生成部２６に指示して、その時点で設定されているオフセット値ｚｏｆを、Ｚ軸方向の確定したオフセット値として画像ファイルに記録する（Ｓ１１１）。このとき、特定エリアについて算出された値（ｘａ，ｙａ，ｚａ）も、画像ファイルに記録する。
【００７５】
一方、オフセット値の確定操作が未だ検出されていなければ（Ｓ１０６）、全体制御部１９は引き続きオフセット値の設定操作を待つ。オフセット値の設定操作を受け付けたら（Ｓ１０７）、設定されたオフセット値ｚｏｆを所定のメモリに一時記憶する（Ｓ１０８）。続いて、確認用画像の表示倍率Ｅを、次式（１）
Ｅ＝ｚａ／（ｚａ−ｚｏｆ）・・・（１）
に基づいて算出し（Ｓ１０９）、確認用画像が算出された表示倍率Ｅで表示されるように、確認用画像を拡大または縮小する（Ｓ１１０）。図２３に確認用画像拡大時の画面、図２４に確認用画像縮小時の画面を、それぞれ例示する。
【００７６】
確認用画像生成部６７は、拡大または縮小後の画像を、特定エリアの中心点が画面中央に配置されるように平行移動した後、表示制御部１５にその画像を供給して表示を更新する（Ｓ１０５）。以降、ステップＳ１０６においてオフセット値の確定操作が検出されるまで、Ｓ１０５〜Ｓ１１０の処理が繰り返し実行される。
【００７７】
次に、図２５に、Ｘ軸方向のオフセット値設定処理の一例を示す。全体制御部１９は、Ｚ軸方向のオフセット値設定処理と同様、モニタ７に確認用画像を表示させ（Ｓ２０１）、特定エリアを指定する操作を検知し（Ｓ２０２）、確認用画像生成部６７に対し、その特定エリアＡを基準にして確認用画像を構成するよう指示する。確認用画像生成部６７は、この指示を受けて、距離画像の特定エリアＡに対応する画素の平均値（ｘａ，ｙａ，ｚａ）を算出し（Ｓ２０３）、さらに、特定エリアの中心点の位置座標を算出する（Ｓ２０４）。
【００７８】
ＸＹ軸方向のオフセット値設定処理では、確認用画像生成部６７は、次に、画像ファイルの領域ｈ４に格納されている撮影画角の値α（図２０中に図示）を読み出す。また、確認用画像生成部６７は、画像ファイルの領域ｈ８に格納されている撮影レンズの中心点のｘ座標値を参照し、特定エリアＡの中心のｘ座標値との差分Ｋｘ（図２０中に図示）を算出する。そして、次式（２）に基づき、モニタ７に表示されている範囲の左端ＸＬおよび右端ＸＲ（図２０中に図示）の、共通座標系における座標値ｘＬ，ｘＲを算出する（Ｓ２０５）。
ｘＬ ＝ Ｋｘ−ｚａ×ｔａｎα
ｘＲ ＝ Ｋｘ＋ｚａ×ｔａｎα ・・・（２）
全体制御部１９は、オフセット値を確定する操作を検知したときは（Ｓ２０６）、画像ファイル生成部２６に指示して、その時点で設定されているオフセット値ｘｏｆを、Ｘ軸方向の確定したオフセット値として画像ファイルに記録する（Ｓ２１４）。このとき、特定エリアについて算出された値（ｘａ，ｙａ，ｚａ）も画像ファイルに記憶する。
【００７９】
一方、オフセット値の確定操作が未だ検出されていなければ（Ｓ２０６）、全体制御部１９は引き続きオフセット値の設定操作が行われるのを待つ。オフセット値の設定操作を受け付けたら（Ｓ２０７）、設定されたオフセット値ｘｏｆを所定のメモリに一時記憶する（Ｓ２０８）。
【００８０】
続いて、全体制御部１９は、オフセット値ｘｏｆが、モニタ７のＸ軸方向の表示幅内にある値か否かを、次の判定式（３）に基づき判定する（Ｓ２０９）。
ｘＬ≦ｘｏｆ≦ｘＲ ・・・（３）
値ｘｏｆが判定式（３）の条件を満たすときは、確認用画像生成部６７は、図２６に例示するように、オフセット原点の位置を示唆するマーク７２（以下、基準マーク７２）を配した確認用画像を生成する。基準マーク７２は、ｘ座標値がオフセット値ｘｏｆと同じで、ｙ座標値が特定エリアのｙ座標値ｙａと同じである点に配置する。基準マーク７２と特定エリアマークの２つのマークを表示することにより、オフセット原点と特定エリアの中心点とが、Ｘ軸方向にどの程度離れているかの確認が容易になる。また、確認用画像には、特定エリアＡの中心点の座標値６９が表示される。さらに、その数値の右側に、原点のオフセット値７０が表示される。この確認用画像は表示制御部１５に供給され、モニタ７の表示が更新される（Ｓ２１１）。
【００８１】
一方、値ｘｏｆが判定式（３）の条件を満たさないときは、全体制御部１９により、さらに次式（４）に基づく判定が行われる（Ｓ２１０）。
ｘａ−ｘｏｆ≦ｘＲ−ｘＬ ・・・（４）
判定式（４）の条件を満たす範囲では、確認用画像生成部６７は、図２７に例示するように、基準マーク７２が画面の左端（または右端）に配置されるように平行移動された画像を生成し、その画像を表示制御部１５に供給して表示を更新する。値ｘｏｆを増減させた場合、モニタ画面では、基準マーク７２は画面の左端に固定されたままで特定エリアマークを含む物体６８の画像だけが左右に移動する（Ｓ２１２）。
【００８２】
一方、判定式（４）の条件が満たされない範囲では、確認用画像生成部６７は、図２８に例示するように、縮小された右目用視差画像に、特定エリアマークと基準マークとを配した確認用画像を生成する。本実施形態では、右目用視差画像は１／２に縮小される。判定式（４）の条件が満たされない範囲でも、確認用画像生成部６７は、基準マーク７２が画面の左端（または右端）に配置されるように平行移動された画像を生成し、その画像を表示制御部１５に供給して表示を更新する。（Ｓ２１３）。
【００８３】
以降、ステップＳ２０６においてオフセット値の確定操作が検出されるまで、Ｓ２０７〜Ｓ２１３の処理が繰り返し実行される。
【００８４】
全体制御部１９、確認用画像生成部６７および表示制御部１５は、図２５〜図２８を参照して説明した処理と同等の処理を、Ｙ軸方向についても実行する。これにより、Ｙ軸方向のオフセット値ｙｏｆと、オフセット値ｙｏｆを設定したときの特定エリアの座標値が、画像ファイル生成部２６により画像ファイルに記録される。
【００８５】
画像ファイル生成部２６は、ステップＳ１１１あるいはステップＳ２１４において全体制御部１９からの指示を受けると、メモリに記憶されている値ｘｏｆ、ｙｏｆ、ｚｏｆを読出し、画像ファイルのヘッダＨの領域ｈ１０に格納する。さらに、メモリに記憶されている特定エリアの位置座標を読出し、画像ファイルのヘッダＨの領域ｈ１１に格納する。
【００８６】
本実施形態では、領域ｈ１０には、オフセット原点の有無を示すフラグと、オフセット値ｘｏｆ、ｙｏｆ、ｚｏｆとが記録される。フラグの値は、オフセット原点が設定されたときは１、設定されなかったときは０に設定される。領域ｈ１０のフラグの値が０のときは、領域ｈ１０のオフセット値も領域ｈ１１の特定エリアの座標値も記録されない。もしくは何らかの値が記録されていても、その値は無効である。なお、領域ｈ１０に格納する情報は、オフセット値ｘｏｆ、ｙｏｆ、ｚｏｆのみとしてもよい。また、領域ｈ１１への値の格納は必須ではなく、領域ｈ１１がないファイルフォーマットも考えられる。
【００８７】
［ 表示制御装置の概要 ］
以下、本発明の表示制御装置の一実施形態を示しながら、上記ステレオカメラ１が出力する画像ファイルの利点についてさらに説明する。この表示制御装置は、１つの画像ファイルを参照して立体画像表示を行えるのみならず、複数の画像ファイルから、合成立体画像を形成して表示する画像合成装置としての機能を兼ね備える。
【００８８】
図２９に、立体画像表示システムの概要を示す。図に示すように、この立体画像表示システム４５は、表示制御装置４６と、立体表示モニタ４７と、偏光メガネ４８により構成される。立体表示モニタ４７は、左目用、右目用の２つで一組の視差画像が表示制御装置４６から供給されたときに、左目用と右目用とで偏光方向を異ならせて、２つの画像を同時に一画面に出力するものである。偏光メガネ４８は、レンズの代わりに偏光フィルタを配したメガネで、偏光フィルタのフィルタ特性は、立体表示モニタ４７による偏光の方向と対応している。これにより、偏光メガネ４８をかけて立体表示モニタ４７を観察したときには、右目は右目用の画像のみ、左目は左目用の画像のみを認識するというしくみである。
【００８９】
なお、立体画像表示の方式としては、図示した例のほか、メガネを用いない裸眼タイプの方式も知られている。代表的なものとしては、レンチキュラー方式、パララックスバリア方式、光源分離方式、ＤＦＤ（Depth Fused 3-D）方式などが知られている。さらに、最近では被写体からの光線角度を、実際と同等に再現させる表示方法もあり、その方法では視差画像ではない立体表示用画像の方法も提案されている。これらの方式も、表示制御に距離画像を使用するので、図２９に例示した方式に代えて、これらの方式を採用してもよい。
【００９０】
図３０は、表示制御装置４６の構成を示す図である。表示装置はＤＶＤ（Digital Versatile Disk）、メモリカードなど複数の記録媒体用のメディアドライブ４９ａ〜４９ｃと、メディアドライブ４９ａ〜４９ｃにセットされた記録媒体からの画像ファイルの読み出しおよび記録媒体への画像ファイルの書き込みを制御する読出／書込制御部５０と、ケーブルを接続する外部接続インタフェース５１と、外部接続インタフェース５１を介した画像ファイルの転送を制御する転送制御部５２と、取得した画像ファイルその他処理中のデータを記憶するメモリ５６と、立体モニタ４７と接続するための表示インタフェース５３と、表示インタフェース５３を介した表示出力を制御する表示出力制御部５４を備える。読出／書込制御部５０、転送制御部５２、表示出力制御部５４およびメモリ５６は、システムバス５５により接続されている。
【００９１】
システムバス５５には、さらに、再生伸長処理部５７と、距離画像変換部５８と、画像構成部５９とが接続されている。再生伸長処理部５７は、読出／書込制御部５０または転送制御部５２により取得され、メモリ５６に保存されている画像ファイルから、画像ファイル内に圧縮された状態で記録されているＹＣＣデータを取得する。そして、ＹＣＣデータを、圧縮前の状態となるように伸長し、さらにＹＣＣ−ＲＧＢ変換し、変換により得られた一組の視差画像を再びメモリ５６に保存する。
【００９２】
距離画像変換部５８は、図３１のフローチャートが示す処理Ｐ３００を実行する。距離画像変換部５８は、メモリ内の画像ファイルを参照し、そのファイルのヘッダが図９に例示した領域ｈ１〜ｈ１１を備えた構造をしているか、確認する（Ｓ３０１）。その画像ファイルが異なる構造を有するファイルであれば、以降の処理は行われない。領域ｈ１〜ｈ１１を備えたヘッダを有するファイルであれば、距離画像Ｄと、ファイルヘッダＨの領域ｈ１〜ｈ１１に格納されている情報を取得する（Ｓ３０２）。
【００９３】
続いて、ファイルヘッダＨの領域ｈ９に設定されている値が“０”か否かを判定することにより、ユーザが共通座標系の指定を行ったか否かを判別する（Ｓ３０３）。領域ｈ９に設定されている値が“０”以外の識別子であるときは、ファイルヘッダＨの領域ｈ９からその識別子と対応付けられている変位情報を取得する（Ｓ３０４）。ここでは、変位情報として取得された座標値を（ｘｃ，ｙｃ，ｚｃ）と表すこととする。
【００９４】
続いて領域ｈ１０に記録されているフラグの値が“０”か否かを判定することにより、ユーザがオフセット原点の設定を行ったか否かを判別する（Ｓ３０５）。オフセット原点指定されていれば、オフセット値（ｘｏｆ，ｙｏｆ，ｚｏｆ）を取得する（Ｓ３０６）。その後、距離画像変換部５８は、以下に示す手順で、固有座標系で表される距離画像を、ユーザが指定した共通座標系で表される距離画像に変換する。
【００９５】
オフセット原点が設定されていないときは、距離画像を構成する各画素（ｉ，ｊ）の値（ｘｄｉｊ，ｙｄｉｊ，ｚｄｉｊ）から、変位情報が示す座標値（ｘｃ，ｙｃ，ｚｃ）を減算する。但しここで、ｉおよびｊは、画素の縦横の位置を示すものとする（Ｓ３０７）。一方、オフセット原点が設定されているときは、距離画像を構成する各画素（ｉ，ｊ）の値（ｘｄｉｊ，ｙｄｉｊ，ｚｄｉｊ）から、変位情報が示す座標値（ｘｃ，ｙｃ，ｚｃ）を減算し、さらにオフセット値（ｘｏｆ，ｙｏｆ，ｚｏｆ）を減算する（Ｓ３０８）。ステップＳ３０７とＳ３０８は、それぞれ、距離画像を構成するすべての画素を対象として実行する。
【００９６】
変換後の距離画像は、再びメモリ５６に保存される（Ｓ３０９）。なお、ステップＳ３０３においてユーザ指定情報の値が“０”であった場合には、距離画像の変換は行われず、ステップＳ３０２において取得された距離画像が、そのままメモリ５６に保存される（Ｓ３０９）。
【００９７】
図３２は、画像構成部５９の処理を示すフローチャートである。画像構成部５９は、メモリ５６から、再生伸長処理部５７が保存した画像（ＲＧＢデータ）と、距離画像変換部５８が保存した変換後の距離画像とを取得する（Ｓ４０１）。そして、取得した画像（ＲＧＢデータ）と、変換後の距離画像とを使用して、右目用、左目用の視差画像を再構成する（Ｓ４０２）。再構成された視差画像はメモリ５６に保存される（Ｓ４０３）。表示出力制御部５４は、このときメモリ５６に保存された視差画像を立体モニタに出力する。
【００９８】
［ 合成画像の生成および表示 ］
上記説明は、画像ファイル単体の表示制御処理についての説明であるが、続いて、図３３を参照して、複数の画像ファイルを取り込んだときの表示制御処理について説明する。ユーザが図示されない操作部から、画像ファイルの連続取り込みの操作を行うと、読出／書込制御部または転送制御部もしくはその両方は、ユーザの操作に応じて画像ファイルの取り込みを、ユーザから取り込み完了を伝える入力があるまで、連続して実行する（Ｓ５０１，Ｓ５０２）。この操作により取り込まれた画像ファイルは、すべてメモリ５６に保存される。距離画像変換部５８は、図３１を参照して説明した距離画像変換処理Ｐ３００を、メモリ５６に記憶されている全画像ファイルを対象として繰り返し実行する（Ｓ５０３）。
【００９９】
画像構成部５９は、メモリ５６に記憶されている複数の画像ファイルを対象として合成視差画像ファイルの生成処理（Ｐ６００）を実行し、生成した合成視差画像ファイルをメモリ５６に保存する（Ｓ５０４）。メモリ５６に保存された合成画像ファイルは、その後、表示出力制御部５４によりメモリ５６から読み出されて立体モニタ４６に出力される（Ｓ５０５）。また、メモリ５６に保存された合成画像ファイルは、読出／書込制御部５０を介してメモリカードなどの記録媒体に保存したり、転送制御部５２を介して他の装置に転送することもできる（Ｓ５０５）。
【０１００】
以下、合成視差画像ファイルの生成処理（Ｐ６００）について、２つの画像ファイルから合成視差画像ファイルを生成する場合を例示しながら、さらに説明する。図３４は、合成の対象となる１つ目の画像ファイル（以下、主画像ファイル）を取得したときの、カメラ、撮影空間および共通座標系の関係を示す図である。この図が示すように、主画像ファイルは、ステレオカメラ１を用い、比較的広い画角で、物体６１、物体６３および物体６４が配された撮影空間を撮影することにより得るものとする。図３５に、この撮影により得られた視差画像をモニタに出力したときの表示例を示す。
【０１０１】
図３６は、合成の対象となる２つ目の画像ファイル（以下、副画像ファイル）を取得したときの、カメラ、撮影空間および共通座標系の関係を示す図である。この図が示すように、副画像ファイルは、ステレオカメラ６０を用い、ステレオカメラ１による撮影よりも狭い画角で、物体６２が配された撮影空間を撮影することにより得るものとする。なお、ステレオカメラ６０は、ステレオカメラ１と同じく、図８や図９を参照して説明したフォーマットの画像ファイルを出力するカメラである。図３７に、この撮影により得られた視差画像をモニタに出力したときの表示例を示す。
【０１０２】
図３８は、合成視差画像ファイル生成処理Ｐ６００を示すフローチャートである。画像構成部５９は、まず、主画像ファイルから水平方向の画角値αｈと、垂直方向の画角値αｖを読み込み、さらに副画像ファイルから水平方向の画角値βｈと、垂直方向の画角値βｖを読み込む（Ｓ６０１）。
【０１０３】
次に、画像構成部５９は、読み込んだ画角値を使って、次式（５）により合成を行うときの主画像ＭＩ上の副画像ＳＩの配置領域を求める（Ｓ６０２）。式（５）において、Ｈｄは主画像の水平表示画素数，Ｖｄは主画像の垂直表示画素数を表す。また、副画像の配置領域は、主画像の左下の頂点を（０、０），右上の頂点を（Ｈｄ，Ｖｄ）と表したときの、副画像の水平方向の配置範囲ｈａ１〜ｈｂ１、垂直方向の配置範囲ｖａ１〜ｖｂ１として求める。図３９に、Ｈｄ，Ｖｄ，ｈａ１，ｈｂ１，ｖａ１およびｖｂ１の関係と、それにより特定される副画像の配置領域６５を例示する。
ｈａ１＝（Ｈｄ／２）−（Ｈｄ／２）×（ａｒｃｔａｎ βｈ／ａｒｃｔａｎ αｈ）
ｈｂ１＝（Ｈｄ／２）＋（Ｈｄ／２）×（ａｒｃｔａｎ βｈ／ａｒｃｔａｎ αｈ）
ｖａ１＝（Ｖｄ／２）−（Ｖｄ／２）×（ａｒｃｔａｎ βｖ／ａｒｃｔａｎ αｖ）
ｖｂ１＝（Ｖｄ／２）＋（Ｖｄ／２）×（ａｒｃｔａｎ βｖ／ａｒｃｔａｎ αｖ）
・ ・・（５）
画像構成部５９は、ステップＳ６０２において求めた配置領域６５にあわせて、副画像ファイル内の視差画像を縮小する（Ｓ６０３）。そして、主画像については、変換後距離画像を用いて主画像視差画像を再構成する（Ｓ６０４）。副画像についても、変換後距離画像を用いた画像の再構成を行うが、この処理は、副画像ファイルに記録されている画像ではなく、ステップＳ４０３で縮小した画像を対象として行う（Ｓ６０５）。続いて、ステップＳ４０４で再構成した主画像視差画像に、ステップＳ６０５で構成した縮小副画像の視差画像を重畳合成し、合成視差画像を生成する（Ｓ６０６）。図４０に、この処理により生成される合成視差画像をモニタに出力したときの表示例を示す。
【０１０４】
合成視差画像は以上に説明した処理により完成するが、本実施形態の画像構成部５９はさらに、配置領域６５のみを対象とした拡大合成視差画像を生成する。以下、この拡大合成視差画像の生成について説明する。
【０１０５】
画像構成部５９は、主画像ファイル内の視差画像、すなわち合成前の視差画像から、副画像の配置領域に相当する部分の画像を切り出す（Ｓ６０７）。以下、切り出した視差画像を部分画像と称する。続いて、切り出した部分画像を縮小される前の副画像と同じサイズまで拡大する（Ｓ６０８）。以下、拡大された視差画像を部分拡大画像と称する。続いて、画像構成部５９は、部分拡大画像の視差画像を、変換後距離画像を用いて再構成する（Ｓ６０９）。図４１に、再構成された部分拡大画像の視差画像をモニタに出力したときの表示例を示す。
【０１０６】
また、副画像についても、変換後距離画像を用いて視差画像を再構成する（Ｓ６１０）。そして、ステップＳ６０９で再構成した部分拡大画像の視差画像に、ステップＳ６１０で再構成した副画像視差画像を重畳合成する。これにより、副画像の配置領域６５のみの合成視差画像が生成される（Ｓ６１１）。図４２に、副画像の配置領域６５のみの合成視差画像をモニタに出力したときの表示例を示す。画像構成部５９は、次に、ステップＳ６０６で生成した合成視差画像、ステップＳ６１１で生成した副画像配置領域のみの合成視差画像、およびステップＳ６０２で求めた配置領域の情報を含む合成視差画像ファイルを生成する（Ｓ６１２）。
【０１０７】
３以上の画像ファイルを対象とした合成処理を行う場合には、ステップＳ６０１において読み取った画角の情報に基づいて、最も画角の広い画像を主画像とし、他を副画像として以降の処理を行うとよい。この場合、副画像に関連するステップは、副画像ごとに実行することとなる。あるいは、副画像の画角が主画像よりも広いままで合成を行うとすれば、副画像から主画像の画角を越える範囲を削除してから合成を行うことが考えられる。
【０１０８】
なお、上記例では、物体同士の位置関係を正確に再現することを優先し、図４０の合成視差画像、図４２の合成視差画像ともに、変換後距離画像に忠実な表示を行っている。これに対し、正確さよりも見易さを優先する形態も考えられる。例えば、ユーザは、副画像をよく観察したいときに、図４２の合成視差画像の表示を要求するであろう。よって、図４２の合成視差画像の表示が要求された場合には、位置関係の正確な再現よりも、副画像の見易さを優先してもよい。そのような思想に基づいて合成視差画像ファイルを生成するときは、図４２に示した表示に代えて、図４３に示すような特殊表示を行うとよい。すなわち、主画像の中に、副画像に含まれる物体を覆い隠す位置にある物体が存在する場合には、その物体のみ表示を行わないようにする。
【０１０９】
特殊表示を行うときは、ステップＳ６０９で部分拡大画像の視差画像を再構成する以前に、副画像ファイルのヘッダの領域ｈ１１に前述した特定エリアＡの位置座標（ｘａ、ｙａ，ｚａ）の情報が格納されているか否かを判定する。副画像ファイルが特定エリアの位置座標の情報を含んでいる場合には、奥行き方向の値ｚａを取得する。一方、副画像ファイルが特定エリアの位置座標の情報を含んでいなければ、副画像の距離画像に基づいて副画像内の物体のうち、最も手前に位置する物体の中心点などを特定エリアとみなし、その奥行き方向の位置座標の値ｚａを副画像の距離画像から取得する。
【０１１０】
そして、主画像の距離画像から、奥行き方向の座標値としてｚａ以下の値を有する画素を探索し、その画素の値を無限に遠くを指す値に置き換える。これにより置き換えを行った範囲には物体は配置されていないことになるので、ステップＳ６０９において再構成される部分拡大画像の視差画像は、図４４に示すようなものとなる。すなわち、副画像に含まれる物体を覆い隠す位置にある物体は非表示となる。以降の処理は、前述したステップＳ６１０、Ｓ６１１およびＳ６１２の処理と同じである。
【０１１１】
以下、合成視差画像ファイルのフォーマットについて説明する。図４５に示すように、合成視差画像ファイルは、ファイルヘッダＨ´、上記ステップＳ６０６で生成される画像全体の合成視差画像、および上記ステップＳ６１１で生成される副画像の配置領域のみの合成視差画像により構成される。副画像ファイルが複数あるときには、図に示すように、ファイルには、副画像の配置領域のみの合成視差画像が複数記録される。
【０１１２】
図４６に示すように、ファイルヘッダＨ´には、合成の対象となる画像ファイルの数を格納する領域ｈ´１、メモリ内の主画像ファイルのファイルナンバーを格納する領域ｈ´２、副画像ファイルのファイルナンバーを格納する領域ｈ´３、副画像配置領域のみの合成視差画像の有無を示すデータを格納する領域ｈ´４、副画像の配置領域情報ｈ´５、合成視差画像のアドレスを格納する領域ｈ´６、副画像の配置領域のみの合成視差画像のアドレスを格納する領域ｈ´７が設けられている。領域ｈ´３、ｈ´５およびｈ´７は副画像の数に相当する数の領域が設けられる。なお、これ以外に、合成に用いた元の画像ファイルへのリンク情報を格納する領域を設けてもよい。
【０１１３】
領域ｈ´１にはファイルの数を示す数値が設定される。領域ｈ´２および領域ｈ´３に設定するファイルナンバーはファイルを指定する識別子であり、アルファベットなどを含む記号でもよい。領域ｈ´４には、副画像配置領域のみの合成視差画像がファイルに含まれているときには“１”、含まれていないときには“０”という値が設定される。図３８に示したフローチャートでステップＳ６０７〜Ｓ６１１の処理が省略された場合には、領域ｈ´４には値“０”が設定される。領域ｈ´５には、ステップＳ６０２で求められた値ｈａ１，ｈｂ１，ｖａ１およびｖｂ１が格納される。領域ｈ´６および領域ｈ´７には、各合成視差画像が格納された位置を示すアドレスが設定される。ここでアドレスとは、例えば、図４５に示されるファイルの先頭から各合成視差画像までのオフセットとする。
【０１１４】
以上に説明したように、画像構成部５９は、距離画像変換部５８による変換後の距離画像を用いて画像の合成を行う。すなわち共通座標系上で視差画像の合成を行う。このため、主画像ファイルと副画像ファイルとで、ファイルヘッダで同一の共通座標系を指定しておけば、従来手法において発生していた問題は生じず、合成の対象となる各画像ファイルが同じ装置により生成されたものであるときも、異なる装置により生成されたものであるときも、合成処理の結果は同じになる。特に、上記例のように、拡大縮小を伴う複雑な合成処理は、座標系の違いによる位置ずれが生じてしまう従来手法では、安定した結果を得ることができない。本実施形態では、座標系のずれを気にすることなく種々の画像処理を施すことができるため、上記例以上に複雑な合成処理を行ったとしても常に安定した結果を得ることができる。
【０１１５】
また、本実施形態では、画像構成部５９は表示の度に合成処理を行うのではなく、合成処理により得られた合成視差画像および合成の過程で得られた情報を１つの画像ファイルにまとめて保存しておく。このため、後に同じ合成視差画像の表示が必要になった場合には、ファイル内の合成視差画像をモニタ上に再生するだけでよく、処理時間を大幅に短縮することができる。また、合成視差画像ファイルとして保存するようにしたことで、合成処理と表示処理とを異なる装置で分担して行うことが可能になる。合成処理を別個の装置に行わせることで、表示制御装置を構成する回路を簡略化することができるので、表示制御装置の小型化、低コスト化にもつながる。
【０１１６】
［ 変形例 ］
上記実施形態は、共通座標系の原点からのオフセット値を指定することによりオフセット原点を設定するというものである。すなわち、上記実施形態においては、撮影空間を撮影したときに撮像系により捉えられた各点の空間的な位置を所定の座標系で表した三次元情報は、距離画像Ｄと共通座標系の情報（ヘッダＨの領域ｈ７〜ｈ９に格納される情報）を合わせた情報ということになる。これに対し、本発明の他の実施形態としては、共通座標系の概念を導入せず、固有座標系の原点からの直接のオフセット値を指定することによりオフセット原点を設定する形態も考えられる。
【０１１７】
また、本発明のファイル生成装置は、表示デバイスと入力装置に接続された（もしくはそれらを内蔵する）パソコンでもよい。すなわち、本発明の他の実施形態としては、記録媒体に記録されている画像ファイルを読み込んで、モニタ画面に輝度画像を表示し、キーボードによるオフセット原点の設定入力を受け付けて、画像ファイルを生成する形態が考えられる。読み込んだ画像ファイルが、オフセット原点の情報を格納する領域を備えないフォーマットであるときは、オフセット原点の情報を格納する領域を備えたフォーマットの画像ファイルを生成して出力する。また、読み込んだ画像ファイルが、ステレオカメラによりオフセット原点の情報が格納されたファイルであれば、格納されている値を更新すればよい。
【図面の簡単な説明】
【０１１８】
【図１Ａ】本発明のファイル生成装置の一実施形態であるステレオカメラの外観図(正面側)
【図１Ｂ】本発明のファイル生成装置の一実施形態であるステレオカメラの外観図(背面側)
【図２】ステレオカメラの内部構成を示すブロック図
【図３】撮影空間を例示した図
【図４】視差画像（ＲＧＢデータ）を例示した図
【図５】固有座標系を例示した図
【図６】カメラの他の構成を例示した図
【図７】他の構成を有するカメラの外観を例示した図
【図８】画像ファイルのフォーマットを示す図
【図９】画像ファイルのファイルヘッダの一部領域を示す図
【図１０】従来手法の問題点について説明するための図
【図１１】従来手法の問題点について説明するための図
【図１２】従来手法の問題点について説明するための図
【図１３】従来手法の問題点について説明するための図
【図１４】従来手法の問題点について説明するための図
【図１５】共通座標系を例示した図
【図１６】外観上認識し得る原点の一例を示す図
【図１７】外観上認識し得る原点の他の例を示す図
【図１８】共通座標系の原点の他の候補を示す図
【図１９】変位情報を設定する領域ｈ８の詳細フォーマットを示す図
【図２０】オフセット原点について説明するための図
【図２１】Ｚ軸方向のオフセット値設定処理の一例を示す図
【図２２】Ｚ軸方向のオフセット値設定画面の表示例を示す図
【図２３】Ｚ軸方向のオフセット値設定画面の表示例を示す図
【図２４】Ｚ軸方向のオフセット値設定画面の表示例を示す図
【図２５】Ｘ軸方向のオフセット値設定処理の一例を示す図
【図２６】Ｘ軸方向のオフセット値設定画面の表示例を示す図
【図２７】Ｘ軸方向のオフセット値設定画面の表示例を示す図
【図２８】Ｘ軸方向のオフセット値設定画面の表示例を示す図
【図２９】立体画像表示システムの概要を示す図
【図３０】表示制御装置の構成例を示す図
【図３１】距離画像変換部の処理を例示したフローチャート
【図３２】画像構成部の処理を例示したフローチャート
【図３３】複数画像ファイル取込時の表示制御処理を例示したフローチャート
【図３４】主画像取得時のカメラ、撮影空間、共通座標系の関係を例示した図
【図３５】主画像のみの表示例を示す図
【図３６】副画像取得時のカメラ、撮影空間、共通座標系の関係を例示した図
【図３７】副画像のみの表示例を示す図
【図３８】合成視差画像ファイルの生成処理を例示したフローチャート
【図３９】副画像の配置領域について説明するための図
【図４０】合成視差画像の表示例を示す図
【図４１】主画像の部分拡大画像の表示例を示す図
【図４２】副画像の配置領域のみの合成視差画像の表示例を示す図
【図４３】副画像の配置領域のみの合成視差画像の特殊表示の例を示す図
【図４４】特殊表示のための部分拡大画像の補正例を示す図
【図４５】合成視差画像ファイルのフォーマットを示す図
【図４６】合成視差画像ファイルのヘッダの一部領域を示す図
【符号の説明】
【０１１９】
１ ステレオカメラ、 ２ａ，２ｂ，２ｃ 撮像レンズ、
３ シャッタレリーズボタン、 ４ ファインダ、 ５ 操作ボタン、
７ モニタ、 ８ カードスロット、 ９ メモリカード、 １０ 外部接続Ｉ／Ｆ、
１１ａ，１１ｂ，１１ｃ ＣＣＤ、 １４，５５ システムバス、
２７，３３，３７，６１，６２，６３，６４ 撮影空間に配置された物体
２８ａ，２８ｂ ＲＧＢデータ、 ２９ 赤外線照射部、
３１ 画像ファイル、 Ｈ，Ｈ´ ヘッダ、 ３２，３６ 従来のステレオカメラ、
３４，３８ 固有座標系、 ４０，４７ 立体表示モニタ、
４３，４４ａ，４４ｂ 基点マーク、
４５ 立体表示システム、 ４６ 表示制御装置、 ６５ 副画像の配置領域、
Ａ 特定エリア、 ７２ 基準マーク
【特許請求の範囲】
【請求項１】
三次元情報が記録されたファイルを生成するファイル生成装置であって、
撮影空間を撮影したときに撮像系により捉えられた各点の輝度値を表す輝度画像を取得する輝度画像取得手段と、
前記各点の空間的な位置を所定の座標系で表した三次元情報を取得する三次元情報取得手段と、
所定の入力装置から、前記座標系の軸方向ごとのオフセット値を指定する入力を受け付けて、該各オフセット値を所定のメモリに記憶せしめることにより、前記座標系の原点を前記オフセット値分変位させた点をオフセット原点として設定するオフセット原点設定手段と、
前記輝度画像取得手段により取得された輝度画像を格納する領域、前記三次元情報取得手段により取得された三次元情報を格納する領域、および前記オフセット原点設定手段が設定した前記オフセット原点の情報を格納する領域を有する所定フォーマットのファイルを生成するファイル生成手段とを備えたファイル生成装置。
【請求項２】
前記ファイル生成手段が、前記オフセット原点の情報を格納する領域に、前記オフセット原点の設定の有無を示す値を格納し、前記オフセット原点が設定されているときは、さらに前記オフセット値を格納することを特徴とする請求項１記載のファイル生成装置。
【請求項３】
前記輝度画像取得手段により取得された輝度画像、前記三次元情報取得手段により取得された三次元情報、および前記オフセット原点設定手段により設定されたオフセット原点の情報に基づいて、確認用画像を生成する確認用画像生成手段と、
前記確認用画像生成手段により生成された確認用画像を、所定の表示デバイスに出力する表示制御手段とをさらに備えたことを特徴とする請求項１または２記載のファイル生成装置。
【請求項４】
前記確認用画像生成手段が、前記輝度画像を、奥行き方向のオフセット値に基づいて決定した倍率で拡大または縮小することにより、前記確認用画像を生成することを特徴とする請求項３記載のファイル生成装置。
【請求項５】
所定の入力装置から、前記輝度画像内の一または複数の画素からなる特定エリアを指定する入力を受け付けるエリア指定手段をさらに備え、
前記確認用画像生成手段が、前記エリア指定手段により指定された特定エリアを含む確認用画像を生成することを特徴とする請求項３または４項記載のファイル生成装置。
【請求項６】
前記確認用画像生成手段が、前記特定エリアが略中央に配置された確認用画像を生成することを特徴とする請求項５記載のファイル生成装置。
【請求項７】
前記確認用画像生成手段が、前記三次元情報の前記特定エリアに対応する一または複数の画素の平均画素値を算出し、該平均画素値を前記特定エリアの位置座標とみなして前記確認用画像の生成処理を行うことを特徴とする請求項５または６記載のファイル生成装置。
【請求項８】
前記確認用画像生成手段が生成する確認用画像が、前記輝度画像と、前記オフセット原点の前記所定の座標系における座標値と、前記オフセット原点が設定された座標系における前記特定エリアの位置座標とを表す画像であることを特徴とする請求項５から７のいずれか１項記載のファイル生成装置。
【請求項９】
前記ファイル生成手段が、前記所定フォーマットのファイルとして、前記特定エリアの位置を示す情報を格納する領域を有するファイルを生成することを特徴とする請求項５から８のいずれか１項記載のファイル生成装置。
【請求項１０】
前記確認用画像生成手段が、前記輝度画像を、水平方向および／または垂直方向のオフセット値に基づいて決定した位置に平行移動することにより、前記確認用画像を生成することを特徴とする請求項３記載のファイル生成装置。
【請求項１１】
前記確認用画像生成手段が生成する確認用画像が、前記オフセット原点の水平方向および／または垂直方向のオフセット値を示唆する位置に所定のマークを配した画像であることを特徴とする請求項１０記載のファイル生成装置。
【請求項１２】
所定の入力装置から、前記輝度画像内の一または複数の画素からなる特定エリアを指定する入力を受け付けるエリア指定手段をさらに備え、
前記確認用画像生成手段が、前記エリア指定手段により指定された特定エリアの奥行き方向の位置座標と、前記撮影空間を撮影したときの撮影画角の情報とに基づいて、前記マークの配置位置を算出することを特徴とする請求項１１記載のファイル生成装置。
【請求項１３】
前記確認用画像生成手段が、前記算出された配置位置が所定の範囲内にあるときは、該算出された配置位置に前記マークが配された確認用画像を生成し、前記算出された配置位置が前記所定の範囲の外にあるときは、該算出された配置位置に前記マークが配され且つ該算出された配置位置が確認用画像の画像端となるように前記輝度画像が平行移動された確認用画像を生成することを特徴とする請求項１２記載のファイル生成装置。
【請求項１４】
前記確認用画像生成手段が、前記算出された配置位置が前記所定の範囲の外にあり且つ前記算出された配置位置と前記特定エリアの位置とが所定距離以上離れているときは、前記輝度画像を縮小することにより前記確認用画像を生成することを特徴とする請求項１３記載のファイル生成装置。
【請求項１５】
前記確認用画像生成手段が、前記撮影空間を撮影したときの撮影画角の情報と、奥行き方向のオフセット値とに基づいて、前記所定範囲を決定することを特徴とする請求項１２または１４記載のファイル生成装置。
【請求項１６】
三次元情報が記録されたファイルを生成する方法であって、
撮像装置または記録媒体から、撮影空間を撮影したときに撮像系により捉えられた各点の輝度値を表す輝度画像と、前記各点の空間的な位置を所定の座標系で表した三次元情報とを取得し、
所定の入力装置から、前記座標系の軸方向ごとのオフセット値を指定する入力を受け付け、該各オフセット値を所定のメモリに記憶せしめることにより、前記座標系の原点を前記オフセット値分変位させた点をオフセット原点として設定し、
前記輝度画像を格納する領域、前記三次元情報を格納する領域、および前記オフセット原点の情報を格納する領域を有する所定フォーマットのファイルを生成するファイル生成方法。
【請求項１７】
立体画像の表示を制御する表示制御装置であって、
撮影空間を撮影したときに撮像系により捉えられた各点の輝度値を表す輝度画像、前記各点の空間的な位置を所定の座標系で表した三次元情報、および前記座標系の軸方向ごとに指定されたオフセット値の情報を含む画像ファイルを取り込む、ファイル取込手段と、
前記ファイル取込手段により取り込まれた画像ファイル内の前記三次元情報を、該画像ファイル内の前記オフセット値の情報に基づいて変位させることにより、前記座標系で表された三次元情報を、他の座標系で表された三次元情報に変換する三次元情報変換手段と、
前記ファイル取込手段により取り込まれた画像ファイル内の前記輝度画像を、前記三次元情報変換手段により変換された後の三次元情報に基づいて補正することにより、立体表示用画像を構成する画像構成手段と、
前記画像構成手段により構成された立体表示用画像を表示デバイスに対し出力する出力制御手段とを備えた、立体画像の表示制御装置。
【請求項１８】
前記画像構成手段が、さらに、当該画像構成手段により構成された複数組の立体表示用画像を合成することにより立体表示用合成画像を構成し、構成された立体表示用合成画像を表示デバイスに対し出力することを特徴とする、請求項１７記載の立体画像の表示制御装置。
【請求項１９】
前記画像構成手段が構成する立体表示画像が、複数の視差画像からなる画像セットであることを特徴とする、請求項１７または１８記載の立体画像の表示制御装置。
【請求項２０】
立体画像の表示を制御する表示制御方法であって、
撮影空間を撮影したときに撮像系により捉えられた各点の輝度値を表す輝度画像、前記各点の空間的な位置を所定の座標系で表した三次元情報、および前記座標系の軸方向ごとに指定されたオフセット値の情報を含む画像ファイルを取り込み、
前記画像ファイル内の前記三次元情報を、該画像ファイル内の前記オフセット値の情報に基づいて変位させることにより、前記座標系で表された三次元情報を、他の座標系で表された三次元情報に変換し、
前記画像ファイル内の前記輝度画像を、変換された後の三次元情報に基づいて補正することにより、立体表示用画像を構成し、
構成された立体表示用画像を表示デバイスに対し出力する、立体画像の表示制御方法。
【請求項１】
三次元情報が記録されたファイルを生成するファイル生成装置であって、
撮影空間を撮影したときに撮像系により捉えられた各点の輝度値を表す輝度画像を取得する輝度画像取得手段と、
前記各点の空間的な位置を所定の座標系で表した三次元情報を取得する三次元情報取得手段と、
所定の入力装置から、前記座標系の軸方向ごとのオフセット値を指定する入力を受け付けて、該各オフセット値を所定のメモリに記憶せしめることにより、前記座標系の原点を前記オフセット値分変位させた点をオフセット原点として設定するオフセット原点設定手段と、
前記輝度画像取得手段により取得された輝度画像を格納する領域、前記三次元情報取得手段により取得された三次元情報を格納する領域、および前記オフセット原点設定手段が設定した前記オフセット原点の情報を格納する領域を有する所定フォーマットのファイルを生成するファイル生成手段とを備えたファイル生成装置。
【請求項２】
前記ファイル生成手段が、前記オフセット原点の情報を格納する領域に、前記オフセット原点の設定の有無を示す値を格納し、前記オフセット原点が設定されているときは、さらに前記オフセット値を格納することを特徴とする請求項１記載のファイル生成装置。
【請求項３】
前記輝度画像取得手段により取得された輝度画像、前記三次元情報取得手段により取得された三次元情報、および前記オフセット原点設定手段により設定されたオフセット原点の情報に基づいて、確認用画像を生成する確認用画像生成手段と、
前記確認用画像生成手段により生成された確認用画像を、所定の表示デバイスに出力する表示制御手段とをさらに備えたことを特徴とする請求項１または２記載のファイル生成装置。
【請求項４】
前記確認用画像生成手段が、前記輝度画像を、奥行き方向のオフセット値に基づいて決定した倍率で拡大または縮小することにより、前記確認用画像を生成することを特徴とする請求項３記載のファイル生成装置。
【請求項５】
所定の入力装置から、前記輝度画像内の一または複数の画素からなる特定エリアを指定する入力を受け付けるエリア指定手段をさらに備え、
前記確認用画像生成手段が、前記エリア指定手段により指定された特定エリアを含む確認用画像を生成することを特徴とする請求項３または４項記載のファイル生成装置。
【請求項６】
前記確認用画像生成手段が、前記特定エリアが略中央に配置された確認用画像を生成することを特徴とする請求項５記載のファイル生成装置。
【請求項７】
前記確認用画像生成手段が、前記三次元情報の前記特定エリアに対応する一または複数の画素の平均画素値を算出し、該平均画素値を前記特定エリアの位置座標とみなして前記確認用画像の生成処理を行うことを特徴とする請求項５または６記載のファイル生成装置。
【請求項８】
前記確認用画像生成手段が生成する確認用画像が、前記輝度画像と、前記オフセット原点の前記所定の座標系における座標値と、前記オフセット原点が設定された座標系における前記特定エリアの位置座標とを表す画像であることを特徴とする請求項５から７のいずれか１項記載のファイル生成装置。
【請求項９】
前記ファイル生成手段が、前記所定フォーマットのファイルとして、前記特定エリアの位置を示す情報を格納する領域を有するファイルを生成することを特徴とする請求項５から８のいずれか１項記載のファイル生成装置。
【請求項１０】
前記確認用画像生成手段が、前記輝度画像を、水平方向および／または垂直方向のオフセット値に基づいて決定した位置に平行移動することにより、前記確認用画像を生成することを特徴とする請求項３記載のファイル生成装置。
【請求項１１】
前記確認用画像生成手段が生成する確認用画像が、前記オフセット原点の水平方向および／または垂直方向のオフセット値を示唆する位置に所定のマークを配した画像であることを特徴とする請求項１０記載のファイル生成装置。
【請求項１２】
所定の入力装置から、前記輝度画像内の一または複数の画素からなる特定エリアを指定する入力を受け付けるエリア指定手段をさらに備え、
前記確認用画像生成手段が、前記エリア指定手段により指定された特定エリアの奥行き方向の位置座標と、前記撮影空間を撮影したときの撮影画角の情報とに基づいて、前記マークの配置位置を算出することを特徴とする請求項１１記載のファイル生成装置。
【請求項１３】
前記確認用画像生成手段が、前記算出された配置位置が所定の範囲内にあるときは、該算出された配置位置に前記マークが配された確認用画像を生成し、前記算出された配置位置が前記所定の範囲の外にあるときは、該算出された配置位置に前記マークが配され且つ該算出された配置位置が確認用画像の画像端となるように前記輝度画像が平行移動された確認用画像を生成することを特徴とする請求項１２記載のファイル生成装置。
【請求項１４】
前記確認用画像生成手段が、前記算出された配置位置が前記所定の範囲の外にあり且つ前記算出された配置位置と前記特定エリアの位置とが所定距離以上離れているときは、前記輝度画像を縮小することにより前記確認用画像を生成することを特徴とする請求項１３記載のファイル生成装置。
【請求項１５】
前記確認用画像生成手段が、前記撮影空間を撮影したときの撮影画角の情報と、奥行き方向のオフセット値とに基づいて、前記所定範囲を決定することを特徴とする請求項１２または１４記載のファイル生成装置。
【請求項１６】
三次元情報が記録されたファイルを生成する方法であって、
撮像装置または記録媒体から、撮影空間を撮影したときに撮像系により捉えられた各点の輝度値を表す輝度画像と、前記各点の空間的な位置を所定の座標系で表した三次元情報とを取得し、
所定の入力装置から、前記座標系の軸方向ごとのオフセット値を指定する入力を受け付け、該各オフセット値を所定のメモリに記憶せしめることにより、前記座標系の原点を前記オフセット値分変位させた点をオフセット原点として設定し、
前記輝度画像を格納する領域、前記三次元情報を格納する領域、および前記オフセット原点の情報を格納する領域を有する所定フォーマットのファイルを生成するファイル生成方法。
【請求項１７】
立体画像の表示を制御する表示制御装置であって、
撮影空間を撮影したときに撮像系により捉えられた各点の輝度値を表す輝度画像、前記各点の空間的な位置を所定の座標系で表した三次元情報、および前記座標系の軸方向ごとに指定されたオフセット値の情報を含む画像ファイルを取り込む、ファイル取込手段と、
前記ファイル取込手段により取り込まれた画像ファイル内の前記三次元情報を、該画像ファイル内の前記オフセット値の情報に基づいて変位させることにより、前記座標系で表された三次元情報を、他の座標系で表された三次元情報に変換する三次元情報変換手段と、
前記ファイル取込手段により取り込まれた画像ファイル内の前記輝度画像を、前記三次元情報変換手段により変換された後の三次元情報に基づいて補正することにより、立体表示用画像を構成する画像構成手段と、
前記画像構成手段により構成された立体表示用画像を表示デバイスに対し出力する出力制御手段とを備えた、立体画像の表示制御装置。
【請求項１８】
前記画像構成手段が、さらに、当該画像構成手段により構成された複数組の立体表示用画像を合成することにより立体表示用合成画像を構成し、構成された立体表示用合成画像を表示デバイスに対し出力することを特徴とする、請求項１７記載の立体画像の表示制御装置。
【請求項１９】
前記画像構成手段が構成する立体表示画像が、複数の視差画像からなる画像セットであることを特徴とする、請求項１７または１８記載の立体画像の表示制御装置。
【請求項２０】
立体画像の表示を制御する表示制御方法であって、
撮影空間を撮影したときに撮像系により捉えられた各点の輝度値を表す輝度画像、前記各点の空間的な位置を所定の座標系で表した三次元情報、および前記座標系の軸方向ごとに指定されたオフセット値の情報を含む画像ファイルを取り込み、
前記画像ファイル内の前記三次元情報を、該画像ファイル内の前記オフセット値の情報に基づいて変位させることにより、前記座標系で表された三次元情報を、他の座標系で表された三次元情報に変換し、
前記画像ファイル内の前記輝度画像を、変換された後の三次元情報に基づいて補正することにより、立体表示用画像を構成し、
構成された立体表示用画像を表示デバイスに対し出力する、立体画像の表示制御方法。
【図１Ａ】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【公開番号】特開２００８−２５２４９３（Ｐ２００８−２５２４９３Ａ）
【公開日】平成２０年１０月１６日（２００８．１０．１６）
【国際特許分類】
【出願番号】特願２００７−９０７５３（Ｐ２００７−９０７５３）
【出願日】平成１９年３月３０日（２００７．３．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】１００１１８６１４
【弁理士】
【氏名又は名称】重松 万里
【Ｆターム（参考）】
【公開日】平成２０年１０月１６日（２００８．１０．１６）
【国際特許分類】
【出願日】平成１９年３月３０日（２００７．３．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】１００１１８６１４
【弁理士】
【氏名又は名称】重松 万里
【Ｆターム（参考）】
[ Back to top ]