画像情報取得装置、画像情報取得方法およびプログラム
【課題】複数の要因により生ずる反射光画像の歪みを容易に補正することができる画像取得方法及び装置を提供する。
【解決手段】撮像対象に光を照射する発光手段と、撮像対象からの反射光を受光する受光手段と、受光手段で受光された反射光の強度分布から撮像対象の３次元形状を表す反射光画像を生成する画像生成手段を含む画像取得装置で、反射光画像を得、撮像対象の理想的な３次元形状を示す理想画像に対する反射光画像の歪みを補正するための変換行列を用いて、得られた反射光画像の各画素値を補正する。画像取得装置で得られた反射光画像の各画素値が各行列要素に対応する行列の逆行列と、理想画像の各画素値が各行列要素に対応する行列とを乗算することにより変換行列を生成し、反射光画像の各画素が各行列要素に対応する行列と変換行列とを乗算して、当該反射光画像の各画素値を補正する。
【解決手段】撮像対象に光を照射する発光手段と、撮像対象からの反射光を受光する受光手段と、受光手段で受光された反射光の強度分布から撮像対象の３次元形状を表す反射光画像を生成する画像生成手段を含む画像取得装置で、反射光画像を得、撮像対象の理想的な３次元形状を示す理想画像に対する反射光画像の歪みを補正するための変換行列を用いて、得られた反射光画像の各画素値を補正する。画像取得装置で得られた反射光画像の各画素値が各行列要素に対応する行列の逆行列と、理想画像の各画素値が各行列要素に対応する行列とを乗算することにより変換行列を生成し、反射光画像の各画素が各行列要素に対応する行列と変換行列とを乗算して、当該反射光画像の各画素値を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、反射光画像を撮影し、当該撮像した反射光画像を利用することで撮影対象までの距離の情報を取得する装置にかかり、特に、得られた反射光画像の輝度値に含まれる歪みを、包括的に修正することで、得られる凹凸情報の大局的な整合性を向上させた画像情報取得装置および画像情報取得方法、画像情報操作方法に関する。
【背景技術】
【０００２】
従来から、コンピュータをはじめとする各種情報機器において、空間内の３次元情報を正確に効率良く入力できる手段を実現することは、有意義だが困難な目標とされてきた。
【０００３】
既に考案、開発されている３次元情報の取得装置、取得方法は、それぞれが立脚する原理によって、様々な長所および短所が存在する。
【０００４】
例えば、対象をニードルでなぞり、そのニードルの先端の位置を記録してゆく機械的な計測方法がある。この技術は、対象の正確な３次元情報が獲得出来るという長所がある一方で、直接干渉することが可能な物体に利用が限られるという欠点がある。また、逐次的に情報を蓄積するため、ある特定の範囲全体の３次元情報を獲得するには時間が掛かるという問題点もある。
【０００５】
また別の例として、レーザー光を照射して対象までの距離を計測するレーザーレンジカメラ等の測量的な計測方法がある。この技術で使用する装置はレーザー光を使用した特殊な機器であるため、高価であり、操作が難しいという欠点がある。また、レーザー光による走査時間が必要なため、動画のように連続して３次元情報を獲得することは出来ない。
【０００６】
また別の例として、ステレオ画像処理やパターン光投影法等の画像認識技術を利用して画像から３次元情報を獲得する方法がある。画像自体は動画として撮影可能であるため、後段の情報処理を高速化することで、連続して高速に３次元情報を獲得できる余地があるが、画像の内容（見え方）のみが手掛かりである為、適用条件が制限されたり、得られる結果が不安定になりやすいという問題点がある。
【０００７】
次に、本発明における画像情報取得装置および方法が基礎と置いている技術に付いて述べる。
【０００８】
反射光が距離の２乗に反比例するという性質、すなわち、Ｖ＝ｎ／Ｄ２ （Ｖ：反射光の強さ、ｎ：係数、Ｄ：物体との距離）を利用して、カメラ側で発した照射光による反射光の輝度を参照することで、間接的に奥行き情報を得る手法が開示されている（例えば、特許文献１参照）。特許文献１記載の技術によれば、距離情報を算出する根拠となる反射光画像は、依然として画像の一種であるため、既存の動画撮影技術の応用により毎秒１０〜３０枚程度のフレームレートで距離情報を取得することが可能である。
【０００９】
しかし、反射光画像における反射光の強度は、対象との距離以外の、例えば対象の表面の反射係数などといった条件によって変動し、必ずしも実際の距離を反映していない場合がある。よって、反射光画像が真の距離情報を反映したものに近づくように、何らかの手段で反射光画像の輝度を補正しなければ、距離情報を取得する手段としては不十分である。
【００１０】
この問題に対して、反射光画像と共に一般の自然光画像を取得する手段を設けることで、対象の表面の色情報から対象の反射係数を推定し、補正する手法が開示されている（例えば、特許文献２参照）。
【００１１】
また、撮影対象物の表面が傾くことで反射光画像の輝度値が低下する現象に注目し、２種類の拘束条件を導入することで、輝度低下による誤差を補正する方法も開示されている（例えば、特許文献３）。
【００１２】
しかしながら、実際に撮影される反射光画像の輝度値は様々な要因によって構成されており、複数の要因の相互交絡による成分も含まれる。このため、前記の文献が言及している歪みの成分だけを除去しても、理論値と同じ値を示さない場合があるなど、反射光画像の輝度値から正確な距離の情報を得ることは依然として困難な問題である。
【００１３】
また、いくつかの要因は、結果から原因を求めることが不可能な不良設定問題となるため、反射光画像の輝度値から距離の情報だけを抽出することは極めて困難である。
【特許文献１】特開平１０−１７７４４９号公報
【特許文献２】Ｐ２００１−３８３８９３
【特許文献３】Ｐ２００４−１０９１０（←出願番号）
【発明の開示】
【発明が解決しようとする課題】
【００１４】
このように、従来は、撮像対象表面の反射率の違いや、撮像対象の傾きなどの複数の要因により、反射光画像から撮像対象の奥行き方向の正確な距離情報を得ることは困難であるという問題点があった。
【００１５】
そこで、本発明は、上記問題点に鑑み、複数の要因により生ずる反射光画像の歪みを容易に補正することができる画像取得方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明は、撮像対象に光を照射する発光手段と、前記撮像対象からの反射光を受光する受光手段と、前記受光手段で受光された反射光の強度分布から前記撮像対象の３次元形状を表す反射光画像を生成する画像生成手段を含む画像取得装置で、前記反射光画像を得、前記撮像対象の理想的な３次元形状を示す理想画像に対する前記反射光画像の歪みを補正するための変換行列を用いて、得られた反射光画像の各画素値を補正する。
【００１７】
好ましくは、前記画像取得装置で得られた反射光画像から前記撮像対象の概略形状を示す直流成分を削除した後の各画素値を各行列要素とする行列の逆行列と、前記理想画像から前記直流成分を削除した後の各画素値を各行列要素とする行列とを乗算することにより前記変換行列を生成し、取得された反射光画像から前記直流成分を削除した後の各画素値を各行列要素とする行列と前記変換行列とを乗算して、当該各画素値を補正した後、前記直流成分を加算する。
【発明の効果】
【００１８】
本発明によれば、複数の要因により生ずる反射光画像の歪みを容易に補正することができ、その結果、高精度の（奥行き方向の）距離情報を含む反射光画像を得ることができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施形態について図面を参照して説明する。
【００２０】
（第１の実施例）
図１は本発明の第１の実施形態における画像情報取得装置の構成例を示すブロック図である。図２は、図１の画像取得部１１及び画像情報処理部２２の構成例を示すブロック図である。図３は画像情報取得装置の外観図である。
【００２１】
図１の画像情報取得装置１０は、対象物１に光を照射し、その照射光による反射光を受光することにより、各画素値が反射光の強度を示し、各画素値が示す反射光の強度により対象物１までの距離情報及び対象物１の３次元形状を表す反射光画像を取得する。反射光画像を撮影することで対象物１の各部までの距離情報が得られる原理については後述する。
【００２２】
図１の画像情報取得装置１０は、対象物１の自然光画像、もしくは反射光画像を撮影する画像取得部１１と、画像取得部１１で取得された反射光画像に対し、画像処理を行う画像情報処理部２２と、画像情報取得装置１０のユーザ２が操作を行うための操作入力部１３および操作入力制御部１２と、ユーザ２に情報の呈示を行うための表示部１４および表示制御部１５と、ユーザ２に音声の呈示を行うための音声出力部１６と、ユーザ２が音声の入力を行うための音声入力部１７と、音声出力部１６および音声入力部１７を制御するための音声入出力制御部１８と、画像情報取得装置１０が、外部システム３と通信を行う為の通信入出力部１９と、画像情報取得装置１０の各構成部を制御するための情報処理部２０と、情報処理部２０が情報処理を行う際に情報を記憶する情報記憶部２１を含む。
【００２３】
このような構成により、画像情報取得装置１０はユーザ２の音声と画像の両方による通信を実現するテレビ電話装置として機能する。また、画像情報取得装置１０は、反射光画像を利用して獲得した三次元の形状情報による通信も実現する立体テレビ電話としても機能する。
【００２４】
次に、対象物の自然光画像、反射光画像を撮影する画像取得部１１及び画像情報処理部２２の詳細について、図２を参照して説明する。
【００２５】
画像取得部１１は、対象物１に照射する光を発光する発光部１１４と、対象物１の画像を光学的に結像させる撮像光学系１１１と、結像した反射光画像を光電変換し、電気信号として出力する撮像センサー１１２と、撮像センサー１１２の光電変換動作を制御する撮像回路１１３と、発光部１１４が発光している間に撮像センサー１１２内で発生した電荷を蓄積する第１の電荷蓄積部１１７と、発光部１１４が発光していない間に撮像センサー１１２内で発生した電荷を蓄積する第２の電荷蓄積部１１８と、第１の電荷蓄積部１１７の各セルの蓄積量から、第２の電荷蓄積量１１８の各セルの蓄電量を差し引いて、発光部１１４からの照射光のみによる反射光成分を取り出し、反射光画像を生成する反射光成分抽出部１１６と、上記各部を制御する制御部１１５を含む。反射光成分抽出部１１６からは生成された反射光画像が画像情報処理部２２へ出力される。
【００２６】
画像情報処理部２２は、画像取得部１１から出力された反射光画像を入力したり、演算部２２０での演算処理の結果得られる反射光画像を情報処理部２０へ出力する入出力部２１０と、入力された反射光画像に対する演算処理を行う演算部２２０と、演算部２２０で演算処理を行う際に参照するデータや、処理結果などを記憶する記憶部２３からなる。
【００２７】
次に、反射光画像を撮影することで距離情報が得られる原理について説明する。
【００２８】
一般に、反射光の強度は光源から対象物までの距離の二乗に反比例するという性質を持つ。これにより、撮影位置から発した照射光のみによって照らされた対象物の反射光画像を撮影することで、撮影位置から対象物１の各部までの距離情報を得ることが可能となる。
【００２９】
本実施形態においては、発光部１１４が画像取得部１１内に存在し、発光部１１４が発する照射光のみに照らされた反射光画像を撮影することで、対象物１の画像取得部１１からの距離情報を得ることが可能となる。
【００３０】
次に、画像情報取得装置１０が反射光画像を撮影する際の基本動作について説明する。
【００３１】
まず、発光部１１４が制御部１１５からの制御に従って照射光を発光する。撮像センサ１１２は、例えば２５６×２５６のマトリックス状に配列された複数のセンサからなり、マトリックス中の各センサにて受光された反射光の強度がそれぞれ画素値となる。第１及び第２の電荷蓄積部１１７、１１８は、撮像センサ１１２のマトリックス状の複数のセンサのそれぞれに対応し、各センサで発生した電荷を蓄積するための複数のセルをそれぞれ有する。発光している間に撮像センサー１１２内の各センサで発生した電荷は、第１の電荷蓄積部１１７に蓄積される。また、発光していない間に撮像センサー１１２内で発生した電荷は第２の電荷蓄積部１１８に蓄積される。
【００３２】
これにより、第１の電荷蓄積部１１７には発光部１１４が発した照射光と、最初から対象物１を照らしていた太陽光や照明光などの自然光の両方による反射光による電荷が蓄積される。また、第２の電荷蓄積部１１８には自然光のみによる反射光の電荷が蓄積される。
【００３３】
反射光成分抽出部１１６は、第１の電荷蓄積部１１７の各セルの蓄積量から、第２の電荷蓄積量１１８の各セルの蓄積量を差し引き、各セルについて、発光部１１４が発した照射光のみによる反射光成分の電荷量を抽出する。各セルの反射光成分の電荷量は各画素値に対応する。この結果、各画素値が発光部１１４の照射光のみによって照らされた対象物１からの反射光の強度を示す反射光画像が得られる。
【００３４】
図３は、簡単のため、２５６×２５６画素の反射光画像の一部である８×８画素の反射光画像の場合について示している。
【００３５】
物体からの反射光は、物体の距離が大きくなるにつれ大幅に減少する。物体の表面が一様に光を散乱する場合、反射光画像１画素あたりの受光量は物体までの距離の２乗に反比例して小さくなる。
【００３６】
反射光画像の各画素値は、その画素に対応する単位受光部（マトリックス状に配置された各センサ）で受光した反射光の量を表す。反射光は、物体の性質（光を鏡面反射する、散乱する、吸収する、など）、物体の向き、物体の距離などに影響されるが、物体全体が一様に光を散乱する物体である場合、その反射光量は物体までの距離と密接な関係を持つ。手などは、このような性質をもつため、手の反射光画像は、手までの距離、手の傾き（部分的に距離が異なる）などを反映する図５に示したような３次元的なイメージを得ることができる。
【００３７】
図６は、例えば、特願平９−２９９６４８号に記載されているような画像取得部１１を構成する発光部１０１と、撮像光学系１１１及び撮像センサ１１２を含む受光部１２０の外観の一例を示したもので、中央部には円形レンズ（撮像光学系１１１）とその後部にある撮像センサ１１２（図示せず）から構成される受光部１１２０が配置され、円形レンズの周囲にはその輪郭に沿って、赤外線などの光を照射するＬＥＤから構成される発光部１１４が複数（例えばここでは６個）等間隔に配置されている。
【００３８】
発光部１１４から照射された光が物体に反射され、受光部１２０のレンズにより集光され、レンズの後部にある撮像センサ１１２で受光される。撮像センサ１１２は、例えば２５６×２５６のマトリックス状に配列されたセンサで、マトリックス中の各センサにて受光された反射光の強度がそれぞれ画素値となる。このようにして取得された画像が、図４に示すような反射光の強度分布としての反射光画像である。
【００３９】
図４は、反射光画像データの一部（２５６×２５６画素の一部の８×８画素）を示したものである。この例では、行列中のセルの値（画素値）は、取得した反射光の強さを２５６ビットで示したものである。例えば、「２５５」の値があるセルは、画像取得部１１に最も接近した状態、「０」の値があるセルは、画像取得部１１から遠くにあり、反射光が画像取得部１１にまで到達しないことを示している。
【００４０】
図５は、図４に示したようなマトリックス形式の反射光画像データ全体を３次元的に示したものである。この例では、（発光部１１４が発した照射光のみによる反射光成分で表された）人間の手の反射光画像データの場合を示している。
【００４１】
図７に、画像取得部１１により取得・生成された、（発光部１１４が発した照射光のみによる反射光成分で表された）手の反射光画像の例を示す。反射光画像は、奥行き情報を有する３次元画像で、例えば、ｘ軸（横）方向６４画素、ｙ軸（縦）方向６４画素、ｚ軸（奥行き）方向２５６階調の画像になっている。図６は、反射光画像の距離値、すなわちｚ軸方向の階調をグレースケールで表現したもので、この場合、色が黒に近いほど画像取得部１１からの距離が近く、白に近くなるほど距離が遠いことを示している。また、色が完全に白のところは、画像がない、あるいはあっても遠方でないのと同じであることを示している。
【００４２】
物体からの反射光の強さは当該物体までの距離の２乗に反比例して小さくなる。すなわち、距離画像中の各画素（ｉ、ｊ）の画素値をＱ（ｉ、ｊ）とすると、
Ｑ（ｉ、ｊ）＝Ｋ／ｄ２ …（１）
と表すことができる。
【００４３】
ここで、Ｋは、例えば、ｄ＝０．５ｍのときに、Ｒ（ｉ、ｊ）の値が「２５５」になるように調整された係数である。上式をｄについて解くことで、距離値を求めることができる。
【００４４】
このように、画像取得部１１で生成される、反射光の強度分布を示す反射光画像の各画素値（輝度値）は、撮像対象の凹凸形状を表す距離情報を示している。また、各画素に対応する実際の距離値（距離情報）は、上記（１）式から算出することができる。
【００４５】
次に、反射光画像から対象物１の形状（奥行き値）を求める手順について説明する。本実施形態では、画像情報取得装置１０を立体テレビ電話装置として使用するため、ユーザ２の顔が図１の対象物１となる。従って、ここでは、図８（ａ）に示すようなユーザ２の顔面４１１の反射光画像４１０を撮影し、顔面の３次元形状を獲得する場合を例にとり説明する。
【００４６】
図８（ａ）に示すように、撮像される反射光画像４１０は縦４０×横３０画素で構成され、画面中央に人物の顔面を写している。基本的には、反射光画像４１０の輝度の濃淡を距離情報に読み替えることで、対象物である顔面４１１の３次元形状データが得られる仕組みとなる。
【００４７】
次に、図８（ｂ）（ｃ）を参照して、反射光画像４１０中の奥行き値について説明する。図８（ｂ）および図８（ｃ）は、顔面４１１の線４１２の位置における断面形状を示したもので、図８（ｂ）は顔面４１１の真値による断面形状を示したもので、反射光画像によって取得される奥行き値の理想的な状況を示している。一方、図８（ｃ）は顔面４１１の反射光画像の輝度値をそのまま奥行き値に読み替えた場合に得られる断面形状の一例を示しており、図８（ｂ）に示す真値と比較して、鼻の頂点が低い、両頬が盛り上がっている、鼻の両側面がへこんでいる、等の誤差（歪み）の発生が認められる。なお、反射光画像によって得られる奥行き値は画像に撮影される部分、つまり表側に限られるので、得られる断面形状は奥行き（Ｚ軸）方向に対する一価の凸形状となる。
【００４８】
反射光画像から得られる、上記のような誤差（歪み）は、撮像対象の表面に鏡面反射の性質があることや、対象の表面が傾いていることなどの複数の歪み要因と、それぞれの効果の交絡によってもたらされる。
【００４９】
従来は、逆算可能ないくつかの誤差要因に注目して、その要因による誤差だけを補正していた。しかし、既に述べたように画素値の歪みは複数の要因によってもたらされている為、一部の要因による歪みの成分だけを除去しても、図８（ｂ）に示すような良好な形状への補正は困難である。
【００５０】
そこで、画像情報処理部２２は、このような複数の要因の交絡により生じた誤差（歪み）を包括的に修正し、反射光画像から良好な形状情報を獲得するようになっている。
【００５１】
次に、画像情報処理部２２の処理動作について説明する。
【００５２】
以後、（画像取得部１１から出力された）各画素値が撮像対象からの反射光の強度（輝度値）を示し、これにより撮像対象の３次元形状を表す反射光画像を処理対象として説明する。なお、本実施形態は、この場合に限らず、各画素値が実際の距離値を示し、これにより撮像対象の３次元形状を表す反射光画像を処理対象として用いてもよい。この場合、画像情報処理部２２は、まず、画像取得部１１から出力された反射光画像の各画素値（輝度値）を前述の（１）式を用いて、反射光画像の奥行き方向の距離情報に変換する。すなわち、画像取得部１１から出力された反射光画像の各画素値（輝度値）を前述の（１）式のＱとすることにより、実際の距離情報ｄが算出される。
【００５３】
画像情報処理部２２は、例えば、図８（ｃ）に示すような反射光画像の歪みを取り除いくために、補正処理用の変換行列（ここでは、変換カーネルと呼ぶ）を用いた畳み込み演算を行い、反射光画像の輝度値の分布を、望ましい輝度値の分布に変換する。
【００５４】
図９、図１０は、画像情報処理部２２の処理動作を説明するためのフローチャートである。以下、図９及び図１０に示すフローチャートに従って、説明する。
【００５５】
最初に、補正処理用の変換カーネルを新たに生成するか、もしくは予め準備されている既定の変換カーネルをロードする（ステップＳ１〜ステップＳ２）。変換カーネルの構成と生成手順（ステップＳ２１〜ステップＳ２８）については、後で詳述する。
【００５６】
次に、画像取得部１１が対象物１の反射光画像を撮影して、画像情報処理部２２の入出力部２１０内の入力バッファ（図示せず）に取り込む（ステップＳ３〜ステップＳ４）。演算部２２０は、まず、取り込まれた反射光画像中に補正処理の対象となる輝度パターンが存在するかどうかの検出処理を行う（ステップＳ５〜ステップＳ６）。本実施形態では、ユーザ２の顔を撮影して形状を獲得することが目的であるから、反射光画像中から顔の画像領域を示す輝度パターンの検出を行う。顔の画像領域を示す輝度パターン（各画素値が実際の距離値を示し、これにより撮像対象の３次元形状を表す反射光画像を処理対象として用いる場合には、上記輝度パターンの各輝度値を距離値に変換することにより得られる顔の画像領域を示す距離値パターン）が見つかった場合、後段の処理で参照する大きさや縦横比などの特徴パラメータを計測する（ステップＳ７）。もし、得られた特徴パラメータが対応可能な範囲であれば、当該顔の画像領域、すなわち、処理対象の画素数を決定し、変換カーネルサイズとローパスフィルタのサイズに反映する（ステップＳ８〜ステップＳ１１）。もし、得られた特徴パラメータが対応可能な範囲を超えていたらエラー処理を行う（ステップＳ３１、ステップＳ３２）。
【００５７】
次に、大きさ以外の特徴パラメータを参照して変換カーネルの種類を選択する（ステップＳ１０）。適切な変換カーネルが選択出来ない場合は、変換カーネルを再構成するか、もしくはエラー処理をするかの判断を行う（ステップＳ１１、ステップＳ４１）。
【００５８】
変換カーネルの選択が完了すると、この変換カーネルを用いて入力データ（入力バッファ内の反射光画像）の補正を行うが、実際の演算は、まず、入力データから直流成分を除いた差分データ（入力差分データ）に対して行う。このために、入力データに対し前処理を行う（図９のステップＳ１２〜ステップＳ１４）。また、補正後のデータ（補正差分データ）に関しても同様に直流成分が除かれているため、補正後のデータに直流成分を加えて補正後画像を生成する後処理を行う（ステップＳ１６）。これは、生の画素値をそのまま利用して変換カーネルによる畳み込み演算を行うと、画素値配列に含まれる直流成分が同時に畳み込まれて大きな値となり、処理が安定しなくなるという問題が発生するためである。これら、直流成分の具体的な取り扱いについては後で詳述する。
【００５９】
ステップＳ１５では、変換カーネルを用いて入力差分データを、歪みを取り除いた補正差分データに変換するための変換処理を行う。すなわち、この変換処理によって、歪んだ位相の凹凸を含む反射光画像が正しい凹凸に基づく反射光画像に変換されるが、実際には変換カーネルが想定している入力画像と実際の入力画像が完全に一致するわけではないので、部分的に突起ノイズが発生したり、補正対象である顔の画像の外側に畳み込み処理の副作用による擬輪郭が出現することがある。これらのノイズを除去する為、補正後の反射光画像（補正後画像）に対してスムージングやマスキング等の整形処理を行い、最終結果が出力される（ステップＳ１７〜ステップＳ１８）。
【００６０】
次に、図１０のステップＳ１２〜ステップＳ１６の処理について、より具体的に説明する。入力バッファ内の処理対象の反射光画像は、２次元の画像データであるが、ここでは、反射光画像のある断面形状を示す画素列、すなわち、一次元の画像データを例にとり説明する。
【００６１】
図１１（ａ）は、入力バッファ内の補正対象の反射光画像のある断面形状を示す、一次元の画像データ、すなわち、入力データを示したものである。この入力データは、例えば、図８（ｃ）の顔面４１１の線４１２の位置における断面形状を示す画像データである。前述したように、各画素値は、輝度値を示している。輝度「１６０」の画素を中心に、左右に１０画素ずつ、合計２１画素の幅で顔面が撮影されていて、大局的には３つの凸形状を持つ、ちょうど図８（ｃ）に示した形状が表されている。
【００６２】
図８（ｃ）に示した形状を示す入力データを、図８（ｂ）に示したような、大局的には半円状の中央に一つの凸形状を持つ理想的な形状を示す理想データに変換することが、補正処理の目的である。
【００６３】
ステップＳ１４では、図１１（ａ）の入力データから直流成分（図１１（ｂ）のローパスデータ）を除去した入力差分データ（図１１（ｃ））を求め、ステップＳ１５で、入力差分データを変換カーネル（図１１（ｆ））を用いて補正差分データ（図１１（ｅ））に変換し、ステップＳ１６では、補正差分データに直流成分（図１１（ｂ）のローパスデータ）を加えて、補正後データ（図１１（ｄ））を生成する。この補正後データが目標とする理想データに近似するように、変換カーネルが生成される。
【００６４】
図１２は、図１１の入力データ、補正後データ、および変換カーネルの関係を行列演算式の形式で模式的に示したものである。実際の行列演算で用いられる入力データ５１１および出力データ５１３は、既に述べたように生の画素値によって構成される図１１（ａ）の入力データおよび図１１（ｄ）の補正後データではなく、これらの値から直流成分を除去した入力差分データ（図１１（ｃ））および補正差分データ（図１１（ｅ））である。よって、変換カーネルによる畳み込み演算を行う前に、処理対象の画素値配列に含まれる直流成分を除去した図１１（ｃ）の入力差分データを求めておく。これがステップＳ１２〜ステップＳ１４の処理である。
【００６５】
一般的に、数列データの直流成分は各数値の平均値と考えられるが、本実施形態では直流成分の意味を、補正処理の前後でも変化が無い程度の大局的な特徴成分と考えることとする。例えば、本実施形態では人物の顔面を撮影対象としているが、人物の顔面の形状は非常に大雑把に表現すると縦長の楕円球形状（の表側）であり、この程度の特徴は補正前の反射光画像にも、補正後の反射光画像にも大差なく含まれる。よって、人物の顔面を撮影対象とした場合は、平均的、典型的な輝度値により表された、縦長の楕円球（の表側）の形状的特徴、すなわち、概略形状を示す成分を直流成分と解釈し、この直流成分に対する変動成分を補正処理の対象とする。これにより、反射光画像における距離の歪みの成分に絞った効率的な補正処理が可能となる。
【００６６】
撮像対象（例えば、本実施形態では人物の顔面）の３次元的な概略形状が直流成分であり、この直流成分を示す画像を、ここではローパス画像と呼ぶ。人物の顔面が撮像対象である場合には、例えば、多くの人物の顔面の反射光画像から平均的、典型的な反射光画像を求めて、それをローパス画像として用いることもできるが、本実施形態では、補正対象の各反射光画像から、当該反射光画像に対応するローパス画像を生成する。
【００６７】
ローパス画像の生成方法（ステップＳ１２、ステップＳ１３）について説明する。
【００６８】
ステップＳ１２では、まず、補正対象の反射光画像に適用するローパスフィルタとして所定の大きさの半径のローパスフィルタを選択する。ここでは、半径３画素（直径７画素）のローパスフィルタを選択するものとする。そして、ステップＳ１３では、このローパスフィルタを用いて補正対象の反射光画像の情報量の低減化を行い、上記ローパス画像を生成する。
【００６９】
すなわち、上記半径３画素のローパスフィルタを用いる場合、ローパス画像の任意の画素について、補正対象の反射光画像の当該任意の画素に対応する画素の前後３画素（当該任意の画素に対応する画素を含めて全部で７画素）の画素値の平均値を算出する。この値を当該任意の画素の画素値とするローパス画像を生成する。
【００７０】
図１１（ｂ）は、上記ローパス画像の生成方法を用いて、図１１（ａ）の入力データから生成されたローパスデータである。
【００７１】
図１１（ｃ）の入力差分データは、図１１（ａ）の入力データから、直流成分にあたる図１１（ｂ）のローパスデータを引いたものであり、変換カーネルによる畳み込み処理は、図１１（ｃ）の入力差分データに対して行われる。また、畳み込み処理によって得られる補正処理後のデータが図１１（ｅ）の補正差分データであるが、この補正差分データも同様に直流成分を含まないので、直流成分である図１１（ｂ）のローパスデータを加算して正しい構成に戻したものが、図１１（ｄ）の補正後データとなる。
【００７２】
次に、畳み込み演算で使用する変換カーネル（変換行列）を求める具体的な方法（ステップＳ２１〜ステップＳ２８）について説明する。
【００７３】
本実施形態において、変換カーネルは事前に準備されていて、画像の撮影中は適切な変換カーネルを選択することで補正処理を行うが、事前に変換カーネルを構築する際や、処理ループの途中で動的に変換カーネルを変更する必要がある場合には変換カーネル自体を求める計算が必要となる。
【００７４】
図１３は、変換カーネル５１２を求める行列演算を模式的に示したものである。図１３の行列演算は、図１２の畳み込みによる補正処理の行列演算と対になっており、図１２の行列演算式の左右両辺に、図１１（ａ）の１次元の入力データを示す行列（ここでは、正方行列で表している）５１１の逆行列５１４を掛けることで、変換カーネル５１２が得られる。よって、変換カーネル５１２を求めるためには、入力データ５１１と目標とする理想データを予め定めておく。そして、この理想データを、変換カーネル５１２を求める際の補正後データ５１３として用いる。以後、変換カーネル５１２を求める際の補正後データ５１３を理想データ５１３と読み替える。
【００７５】
本実施形態では人物の顔面を撮影対象としているので、例えば、入力データ５１１には本実施形態における画像取得部１１が撮影した反射光画像の（平均的な）データを用い、理想データ５１３には、理想的な平均顔の形状データを用いる。この場合、理想データは、撮像対象の３次元形状（表面に凸部、凹部を含む）を示す距離情報を正確に表すものであることが望ましい。従って、多くの人物の顔面の３次元形状の奥行き情報（距離情報）から、平均的、典型的な顔面の３次元形状の奥行き情報（距離情報）を示す画像データ（各画素値が奥行き方向の実際の距離値ｄを示す場合には、前述の（１）式を用いて、各画素値ｄを光りの強さＱに直し、反射光画像と同様、光の強度（輝度値）分布により３次元形状を示す画像データに変換したもの）を予め作成しておき、これを撮像対象の理想データ５１３として用いる。
【００７６】
また、特定の人物に特化してチューニングされた変換カーネルを得たい場合には、入力データ５１１に本実施形態における画像取得部１１で当該人物の顔を撮影して得られる反射光画像のデータを導入し、理想データ５１３には、当該人物の顔をレーザーレンジカメラなどの正確な距離情報が得られる手段で計測した形状データを用いる。この場合、各画素値は、当該人物の奥行き方向の正確な距離値を示すため、前述の（１）式を用いて、各画素値ｄを光りの強さＱに直し、反射光画像と同様、光の強度分布により３次元形状を示す画像データに変換して、それを理想データ５１３として用いる。
【００７７】
変換カーネルは、撮像対象全体の理想データから生成することが望ましいが、この場合に限らず、撮像対象の３次元形状のうち、凹凸が最も激しい部分の断面形状、例えば、撮像対象が人物の顔面である場合には、図８（ａ）の顔面４１１の線４１２の位置のように、鼻の頂点、両頬を含む部分についての図８（ｂ）に示すような断面形状を示す理想データのみから生成される変換カーネルを用いても、同様な効果が得られる。そこで、ここでは、図８（ｂ）に示すような断面形状を示す理想データ（図１１（ｄ））のみから変換カーネルを生成する場合について説明する。
【００７８】
変換カーネルを生成する際に用いる理想データは、画像情報処理部２２の記憶部２３０に予め記憶されている。演算部２２０は、記憶部２３０から理想データ（図１１（ｄ））を読み出し（ステップＳ２１）、さらに、変換カーネルを生成する際に用いる入力データ（図１１（ａ））を読み出す（ステップＳ２２）。画像取得部１１で予め取得しておいた入力データを記憶部２３０に予め記憶しておき、これを用いる場合には、記憶部２３０から当該入力データを読み出す。あるいは、ステップＳ３で取得した入力データ（入力バッファに一時記憶されている）を用いるのであれば、これを入力バッファから読み出す。読み出された理想データのサイズに合わせてカーネルサイズ（行の数及び列の数）を決定する（ステップＳ２３）。例えば、理想データがｎ×１画素であれば、ｎ行×１列とする。なお、理想データが撮像対象全体のｎ×ｎ画素の理想画像であれば、カーネルサイズもｎ行×ｎ列となる。
【００７９】
次に、前述のステップＳ１２及びステップＳ１３と同様にして、当該入力データ（図１１（ａ））からローパスデータ（図１１（ｂ））を生成し（ステップＳ２４、ステップＳ２５）、理想データから当該ローパスデータを差し引いて、理想差分データ（図１１（ｅ））を生成する（ステップＳ２６）。また、入力データからも当該ローパスデータを差し引いて、入力差分データ（図１１（ｃ））を生成する（ステップＳ２７）。そして、入力差分データを表した行列（ここでは、入力差分データの各画素値を各行列要素とするｎ行１列の行列をｎ行ｎ列の行列に展開して正方行列で表している）の逆行列５１４を算出する。図１３に示すように、逆行列５１４と理想差分データとを乗算することで、変換カーネル５１２が求まる（ステップＳ２８）。
【００８０】
図１１（ｆ）の変換カーネルは、図１１（ｄ）を理想データ、図１１（ａ）を入力データとし、図１１（ｅ）に示すような理想差分データ、及び図１１（ｃ）に示すような入力差分データから図１３に示す行列演算を行った結果得られる変換カーネルである。
【００８１】
人物の顔面の反射光画像を撮影して得られる断面形状は図８（ｃ）に示すような形状ばかりではない。しかし、変換カーネルによる畳み込み処理では、複数の値の重畳によって１つの出力が決まるため、多少の誤差は吸収し、大局的な位相を安定して変換できるという性質がある。この性質により、上記ステップＳ１２〜ステップＳ１６の補正処理では、変換カーネルを生成する際に用いた反射光画像（入力データ）と、実際の補正対象の入力データに差違があっても安定した出力が得られる点が長所である。もちろん、入力データが示す形状は様々に変化する可能性がある為、入力データによっては変換カーネルが突起ノイズ等を出力する場合も有り得る。この様な場合を想定して、図１０の最終結果を出力するステップＳ１８の１つ前のステップＳ１７では、生成した補正後画像に対してノイズ除去などの整形処理を施し、万全を期している。
【００８２】
しかし、上記ｎ行１列の列ベクトルの変換カーネルを用いた補正処理は、特徴的な１つの断面についての変換カーネルを全画面に適用することとなる為、演算量が少なくて済むという長所がある一方、大局的な特徴以外の詳細な形状情報が正確に補正されなかったり、情報がなまってしまったりという短所も存在する。よって、真に精度良く補正処理を行う為には、入力画像、理想画像ともにｎ行ｎ列の正方行列を使用し、ｎ行ｎ列の正方行列で構成される変換カーネルによって補正処理を実行する必要がある。ｎ行ｎ列の正方行列を利用した補正処理については、第２の実施形態で説明する。
【００８３】
（第２の実施形態）
第２の実施形態における画像情報取得装置の構成は図１と同様であり、また、第２の実施形態における画像取得部１１及び画像情報処理部２２の詳細な構成は図２と同様である。また、第２の実施形態において、照射光による反射光の画像を撮影して、三次元の形状情報を取得する原理についても第１の実施形態と同様である。
【００８４】
第２の実施形態において、第１の実施形態と異なる点は、入力画像を理想画像に変換する際の変換カーネルによる畳み込み演算の内容である。第１の実施形態では、入力画像を理想画像に変換する演算に用いられる変換カーネルは、ｎ行１列の列ベクトルであったが、第２の実施形態ではｎ行ｎ列の正方行列となる。
【００８５】
図１４は、ｎ行ｎ列の正方行列の変換カーネルによる畳み込み計算の概念を示したもので、図１２と同様に、入力データ、補正後データ、および変換カーネルの関係を行列演算式の形式で模式的に示している。なお、図１４では、入力データ及び補正後データがともに２次元の画像データであり、その各画素値が各行列エレメントとなるｎ行ｎ列の正方行列で表している。また、変換カーネルも入力データ及び補正後データと同様、ｎ行ｎ列の正方行列である。これ以外は、図１２の説明がそのまま当てはまる。
【００８６】
図１５は、図１４の入力データと理想データの関係から変換カーネルを求める計算の概念を行列演算式の形式で示したものである。なお、図１４では、入力データ及び理想データがともに２次元の画像データであり、その各画素値が各行列エレメントとなるｎ行ｎ列の正方行列で表している。また、変換カーネルも入力データ及び補正後データと同様、ｎ行ｎ列の正方行列である。これ以外は、図１４の説明がそのまま当てはまる。
【００８７】
第２の実施形態における、画像情報処理部２２の処理動作も図９及び図１０に示すフローチャートと同様であるが、図９のステップＳ２１〜ステップＳ２８の変換カーネル生成処理において、図１５に示すｎ行ｎ列の正方行列による行列演算となり、図１０のステップＳ１５の変換カーネルを用いた変換処理において、図１４に示すｎ行ｎ列の正方行列による行列演算となる。これ以外は、図９及び図１０の説明がそのまま当てはまる。
【００８８】
以上説明したように、上記第１及び第２の実施形態によれば、撮像対象に発光部１１４等を含む発光手段により光を照射し、撮像対象からの反射光を撮像光学系１１１，撮像センサー１１２等を含む受光手段で受光することにより、画像取得部１１は、受光された反射光の強度分布から撮像対象の３次元形状を表す反射光画像を生成する。さらに、画像情報処理部２２で、各画素値を距離情報そのものに変換してもよい。（画像取得部１１及び画像情報処理部２２を含むものが画像取得装置（図１には図示せず）に相当する。）取得された反射光画像から撮像対象の概略形状を示す直流成分を削除した後の各画素値を各行列要素とする行列の逆行列と、当該理想画像から直流成分を削除した後の各画素値を各行列要素とする行列とを乗算することにより、撮像対象の理想的な３次元形状を示す理想画像に対する反射光画像の歪みを補正するための変換行列を生成する。そして、当該変換行列を用いて、画像取得部１１で取得された補正対象の反射光画像の各画素値を補正することにより、撮像対象表面の反射率の違いや、撮像対象の傾きなどの複数の要因により生ずる反射光画像の歪みを容易に補正することができ、その結果、高精度の（奥行き方向の）距離情報を含む反射光画像を得ることができる。
【００８９】
すなわち、複数の要因の交絡によって歪められた反射光画像の各画素値（輝度値）を、個別の要因毎に補正するのではなく、歪みを含む見かけの輝度分布と、対象物の真の形状から導出される理想的な反射光画像（理想画像）の輝度分布との対応関係に注目し、畳み込み演算によって、特定の輝度値分布を別の特定の輝度値分布に変換する画像情報処理の手法を利用して、上記歪みを含む輝度値の分布を、望ましい輝度値の分布に包括的に変換することで、奥行き情報における立体の位相（凹凸関係）の精度を向上させることができる。
【００９０】
なお、以上の図１の各構成部は、画像取得部１１を除いて、ソフトウェアとしても実現可能である。特に、図９及ぶ図１０のフローチャートに示した画像情報処理部２２の処理手順は、コンピュータに実行させることのできるプログラムとして機械読みとり可能な記録媒体に記録して頒布することができる。
【００９１】
また、上記第１及び第２の実施形態では、変換カーネルを生成する際に、反射光画像に合わせて、光の強度分布により撮像対象の３次元形状を示す理想データを用いて、輝度値を各行列要素とする行列演算を行う場合について説明したが、反射光画像の各画素値（Ｑ）を前述の（１）式を用いて距離情報ｄに直し、各画素値が撮像対象の奥行き方向の実際の距離値を示すデータに変換し、当該データと、各画素値が撮像対象の奥行き方向の距離値を示す理想データ（例えば、レーザーレンジカメラで取得された形状データ）とを用いて、距離値を各行列要素とする、図１３、図１５に示すような行列演算を行い、変換カーネルを生成しても全く同様の効果が得られる。
【００９２】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００９３】
【図１】本発明の実施形態にかかる画像情報取得装置の構成例を示した図。
【図２】図１の画像取得部及び画像情報処理部の構成例を示した図。
【図３】図１の画像情報取得装置の外観図。
【図４】反射光画像をマトリックス状に示した図。
【図５】反射光画像を３次元的に示した図。
【図６】画像取得部を構成する発光部と受光部の外観の一例を示した図。
【図７】反射光画像の一具体例を示した図。
【図８】人物の画面の反射光画像について説明するための図。
【図９】画像情報処理部の処理動作を説明するためのフローチャート。
【図１０】画像情報処理部の処理動作を説明するためのフローチャート。
【図１１】画像情報処理部の処理動作を説明するための図。
【図１２】畳み込みによる補正処理（変換処理）を説明するための図。
【図１３】変換カーネルの生成方法を説明するための図。
【図１４】畳み込みによる補正処理（変換処理）を説明するための図。
【図１５】変換カーネルの生成方法を説明するための図。
【符号の説明】
【００９４】
１０…画像情報取得装置、１１…画像取得部、１２…操作入力制御部、１３…操作入力部、１４…表示部、１５…表示制御部、１６…音声出力部、１７…音声入力部、１８…音声入出力制御部、１９…通信入出力部、２０…情報処理部、２１…情報記憶部、２２…画像情報処理部。
【技術分野】
【０００１】
本発明は、反射光画像を撮影し、当該撮像した反射光画像を利用することで撮影対象までの距離の情報を取得する装置にかかり、特に、得られた反射光画像の輝度値に含まれる歪みを、包括的に修正することで、得られる凹凸情報の大局的な整合性を向上させた画像情報取得装置および画像情報取得方法、画像情報操作方法に関する。
【背景技術】
【０００２】
従来から、コンピュータをはじめとする各種情報機器において、空間内の３次元情報を正確に効率良く入力できる手段を実現することは、有意義だが困難な目標とされてきた。
【０００３】
既に考案、開発されている３次元情報の取得装置、取得方法は、それぞれが立脚する原理によって、様々な長所および短所が存在する。
【０００４】
例えば、対象をニードルでなぞり、そのニードルの先端の位置を記録してゆく機械的な計測方法がある。この技術は、対象の正確な３次元情報が獲得出来るという長所がある一方で、直接干渉することが可能な物体に利用が限られるという欠点がある。また、逐次的に情報を蓄積するため、ある特定の範囲全体の３次元情報を獲得するには時間が掛かるという問題点もある。
【０００５】
また別の例として、レーザー光を照射して対象までの距離を計測するレーザーレンジカメラ等の測量的な計測方法がある。この技術で使用する装置はレーザー光を使用した特殊な機器であるため、高価であり、操作が難しいという欠点がある。また、レーザー光による走査時間が必要なため、動画のように連続して３次元情報を獲得することは出来ない。
【０００６】
また別の例として、ステレオ画像処理やパターン光投影法等の画像認識技術を利用して画像から３次元情報を獲得する方法がある。画像自体は動画として撮影可能であるため、後段の情報処理を高速化することで、連続して高速に３次元情報を獲得できる余地があるが、画像の内容（見え方）のみが手掛かりである為、適用条件が制限されたり、得られる結果が不安定になりやすいという問題点がある。
【０００７】
次に、本発明における画像情報取得装置および方法が基礎と置いている技術に付いて述べる。
【０００８】
反射光が距離の２乗に反比例するという性質、すなわち、Ｖ＝ｎ／Ｄ２ （Ｖ：反射光の強さ、ｎ：係数、Ｄ：物体との距離）を利用して、カメラ側で発した照射光による反射光の輝度を参照することで、間接的に奥行き情報を得る手法が開示されている（例えば、特許文献１参照）。特許文献１記載の技術によれば、距離情報を算出する根拠となる反射光画像は、依然として画像の一種であるため、既存の動画撮影技術の応用により毎秒１０〜３０枚程度のフレームレートで距離情報を取得することが可能である。
【０００９】
しかし、反射光画像における反射光の強度は、対象との距離以外の、例えば対象の表面の反射係数などといった条件によって変動し、必ずしも実際の距離を反映していない場合がある。よって、反射光画像が真の距離情報を反映したものに近づくように、何らかの手段で反射光画像の輝度を補正しなければ、距離情報を取得する手段としては不十分である。
【００１０】
この問題に対して、反射光画像と共に一般の自然光画像を取得する手段を設けることで、対象の表面の色情報から対象の反射係数を推定し、補正する手法が開示されている（例えば、特許文献２参照）。
【００１１】
また、撮影対象物の表面が傾くことで反射光画像の輝度値が低下する現象に注目し、２種類の拘束条件を導入することで、輝度低下による誤差を補正する方法も開示されている（例えば、特許文献３）。
【００１２】
しかしながら、実際に撮影される反射光画像の輝度値は様々な要因によって構成されており、複数の要因の相互交絡による成分も含まれる。このため、前記の文献が言及している歪みの成分だけを除去しても、理論値と同じ値を示さない場合があるなど、反射光画像の輝度値から正確な距離の情報を得ることは依然として困難な問題である。
【００１３】
また、いくつかの要因は、結果から原因を求めることが不可能な不良設定問題となるため、反射光画像の輝度値から距離の情報だけを抽出することは極めて困難である。
【特許文献１】特開平１０−１７７４４９号公報
【特許文献２】Ｐ２００１−３８３８９３
【特許文献３】Ｐ２００４−１０９１０（←出願番号）
【発明の開示】
【発明が解決しようとする課題】
【００１４】
このように、従来は、撮像対象表面の反射率の違いや、撮像対象の傾きなどの複数の要因により、反射光画像から撮像対象の奥行き方向の正確な距離情報を得ることは困難であるという問題点があった。
【００１５】
そこで、本発明は、上記問題点に鑑み、複数の要因により生ずる反射光画像の歪みを容易に補正することができる画像取得方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明は、撮像対象に光を照射する発光手段と、前記撮像対象からの反射光を受光する受光手段と、前記受光手段で受光された反射光の強度分布から前記撮像対象の３次元形状を表す反射光画像を生成する画像生成手段を含む画像取得装置で、前記反射光画像を得、前記撮像対象の理想的な３次元形状を示す理想画像に対する前記反射光画像の歪みを補正するための変換行列を用いて、得られた反射光画像の各画素値を補正する。
【００１７】
好ましくは、前記画像取得装置で得られた反射光画像から前記撮像対象の概略形状を示す直流成分を削除した後の各画素値を各行列要素とする行列の逆行列と、前記理想画像から前記直流成分を削除した後の各画素値を各行列要素とする行列とを乗算することにより前記変換行列を生成し、取得された反射光画像から前記直流成分を削除した後の各画素値を各行列要素とする行列と前記変換行列とを乗算して、当該各画素値を補正した後、前記直流成分を加算する。
【発明の効果】
【００１８】
本発明によれば、複数の要因により生ずる反射光画像の歪みを容易に補正することができ、その結果、高精度の（奥行き方向の）距離情報を含む反射光画像を得ることができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施形態について図面を参照して説明する。
【００２０】
（第１の実施例）
図１は本発明の第１の実施形態における画像情報取得装置の構成例を示すブロック図である。図２は、図１の画像取得部１１及び画像情報処理部２２の構成例を示すブロック図である。図３は画像情報取得装置の外観図である。
【００２１】
図１の画像情報取得装置１０は、対象物１に光を照射し、その照射光による反射光を受光することにより、各画素値が反射光の強度を示し、各画素値が示す反射光の強度により対象物１までの距離情報及び対象物１の３次元形状を表す反射光画像を取得する。反射光画像を撮影することで対象物１の各部までの距離情報が得られる原理については後述する。
【００２２】
図１の画像情報取得装置１０は、対象物１の自然光画像、もしくは反射光画像を撮影する画像取得部１１と、画像取得部１１で取得された反射光画像に対し、画像処理を行う画像情報処理部２２と、画像情報取得装置１０のユーザ２が操作を行うための操作入力部１３および操作入力制御部１２と、ユーザ２に情報の呈示を行うための表示部１４および表示制御部１５と、ユーザ２に音声の呈示を行うための音声出力部１６と、ユーザ２が音声の入力を行うための音声入力部１７と、音声出力部１６および音声入力部１７を制御するための音声入出力制御部１８と、画像情報取得装置１０が、外部システム３と通信を行う為の通信入出力部１９と、画像情報取得装置１０の各構成部を制御するための情報処理部２０と、情報処理部２０が情報処理を行う際に情報を記憶する情報記憶部２１を含む。
【００２３】
このような構成により、画像情報取得装置１０はユーザ２の音声と画像の両方による通信を実現するテレビ電話装置として機能する。また、画像情報取得装置１０は、反射光画像を利用して獲得した三次元の形状情報による通信も実現する立体テレビ電話としても機能する。
【００２４】
次に、対象物の自然光画像、反射光画像を撮影する画像取得部１１及び画像情報処理部２２の詳細について、図２を参照して説明する。
【００２５】
画像取得部１１は、対象物１に照射する光を発光する発光部１１４と、対象物１の画像を光学的に結像させる撮像光学系１１１と、結像した反射光画像を光電変換し、電気信号として出力する撮像センサー１１２と、撮像センサー１１２の光電変換動作を制御する撮像回路１１３と、発光部１１４が発光している間に撮像センサー１１２内で発生した電荷を蓄積する第１の電荷蓄積部１１７と、発光部１１４が発光していない間に撮像センサー１１２内で発生した電荷を蓄積する第２の電荷蓄積部１１８と、第１の電荷蓄積部１１７の各セルの蓄積量から、第２の電荷蓄積量１１８の各セルの蓄電量を差し引いて、発光部１１４からの照射光のみによる反射光成分を取り出し、反射光画像を生成する反射光成分抽出部１１６と、上記各部を制御する制御部１１５を含む。反射光成分抽出部１１６からは生成された反射光画像が画像情報処理部２２へ出力される。
【００２６】
画像情報処理部２２は、画像取得部１１から出力された反射光画像を入力したり、演算部２２０での演算処理の結果得られる反射光画像を情報処理部２０へ出力する入出力部２１０と、入力された反射光画像に対する演算処理を行う演算部２２０と、演算部２２０で演算処理を行う際に参照するデータや、処理結果などを記憶する記憶部２３からなる。
【００２７】
次に、反射光画像を撮影することで距離情報が得られる原理について説明する。
【００２８】
一般に、反射光の強度は光源から対象物までの距離の二乗に反比例するという性質を持つ。これにより、撮影位置から発した照射光のみによって照らされた対象物の反射光画像を撮影することで、撮影位置から対象物１の各部までの距離情報を得ることが可能となる。
【００２９】
本実施形態においては、発光部１１４が画像取得部１１内に存在し、発光部１１４が発する照射光のみに照らされた反射光画像を撮影することで、対象物１の画像取得部１１からの距離情報を得ることが可能となる。
【００３０】
次に、画像情報取得装置１０が反射光画像を撮影する際の基本動作について説明する。
【００３１】
まず、発光部１１４が制御部１１５からの制御に従って照射光を発光する。撮像センサ１１２は、例えば２５６×２５６のマトリックス状に配列された複数のセンサからなり、マトリックス中の各センサにて受光された反射光の強度がそれぞれ画素値となる。第１及び第２の電荷蓄積部１１７、１１８は、撮像センサ１１２のマトリックス状の複数のセンサのそれぞれに対応し、各センサで発生した電荷を蓄積するための複数のセルをそれぞれ有する。発光している間に撮像センサー１１２内の各センサで発生した電荷は、第１の電荷蓄積部１１７に蓄積される。また、発光していない間に撮像センサー１１２内で発生した電荷は第２の電荷蓄積部１１８に蓄積される。
【００３２】
これにより、第１の電荷蓄積部１１７には発光部１１４が発した照射光と、最初から対象物１を照らしていた太陽光や照明光などの自然光の両方による反射光による電荷が蓄積される。また、第２の電荷蓄積部１１８には自然光のみによる反射光の電荷が蓄積される。
【００３３】
反射光成分抽出部１１６は、第１の電荷蓄積部１１７の各セルの蓄積量から、第２の電荷蓄積量１１８の各セルの蓄積量を差し引き、各セルについて、発光部１１４が発した照射光のみによる反射光成分の電荷量を抽出する。各セルの反射光成分の電荷量は各画素値に対応する。この結果、各画素値が発光部１１４の照射光のみによって照らされた対象物１からの反射光の強度を示す反射光画像が得られる。
【００３４】
図３は、簡単のため、２５６×２５６画素の反射光画像の一部である８×８画素の反射光画像の場合について示している。
【００３５】
物体からの反射光は、物体の距離が大きくなるにつれ大幅に減少する。物体の表面が一様に光を散乱する場合、反射光画像１画素あたりの受光量は物体までの距離の２乗に反比例して小さくなる。
【００３６】
反射光画像の各画素値は、その画素に対応する単位受光部（マトリックス状に配置された各センサ）で受光した反射光の量を表す。反射光は、物体の性質（光を鏡面反射する、散乱する、吸収する、など）、物体の向き、物体の距離などに影響されるが、物体全体が一様に光を散乱する物体である場合、その反射光量は物体までの距離と密接な関係を持つ。手などは、このような性質をもつため、手の反射光画像は、手までの距離、手の傾き（部分的に距離が異なる）などを反映する図５に示したような３次元的なイメージを得ることができる。
【００３７】
図６は、例えば、特願平９−２９９６４８号に記載されているような画像取得部１１を構成する発光部１０１と、撮像光学系１１１及び撮像センサ１１２を含む受光部１２０の外観の一例を示したもので、中央部には円形レンズ（撮像光学系１１１）とその後部にある撮像センサ１１２（図示せず）から構成される受光部１１２０が配置され、円形レンズの周囲にはその輪郭に沿って、赤外線などの光を照射するＬＥＤから構成される発光部１１４が複数（例えばここでは６個）等間隔に配置されている。
【００３８】
発光部１１４から照射された光が物体に反射され、受光部１２０のレンズにより集光され、レンズの後部にある撮像センサ１１２で受光される。撮像センサ１１２は、例えば２５６×２５６のマトリックス状に配列されたセンサで、マトリックス中の各センサにて受光された反射光の強度がそれぞれ画素値となる。このようにして取得された画像が、図４に示すような反射光の強度分布としての反射光画像である。
【００３９】
図４は、反射光画像データの一部（２５６×２５６画素の一部の８×８画素）を示したものである。この例では、行列中のセルの値（画素値）は、取得した反射光の強さを２５６ビットで示したものである。例えば、「２５５」の値があるセルは、画像取得部１１に最も接近した状態、「０」の値があるセルは、画像取得部１１から遠くにあり、反射光が画像取得部１１にまで到達しないことを示している。
【００４０】
図５は、図４に示したようなマトリックス形式の反射光画像データ全体を３次元的に示したものである。この例では、（発光部１１４が発した照射光のみによる反射光成分で表された）人間の手の反射光画像データの場合を示している。
【００４１】
図７に、画像取得部１１により取得・生成された、（発光部１１４が発した照射光のみによる反射光成分で表された）手の反射光画像の例を示す。反射光画像は、奥行き情報を有する３次元画像で、例えば、ｘ軸（横）方向６４画素、ｙ軸（縦）方向６４画素、ｚ軸（奥行き）方向２５６階調の画像になっている。図６は、反射光画像の距離値、すなわちｚ軸方向の階調をグレースケールで表現したもので、この場合、色が黒に近いほど画像取得部１１からの距離が近く、白に近くなるほど距離が遠いことを示している。また、色が完全に白のところは、画像がない、あるいはあっても遠方でないのと同じであることを示している。
【００４２】
物体からの反射光の強さは当該物体までの距離の２乗に反比例して小さくなる。すなわち、距離画像中の各画素（ｉ、ｊ）の画素値をＱ（ｉ、ｊ）とすると、
Ｑ（ｉ、ｊ）＝Ｋ／ｄ２ …（１）
と表すことができる。
【００４３】
ここで、Ｋは、例えば、ｄ＝０．５ｍのときに、Ｒ（ｉ、ｊ）の値が「２５５」になるように調整された係数である。上式をｄについて解くことで、距離値を求めることができる。
【００４４】
このように、画像取得部１１で生成される、反射光の強度分布を示す反射光画像の各画素値（輝度値）は、撮像対象の凹凸形状を表す距離情報を示している。また、各画素に対応する実際の距離値（距離情報）は、上記（１）式から算出することができる。
【００４５】
次に、反射光画像から対象物１の形状（奥行き値）を求める手順について説明する。本実施形態では、画像情報取得装置１０を立体テレビ電話装置として使用するため、ユーザ２の顔が図１の対象物１となる。従って、ここでは、図８（ａ）に示すようなユーザ２の顔面４１１の反射光画像４１０を撮影し、顔面の３次元形状を獲得する場合を例にとり説明する。
【００４６】
図８（ａ）に示すように、撮像される反射光画像４１０は縦４０×横３０画素で構成され、画面中央に人物の顔面を写している。基本的には、反射光画像４１０の輝度の濃淡を距離情報に読み替えることで、対象物である顔面４１１の３次元形状データが得られる仕組みとなる。
【００４７】
次に、図８（ｂ）（ｃ）を参照して、反射光画像４１０中の奥行き値について説明する。図８（ｂ）および図８（ｃ）は、顔面４１１の線４１２の位置における断面形状を示したもので、図８（ｂ）は顔面４１１の真値による断面形状を示したもので、反射光画像によって取得される奥行き値の理想的な状況を示している。一方、図８（ｃ）は顔面４１１の反射光画像の輝度値をそのまま奥行き値に読み替えた場合に得られる断面形状の一例を示しており、図８（ｂ）に示す真値と比較して、鼻の頂点が低い、両頬が盛り上がっている、鼻の両側面がへこんでいる、等の誤差（歪み）の発生が認められる。なお、反射光画像によって得られる奥行き値は画像に撮影される部分、つまり表側に限られるので、得られる断面形状は奥行き（Ｚ軸）方向に対する一価の凸形状となる。
【００４８】
反射光画像から得られる、上記のような誤差（歪み）は、撮像対象の表面に鏡面反射の性質があることや、対象の表面が傾いていることなどの複数の歪み要因と、それぞれの効果の交絡によってもたらされる。
【００４９】
従来は、逆算可能ないくつかの誤差要因に注目して、その要因による誤差だけを補正していた。しかし、既に述べたように画素値の歪みは複数の要因によってもたらされている為、一部の要因による歪みの成分だけを除去しても、図８（ｂ）に示すような良好な形状への補正は困難である。
【００５０】
そこで、画像情報処理部２２は、このような複数の要因の交絡により生じた誤差（歪み）を包括的に修正し、反射光画像から良好な形状情報を獲得するようになっている。
【００５１】
次に、画像情報処理部２２の処理動作について説明する。
【００５２】
以後、（画像取得部１１から出力された）各画素値が撮像対象からの反射光の強度（輝度値）を示し、これにより撮像対象の３次元形状を表す反射光画像を処理対象として説明する。なお、本実施形態は、この場合に限らず、各画素値が実際の距離値を示し、これにより撮像対象の３次元形状を表す反射光画像を処理対象として用いてもよい。この場合、画像情報処理部２２は、まず、画像取得部１１から出力された反射光画像の各画素値（輝度値）を前述の（１）式を用いて、反射光画像の奥行き方向の距離情報に変換する。すなわち、画像取得部１１から出力された反射光画像の各画素値（輝度値）を前述の（１）式のＱとすることにより、実際の距離情報ｄが算出される。
【００５３】
画像情報処理部２２は、例えば、図８（ｃ）に示すような反射光画像の歪みを取り除いくために、補正処理用の変換行列（ここでは、変換カーネルと呼ぶ）を用いた畳み込み演算を行い、反射光画像の輝度値の分布を、望ましい輝度値の分布に変換する。
【００５４】
図９、図１０は、画像情報処理部２２の処理動作を説明するためのフローチャートである。以下、図９及び図１０に示すフローチャートに従って、説明する。
【００５５】
最初に、補正処理用の変換カーネルを新たに生成するか、もしくは予め準備されている既定の変換カーネルをロードする（ステップＳ１〜ステップＳ２）。変換カーネルの構成と生成手順（ステップＳ２１〜ステップＳ２８）については、後で詳述する。
【００５６】
次に、画像取得部１１が対象物１の反射光画像を撮影して、画像情報処理部２２の入出力部２１０内の入力バッファ（図示せず）に取り込む（ステップＳ３〜ステップＳ４）。演算部２２０は、まず、取り込まれた反射光画像中に補正処理の対象となる輝度パターンが存在するかどうかの検出処理を行う（ステップＳ５〜ステップＳ６）。本実施形態では、ユーザ２の顔を撮影して形状を獲得することが目的であるから、反射光画像中から顔の画像領域を示す輝度パターンの検出を行う。顔の画像領域を示す輝度パターン（各画素値が実際の距離値を示し、これにより撮像対象の３次元形状を表す反射光画像を処理対象として用いる場合には、上記輝度パターンの各輝度値を距離値に変換することにより得られる顔の画像領域を示す距離値パターン）が見つかった場合、後段の処理で参照する大きさや縦横比などの特徴パラメータを計測する（ステップＳ７）。もし、得られた特徴パラメータが対応可能な範囲であれば、当該顔の画像領域、すなわち、処理対象の画素数を決定し、変換カーネルサイズとローパスフィルタのサイズに反映する（ステップＳ８〜ステップＳ１１）。もし、得られた特徴パラメータが対応可能な範囲を超えていたらエラー処理を行う（ステップＳ３１、ステップＳ３２）。
【００５７】
次に、大きさ以外の特徴パラメータを参照して変換カーネルの種類を選択する（ステップＳ１０）。適切な変換カーネルが選択出来ない場合は、変換カーネルを再構成するか、もしくはエラー処理をするかの判断を行う（ステップＳ１１、ステップＳ４１）。
【００５８】
変換カーネルの選択が完了すると、この変換カーネルを用いて入力データ（入力バッファ内の反射光画像）の補正を行うが、実際の演算は、まず、入力データから直流成分を除いた差分データ（入力差分データ）に対して行う。このために、入力データに対し前処理を行う（図９のステップＳ１２〜ステップＳ１４）。また、補正後のデータ（補正差分データ）に関しても同様に直流成分が除かれているため、補正後のデータに直流成分を加えて補正後画像を生成する後処理を行う（ステップＳ１６）。これは、生の画素値をそのまま利用して変換カーネルによる畳み込み演算を行うと、画素値配列に含まれる直流成分が同時に畳み込まれて大きな値となり、処理が安定しなくなるという問題が発生するためである。これら、直流成分の具体的な取り扱いについては後で詳述する。
【００５９】
ステップＳ１５では、変換カーネルを用いて入力差分データを、歪みを取り除いた補正差分データに変換するための変換処理を行う。すなわち、この変換処理によって、歪んだ位相の凹凸を含む反射光画像が正しい凹凸に基づく反射光画像に変換されるが、実際には変換カーネルが想定している入力画像と実際の入力画像が完全に一致するわけではないので、部分的に突起ノイズが発生したり、補正対象である顔の画像の外側に畳み込み処理の副作用による擬輪郭が出現することがある。これらのノイズを除去する為、補正後の反射光画像（補正後画像）に対してスムージングやマスキング等の整形処理を行い、最終結果が出力される（ステップＳ１７〜ステップＳ１８）。
【００６０】
次に、図１０のステップＳ１２〜ステップＳ１６の処理について、より具体的に説明する。入力バッファ内の処理対象の反射光画像は、２次元の画像データであるが、ここでは、反射光画像のある断面形状を示す画素列、すなわち、一次元の画像データを例にとり説明する。
【００６１】
図１１（ａ）は、入力バッファ内の補正対象の反射光画像のある断面形状を示す、一次元の画像データ、すなわち、入力データを示したものである。この入力データは、例えば、図８（ｃ）の顔面４１１の線４１２の位置における断面形状を示す画像データである。前述したように、各画素値は、輝度値を示している。輝度「１６０」の画素を中心に、左右に１０画素ずつ、合計２１画素の幅で顔面が撮影されていて、大局的には３つの凸形状を持つ、ちょうど図８（ｃ）に示した形状が表されている。
【００６２】
図８（ｃ）に示した形状を示す入力データを、図８（ｂ）に示したような、大局的には半円状の中央に一つの凸形状を持つ理想的な形状を示す理想データに変換することが、補正処理の目的である。
【００６３】
ステップＳ１４では、図１１（ａ）の入力データから直流成分（図１１（ｂ）のローパスデータ）を除去した入力差分データ（図１１（ｃ））を求め、ステップＳ１５で、入力差分データを変換カーネル（図１１（ｆ））を用いて補正差分データ（図１１（ｅ））に変換し、ステップＳ１６では、補正差分データに直流成分（図１１（ｂ）のローパスデータ）を加えて、補正後データ（図１１（ｄ））を生成する。この補正後データが目標とする理想データに近似するように、変換カーネルが生成される。
【００６４】
図１２は、図１１の入力データ、補正後データ、および変換カーネルの関係を行列演算式の形式で模式的に示したものである。実際の行列演算で用いられる入力データ５１１および出力データ５１３は、既に述べたように生の画素値によって構成される図１１（ａ）の入力データおよび図１１（ｄ）の補正後データではなく、これらの値から直流成分を除去した入力差分データ（図１１（ｃ））および補正差分データ（図１１（ｅ））である。よって、変換カーネルによる畳み込み演算を行う前に、処理対象の画素値配列に含まれる直流成分を除去した図１１（ｃ）の入力差分データを求めておく。これがステップＳ１２〜ステップＳ１４の処理である。
【００６５】
一般的に、数列データの直流成分は各数値の平均値と考えられるが、本実施形態では直流成分の意味を、補正処理の前後でも変化が無い程度の大局的な特徴成分と考えることとする。例えば、本実施形態では人物の顔面を撮影対象としているが、人物の顔面の形状は非常に大雑把に表現すると縦長の楕円球形状（の表側）であり、この程度の特徴は補正前の反射光画像にも、補正後の反射光画像にも大差なく含まれる。よって、人物の顔面を撮影対象とした場合は、平均的、典型的な輝度値により表された、縦長の楕円球（の表側）の形状的特徴、すなわち、概略形状を示す成分を直流成分と解釈し、この直流成分に対する変動成分を補正処理の対象とする。これにより、反射光画像における距離の歪みの成分に絞った効率的な補正処理が可能となる。
【００６６】
撮像対象（例えば、本実施形態では人物の顔面）の３次元的な概略形状が直流成分であり、この直流成分を示す画像を、ここではローパス画像と呼ぶ。人物の顔面が撮像対象である場合には、例えば、多くの人物の顔面の反射光画像から平均的、典型的な反射光画像を求めて、それをローパス画像として用いることもできるが、本実施形態では、補正対象の各反射光画像から、当該反射光画像に対応するローパス画像を生成する。
【００６７】
ローパス画像の生成方法（ステップＳ１２、ステップＳ１３）について説明する。
【００６８】
ステップＳ１２では、まず、補正対象の反射光画像に適用するローパスフィルタとして所定の大きさの半径のローパスフィルタを選択する。ここでは、半径３画素（直径７画素）のローパスフィルタを選択するものとする。そして、ステップＳ１３では、このローパスフィルタを用いて補正対象の反射光画像の情報量の低減化を行い、上記ローパス画像を生成する。
【００６９】
すなわち、上記半径３画素のローパスフィルタを用いる場合、ローパス画像の任意の画素について、補正対象の反射光画像の当該任意の画素に対応する画素の前後３画素（当該任意の画素に対応する画素を含めて全部で７画素）の画素値の平均値を算出する。この値を当該任意の画素の画素値とするローパス画像を生成する。
【００７０】
図１１（ｂ）は、上記ローパス画像の生成方法を用いて、図１１（ａ）の入力データから生成されたローパスデータである。
【００７１】
図１１（ｃ）の入力差分データは、図１１（ａ）の入力データから、直流成分にあたる図１１（ｂ）のローパスデータを引いたものであり、変換カーネルによる畳み込み処理は、図１１（ｃ）の入力差分データに対して行われる。また、畳み込み処理によって得られる補正処理後のデータが図１１（ｅ）の補正差分データであるが、この補正差分データも同様に直流成分を含まないので、直流成分である図１１（ｂ）のローパスデータを加算して正しい構成に戻したものが、図１１（ｄ）の補正後データとなる。
【００７２】
次に、畳み込み演算で使用する変換カーネル（変換行列）を求める具体的な方法（ステップＳ２１〜ステップＳ２８）について説明する。
【００７３】
本実施形態において、変換カーネルは事前に準備されていて、画像の撮影中は適切な変換カーネルを選択することで補正処理を行うが、事前に変換カーネルを構築する際や、処理ループの途中で動的に変換カーネルを変更する必要がある場合には変換カーネル自体を求める計算が必要となる。
【００７４】
図１３は、変換カーネル５１２を求める行列演算を模式的に示したものである。図１３の行列演算は、図１２の畳み込みによる補正処理の行列演算と対になっており、図１２の行列演算式の左右両辺に、図１１（ａ）の１次元の入力データを示す行列（ここでは、正方行列で表している）５１１の逆行列５１４を掛けることで、変換カーネル５１２が得られる。よって、変換カーネル５１２を求めるためには、入力データ５１１と目標とする理想データを予め定めておく。そして、この理想データを、変換カーネル５１２を求める際の補正後データ５１３として用いる。以後、変換カーネル５１２を求める際の補正後データ５１３を理想データ５１３と読み替える。
【００７５】
本実施形態では人物の顔面を撮影対象としているので、例えば、入力データ５１１には本実施形態における画像取得部１１が撮影した反射光画像の（平均的な）データを用い、理想データ５１３には、理想的な平均顔の形状データを用いる。この場合、理想データは、撮像対象の３次元形状（表面に凸部、凹部を含む）を示す距離情報を正確に表すものであることが望ましい。従って、多くの人物の顔面の３次元形状の奥行き情報（距離情報）から、平均的、典型的な顔面の３次元形状の奥行き情報（距離情報）を示す画像データ（各画素値が奥行き方向の実際の距離値ｄを示す場合には、前述の（１）式を用いて、各画素値ｄを光りの強さＱに直し、反射光画像と同様、光の強度（輝度値）分布により３次元形状を示す画像データに変換したもの）を予め作成しておき、これを撮像対象の理想データ５１３として用いる。
【００７６】
また、特定の人物に特化してチューニングされた変換カーネルを得たい場合には、入力データ５１１に本実施形態における画像取得部１１で当該人物の顔を撮影して得られる反射光画像のデータを導入し、理想データ５１３には、当該人物の顔をレーザーレンジカメラなどの正確な距離情報が得られる手段で計測した形状データを用いる。この場合、各画素値は、当該人物の奥行き方向の正確な距離値を示すため、前述の（１）式を用いて、各画素値ｄを光りの強さＱに直し、反射光画像と同様、光の強度分布により３次元形状を示す画像データに変換して、それを理想データ５１３として用いる。
【００７７】
変換カーネルは、撮像対象全体の理想データから生成することが望ましいが、この場合に限らず、撮像対象の３次元形状のうち、凹凸が最も激しい部分の断面形状、例えば、撮像対象が人物の顔面である場合には、図８（ａ）の顔面４１１の線４１２の位置のように、鼻の頂点、両頬を含む部分についての図８（ｂ）に示すような断面形状を示す理想データのみから生成される変換カーネルを用いても、同様な効果が得られる。そこで、ここでは、図８（ｂ）に示すような断面形状を示す理想データ（図１１（ｄ））のみから変換カーネルを生成する場合について説明する。
【００７８】
変換カーネルを生成する際に用いる理想データは、画像情報処理部２２の記憶部２３０に予め記憶されている。演算部２２０は、記憶部２３０から理想データ（図１１（ｄ））を読み出し（ステップＳ２１）、さらに、変換カーネルを生成する際に用いる入力データ（図１１（ａ））を読み出す（ステップＳ２２）。画像取得部１１で予め取得しておいた入力データを記憶部２３０に予め記憶しておき、これを用いる場合には、記憶部２３０から当該入力データを読み出す。あるいは、ステップＳ３で取得した入力データ（入力バッファに一時記憶されている）を用いるのであれば、これを入力バッファから読み出す。読み出された理想データのサイズに合わせてカーネルサイズ（行の数及び列の数）を決定する（ステップＳ２３）。例えば、理想データがｎ×１画素であれば、ｎ行×１列とする。なお、理想データが撮像対象全体のｎ×ｎ画素の理想画像であれば、カーネルサイズもｎ行×ｎ列となる。
【００７９】
次に、前述のステップＳ１２及びステップＳ１３と同様にして、当該入力データ（図１１（ａ））からローパスデータ（図１１（ｂ））を生成し（ステップＳ２４、ステップＳ２５）、理想データから当該ローパスデータを差し引いて、理想差分データ（図１１（ｅ））を生成する（ステップＳ２６）。また、入力データからも当該ローパスデータを差し引いて、入力差分データ（図１１（ｃ））を生成する（ステップＳ２７）。そして、入力差分データを表した行列（ここでは、入力差分データの各画素値を各行列要素とするｎ行１列の行列をｎ行ｎ列の行列に展開して正方行列で表している）の逆行列５１４を算出する。図１３に示すように、逆行列５１４と理想差分データとを乗算することで、変換カーネル５１２が求まる（ステップＳ２８）。
【００８０】
図１１（ｆ）の変換カーネルは、図１１（ｄ）を理想データ、図１１（ａ）を入力データとし、図１１（ｅ）に示すような理想差分データ、及び図１１（ｃ）に示すような入力差分データから図１３に示す行列演算を行った結果得られる変換カーネルである。
【００８１】
人物の顔面の反射光画像を撮影して得られる断面形状は図８（ｃ）に示すような形状ばかりではない。しかし、変換カーネルによる畳み込み処理では、複数の値の重畳によって１つの出力が決まるため、多少の誤差は吸収し、大局的な位相を安定して変換できるという性質がある。この性質により、上記ステップＳ１２〜ステップＳ１６の補正処理では、変換カーネルを生成する際に用いた反射光画像（入力データ）と、実際の補正対象の入力データに差違があっても安定した出力が得られる点が長所である。もちろん、入力データが示す形状は様々に変化する可能性がある為、入力データによっては変換カーネルが突起ノイズ等を出力する場合も有り得る。この様な場合を想定して、図１０の最終結果を出力するステップＳ１８の１つ前のステップＳ１７では、生成した補正後画像に対してノイズ除去などの整形処理を施し、万全を期している。
【００８２】
しかし、上記ｎ行１列の列ベクトルの変換カーネルを用いた補正処理は、特徴的な１つの断面についての変換カーネルを全画面に適用することとなる為、演算量が少なくて済むという長所がある一方、大局的な特徴以外の詳細な形状情報が正確に補正されなかったり、情報がなまってしまったりという短所も存在する。よって、真に精度良く補正処理を行う為には、入力画像、理想画像ともにｎ行ｎ列の正方行列を使用し、ｎ行ｎ列の正方行列で構成される変換カーネルによって補正処理を実行する必要がある。ｎ行ｎ列の正方行列を利用した補正処理については、第２の実施形態で説明する。
【００８３】
（第２の実施形態）
第２の実施形態における画像情報取得装置の構成は図１と同様であり、また、第２の実施形態における画像取得部１１及び画像情報処理部２２の詳細な構成は図２と同様である。また、第２の実施形態において、照射光による反射光の画像を撮影して、三次元の形状情報を取得する原理についても第１の実施形態と同様である。
【００８４】
第２の実施形態において、第１の実施形態と異なる点は、入力画像を理想画像に変換する際の変換カーネルによる畳み込み演算の内容である。第１の実施形態では、入力画像を理想画像に変換する演算に用いられる変換カーネルは、ｎ行１列の列ベクトルであったが、第２の実施形態ではｎ行ｎ列の正方行列となる。
【００８５】
図１４は、ｎ行ｎ列の正方行列の変換カーネルによる畳み込み計算の概念を示したもので、図１２と同様に、入力データ、補正後データ、および変換カーネルの関係を行列演算式の形式で模式的に示している。なお、図１４では、入力データ及び補正後データがともに２次元の画像データであり、その各画素値が各行列エレメントとなるｎ行ｎ列の正方行列で表している。また、変換カーネルも入力データ及び補正後データと同様、ｎ行ｎ列の正方行列である。これ以外は、図１２の説明がそのまま当てはまる。
【００８６】
図１５は、図１４の入力データと理想データの関係から変換カーネルを求める計算の概念を行列演算式の形式で示したものである。なお、図１４では、入力データ及び理想データがともに２次元の画像データであり、その各画素値が各行列エレメントとなるｎ行ｎ列の正方行列で表している。また、変換カーネルも入力データ及び補正後データと同様、ｎ行ｎ列の正方行列である。これ以外は、図１４の説明がそのまま当てはまる。
【００８７】
第２の実施形態における、画像情報処理部２２の処理動作も図９及び図１０に示すフローチャートと同様であるが、図９のステップＳ２１〜ステップＳ２８の変換カーネル生成処理において、図１５に示すｎ行ｎ列の正方行列による行列演算となり、図１０のステップＳ１５の変換カーネルを用いた変換処理において、図１４に示すｎ行ｎ列の正方行列による行列演算となる。これ以外は、図９及び図１０の説明がそのまま当てはまる。
【００８８】
以上説明したように、上記第１及び第２の実施形態によれば、撮像対象に発光部１１４等を含む発光手段により光を照射し、撮像対象からの反射光を撮像光学系１１１，撮像センサー１１２等を含む受光手段で受光することにより、画像取得部１１は、受光された反射光の強度分布から撮像対象の３次元形状を表す反射光画像を生成する。さらに、画像情報処理部２２で、各画素値を距離情報そのものに変換してもよい。（画像取得部１１及び画像情報処理部２２を含むものが画像取得装置（図１には図示せず）に相当する。）取得された反射光画像から撮像対象の概略形状を示す直流成分を削除した後の各画素値を各行列要素とする行列の逆行列と、当該理想画像から直流成分を削除した後の各画素値を各行列要素とする行列とを乗算することにより、撮像対象の理想的な３次元形状を示す理想画像に対する反射光画像の歪みを補正するための変換行列を生成する。そして、当該変換行列を用いて、画像取得部１１で取得された補正対象の反射光画像の各画素値を補正することにより、撮像対象表面の反射率の違いや、撮像対象の傾きなどの複数の要因により生ずる反射光画像の歪みを容易に補正することができ、その結果、高精度の（奥行き方向の）距離情報を含む反射光画像を得ることができる。
【００８９】
すなわち、複数の要因の交絡によって歪められた反射光画像の各画素値（輝度値）を、個別の要因毎に補正するのではなく、歪みを含む見かけの輝度分布と、対象物の真の形状から導出される理想的な反射光画像（理想画像）の輝度分布との対応関係に注目し、畳み込み演算によって、特定の輝度値分布を別の特定の輝度値分布に変換する画像情報処理の手法を利用して、上記歪みを含む輝度値の分布を、望ましい輝度値の分布に包括的に変換することで、奥行き情報における立体の位相（凹凸関係）の精度を向上させることができる。
【００９０】
なお、以上の図１の各構成部は、画像取得部１１を除いて、ソフトウェアとしても実現可能である。特に、図９及ぶ図１０のフローチャートに示した画像情報処理部２２の処理手順は、コンピュータに実行させることのできるプログラムとして機械読みとり可能な記録媒体に記録して頒布することができる。
【００９１】
また、上記第１及び第２の実施形態では、変換カーネルを生成する際に、反射光画像に合わせて、光の強度分布により撮像対象の３次元形状を示す理想データを用いて、輝度値を各行列要素とする行列演算を行う場合について説明したが、反射光画像の各画素値（Ｑ）を前述の（１）式を用いて距離情報ｄに直し、各画素値が撮像対象の奥行き方向の実際の距離値を示すデータに変換し、当該データと、各画素値が撮像対象の奥行き方向の距離値を示す理想データ（例えば、レーザーレンジカメラで取得された形状データ）とを用いて、距離値を各行列要素とする、図１３、図１５に示すような行列演算を行い、変換カーネルを生成しても全く同様の効果が得られる。
【００９２】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００９３】
【図１】本発明の実施形態にかかる画像情報取得装置の構成例を示した図。
【図２】図１の画像取得部及び画像情報処理部の構成例を示した図。
【図３】図１の画像情報取得装置の外観図。
【図４】反射光画像をマトリックス状に示した図。
【図５】反射光画像を３次元的に示した図。
【図６】画像取得部を構成する発光部と受光部の外観の一例を示した図。
【図７】反射光画像の一具体例を示した図。
【図８】人物の画面の反射光画像について説明するための図。
【図９】画像情報処理部の処理動作を説明するためのフローチャート。
【図１０】画像情報処理部の処理動作を説明するためのフローチャート。
【図１１】画像情報処理部の処理動作を説明するための図。
【図１２】畳み込みによる補正処理（変換処理）を説明するための図。
【図１３】変換カーネルの生成方法を説明するための図。
【図１４】畳み込みによる補正処理（変換処理）を説明するための図。
【図１５】変換カーネルの生成方法を説明するための図。
【符号の説明】
【００９４】
１０…画像情報取得装置、１１…画像取得部、１２…操作入力制御部、１３…操作入力部、１４…表示部、１５…表示制御部、１６…音声出力部、１７…音声入力部、１８…音声入出力制御部、１９…通信入出力部、２０…情報処理部、２１…情報記憶部、２２…画像情報処理部。
【特許請求の範囲】
【請求項１】
撮像対象に光を照射する発光手段と、
前記撮像対象からの反射光を受光する受光手段と、
前記受光手段で受光された反射光の強度分布から、前記撮像対象の３次元形状を表す反射光画像を生成する画像生成手段と、
前記撮像対象の理想的な３次元形状を示す理想画像に対する前記反射光画像の歪みを補正するための変換行列を用いて、前記変換手段で得られた反射光画像の各画素値を補正する補正手段と、
を具備したことを特徴とする画像情報取得装置。
【請求項２】
前記補正手段は、
前記画像生成手段で得られた反射光画像から前記撮像対象の概略形状を示す直流成分を削除した後の各画素値を前記変換行列を用いて補正した後、前記直流成分を加算することを特徴とする請求項１記載の画像情報取得装置。
【請求項３】
前記画像生成手段で得られた反射光画像の各画素値が各行列要素に対応する行列の逆行列と、前記理想画像の各画素値が各行列要素に対応する行列とを乗算することにより前記変換行列を生成する手段をさらに具備し、
前記補正手段は、前記反射光画像の各画素値が各行列要素に対応する行列と前記変換行列とを乗算して、当該各画素値を補正することを特徴とする請求項１記載の画像情報取得装置。
【請求項４】
前記画像生成手段で得られた反射光画像から前記撮像対象の概略形状を示す直流成分を削除した後の各画素を各行列要素とする行列の逆行列と、前記理想画像から前記直流成分を削除した後の各画素を各行列要素とする行列とを乗算することにより前記変換行列を生成する手段をさらに具備し、
前記補正手段は、前記画像生成手段で得られた反射光画像から前記直流成分を削除した後の各画素値を各行列要素とする行列と前記変換行列とを乗算して、当該各画素値を補正した後、前記直流成分を加算することを特徴とする請求項１記載の画像情報取得装置。
【請求項５】
撮像対象に光を照射する発光手段と、前記撮像対象からの反射光を受光する受光手段と、前記受光手段で受光された反射光の強度分布から前記撮像対象の３次元形状を表す反射光画像を生成する画像生成手段とを含む画像取得装置で、前記反射光画像を取得する第１のステップと、
前記撮像対象の理想的な３次元形状を示す理想画像に対する前記反射光画像の歪みを補正するための変換行列を用いて、前記第１のステップで得られた反射光画像の各画素値を補正する第２のステップと、
を有することを特徴とする画像情報取得方法。
【請求項６】
前記第２のステップは、
前記第１のステップで得られた反射光画像から前記撮像対象の概略形状を示す直流成分を削除した後の各画素値を前記変換行列を用いて補正した後、前記直流成分を加算することを特徴とする請求項５記載の画像情報取得方法。
【請求項７】
前記画像取得装置で得られた反射光画像の各画素値が各行列要素に対応する行列の逆行列と、前記理想画像の各画素値が各行列要素に対応する行列とを乗算することにより前記変換行列を生成する第３のステップをさらに有し、
前記第２のステップは、前記反射光画像の各画素値が各行列要素に対応する行列と前記変換行列とを乗算して、当該各画素値を補正することを特徴とする請求項５記載の画像情報取得方法。
【請求項８】
前記画像取得装置で得られた反射光画像から前記撮像対象の概略形状を示す直流成分を削除した後の各画素値を各行列要素とする行列の逆行列と、前記理想画像から前記直流成分を削除した後の各画素値を各行列要素とする行列とを乗算することにより前記変換行列を生成する第３のステップをさらに有し、
前記第２のステップは、前記第１のステップで得られた反射光画像から前記直流成分を削除した後の各画素値を各行列要素とする行列と前記変換行列とを乗算して、当該各画素値を補正した後、前記直流成分を加算することを特徴とする請求項５記載の画像情報取得方法。
【請求項９】
撮像対象に光を照射する発光手段と、前記撮像対象からの反射光を受光する受光手段と、前記受光手段で受光された反射光の強度分布から前記撮像対象の３次元形状を表す反射光画像を生成する画像生成手段を備えるコンピュータに、
前記画像生成手段で前記反射光画像を得る第１のステップと、
前記撮像対象の理想的な３次元形状を示す理想画像に対する前記反射光画像の歪みを補正するための変換行列を用いて、前記第１のステップで得られた反射光画像の各画素値を補正する第２のステップと、
を実行させるプログラム。
【請求項１０】
前記画像生成手段で得られた反射光画像から前記撮像対象の概略形状を示す直流成分を削除した後の各画素値を各行列要素とする行列の逆行列と、前記理想画像から前記直流成分を削除した後の各画素値を各行列要素とする行列とを乗算することにより前記変換行列を生成する第３のステップをさらに有し、
前記第２のステップは、前記第１のステップで得られた反射光画像から前記直流成分を削除した後の各画素値を各行列要素とする行列と前記変換行列とを乗算して、当該各画素値を補正した後、前記直流成分を加算することを特徴とする請求項９記載のプログラム。
【請求項１】
撮像対象に光を照射する発光手段と、
前記撮像対象からの反射光を受光する受光手段と、
前記受光手段で受光された反射光の強度分布から、前記撮像対象の３次元形状を表す反射光画像を生成する画像生成手段と、
前記撮像対象の理想的な３次元形状を示す理想画像に対する前記反射光画像の歪みを補正するための変換行列を用いて、前記変換手段で得られた反射光画像の各画素値を補正する補正手段と、
を具備したことを特徴とする画像情報取得装置。
【請求項２】
前記補正手段は、
前記画像生成手段で得られた反射光画像から前記撮像対象の概略形状を示す直流成分を削除した後の各画素値を前記変換行列を用いて補正した後、前記直流成分を加算することを特徴とする請求項１記載の画像情報取得装置。
【請求項３】
前記画像生成手段で得られた反射光画像の各画素値が各行列要素に対応する行列の逆行列と、前記理想画像の各画素値が各行列要素に対応する行列とを乗算することにより前記変換行列を生成する手段をさらに具備し、
前記補正手段は、前記反射光画像の各画素値が各行列要素に対応する行列と前記変換行列とを乗算して、当該各画素値を補正することを特徴とする請求項１記載の画像情報取得装置。
【請求項４】
前記画像生成手段で得られた反射光画像から前記撮像対象の概略形状を示す直流成分を削除した後の各画素を各行列要素とする行列の逆行列と、前記理想画像から前記直流成分を削除した後の各画素を各行列要素とする行列とを乗算することにより前記変換行列を生成する手段をさらに具備し、
前記補正手段は、前記画像生成手段で得られた反射光画像から前記直流成分を削除した後の各画素値を各行列要素とする行列と前記変換行列とを乗算して、当該各画素値を補正した後、前記直流成分を加算することを特徴とする請求項１記載の画像情報取得装置。
【請求項５】
撮像対象に光を照射する発光手段と、前記撮像対象からの反射光を受光する受光手段と、前記受光手段で受光された反射光の強度分布から前記撮像対象の３次元形状を表す反射光画像を生成する画像生成手段とを含む画像取得装置で、前記反射光画像を取得する第１のステップと、
前記撮像対象の理想的な３次元形状を示す理想画像に対する前記反射光画像の歪みを補正するための変換行列を用いて、前記第１のステップで得られた反射光画像の各画素値を補正する第２のステップと、
を有することを特徴とする画像情報取得方法。
【請求項６】
前記第２のステップは、
前記第１のステップで得られた反射光画像から前記撮像対象の概略形状を示す直流成分を削除した後の各画素値を前記変換行列を用いて補正した後、前記直流成分を加算することを特徴とする請求項５記載の画像情報取得方法。
【請求項７】
前記画像取得装置で得られた反射光画像の各画素値が各行列要素に対応する行列の逆行列と、前記理想画像の各画素値が各行列要素に対応する行列とを乗算することにより前記変換行列を生成する第３のステップをさらに有し、
前記第２のステップは、前記反射光画像の各画素値が各行列要素に対応する行列と前記変換行列とを乗算して、当該各画素値を補正することを特徴とする請求項５記載の画像情報取得方法。
【請求項８】
前記画像取得装置で得られた反射光画像から前記撮像対象の概略形状を示す直流成分を削除した後の各画素値を各行列要素とする行列の逆行列と、前記理想画像から前記直流成分を削除した後の各画素値を各行列要素とする行列とを乗算することにより前記変換行列を生成する第３のステップをさらに有し、
前記第２のステップは、前記第１のステップで得られた反射光画像から前記直流成分を削除した後の各画素値を各行列要素とする行列と前記変換行列とを乗算して、当該各画素値を補正した後、前記直流成分を加算することを特徴とする請求項５記載の画像情報取得方法。
【請求項９】
撮像対象に光を照射する発光手段と、前記撮像対象からの反射光を受光する受光手段と、前記受光手段で受光された反射光の強度分布から前記撮像対象の３次元形状を表す反射光画像を生成する画像生成手段を備えるコンピュータに、
前記画像生成手段で前記反射光画像を得る第１のステップと、
前記撮像対象の理想的な３次元形状を示す理想画像に対する前記反射光画像の歪みを補正するための変換行列を用いて、前記第１のステップで得られた反射光画像の各画素値を補正する第２のステップと、
を実行させるプログラム。
【請求項１０】
前記画像生成手段で得られた反射光画像から前記撮像対象の概略形状を示す直流成分を削除した後の各画素値を各行列要素とする行列の逆行列と、前記理想画像から前記直流成分を削除した後の各画素値を各行列要素とする行列とを乗算することにより前記変換行列を生成する第３のステップをさらに有し、
前記第２のステップは、前記第１のステップで得られた反射光画像から前記直流成分を削除した後の各画素値を各行列要素とする行列と前記変換行列とを乗算して、当該各画素値を補正した後、前記直流成分を加算することを特徴とする請求項９記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００６−１８９３８１（Ｐ２００６−１８９３８１Ａ）
【公開日】平成１８年７月２０日（２００６．７．２０）
【国際特許分類】
【出願番号】特願２００５−２７７６（Ｐ２００５−２７７６）
【出願日】平成１７年１月７日（２００５．１．７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）「国などの委託研究の成果に係る特許出願（平成１５年度新エネルギー・産業技術総合開発機構「３次元画像一体型リアルタイム入力技術の研究開発」委託研究、産業活力再生特別措置法第３０条の適用を受けるもの）」
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成１８年７月２０日（２００６．７．２０）
【国際特許分類】
【出願日】平成１７年１月７日（２００５．１．７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）「国などの委託研究の成果に係る特許出願（平成１５年度新エネルギー・産業技術総合開発機構「３次元画像一体型リアルタイム入力技術の研究開発」委託研究、産業活力再生特別措置法第３０条の適用を受けるもの）」
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]