撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラム
【課題】 オブジェクトからの反射光を利用して撮影画像に含まれる特定のオブジェクトのイメージを好適に抽出する。
【解決手段】 オブジェクト抽出装置１は、発光部８から変調光１０を発し、オブジェクト１１による反射光１２を変調光デコード部２で復調（デコード）し、ここで正常にデコードされるか否かに基づいてオブジェクトの距離を知る点に特徴がある。従来技術のように光の差分で距離を知る方法とは異なり、変調光を利用していることから、背景に明るさの変化が発生した場合でも誤認識することがない、ロバストなシステムを提供することができる。
【解決手段】 オブジェクト抽出装置１は、発光部８から変調光１０を発し、オブジェクト１１による反射光１２を変調光デコード部２で復調（デコード）し、ここで正常にデコードされるか否かに基づいてオブジェクトの距離を知る点に特徴がある。従来技術のように光の差分で距離を知る方法とは異なり、変調光を利用していることから、背景に明るさの変化が発生した場合でも誤認識することがない、ロバストなシステムを提供することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル・データの処理を行なう情報処理装置及び情報処理方法、並びにコンピュータ・プログラムに係り、特に、撮像された画像データの処理を行なう撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、撮影画像に含まれる特定のオブジェクトのイメージを抽出する撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラムに係り、特に、オブジェクトからの反射光を利用して撮影画像に含まれる特定のオブジェクトのイメージを抽出する撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
昨今の情報技術（ＩＴ）分野における急速な進歩とともに、さまざまな形態のコンピュータ・システムが開発・製造され、大学やその他の研究機関、企業内のオフィス、さらには一般家庭内に広く普及している。コンピュータ上では、テキスト形式の文書ファイル以外に、音声、画像、自然言語などさまざまなメディアをデジタル化して、数学的に取り扱うことにより、情報の編集・加工、蓄積、管理、伝達、共有などより高度で多岐にわたる処理を行なうことが可能となっている。
【０００４】
例えば、コンピュータを用いて画像に対し変形や色の変更、画質向上、再符号化などのデジタル・イメージ処理を行なう画像処理技術は広範に普及している。この画像処理技術には、風景写真の中で美観を損ねる電柱などの物体を除去する特殊効果や、人間の顔から動物の顔へ滑らかに変化させるモーフィングなども含まれる。また、人工衛星から送られてくる写真映像の処理や、ＣＴスキャナで読み込まれた診断画像の処理など、画像処理技術は科学や医療などの各種専門分野にも適用されている。
【０００５】
また、画像処理技術によれば、特殊な装置を装着することなく、簡易にジェスチャや動きの入力を行なうことができる（例えば、特許文献１を参照のこと）。この場合、反射光あるいは輻射光による入力から物体画像を抽出し、反射光画像の形状を解釈してその形状を指示（ユーザ・インタラクション）に変換する。また、キャラクタを背景画像から切り出すために、特定の画像を分解し、得られた分解画像に基づいて特定部分を抽出する。さらに抽出された画像及び背景を記憶し、反射光画像の配置位置を指定し、記憶された反射光画像の配置位置が指定されると、記憶された背景に対し指定された配置位置に反射光画像を配置して合成する。これによって、３次元空間でのポインティングや始点の変更を容易に行なうことができる。また、ユーザのジェスチャや動きをそのまま使って、アニメーションのキャラクタなどに自然な動きをつけるなどの直接的な操作を行なうことができる。さらに、特定のキャラクタだけを切り出したり、キャラクタの奥行き情報を用意に入力したりすることができる。
【０００６】
図２４には、特定のオブジェクトのみを抽出する手段を備えた情報入力装置の構成例を示している。オブジェクト抽出部１００は、レンズ１０２、反射光抽出部１０１、タイミング制御部１０８、発光部１０７を備えている。さらに、反射光抽出部１０１は、第１の受光部１０３、第２の受光部１０４、差分演算部１０５、アンプ１０６、Ａ／Ｄ変換部１０９で構成される。以下に、本オブジェクト抽出部１００を用いた、オブジェクト１１０の抽出方法について説明する。
【０００７】
発光部１０７はタイミング制御部１０８による制御によって点滅し、その点滅光１１１はオブジェクト１１０を照らしている。点滅光１１１は可視光でも赤外光でもよい。
【０００８】
第１の受光部１０３は、発光部１０７が消灯している際に、オブジェクト１１０及びその背景の画像を取得する。次いで、第２の受光部１０４は、発光部１０７が点灯している際に、オブジェクト１１０及びその背景の画像を取得する。
【０００９】
画像内に動きがない場合、第２の受光部１０４で取得した画像は、第１の受光部１０３で取得した画像に対して、発光部１０７から発せられた光が加算されたものとなる。この加算量は、発光部１０７からの距離が近いオブジェクトほど多くなる。
【００１０】
次に、受光部１０３及び１０４でそれぞれ取得された画像データは差分演算部１０５へ転送される。ここで、それぞれの画像データから受光量の差分が演算される。差分値は発光部１０７からの光を強く受けた（すなわち強く反射した）オブジェクトほど大きくなる。つまり、オブジェクトの反射率が等しいと仮定すすれば、差分値は発光部１０７からオブジェクトまでの距離に比例することとなる。その後、差分値はアンプ１０６で増幅され、さらにＡ／Ｄ変換部１０９によりデジタル・データに変換されてから、次工程へと進む。
【００１１】
第１の受光部１０３と第２の受光部１０４は、時間的に同時に画像を取得する訳ではないため、同一の受光装置でも良い。また、受光部１０３及び１０４には、一般的にフォトダイオードで構成される検出部（画素）が２次元的に配置された固体撮像素子が用いられる。そのため、上述した差分値は画素毎に得ることができる。つまり、発光部１０７からの距離が近いオブジェクトを撮像した画素の差分値は大きく、遠いオブジェクトを撮像した画素の差分値は小さくなる。 以上のようにして、画素毎に距離に比例した差分値を有しているため、ある適当な閾値を設定し、その値以上（以下）のみを表示するなどして、簡易にオブジェクトを抽出することができる。図２４に示す装置構成によれば、オブジェクト１１０を背景から切り抜いて表示することが可能となり、このデータを用いたインタラクションも可能となる。
【００１２】
ここで、上述したようなオブジェクトの抽出方法では、以下のような問題があると本発明者らは思料する。
【００１３】
通常、オブジェクト抽出部１００はカメラ装置に内蔵されることになる。この場合、ユーザがカメラ装置自体を動かして操作し、例えばオブジェクト１１０を撮像することも想定されるが、カメラ自体の動きに応じて光量が変化し、誤認識を招来する可能性がある。点滅光１１１が届かないような背景の像は、それ自体が固定されていれば、この部分を撮像する画素で明るさの差分は検出されない。これに対し、カメラ自体が動くことで背景全体が動くことになれば、それらを撮像する画素には、何らかの明るさの変化が発生する。この明るさの変化を、距離として誤認識してしまい、正しい距離データが取得できないことになる。これによりオブジェクト抽出も困難なものとなる。
【００１４】
さらに、背景に点滅光があった場合、ここでも時間的な明るさの変化があるため、距離として誤認識してしまう。例えば、背景にＣＲＴディスプレイが置いてあった場合には、所定のフレームレートで切り替わる表示画面のために、オブジェクトの形状を誤認識してしまう可能性がある。
【００１５】
以上のように、従来の画像処理システムでは、背景にも明るさの変化があった場合、これらもすべて距離情報として誤認識してしまう問題があるため、オブジェクト抽出を困難なものとなっている。
【００１６】
【特許文献１】特許第３３２１０５３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１７】
本発明の目的は、撮影画像に含まれる特定のオブジェクトのイメージを好適に抽出することができる、優れた撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラムを提供することにある。
【００１８】
本発明のさらなる目的は、オブジェクトからの反射光を利用して撮影画像に含まれる特定のオブジェクトのイメージを好適に抽出することができる、優れた撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラムを提供することにある。
【００１９】
本発明のさらなる目的は、背景に明るさの変化があった場合であっても、オブジェクトからの反射光を利用して撮影画像に含まれる特定のオブジェクトのイメージをより正確に抽出することができる、優れた撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００２０】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、任意にコーディングされた変調光を照射する照射部と、前記変調光に対する特定のオブジェクトからの反射光を含んだ画像を撮像する撮像部と、前記変調光に対する反射光のデコーディングに基づいて撮像画像を処理する演算部とを具備することを撮像装置である。
【００２１】
コンピュータによる画像処理技術を用いれば、入力した撮影画像に含まれるオブジェクトの画像を抽出することができる。この場合、反射光あるいは輻射光による入力から物体画像を抽出し、反射光画像の形状を認識することが一般に行なわれる。ところが、この場合、カメラ自体の動きによる光量の変化の影響を受けて誤認識する可能性がある、背景にある点滅光の影響によりオブジェクトの形状を誤認識する、といった問題がある。
【００２２】
これに対し、本発明によれば、前記演算部は、前記変調光のデコーディングを行ない、撮像画像のうち正しくデコードできた部分を前記変調光が照射された部分であると判断することにより、撮像画像から前記特定のオブジェクトの画像部分のみをより正確に抽出することができる。
【００２３】
すなわち、本発明によれば、任意のコーディングがなされた変調光を正しくデコードすることができたか否かに基づいてオブジェクトを認識しているので、従来技術のように光の差分で距離を知る方法とは異なり、背景に明るさの変化が発生した場合でも誤認識することがない、ロバストなシステムを提供することができる。
【００２４】
ここで、前記撮像部には、ミクロな光電変換デバイスが２次元的に配列されて構成される、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合型素子）やＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の撮像素子が用いられる。そして、前記演算部は、撮像素子毎に前記変調光のデコーディングを試み、撮像素子の出力信号から変調光に掛けられた元のコード・パターンを正しくデコードすることができたかどうかに基づいて、前記変調光が照射された部分と照射されていない部分に分離することができる。
【００２５】
前記撮像部における数フレーム分の撮像画像を記憶する記憶部をさらに備えていてもよい。前記演算部は、前後のフレーム間で対応する画素の出力信号の比較を行なうことによって、コード・パターンをデコードすることができる。また、半導体実装技術を好適に利用することにより、前記撮像部と、前記記憶部と、前記演算部を単一の半導体回路チップで構成することもできる。
【００２６】
また、前記照射部は、不可視光の波長成分からなる変調光を照射する。前記照射部は、コード、コーディング方式、光強度、発光角度のうち少なくとも１つが相違する２種類以上の変調光を照射するようにしてもよい。
【００２７】
前記照射部は、例えば、所定の発光周波数に従って、光源からの照射光を所定のコード・パターンでコーディングして変調光を照射する。この場合、前記撮像部は、コーディングされた変調光に対する反射光をデコードできるようにするために、前記発光周波数と同等以上のフレームレートで画像を撮像するようにする。そして、前記演算部は、前記撮像部からの出力信号を基に、前記特定のオブジェクトからの変調光に対する反射光に含まれるコードをデコードする。例えば、前記照射部において変調光をコーディングし、前記演算部において前記変調光のデコーディングを行なうときに、前記撮像部は、より高いフレームレートに切り替えるようにする。
【００２８】
また、本発明に係る撮像装置は、前記撮像部が通常の画像撮像を行なう通常画像撮像モードと、前記撮像部が前記演算部において前記変調光のデコーディングを行なうための画像撮像を行なうデコード・モードを備えていてもよい。例えば、前記通常画像撮像モードと前記デコード・モードを時分割で交互に動作するようにしてもよい。この場合、変調光成分の影響を受けないオブジェクトの画像を得るために、環境光成分のみがオブジェクトに照射されている通常画像の取得と、オブジェクト抽出のための画像取得とを時分割により行なう。
【００２９】
前記通常画像撮像モードでは、前記照射部は変調光を照射せず、前記撮像部は環境光（若しくは自然光）に対するオブジェクトや風景からの反射光からなる画像を撮像する。また、前記デコード・モードでは、前記照射部は変調光を照射するので、前記撮像部は、環境光及び前記変調光に対する反射光からなる画像を撮像するようにする。
【００３０】
例えば、前記演算部は、前記デコード・モード下での撮像画像から前記変調光のデコーディング結果に基づいて、撮像画像内で前記特定のオブジェクトの部分を特定することができる。そして、前記通常画像撮像モード下での撮像画像のうち該当部分を前記特定のオブジェクトの画像として抽出することができる。
【００３１】
ここで、このように時分割でオブジェクトの撮影を行なう都合上、オブジェクトの画像フレーム内での位置に空間的なずれが発生しうる。そこで、前記演算部は、前記デコード・モードと前記通常画像撮像モード間で撮像画像の時間的な相違によるオブジェクトの移動の影響を考慮しながら、前記通常画像撮像モード下での撮像画像から前記特定のオブジェクトの画像を抽出するようにしてもよい。
【００３２】
この場合、前記演算部は、前記デコード・モードと前記通常画像撮像モード間で撮像画像の時間的な相違に起因する前記特定のオブジェクトの空間的な相違を表す動きベクトルを求める。そして、前記動きベクトルに基づいて前記デコード・モード下での撮影画像中における前記特定のオブジェクトの部分から、前記通常画像撮像モード下での撮像画像中における前記特定のオブジェクトの部分へアドレス変換を行なうことにより、通常撮像画像から前記特定のオブジェクトの画像部分をより正確に抽出することができる。
【００３３】
また、前記照射部がコードの異なる２種類以上の変調光を照射し、前記演算部は、コード毎に変調光のデコーディングを行ない、各変調光が照射された部分をそれぞれ抽出するようにしてもよい。すなわち、複数の種類の変調光を用いてオブジェクトを照射し、その撮像画像を画素毎にデコードを試み、正しくデコードされている場合は、さらに、どのコード・パターンによりデコードすることができるのかを検知することができる。そして、前記演算部は、コードが異なる変調光が照射された部分毎に、個別の画像処理を適用することができる。あるいは、特定のコードによる変調光が照射された部分のみを表示出力するなどして、さらに使い勝手の良いシステムを提供することができる。
【００３４】
このとき、前記照射部は、コード毎に光強度を異ならせた２種類以上の変調光を照射するようにしてもよい。各変調光の光強度を相対的に変えると、到達しうる距離も相違するので、強い光強度の変調光ほどより遠くまで届き、遠くのオブジェクトからの反射光を正しくデコードすることができる。したがって、前記演算部は、コード毎に変調光のデコーディングを行ない、各変調光が照射された部分をそれぞれオブジェクトとして抽出するとともに、該変調光の光強度に基づいて照射されたオブジェクトまでの距離を同定することができる。すなわち、複数の変調光を用いることで、距離情報を得ることが可能となり、これより任意の距離のオブジェクトを抽出することも可能になる。そして、オブジェクトの距離に応じた表示出力するなどして、さらに使い勝手の良いシステムを提供することができる。
【００３５】
また、前記照射部は、コード毎に発光角度を異ならせた２種類以上の変調光を照射するようにしてもよい。各変調光は互いに異なる方向へ発光しており、それらの方向は左右でも、上下でも、同心円状でも、どの方向でも構わない。この場合、前記演算部は、発光角度毎に変調光のデコーディングを行ない、画角に応じたオブジェクトの表示処理を行なうことができる。
【００３６】
また、本発明の第２の側面は、任意にコーディングされた変調光が照射された特定のオブジェクトを撮像して得られる画像情報の処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、撮像画像に対し変調光のデコーディングを行なうデコーディング・ステップと、正しくデコードされたか否かに基づいて撮像画像のうち前記変調光が照射された部分とそれ以外の部分に分離し、前記変調光が照射された部分を前記特定のオブジェクトとして抽出するオブジェクト抽出ステップとを具備することを特徴とするコンピュータ・プログラムである。
【００３７】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る撮像装置と同様の作用効果を得ることができる。
【発明の効果】
【００３８】
本発明によれば、撮影画像に含まれる特定のオブジェクトのイメージを好適に抽出することができる、優れた撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラムを提供することができる。
【００３９】
また、本発明によれば、オブジェクトからの反射光を利用して撮影画像に含まれる特定のオブジェクトのイメージを好適に抽出することができる、優れた撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラムを提供することができる。
【００４０】
また、本発明によれば、背景に明るさの変化があった場合であっても、オブジェクトからの反射光を利用して撮影画像に含まれる特定のオブジェクトのイメージをより正確に抽出することができる、優れた撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラムを提供することができる。
【００４１】
本発明によれば、変調光を用いて特定のオブジェクトの抽出を行なっているので、単に明るさの変化により抽出を行なっていた場合に比べ、環境光の変化などに対しロバストに抽出を行なうことができる。これにより、カメラ自体が動くような場合や、生活環境に存在する点滅光を撮影した場合でも、これらに影響されることなく良好なオブジェクト抽出が可能となる。 さらに、コード・パターンを複数用意することで、被写体までの距離や角度を知ることも可能となる。
【００４２】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００４３】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００４４】
第１の実施形態：
図１には、本発明の第１の実施形態に係るオブジェクト抽出装置の機能構成を模式的に示している。図示のオブジェクト抽出装置１は、変調光デコード部２と、タイミング制御部７と、発光部８と、レンズ９を備えている。さらに、変調光デコード部２は、撮像部３と、バッファ・メモリ５と、演算部６で構成される。
【００４５】
本実施形態に係るオブジェクト抽出装置１は、発光部８から変調光１０を発し、オブジェクト１１による反射光１２を変調光デコード部２で復調（デコード）する。ここで、正常にデコードされるか否かに基づいてオブジェクトの距離を知る点に特徴がある。従来技術のように光の差分で距離を知る方法とは異なり、変調光を利用していることから、背景に明るさの変化が発生した場合でも誤認識することがない、ロバストなシステムを提供することができる。
【００４６】
図２には、発光部８の構成を示している。図示のように、発光部８は、発光制御部１３と光源１４で構成される。変調光１０は、なんらかのコードを明るさ信号に変調（コーディング）した光となる。図示の例では、「０１０１００１０」という８ビットのバイナリ値を変調しており、“０”は消灯（暗）、“１”は点灯（明）として表現している（以下同様）。このような点滅パターン（変調光）を発光させるための制御は発光制御部１３が担っている。光源１４は明るさを変化できるものであれば何でも良いが、応答速度や明るさの面からＬＥＤやレーザを用いるのが適当である。また、光の波長は可視光領域でも、赤外光領域でも良い。本実施例では、変調光の明暗を２値としているが、勿論、アナログ的に変化しても構わない。
【００４７】
図３には、変調光デコード部２におけるデコード処理の手順をフローチャートの形式で示している。
【００４８】
まず、撮像部３で光に応じた電気信号を発生させる（ステップＳ１）。
【００４９】
図４には、撮像部３の撮像面の構成を模式的に示している。光を基に電気信号を発生させるには、光電変換デバイスが２次元的に配置されている。ここで言う光電変換デバイスとして、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合型素子）やＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の撮像素子が用いられる。
【００５０】
画素１５は光電変換可能な最小単位であり、一般には、この撮像部３のフレームレートは変調光１０の周波数と同等か、若しくはより高周波で動作できることが望ましい。本実施形態では、説明の簡素化のため、変調光１０と撮像部３が同じ周波数で同期して動作しているケースを想定して説明する。つまり、変調光が１００Ｈｚで動作していた場合、撮像部１０は１００ｆｐｓ（秒当りのフレーム数）で動作することを想定している。
【００５１】
次いで、撮像部３から出力された電気信号は、バッファ・メモリ５に送られ、ここに数フレーム分保存される（ステップＳ２）。この際の電気信号は、アナログ値でもデジタル値（一般に、撮像装置からの出力デジタル値は１０〜１４ビット程度である）でも構わないが、データの扱い易さからデジタル値の方が望ましい。本実施形態では、８ビットのバイナリ・データを用いているため、８フレーム分の信号を保存する。
【００５２】
次いで、バッファ・メモリ５で保存されたデータは演算部６へ転送される。ここで、８フレーム分のデジタル（若しくはアナログ）信号を基にデコード演算を行なう（ステップＳ３）。
【００５３】
図５には、ここでの電気信号データの演算方法の一例を示している。図示の例では、ある閾値を設け、これより下であれば“０”、上であれば“１”となるように画素毎に判定処理を行なうようにしている。比較器１６を用いて出力を２値化すると簡便である。同図において、同じ“０”や“１”であっても信号量に変化を持たせているのは、変調光以外の要因（環境光）により信号が上下することを加味しているからである。この図からも、本実施形態に係るオブジェクト抽出処理が環境光の変化に対してロバストであることを理解できよう。 図１の制御部７は、変調光デコード部２や、発光制御部１３の上記のような動作を制御するものである。
【００５４】
以上のように、本発明では、最小単位では画素１５レベルで、変調された反射光1２をデコードすることが可能となる。そして、デコードされたコードが正しいか否か（すなわち発光部８から出力される変調光１０に与えられたコードと一致するか否か）に基づいて、その画素に反射光が入射したか否かを正確に知ることが可能となる。例えば、変調光１０の届く範囲にオブジェクト１１のみがあった場合、オブジェクト１１からの反射光1２を受けた画素１５のみが正しいデコードを行なうことができる。したがって、正しくデコードされた画素にのみ着目することで、撮像した画像からオブジェクト１１の形状を抽出することが可能となる。図６には、正しくデコードされた画素にのみ着目することでオブジェクト１１の形状を抽出する様子を示している。
【００５５】
以上、本発明の第１の実施形態について詳細に述べた。オブジェクト抽出装置1内の各部は機能説明のために便宜上分解して描かれているが、この中の幾つかのモジュール、若しくはすべての機能モジュールが１つのチップやモジュールに集積されたとしても、同様の効果が得られることは言うまでもない。例えば、本出願人に既に譲渡されている特開２００２−２９２３７９号公報、特開２００２−３２６８５７号公報、特開２００３−３３９６２号公報には、画素データを演算処理する演算機能を備えた撮像装置について開示されている。この種の撮像装置内の演算機能を用いて、数フレーム分の電気信号データの記憶、並びに電気信号データを基にデコード処理（電気信号データの閾値との比較）を行なうことができるので、上述したすべての機能モジュールを１チップで構成することができる。また、演算処理などは、ハードウェアで行なっても、あるいはソフトウェアで行なうようにしても良い。
【００５６】
第２の実施形態：
図７には、本発明の第２の実施形態に係るオブジェクト抽出装置の機能構成を示している。図示のオブジェクト抽出装置１は、変調光デコード部２と、タイミング制御部７と、発光部８と、レンズ９で構成される。さらに、変調光デコード部２は、撮像部３と、フレーム間比較部４と、バッファ・メモリ５と、演算部１７で構成される。本実施形態と上述の第１の実施形態との相違は、フレーム間比較部４が存在する点と、演算部１７におけるデータの取り扱いの点にある。
【００５７】
図８には、変調光デコード部２におけるデコード処理の手順をフローチャートの形式で示している。
【００５８】
まず、撮像部３で光に応じた電気信号を発生させる（ステップＳ１１）。電気信号はアナログ値でもデジタル値（一般に撮像装置からの出力デジタル値は１０〜１４ビット程度である）でも良い。
【００５９】
その後、この信号はフレーム間比較部４に転送される。ここでは、前後のフレーム間で信号の大小を比較演算する（ステップＳ１２）。図９には、ここでの比較演算方法の一例を示している。また、図１０には、この演算方法を実現する処理手順をフローチャートの形式で示している。本方法では、図９に示すようなフレーム間の差異１８の大きさ、及び符号を演算する。この際、同じ信号、例えば“０”であっても信号の差異は発生する。この差異（誤差）を閾値１９とし、これより大きな差異１８が見られた場合にデータの変化が生じたと定義する。図１０に示すように、前後のフレーム間で画素単位で画素信号の大小を比較する。そして、前のフレームより後のフレームの方の信号が大きい場合には、当該画素において“０”→“１”の変化が発生し、その逆であれば“１”→“０”の変化が発生したことが分かる。但し、上述したように、比較量が閾値１９以下の場合は不変と定義する。本実施形態では、フレーム間比較部４からの出力データは、前者の変化の際は“０１”、後者の変化の際は“１０”、不変であれば“００”と２ビットで定義付ける。入力信号は通常アナログ値、若しくは１０ビット以上のデジタル値となるが、本比較部４での演算により、２ビットに圧縮される。不変データ“００”では、“０”→“０”なのか、“１”→“１”なのかの判断がつかないが、変調光１０を用いていることから、必ず“０１”、若しくは“１０”が存在するため（ＡＬＬ“０”、ＡＬＬ“１”では、変調光としての判断が困難なので、これらは使用しない）、このデータからのフィードバックにより、“０”→“０”なのか、“１”→“１”なのかの判断を行なう。
【００６０】
図８に示すように、フレーム間比較部４結果はバッファ・メモリ５に記憶される（ステップＳ１３）。演算後のデータが数フレーム分記憶されることになるが、データが圧縮されている分だけ、第１の実施形態におけるバッファ・メモリよりも小容量のもので良い。また、第１の実施形態と同様に、コードは８ビットのバイナリ・データを想定しているため、このバッファ・メモリ５では８フレーム分のデータを保存する。
【００６１】
次いで、バッファ・メモリ５で保存されたデータは演算部１７へ転送される。演算部１７では、フレーム間比較部４において圧縮されたデータをデコードする（ステップＳ１４）。図１１にはフレーム・データの流れを示している。撮像部3から出力されたデータがフレーム間比較部４でデータ圧縮され、その後デコードされることで、変調光１０から８ビットのデータを得ることができる。
【００６２】
以上のように、本発明では、最小単位では画素１５レベルで、変調された反射光１２をデコードすることが可能となる。そして、デコードされたコードが正しいか否か（すなわち発光部８から出力される変調光１０に与えられたコードと一致するか否か）で、その画素に反射光が入射したか否かを正確に知ることが可能となる。例えば、変調光１０の届く範囲にオブジェクト１１のみがあった場合、オブジェクト１１からの反射光１２が入射された画素１５のみが正しいデコードを行なうことができる。したがって、正しくデコードされた画素にのみ着目することで、撮像画像からオブジェクト１１の形状を抽出することが可能となる。図１３には、正しくデコードされた画素にのみ着目することでオブジェクト１１の形状を抽出することができた様子を示している。
【００６３】
以上、本発明の第２の実施形態について詳細に述べた。オブジェクト抽出装置１内の各部は機能説明のために便宜上分解して描かれているが、この中の幾つかの部、若しくはすべてが１つのチップやモジュールに集積されたとしても同様の効果が得られることは言うまでもない（同上）。また、演算処理などは、ハードウェアで行なうようにしても、あるいはソフトウェアで行なうようにしても良い。
【００６４】
第３の実施形態：
ここでは、上述した手段を用いたオブジェクト切抜きのための情報と、通常画像の情報とにより切り抜かれたオブジェクトのみを表示装置により表示させるという実施形態について説明する。
【００６５】
図１２には、本実施形態に係る切り抜かれたオブジェクトを表示出力するための処理手順をフローチャートの形式で示している。
【００６６】
撮像部３（図１、図７を参照のこと）からの出力データを、上述したオブジェクト抽出装置１（図１、図７を参照のこと）へ転送するとともに（ステップＳ２１）、通常の映像信号を生成するための画像処理装置へ転送する（ステップＳ２２）。その後、それぞれの装置から画素毎、若しくはそれに準じたレベルの、デコードの成否データ、及び、通常画像データが出力される。この際お互いのデータは１対１対応するのが望ましいがこの限りではない。
【００６７】
次いで、画素毎にデコードが正しく行なわれたか否かを判別し（ステップＳ２３）、その情報を基にそれぞれに個別に任意の処理１、並びに処理２を行なう（ステップＳ２４、Ｓ２５）。ここでは、処理１に相当することを表示装置に転送することとし、処理２に相当することを表示装置に転送しないこととした。これにより、正しくデコードされた画素に対応する通常画像データのみを表示装置にて表示させることができる。
【００６８】
図１３には、本実施形態を適用し、撮影画像に含まれる特定のオブジェクトを表示した場合の画面を示している。
【００６９】
図１３（ａ）には被写体を示している。ここでは、変調光が十分届く位置に人の手があり、その後で変調光が届かない位置に木がある場合を想定している。また、図１３（ｂ）には通常のカメラで撮影した際の通常の映像を示している。また、図１３（ｃ）には、本実施形態を適用し、特定のオブジェクト（人の手）のみを切り出して表示した例を示している。正しくデコードされた画素に相当する映像データのみ表示すれば、このような抜き取りが可能となる。
【００７０】
ここでは、正しくデコードされていない画素のエリアをグレーで表示した。他にも、正しくデコードされていないエリアを画像処理でぼかし、これを表示させることで、例えば、近くの人物ははっきりと表示し、背景をぼかすようなことも可能となる。あるいは、全く違った画像データを用意し、このデータを表示させるなどしても良い。 以上のようにオブジェクト抽出装置１により処理されたデコード情報を利用することで、特定のオブジェクトのみを表示装置に表示することが可能となる。
【００７１】
第４の実施形態：
ところで、上述した第３の実施形態では抽出されたオブジェクトを簡易に表示できる一方、撮像部からの出力データには環境光に加え変調光が載っている。このため、通常画像データを表示する場合は、変調光が照射された特定のオブジェクトについて、周囲に比べ明るくなったり、変調光によってフリッカが観察されたりするといった問題が見られる場合がある。本実施形態では、抽出されたオブジェクトが、オブジェクト抽出のために照射された変調光を浴びることにより生ずるこれらの問題を解決するためのものである。
【００７２】
図１４に本実施形態に係る画像取得の動作シーケンスを示している。同図に示すように、本実施形態では、環境光成分のみがオブジェクトに照射されている通常画像の取得と、環境光成分にさらに変調光成分も載った光によりオブジェクトが照射されている画像の取得とを時分割により行なう。
【００７３】
通常画像取得動作時に得られた通常画像に対しては、通常の画像処理が施される。例えば、ＣＲＴディスプレイなどの表示装置へ画面出力するための映像信号に変換される。また、環境光成分にさらに変調光成分も載った光により照射されているオブジェクト抽出用の画像取得及びデコード処理動作時には、撮像画像は上述したオブジェクト抽出装置にて処理が施される。
【００７４】
このような動作シーケンスにより、変調光の影響を受けない通常画像を表示することが可能となる。
【００７５】
図１５には、撮像部３（図１及び図７を参照のこと）によるデータ出力から画像表示までの処理手順をフローチャートの形式で示している。
【００７６】
通常画像用のデータと、オブジェクト抽出用のデータは時分割に交互に出力される（ステップＳ３１、Ｓ３２）。時間的に前に通常画像処理が行なわれ、その後のデコード処理で正しくデコードすることができたかどうかに応じて（ステップＳ３３）、どの画素の画像データが処理１（ステップＳ３４）若しくは処理２（ステップＳ３５）に送られるかが決められる（前後関係はこれの逆でも良い）。
【００７７】
ここで、通常画像用データとオブジェクト抽出用のデータは時間的に一致していない。このため、抽出しようとするオブジェクトが動いている場合には、画像表示用の通常画像の取得時とオブジェクト抽出用の画像取得時とで、オブジェクトの画像フレーム内での位置に空間的なずれが発生する可能性がある。但し、これは撮像部３のフレームレートを上げ、オブジェクト表示用の通常画像撮影とオブジェクト抽出用の画像撮影との時間的な差を縮めることで軽減することが可能となる。
【００７８】
また、本実施形態では、通常画像の動作時と、デコード処理を含む動作時とではフレームレートを変えている。例えば、図１４に示す例では、前者：後者＝１：８としている。これにより、それぞれの動作時間が等しくなる。 以上のように本実施形態では、通常画像用のデータと、オブジェクト抽出用のデータは時分割に交互に出力する際に、オブジェクトの空間的なずれを発生することがあるものの、変調光が載らない（すなわち環境光だけ）が照射される特定のオブジェクトの画像を表示装置に表示することができる。
【００７９】
第５の実施形態：
第４の実施形態では、変調光成分の影響を受けないオブジェクトの画像を得るために、環境光成分のみがオブジェクトに照射されている通常画像の取得と、オブジェクト抽出のための画像取得とを時分割により行なう。後者のオブジェクト抽出を行なうための画像取得では、環境光成分にさらに変調光成分も載った光によりオブジェクトが照射されている画像の取得を行なう。このように時分割でオブジェクトの撮影を行なう都合上、オブジェクトの画像フレーム内での位置に空間的なずれが発生しうる（前述）。
【００８０】
本実施形態では、通常画像用データとオブジェクト抽出用のデータは時間的に一致していないことに起因するオブジェクトの空間的なずれの問題を、動き予測の手法を適用することにより解決するためのものである。但し、第４の実施形態に係るシステム構成に、オブジェクトの動き補償の処理が付加する形となるため、その分だけ計算機の負荷は重くなる。
【００８１】
図１６には、動いているオブジェクトに対し通常画像の撮影とオブジェクト抽出（デコード）用の撮影を時分割で交互に行なっている様子を示している。図示の例では、被写体２０は移動する円形の物体であり、この被写体２０に対して本発明に係るオブジェクト抽出を適用する場合について、以下に説明を行なう。
【００８２】
現在、被写体２０（画像取得及びデコード処理中）は、図１６に示す位置にあるとする。被写体２０は矢印２６で示す軌跡に沿って移動しており、前のフレーム（通常画像取得時）には被写体２１に、さらにその前のフレーム（画像取得及びデコード処理時）では被写体２２に、さらにその前のフレーム（通常画像取得時）では被写体２３の場所に存在していたとする。
【００８３】
被写体２０に相当する画素がデコード処理により正しくデコードされ、この画素に対応する通常画像を表示しようとしたとする。ところが、デコード処理用の画像取得と通常画像取得は時分割で交互に行なわれていることから、現在の被写体２０の位置と、その直近で取得された通常画像における被写体２１の位置との間には、空間的なずれが発生している。その結果、被写体２１のうち表示されるのは、これらの重なり（ＡＮＤ）の部分である表示部２８のみとなり（図１６（ｂ）を参照のこと）、その他の部分は表示されないことになる。
【００８４】
そこで、本実施形態では、このような事態を回避するために、被写体の動きベクトルを抽出し、動き予測の結果を利用して、所望の表示を達成しようと試みる。
【００８５】
図１６において、画素２４〜２７は被写体２１〜２３に対して、同じ位置に相当する画素である。ここで、デコード時の被写体２０の画素２４に相当する通常画像は被写体２１の画素２５であるという画像フレーム間における画素の対応関係を導出し、直近に撮影された通常画像中で被写体２０に対応する画素部分を表示することにより、抜けのない、良好なオブジェクト抽出が可能になることが分かる。
【００８６】
このようなオブジェクト抽出を実現するために、矢印２６のベクトル、すなわちオブジェクトの動きベクトルを求める必要がある。動きベクトルの抽出は、デコードされたデータである被写体２０と被写体２２を利用する。例えば、被写体が図１６に示すような単純な円形であれば、まず、それぞれの被写体の重心を求め、その後、これらの重心を結ぶベクトルを導出すればよい。
【００８７】
あるいは、動きベクトルの他の抽出方法として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）４などの標準的な画像圧縮技術で用いられている一般的な方法を適用することができる。例えば、被写体２３を１つのポリゴンとして扱い、これの次の（実際には次の次）フレーム（被写体２１が撮影された通常画像フレーム）との間で、ポリゴン・マッチング処理を行なうことでベクトルを求める。この動きベクトルを基に画素２４⇒画素２５という画素のアドレス変換を行なえばよい。
【００８８】
図１７には、オブジェクトの動きベクトルの抽出と動きベクトルに基づくがそのアドレス変換を行なうための処理手順をフローチャートの形式で示している。
【００８９】
まず、直近のデコード用撮影画像中において被写体２２の重心を求める（ステップＳ４１）。次いで、現在のデコード用撮影画像中における被写体２０の重心を求める（ステップＳ４２）。そして、求められたそれぞれの重心を基に、動きベクトルを抽出する（ステップＳ４３）。
【００９０】
次いで、直近の通常画像中で、動きベクトルの中心に被写体２１が存在すると仮定して（ステップＳ４４）、求めた動きベクトルを基に、被写体２０を構成するがそのアドレスを変換する（ステップＳ４５）。このアドレス変換を利用することで、デコード用画像中の被写体２０に相当する画素データを取得することができる。
【００９１】
以上説明したように、本実施形態では、デコードされた画素２４に対応する映像画素２５を動きベクトルから推定することで、良好に特定オブジェクトの抽出を行なうことができる。
【００９２】
第６の実施形態：
これまでは、１種類の変調コードのパターンからなる変調光を用いてオブジェクトを照射し、その撮像画像を画素毎に正しくデコードされたか否かという２値によりオブジェクトの抽出を行なう各実施形態について説明してきた。これに対し、本発明の第６の実施形態では、変調コードの異なる複数の種類の変調光を用いてオブジェクトを照射するようにした。そして、その撮像画像を画素毎にデコードを試み、正しくデコードされている場合は、さらに、いずれのコード・パターンがデコードされているのかを検知することで、いずれの変調光に対する反射光であるかを特定する。この場合、各変調光により抽出されたオブジェクト毎に個別の画像処理を適用することができるので、さらに使い勝手の良いシステムを提供することができる。以下では、変調光を用いたオブジェクト抽出の応用として、２種類以上の変調コードのパターンからなる変調光を用いた実施形態について説明する。
【００９３】
図１８には、本実施形態に係る発光部の構成を示している。第１〜第５の実施形態では、図２に示したように、１種類の変調コード・パターンが変調光１０として発光される。これに対し、本実施形態では、２種類以上の変調コード・パターンからなる変調光３０及び３１が発光される。図１８では、光源３３が「０１０１００１０」と「０１０１１００１」の２つの変調光を交互に発光する例が示されている。
【００９４】
ここで、光源３３は、１つの光源が複数の変調コード・パターンを出力するようにしてもよいし、変調コード・パターン毎に光源を配設するようにしてもよい。光源３３の制御は、発光制御部３２が行なっている。
【００９５】
さらに、２つの変調光３０及び３１は光強度を相対的に変えてあり、前者が弱く、後者が強くなるように設定している。この場合、それぞれの変調光３０及び３１が到達しうる距離もその光強度に応じて異なり、後者の方が遠くまで届くことになる。
【００９６】
図１９には、本実施形態に係る画像取得の動作シーケンスを示している。図示の動作シーケンスは、第４の実施形態（図１４を参照のこと）の場合と同様に、オブジェクト抽出のための画像取得とを時分割により行なう。後者のオブジェクト抽出を行なうための画像取得では、環境光成分にさらに変調光成分も載った光によりオブジェクトが照射されている画像の取得を行なう。
【００９７】
図１４に示した動作シーケンスとの相違は、デコード処理が２回続けて行なわれる、すなわち変調コード・パターン毎にデコード処理が行なわれる点である。この理由、それぞれの変調光３０及び３１が干渉する場合を想定しているためである。勿論、互いに干渉しない変調方法（コーディング方式）を用いれば、同時にデコードすることも可能である。
【００９８】
また、図１９に示す例では、通常画像取得動作と画像取得及びデコード処理動作では、後者の動作期間の方が長く描かれているが、上記したような空間的なずれを考慮すると、後者の動作は極力速く処理するのが望ましい。
【００９９】
上記のような発光動作、及び動作シーケンスを用いた場合、光強度を異ならせたコードの数だけデコーディングを行なった段階で、各変調光により照射されたオブジェクトを抽出するとともに、オブジェクトまでの距離を同定することができる。図１８には、コード毎に光強度を異ならせた２種類以上の変調光を照射した様子を示している。同図に示すように、光強度の弱い変調光３０からの反射光をデコードできるのはより近い距離にあるオブジェクト３４であり、強い変調光３１からの反射光をデコードできるのは、これより遠くの距離にあるオブジェクト３５である。さらにデコードが正しく行なえないのは、さらに遠くにあるオブジェクト３６である。図示の例では変調光は２種類であるが、当然これ以上でも良い。
【０１００】
以上のように、複数の変調光を用いることで、距離情報を得ることが可能となり、これより任意の距離のオブジェクトを抽出し表示することも可能になる。
【０１０１】
図２０には、本実施形態において、データ出力から画像表示までの処理手順をフローチャートの形式で示している。
【０１０２】
通常画像用のデータと、オブジェクト抽出用の画像取得は時分割に交互に出力される（ステップＳ５１、Ｓ５２）。時間的に前に通常画像処理が行なわれ、その後のデコード処理では、オブジェクト抽出用の取得画像の画素毎に各コーディング方式により正しくデコードすることができたかどうかを判別する（ステップＳ５３）。
【０１０３】
ここで、いずれのコーディング方式でも正しくデコードされなかった画素については、処理２を適用する（ステップＳ５４）。処理２の一例は当該画素信号を表示出力しないことである。
【０１０４】
また、いずれかのコーディング方式により正しくデコードすることができた画素については（ステップＳ５３）、さらに、いずれのコーディング方式により正しくデコードできたかに応じて、その処理方法について決定する（ステップＳ５５）。
【０１０５】
例えば、弱い光強度に設定されている変調光３０が持つコード・パターン「０１０１００１０」がデコードされた画素については、より近い場所にあるオブジェクトの画素信号として、処理１（例えば表示出力）が適用される（ステップＳ５６）。
【０１０６】
また、強い光強度に設定されている変調光３１が持つコード・パターン「０１０１１００１」がデコードされた画素については、より遠い場所にあるオブジェクトとの画素信号として、処理４（例えば表示出力）が適用される（ステップＳ５７）。
【０１０７】
また、いずれのコード・パターン「０１０１００１０」及び「０１０１１００１」もデコードすることができた画素については、処理３（例えば表示出力）が適用される（ステップＳ５８）。
【０１０８】
第７の実施形態：
上述した第６の実施形態では、光強度を異ならせた複数の変調光を用いた。これに対し、本実施形態では、発光角度が異なる複数の変調光を用いている。
【０１０９】
図２１には、本実施形態に係る発光部、及び変調光の構成を示している。変調光３７及び３８は互いに異なる方向へ発光している。方向は左右でも、上下でも、同心円状でも、どの方向でも構わない。光源３９は、１つの光源が時分割で発光角度の異なる変調光を照射するようにしてもよいし、発光角度毎に光源を配設するように構成してもよい。
【０１１０】
なお、変調コード・パターンが相違する変調光毎に時分割でデコード処理を行なうのは、それぞれの変調光３７及び３８が干渉することを想定しているためであり、干渉しない変調方法（コーディング方式）を用いることにより同時にデコードすることも可能である。
【０１１１】
また、光源３９の動作制御は、発光制御部４０が行なっている。動作シーケンスは図１９と同様であり、オブジェクト抽出のための画像取得とを時分割により行なうことができる。後者のオブジェクト抽出を行なうための画像取得では、環境光成分にさらに変調光成分も載った光によりオブジェクトが照射されている画像の取得を行なう。デコード処理は、発光角度毎に行なわれる。
【０１１２】
本実施形態によれば、オブジェクト抽出を行ないたい方向を特定することが可能である。図２２には、左右方向に異なる変調光を発光する際の、発光エリア５０（変調光３７）、及び発光エリア５１（変調光３８）と、撮像素子の撮像画角５２の関係を示している。同図のように設定することで、例えば、図２３のように変調光３７に照射された右手５３と変調光３８に照射された左手５４の双方を別々のコードで認識することができるようになる。これにより、両手による別々の情報入力などが可能になる。ゲームなどの用途では、遊び方の応用範囲を広げることができる。
【産業上の利用可能性】
【０１１３】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【０１１４】
撮像素子から得られた電気信号データを数フレーム分だけ記憶し、前後のフレームで電気信号データを比較してデコード処理を行なう機能モジュールの一部又は全部を１つのチップ又はチップ内モジュールに集積することによっても、本発明を好適に実現することができる。
【０１１５】
例えば、本出願人に既に譲渡されている特開２００２−２９２３７９号公報、特開２００２−３２６８５７号公報、特開２００３−３３９６２号公報には、画素データを演算処理する演算機能を備えた撮像装置について開示されている。この種の撮像装置に本発明に関する機能モジュールの一部又は全部を実装することができる。
【０１１６】
また、閾値との比較により画素毎の電気信号データをデコードする処理、あるいは前後のフレームで電気信号データを比較してデコード処理を行なう演算処理などを、ハードウェアで行はなくソフトウェアで行なうようにしても良い。
【０１１７】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【図面の簡単な説明】
【０１１８】
【図１】図１は、本発明の第１の実施形態に係るオブジェクト抽出装置の機能構成を模式的に示した図である。
【図２】図２は、発光部８の構成を示した図である。
【図３】図３は、変調光デコード部２におけるデコード処理の手順を示したフローチャートである。
【図４】図４は、撮像部３の撮像面の構成を模式的に示した図である。
【図５】図５は、撮像部３から出力された電気信号の演算方法を説明するための図である。
【図６】図６は、正しくデコードされた画素にのみ着目することでオブジェクト１１の形状を抽出する様子を示した図である。
【図７】図７は、本発明の第２の実施形態に係るオブジェクト抽出装置の機能構成を示した図である。
【図８】図８は、変調光デコード部２におけるデコード処理の手順を示したフローチャートである。
【図９】図９は、撮像部３から出力された電気信号データを前後のフレームで比較する演算方法を説明するための図である。
【図１０】図１０は、撮像部３から出力された電気信号データを前後のフレームで比較する処理手順を示したフローチャートである。
【図１１】図１１は、フレーム・データの流れを示した図である。
【図１２】図１２は、正しくデコードされた画素にのみ着目することでオブジェクト１１の形状を抽出することができた様子を示した図である。
【図１３】図１３は、本発明を適用し、撮影画像に含まれる特定のオブジェクトを表示した場合の画面例を示した図である。
【図１４】図１４は、本発明の第４の実施形態に係る画像取得の動作シーケンスを示した図である。
【図１５】図１５は、本発明の第４の実施形態において、データ出力から画像表示までの処理手順を示したフローチャートである。
【図１６】図１６は、動いているオブジェクトに対し通常画像の撮影とオブジェクト抽出（デコード）用の撮影を時分割で交互に行なっている様子を示した図である。
【図１７】図１７は、オブジェクトの動きベクトルの抽出と動きベクトルに基づくがそのアドレス変換を行なうための処理手順を示したフローチャートである。
【図１８】図１８は、本発明の第６の実施形態に係る発光部の構成を示した図である。
【図１９】図１９は、本発明の第６の実施形態に係る画像取得の動作シーケンスを示した図である。
【図２０】図２０は、本発明の第６の実施形態において、データ出力から画像表示までの処理手順を示したフローチャートである。
【図２１】図２１は、本発明の第７の実施形態に係る発光部及び変調光の構成を示した図である。
【図２２】図２２は、左右方向に異なる変調光を発行する際の発光エリアと撮像画角の関係を示した図である。
【図２３】図２３は、図２２に示したように発光エリアと撮像画角の関係を設定した場合におけるオブジェクトの認識結果の例を示した図である。
【図２４】図２４は、特定のオブジェクトのみを抽出する手段を備えた情報入力装置の構成例（従来技術）を示した図である。
【符号の説明】
【０１１９】
１…オブジェクト抽出装置
２…変調光デコード部
３…撮像部
４…フレーム間比較部
５…バッファ・メモリ
６…演算部
７…タイミング制御部
８…発光部
９…レンズ
１７…演算部
【技術分野】
【０００１】
本発明は、デジタル・データの処理を行なう情報処理装置及び情報処理方法、並びにコンピュータ・プログラムに係り、特に、撮像された画像データの処理を行なう撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、撮影画像に含まれる特定のオブジェクトのイメージを抽出する撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラムに係り、特に、オブジェクトからの反射光を利用して撮影画像に含まれる特定のオブジェクトのイメージを抽出する撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
昨今の情報技術（ＩＴ）分野における急速な進歩とともに、さまざまな形態のコンピュータ・システムが開発・製造され、大学やその他の研究機関、企業内のオフィス、さらには一般家庭内に広く普及している。コンピュータ上では、テキスト形式の文書ファイル以外に、音声、画像、自然言語などさまざまなメディアをデジタル化して、数学的に取り扱うことにより、情報の編集・加工、蓄積、管理、伝達、共有などより高度で多岐にわたる処理を行なうことが可能となっている。
【０００４】
例えば、コンピュータを用いて画像に対し変形や色の変更、画質向上、再符号化などのデジタル・イメージ処理を行なう画像処理技術は広範に普及している。この画像処理技術には、風景写真の中で美観を損ねる電柱などの物体を除去する特殊効果や、人間の顔から動物の顔へ滑らかに変化させるモーフィングなども含まれる。また、人工衛星から送られてくる写真映像の処理や、ＣＴスキャナで読み込まれた診断画像の処理など、画像処理技術は科学や医療などの各種専門分野にも適用されている。
【０００５】
また、画像処理技術によれば、特殊な装置を装着することなく、簡易にジェスチャや動きの入力を行なうことができる（例えば、特許文献１を参照のこと）。この場合、反射光あるいは輻射光による入力から物体画像を抽出し、反射光画像の形状を解釈してその形状を指示（ユーザ・インタラクション）に変換する。また、キャラクタを背景画像から切り出すために、特定の画像を分解し、得られた分解画像に基づいて特定部分を抽出する。さらに抽出された画像及び背景を記憶し、反射光画像の配置位置を指定し、記憶された反射光画像の配置位置が指定されると、記憶された背景に対し指定された配置位置に反射光画像を配置して合成する。これによって、３次元空間でのポインティングや始点の変更を容易に行なうことができる。また、ユーザのジェスチャや動きをそのまま使って、アニメーションのキャラクタなどに自然な動きをつけるなどの直接的な操作を行なうことができる。さらに、特定のキャラクタだけを切り出したり、キャラクタの奥行き情報を用意に入力したりすることができる。
【０００６】
図２４には、特定のオブジェクトのみを抽出する手段を備えた情報入力装置の構成例を示している。オブジェクト抽出部１００は、レンズ１０２、反射光抽出部１０１、タイミング制御部１０８、発光部１０７を備えている。さらに、反射光抽出部１０１は、第１の受光部１０３、第２の受光部１０４、差分演算部１０５、アンプ１０６、Ａ／Ｄ変換部１０９で構成される。以下に、本オブジェクト抽出部１００を用いた、オブジェクト１１０の抽出方法について説明する。
【０００７】
発光部１０７はタイミング制御部１０８による制御によって点滅し、その点滅光１１１はオブジェクト１１０を照らしている。点滅光１１１は可視光でも赤外光でもよい。
【０００８】
第１の受光部１０３は、発光部１０７が消灯している際に、オブジェクト１１０及びその背景の画像を取得する。次いで、第２の受光部１０４は、発光部１０７が点灯している際に、オブジェクト１１０及びその背景の画像を取得する。
【０００９】
画像内に動きがない場合、第２の受光部１０４で取得した画像は、第１の受光部１０３で取得した画像に対して、発光部１０７から発せられた光が加算されたものとなる。この加算量は、発光部１０７からの距離が近いオブジェクトほど多くなる。
【００１０】
次に、受光部１０３及び１０４でそれぞれ取得された画像データは差分演算部１０５へ転送される。ここで、それぞれの画像データから受光量の差分が演算される。差分値は発光部１０７からの光を強く受けた（すなわち強く反射した）オブジェクトほど大きくなる。つまり、オブジェクトの反射率が等しいと仮定すすれば、差分値は発光部１０７からオブジェクトまでの距離に比例することとなる。その後、差分値はアンプ１０６で増幅され、さらにＡ／Ｄ変換部１０９によりデジタル・データに変換されてから、次工程へと進む。
【００１１】
第１の受光部１０３と第２の受光部１０４は、時間的に同時に画像を取得する訳ではないため、同一の受光装置でも良い。また、受光部１０３及び１０４には、一般的にフォトダイオードで構成される検出部（画素）が２次元的に配置された固体撮像素子が用いられる。そのため、上述した差分値は画素毎に得ることができる。つまり、発光部１０７からの距離が近いオブジェクトを撮像した画素の差分値は大きく、遠いオブジェクトを撮像した画素の差分値は小さくなる。 以上のようにして、画素毎に距離に比例した差分値を有しているため、ある適当な閾値を設定し、その値以上（以下）のみを表示するなどして、簡易にオブジェクトを抽出することができる。図２４に示す装置構成によれば、オブジェクト１１０を背景から切り抜いて表示することが可能となり、このデータを用いたインタラクションも可能となる。
【００１２】
ここで、上述したようなオブジェクトの抽出方法では、以下のような問題があると本発明者らは思料する。
【００１３】
通常、オブジェクト抽出部１００はカメラ装置に内蔵されることになる。この場合、ユーザがカメラ装置自体を動かして操作し、例えばオブジェクト１１０を撮像することも想定されるが、カメラ自体の動きに応じて光量が変化し、誤認識を招来する可能性がある。点滅光１１１が届かないような背景の像は、それ自体が固定されていれば、この部分を撮像する画素で明るさの差分は検出されない。これに対し、カメラ自体が動くことで背景全体が動くことになれば、それらを撮像する画素には、何らかの明るさの変化が発生する。この明るさの変化を、距離として誤認識してしまい、正しい距離データが取得できないことになる。これによりオブジェクト抽出も困難なものとなる。
【００１４】
さらに、背景に点滅光があった場合、ここでも時間的な明るさの変化があるため、距離として誤認識してしまう。例えば、背景にＣＲＴディスプレイが置いてあった場合には、所定のフレームレートで切り替わる表示画面のために、オブジェクトの形状を誤認識してしまう可能性がある。
【００１５】
以上のように、従来の画像処理システムでは、背景にも明るさの変化があった場合、これらもすべて距離情報として誤認識してしまう問題があるため、オブジェクト抽出を困難なものとなっている。
【００１６】
【特許文献１】特許第３３２１０５３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１７】
本発明の目的は、撮影画像に含まれる特定のオブジェクトのイメージを好適に抽出することができる、優れた撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラムを提供することにある。
【００１８】
本発明のさらなる目的は、オブジェクトからの反射光を利用して撮影画像に含まれる特定のオブジェクトのイメージを好適に抽出することができる、優れた撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラムを提供することにある。
【００１９】
本発明のさらなる目的は、背景に明るさの変化があった場合であっても、オブジェクトからの反射光を利用して撮影画像に含まれる特定のオブジェクトのイメージをより正確に抽出することができる、優れた撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００２０】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、任意にコーディングされた変調光を照射する照射部と、前記変調光に対する特定のオブジェクトからの反射光を含んだ画像を撮像する撮像部と、前記変調光に対する反射光のデコーディングに基づいて撮像画像を処理する演算部とを具備することを撮像装置である。
【００２１】
コンピュータによる画像処理技術を用いれば、入力した撮影画像に含まれるオブジェクトの画像を抽出することができる。この場合、反射光あるいは輻射光による入力から物体画像を抽出し、反射光画像の形状を認識することが一般に行なわれる。ところが、この場合、カメラ自体の動きによる光量の変化の影響を受けて誤認識する可能性がある、背景にある点滅光の影響によりオブジェクトの形状を誤認識する、といった問題がある。
【００２２】
これに対し、本発明によれば、前記演算部は、前記変調光のデコーディングを行ない、撮像画像のうち正しくデコードできた部分を前記変調光が照射された部分であると判断することにより、撮像画像から前記特定のオブジェクトの画像部分のみをより正確に抽出することができる。
【００２３】
すなわち、本発明によれば、任意のコーディングがなされた変調光を正しくデコードすることができたか否かに基づいてオブジェクトを認識しているので、従来技術のように光の差分で距離を知る方法とは異なり、背景に明るさの変化が発生した場合でも誤認識することがない、ロバストなシステムを提供することができる。
【００２４】
ここで、前記撮像部には、ミクロな光電変換デバイスが２次元的に配列されて構成される、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合型素子）やＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の撮像素子が用いられる。そして、前記演算部は、撮像素子毎に前記変調光のデコーディングを試み、撮像素子の出力信号から変調光に掛けられた元のコード・パターンを正しくデコードすることができたかどうかに基づいて、前記変調光が照射された部分と照射されていない部分に分離することができる。
【００２５】
前記撮像部における数フレーム分の撮像画像を記憶する記憶部をさらに備えていてもよい。前記演算部は、前後のフレーム間で対応する画素の出力信号の比較を行なうことによって、コード・パターンをデコードすることができる。また、半導体実装技術を好適に利用することにより、前記撮像部と、前記記憶部と、前記演算部を単一の半導体回路チップで構成することもできる。
【００２６】
また、前記照射部は、不可視光の波長成分からなる変調光を照射する。前記照射部は、コード、コーディング方式、光強度、発光角度のうち少なくとも１つが相違する２種類以上の変調光を照射するようにしてもよい。
【００２７】
前記照射部は、例えば、所定の発光周波数に従って、光源からの照射光を所定のコード・パターンでコーディングして変調光を照射する。この場合、前記撮像部は、コーディングされた変調光に対する反射光をデコードできるようにするために、前記発光周波数と同等以上のフレームレートで画像を撮像するようにする。そして、前記演算部は、前記撮像部からの出力信号を基に、前記特定のオブジェクトからの変調光に対する反射光に含まれるコードをデコードする。例えば、前記照射部において変調光をコーディングし、前記演算部において前記変調光のデコーディングを行なうときに、前記撮像部は、より高いフレームレートに切り替えるようにする。
【００２８】
また、本発明に係る撮像装置は、前記撮像部が通常の画像撮像を行なう通常画像撮像モードと、前記撮像部が前記演算部において前記変調光のデコーディングを行なうための画像撮像を行なうデコード・モードを備えていてもよい。例えば、前記通常画像撮像モードと前記デコード・モードを時分割で交互に動作するようにしてもよい。この場合、変調光成分の影響を受けないオブジェクトの画像を得るために、環境光成分のみがオブジェクトに照射されている通常画像の取得と、オブジェクト抽出のための画像取得とを時分割により行なう。
【００２９】
前記通常画像撮像モードでは、前記照射部は変調光を照射せず、前記撮像部は環境光（若しくは自然光）に対するオブジェクトや風景からの反射光からなる画像を撮像する。また、前記デコード・モードでは、前記照射部は変調光を照射するので、前記撮像部は、環境光及び前記変調光に対する反射光からなる画像を撮像するようにする。
【００３０】
例えば、前記演算部は、前記デコード・モード下での撮像画像から前記変調光のデコーディング結果に基づいて、撮像画像内で前記特定のオブジェクトの部分を特定することができる。そして、前記通常画像撮像モード下での撮像画像のうち該当部分を前記特定のオブジェクトの画像として抽出することができる。
【００３１】
ここで、このように時分割でオブジェクトの撮影を行なう都合上、オブジェクトの画像フレーム内での位置に空間的なずれが発生しうる。そこで、前記演算部は、前記デコード・モードと前記通常画像撮像モード間で撮像画像の時間的な相違によるオブジェクトの移動の影響を考慮しながら、前記通常画像撮像モード下での撮像画像から前記特定のオブジェクトの画像を抽出するようにしてもよい。
【００３２】
この場合、前記演算部は、前記デコード・モードと前記通常画像撮像モード間で撮像画像の時間的な相違に起因する前記特定のオブジェクトの空間的な相違を表す動きベクトルを求める。そして、前記動きベクトルに基づいて前記デコード・モード下での撮影画像中における前記特定のオブジェクトの部分から、前記通常画像撮像モード下での撮像画像中における前記特定のオブジェクトの部分へアドレス変換を行なうことにより、通常撮像画像から前記特定のオブジェクトの画像部分をより正確に抽出することができる。
【００３３】
また、前記照射部がコードの異なる２種類以上の変調光を照射し、前記演算部は、コード毎に変調光のデコーディングを行ない、各変調光が照射された部分をそれぞれ抽出するようにしてもよい。すなわち、複数の種類の変調光を用いてオブジェクトを照射し、その撮像画像を画素毎にデコードを試み、正しくデコードされている場合は、さらに、どのコード・パターンによりデコードすることができるのかを検知することができる。そして、前記演算部は、コードが異なる変調光が照射された部分毎に、個別の画像処理を適用することができる。あるいは、特定のコードによる変調光が照射された部分のみを表示出力するなどして、さらに使い勝手の良いシステムを提供することができる。
【００３４】
このとき、前記照射部は、コード毎に光強度を異ならせた２種類以上の変調光を照射するようにしてもよい。各変調光の光強度を相対的に変えると、到達しうる距離も相違するので、強い光強度の変調光ほどより遠くまで届き、遠くのオブジェクトからの反射光を正しくデコードすることができる。したがって、前記演算部は、コード毎に変調光のデコーディングを行ない、各変調光が照射された部分をそれぞれオブジェクトとして抽出するとともに、該変調光の光強度に基づいて照射されたオブジェクトまでの距離を同定することができる。すなわち、複数の変調光を用いることで、距離情報を得ることが可能となり、これより任意の距離のオブジェクトを抽出することも可能になる。そして、オブジェクトの距離に応じた表示出力するなどして、さらに使い勝手の良いシステムを提供することができる。
【００３５】
また、前記照射部は、コード毎に発光角度を異ならせた２種類以上の変調光を照射するようにしてもよい。各変調光は互いに異なる方向へ発光しており、それらの方向は左右でも、上下でも、同心円状でも、どの方向でも構わない。この場合、前記演算部は、発光角度毎に変調光のデコーディングを行ない、画角に応じたオブジェクトの表示処理を行なうことができる。
【００３６】
また、本発明の第２の側面は、任意にコーディングされた変調光が照射された特定のオブジェクトを撮像して得られる画像情報の処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、撮像画像に対し変調光のデコーディングを行なうデコーディング・ステップと、正しくデコードされたか否かに基づいて撮像画像のうち前記変調光が照射された部分とそれ以外の部分に分離し、前記変調光が照射された部分を前記特定のオブジェクトとして抽出するオブジェクト抽出ステップとを具備することを特徴とするコンピュータ・プログラムである。
【００３７】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る撮像装置と同様の作用効果を得ることができる。
【発明の効果】
【００３８】
本発明によれば、撮影画像に含まれる特定のオブジェクトのイメージを好適に抽出することができる、優れた撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラムを提供することができる。
【００３９】
また、本発明によれば、オブジェクトからの反射光を利用して撮影画像に含まれる特定のオブジェクトのイメージを好適に抽出することができる、優れた撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラムを提供することができる。
【００４０】
また、本発明によれば、背景に明るさの変化があった場合であっても、オブジェクトからの反射光を利用して撮影画像に含まれる特定のオブジェクトのイメージをより正確に抽出することができる、優れた撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラムを提供することができる。
【００４１】
本発明によれば、変調光を用いて特定のオブジェクトの抽出を行なっているので、単に明るさの変化により抽出を行なっていた場合に比べ、環境光の変化などに対しロバストに抽出を行なうことができる。これにより、カメラ自体が動くような場合や、生活環境に存在する点滅光を撮影した場合でも、これらに影響されることなく良好なオブジェクト抽出が可能となる。 さらに、コード・パターンを複数用意することで、被写体までの距離や角度を知ることも可能となる。
【００４２】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００４３】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００４４】
第１の実施形態：
図１には、本発明の第１の実施形態に係るオブジェクト抽出装置の機能構成を模式的に示している。図示のオブジェクト抽出装置１は、変調光デコード部２と、タイミング制御部７と、発光部８と、レンズ９を備えている。さらに、変調光デコード部２は、撮像部３と、バッファ・メモリ５と、演算部６で構成される。
【００４５】
本実施形態に係るオブジェクト抽出装置１は、発光部８から変調光１０を発し、オブジェクト１１による反射光１２を変調光デコード部２で復調（デコード）する。ここで、正常にデコードされるか否かに基づいてオブジェクトの距離を知る点に特徴がある。従来技術のように光の差分で距離を知る方法とは異なり、変調光を利用していることから、背景に明るさの変化が発生した場合でも誤認識することがない、ロバストなシステムを提供することができる。
【００４６】
図２には、発光部８の構成を示している。図示のように、発光部８は、発光制御部１３と光源１４で構成される。変調光１０は、なんらかのコードを明るさ信号に変調（コーディング）した光となる。図示の例では、「０１０１００１０」という８ビットのバイナリ値を変調しており、“０”は消灯（暗）、“１”は点灯（明）として表現している（以下同様）。このような点滅パターン（変調光）を発光させるための制御は発光制御部１３が担っている。光源１４は明るさを変化できるものであれば何でも良いが、応答速度や明るさの面からＬＥＤやレーザを用いるのが適当である。また、光の波長は可視光領域でも、赤外光領域でも良い。本実施例では、変調光の明暗を２値としているが、勿論、アナログ的に変化しても構わない。
【００４７】
図３には、変調光デコード部２におけるデコード処理の手順をフローチャートの形式で示している。
【００４８】
まず、撮像部３で光に応じた電気信号を発生させる（ステップＳ１）。
【００４９】
図４には、撮像部３の撮像面の構成を模式的に示している。光を基に電気信号を発生させるには、光電変換デバイスが２次元的に配置されている。ここで言う光電変換デバイスとして、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合型素子）やＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の撮像素子が用いられる。
【００５０】
画素１５は光電変換可能な最小単位であり、一般には、この撮像部３のフレームレートは変調光１０の周波数と同等か、若しくはより高周波で動作できることが望ましい。本実施形態では、説明の簡素化のため、変調光１０と撮像部３が同じ周波数で同期して動作しているケースを想定して説明する。つまり、変調光が１００Ｈｚで動作していた場合、撮像部１０は１００ｆｐｓ（秒当りのフレーム数）で動作することを想定している。
【００５１】
次いで、撮像部３から出力された電気信号は、バッファ・メモリ５に送られ、ここに数フレーム分保存される（ステップＳ２）。この際の電気信号は、アナログ値でもデジタル値（一般に、撮像装置からの出力デジタル値は１０〜１４ビット程度である）でも構わないが、データの扱い易さからデジタル値の方が望ましい。本実施形態では、８ビットのバイナリ・データを用いているため、８フレーム分の信号を保存する。
【００５２】
次いで、バッファ・メモリ５で保存されたデータは演算部６へ転送される。ここで、８フレーム分のデジタル（若しくはアナログ）信号を基にデコード演算を行なう（ステップＳ３）。
【００５３】
図５には、ここでの電気信号データの演算方法の一例を示している。図示の例では、ある閾値を設け、これより下であれば“０”、上であれば“１”となるように画素毎に判定処理を行なうようにしている。比較器１６を用いて出力を２値化すると簡便である。同図において、同じ“０”や“１”であっても信号量に変化を持たせているのは、変調光以外の要因（環境光）により信号が上下することを加味しているからである。この図からも、本実施形態に係るオブジェクト抽出処理が環境光の変化に対してロバストであることを理解できよう。 図１の制御部７は、変調光デコード部２や、発光制御部１３の上記のような動作を制御するものである。
【００５４】
以上のように、本発明では、最小単位では画素１５レベルで、変調された反射光1２をデコードすることが可能となる。そして、デコードされたコードが正しいか否か（すなわち発光部８から出力される変調光１０に与えられたコードと一致するか否か）に基づいて、その画素に反射光が入射したか否かを正確に知ることが可能となる。例えば、変調光１０の届く範囲にオブジェクト１１のみがあった場合、オブジェクト１１からの反射光1２を受けた画素１５のみが正しいデコードを行なうことができる。したがって、正しくデコードされた画素にのみ着目することで、撮像した画像からオブジェクト１１の形状を抽出することが可能となる。図６には、正しくデコードされた画素にのみ着目することでオブジェクト１１の形状を抽出する様子を示している。
【００５５】
以上、本発明の第１の実施形態について詳細に述べた。オブジェクト抽出装置1内の各部は機能説明のために便宜上分解して描かれているが、この中の幾つかのモジュール、若しくはすべての機能モジュールが１つのチップやモジュールに集積されたとしても、同様の効果が得られることは言うまでもない。例えば、本出願人に既に譲渡されている特開２００２−２９２３７９号公報、特開２００２−３２６８５７号公報、特開２００３−３３９６２号公報には、画素データを演算処理する演算機能を備えた撮像装置について開示されている。この種の撮像装置内の演算機能を用いて、数フレーム分の電気信号データの記憶、並びに電気信号データを基にデコード処理（電気信号データの閾値との比較）を行なうことができるので、上述したすべての機能モジュールを１チップで構成することができる。また、演算処理などは、ハードウェアで行なっても、あるいはソフトウェアで行なうようにしても良い。
【００５６】
第２の実施形態：
図７には、本発明の第２の実施形態に係るオブジェクト抽出装置の機能構成を示している。図示のオブジェクト抽出装置１は、変調光デコード部２と、タイミング制御部７と、発光部８と、レンズ９で構成される。さらに、変調光デコード部２は、撮像部３と、フレーム間比較部４と、バッファ・メモリ５と、演算部１７で構成される。本実施形態と上述の第１の実施形態との相違は、フレーム間比較部４が存在する点と、演算部１７におけるデータの取り扱いの点にある。
【００５７】
図８には、変調光デコード部２におけるデコード処理の手順をフローチャートの形式で示している。
【００５８】
まず、撮像部３で光に応じた電気信号を発生させる（ステップＳ１１）。電気信号はアナログ値でもデジタル値（一般に撮像装置からの出力デジタル値は１０〜１４ビット程度である）でも良い。
【００５９】
その後、この信号はフレーム間比較部４に転送される。ここでは、前後のフレーム間で信号の大小を比較演算する（ステップＳ１２）。図９には、ここでの比較演算方法の一例を示している。また、図１０には、この演算方法を実現する処理手順をフローチャートの形式で示している。本方法では、図９に示すようなフレーム間の差異１８の大きさ、及び符号を演算する。この際、同じ信号、例えば“０”であっても信号の差異は発生する。この差異（誤差）を閾値１９とし、これより大きな差異１８が見られた場合にデータの変化が生じたと定義する。図１０に示すように、前後のフレーム間で画素単位で画素信号の大小を比較する。そして、前のフレームより後のフレームの方の信号が大きい場合には、当該画素において“０”→“１”の変化が発生し、その逆であれば“１”→“０”の変化が発生したことが分かる。但し、上述したように、比較量が閾値１９以下の場合は不変と定義する。本実施形態では、フレーム間比較部４からの出力データは、前者の変化の際は“０１”、後者の変化の際は“１０”、不変であれば“００”と２ビットで定義付ける。入力信号は通常アナログ値、若しくは１０ビット以上のデジタル値となるが、本比較部４での演算により、２ビットに圧縮される。不変データ“００”では、“０”→“０”なのか、“１”→“１”なのかの判断がつかないが、変調光１０を用いていることから、必ず“０１”、若しくは“１０”が存在するため（ＡＬＬ“０”、ＡＬＬ“１”では、変調光としての判断が困難なので、これらは使用しない）、このデータからのフィードバックにより、“０”→“０”なのか、“１”→“１”なのかの判断を行なう。
【００６０】
図８に示すように、フレーム間比較部４結果はバッファ・メモリ５に記憶される（ステップＳ１３）。演算後のデータが数フレーム分記憶されることになるが、データが圧縮されている分だけ、第１の実施形態におけるバッファ・メモリよりも小容量のもので良い。また、第１の実施形態と同様に、コードは８ビットのバイナリ・データを想定しているため、このバッファ・メモリ５では８フレーム分のデータを保存する。
【００６１】
次いで、バッファ・メモリ５で保存されたデータは演算部１７へ転送される。演算部１７では、フレーム間比較部４において圧縮されたデータをデコードする（ステップＳ１４）。図１１にはフレーム・データの流れを示している。撮像部3から出力されたデータがフレーム間比較部４でデータ圧縮され、その後デコードされることで、変調光１０から８ビットのデータを得ることができる。
【００６２】
以上のように、本発明では、最小単位では画素１５レベルで、変調された反射光１２をデコードすることが可能となる。そして、デコードされたコードが正しいか否か（すなわち発光部８から出力される変調光１０に与えられたコードと一致するか否か）で、その画素に反射光が入射したか否かを正確に知ることが可能となる。例えば、変調光１０の届く範囲にオブジェクト１１のみがあった場合、オブジェクト１１からの反射光１２が入射された画素１５のみが正しいデコードを行なうことができる。したがって、正しくデコードされた画素にのみ着目することで、撮像画像からオブジェクト１１の形状を抽出することが可能となる。図１３には、正しくデコードされた画素にのみ着目することでオブジェクト１１の形状を抽出することができた様子を示している。
【００６３】
以上、本発明の第２の実施形態について詳細に述べた。オブジェクト抽出装置１内の各部は機能説明のために便宜上分解して描かれているが、この中の幾つかの部、若しくはすべてが１つのチップやモジュールに集積されたとしても同様の効果が得られることは言うまでもない（同上）。また、演算処理などは、ハードウェアで行なうようにしても、あるいはソフトウェアで行なうようにしても良い。
【００６４】
第３の実施形態：
ここでは、上述した手段を用いたオブジェクト切抜きのための情報と、通常画像の情報とにより切り抜かれたオブジェクトのみを表示装置により表示させるという実施形態について説明する。
【００６５】
図１２には、本実施形態に係る切り抜かれたオブジェクトを表示出力するための処理手順をフローチャートの形式で示している。
【００６６】
撮像部３（図１、図７を参照のこと）からの出力データを、上述したオブジェクト抽出装置１（図１、図７を参照のこと）へ転送するとともに（ステップＳ２１）、通常の映像信号を生成するための画像処理装置へ転送する（ステップＳ２２）。その後、それぞれの装置から画素毎、若しくはそれに準じたレベルの、デコードの成否データ、及び、通常画像データが出力される。この際お互いのデータは１対１対応するのが望ましいがこの限りではない。
【００６７】
次いで、画素毎にデコードが正しく行なわれたか否かを判別し（ステップＳ２３）、その情報を基にそれぞれに個別に任意の処理１、並びに処理２を行なう（ステップＳ２４、Ｓ２５）。ここでは、処理１に相当することを表示装置に転送することとし、処理２に相当することを表示装置に転送しないこととした。これにより、正しくデコードされた画素に対応する通常画像データのみを表示装置にて表示させることができる。
【００６８】
図１３には、本実施形態を適用し、撮影画像に含まれる特定のオブジェクトを表示した場合の画面を示している。
【００６９】
図１３（ａ）には被写体を示している。ここでは、変調光が十分届く位置に人の手があり、その後で変調光が届かない位置に木がある場合を想定している。また、図１３（ｂ）には通常のカメラで撮影した際の通常の映像を示している。また、図１３（ｃ）には、本実施形態を適用し、特定のオブジェクト（人の手）のみを切り出して表示した例を示している。正しくデコードされた画素に相当する映像データのみ表示すれば、このような抜き取りが可能となる。
【００７０】
ここでは、正しくデコードされていない画素のエリアをグレーで表示した。他にも、正しくデコードされていないエリアを画像処理でぼかし、これを表示させることで、例えば、近くの人物ははっきりと表示し、背景をぼかすようなことも可能となる。あるいは、全く違った画像データを用意し、このデータを表示させるなどしても良い。 以上のようにオブジェクト抽出装置１により処理されたデコード情報を利用することで、特定のオブジェクトのみを表示装置に表示することが可能となる。
【００７１】
第４の実施形態：
ところで、上述した第３の実施形態では抽出されたオブジェクトを簡易に表示できる一方、撮像部からの出力データには環境光に加え変調光が載っている。このため、通常画像データを表示する場合は、変調光が照射された特定のオブジェクトについて、周囲に比べ明るくなったり、変調光によってフリッカが観察されたりするといった問題が見られる場合がある。本実施形態では、抽出されたオブジェクトが、オブジェクト抽出のために照射された変調光を浴びることにより生ずるこれらの問題を解決するためのものである。
【００７２】
図１４に本実施形態に係る画像取得の動作シーケンスを示している。同図に示すように、本実施形態では、環境光成分のみがオブジェクトに照射されている通常画像の取得と、環境光成分にさらに変調光成分も載った光によりオブジェクトが照射されている画像の取得とを時分割により行なう。
【００７３】
通常画像取得動作時に得られた通常画像に対しては、通常の画像処理が施される。例えば、ＣＲＴディスプレイなどの表示装置へ画面出力するための映像信号に変換される。また、環境光成分にさらに変調光成分も載った光により照射されているオブジェクト抽出用の画像取得及びデコード処理動作時には、撮像画像は上述したオブジェクト抽出装置にて処理が施される。
【００７４】
このような動作シーケンスにより、変調光の影響を受けない通常画像を表示することが可能となる。
【００７５】
図１５には、撮像部３（図１及び図７を参照のこと）によるデータ出力から画像表示までの処理手順をフローチャートの形式で示している。
【００７６】
通常画像用のデータと、オブジェクト抽出用のデータは時分割に交互に出力される（ステップＳ３１、Ｓ３２）。時間的に前に通常画像処理が行なわれ、その後のデコード処理で正しくデコードすることができたかどうかに応じて（ステップＳ３３）、どの画素の画像データが処理１（ステップＳ３４）若しくは処理２（ステップＳ３５）に送られるかが決められる（前後関係はこれの逆でも良い）。
【００７７】
ここで、通常画像用データとオブジェクト抽出用のデータは時間的に一致していない。このため、抽出しようとするオブジェクトが動いている場合には、画像表示用の通常画像の取得時とオブジェクト抽出用の画像取得時とで、オブジェクトの画像フレーム内での位置に空間的なずれが発生する可能性がある。但し、これは撮像部３のフレームレートを上げ、オブジェクト表示用の通常画像撮影とオブジェクト抽出用の画像撮影との時間的な差を縮めることで軽減することが可能となる。
【００７８】
また、本実施形態では、通常画像の動作時と、デコード処理を含む動作時とではフレームレートを変えている。例えば、図１４に示す例では、前者：後者＝１：８としている。これにより、それぞれの動作時間が等しくなる。 以上のように本実施形態では、通常画像用のデータと、オブジェクト抽出用のデータは時分割に交互に出力する際に、オブジェクトの空間的なずれを発生することがあるものの、変調光が載らない（すなわち環境光だけ）が照射される特定のオブジェクトの画像を表示装置に表示することができる。
【００７９】
第５の実施形態：
第４の実施形態では、変調光成分の影響を受けないオブジェクトの画像を得るために、環境光成分のみがオブジェクトに照射されている通常画像の取得と、オブジェクト抽出のための画像取得とを時分割により行なう。後者のオブジェクト抽出を行なうための画像取得では、環境光成分にさらに変調光成分も載った光によりオブジェクトが照射されている画像の取得を行なう。このように時分割でオブジェクトの撮影を行なう都合上、オブジェクトの画像フレーム内での位置に空間的なずれが発生しうる（前述）。
【００８０】
本実施形態では、通常画像用データとオブジェクト抽出用のデータは時間的に一致していないことに起因するオブジェクトの空間的なずれの問題を、動き予測の手法を適用することにより解決するためのものである。但し、第４の実施形態に係るシステム構成に、オブジェクトの動き補償の処理が付加する形となるため、その分だけ計算機の負荷は重くなる。
【００８１】
図１６には、動いているオブジェクトに対し通常画像の撮影とオブジェクト抽出（デコード）用の撮影を時分割で交互に行なっている様子を示している。図示の例では、被写体２０は移動する円形の物体であり、この被写体２０に対して本発明に係るオブジェクト抽出を適用する場合について、以下に説明を行なう。
【００８２】
現在、被写体２０（画像取得及びデコード処理中）は、図１６に示す位置にあるとする。被写体２０は矢印２６で示す軌跡に沿って移動しており、前のフレーム（通常画像取得時）には被写体２１に、さらにその前のフレーム（画像取得及びデコード処理時）では被写体２２に、さらにその前のフレーム（通常画像取得時）では被写体２３の場所に存在していたとする。
【００８３】
被写体２０に相当する画素がデコード処理により正しくデコードされ、この画素に対応する通常画像を表示しようとしたとする。ところが、デコード処理用の画像取得と通常画像取得は時分割で交互に行なわれていることから、現在の被写体２０の位置と、その直近で取得された通常画像における被写体２１の位置との間には、空間的なずれが発生している。その結果、被写体２１のうち表示されるのは、これらの重なり（ＡＮＤ）の部分である表示部２８のみとなり（図１６（ｂ）を参照のこと）、その他の部分は表示されないことになる。
【００８４】
そこで、本実施形態では、このような事態を回避するために、被写体の動きベクトルを抽出し、動き予測の結果を利用して、所望の表示を達成しようと試みる。
【００８５】
図１６において、画素２４〜２７は被写体２１〜２３に対して、同じ位置に相当する画素である。ここで、デコード時の被写体２０の画素２４に相当する通常画像は被写体２１の画素２５であるという画像フレーム間における画素の対応関係を導出し、直近に撮影された通常画像中で被写体２０に対応する画素部分を表示することにより、抜けのない、良好なオブジェクト抽出が可能になることが分かる。
【００８６】
このようなオブジェクト抽出を実現するために、矢印２６のベクトル、すなわちオブジェクトの動きベクトルを求める必要がある。動きベクトルの抽出は、デコードされたデータである被写体２０と被写体２２を利用する。例えば、被写体が図１６に示すような単純な円形であれば、まず、それぞれの被写体の重心を求め、その後、これらの重心を結ぶベクトルを導出すればよい。
【００８７】
あるいは、動きベクトルの他の抽出方法として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）４などの標準的な画像圧縮技術で用いられている一般的な方法を適用することができる。例えば、被写体２３を１つのポリゴンとして扱い、これの次の（実際には次の次）フレーム（被写体２１が撮影された通常画像フレーム）との間で、ポリゴン・マッチング処理を行なうことでベクトルを求める。この動きベクトルを基に画素２４⇒画素２５という画素のアドレス変換を行なえばよい。
【００８８】
図１７には、オブジェクトの動きベクトルの抽出と動きベクトルに基づくがそのアドレス変換を行なうための処理手順をフローチャートの形式で示している。
【００８９】
まず、直近のデコード用撮影画像中において被写体２２の重心を求める（ステップＳ４１）。次いで、現在のデコード用撮影画像中における被写体２０の重心を求める（ステップＳ４２）。そして、求められたそれぞれの重心を基に、動きベクトルを抽出する（ステップＳ４３）。
【００９０】
次いで、直近の通常画像中で、動きベクトルの中心に被写体２１が存在すると仮定して（ステップＳ４４）、求めた動きベクトルを基に、被写体２０を構成するがそのアドレスを変換する（ステップＳ４５）。このアドレス変換を利用することで、デコード用画像中の被写体２０に相当する画素データを取得することができる。
【００９１】
以上説明したように、本実施形態では、デコードされた画素２４に対応する映像画素２５を動きベクトルから推定することで、良好に特定オブジェクトの抽出を行なうことができる。
【００９２】
第６の実施形態：
これまでは、１種類の変調コードのパターンからなる変調光を用いてオブジェクトを照射し、その撮像画像を画素毎に正しくデコードされたか否かという２値によりオブジェクトの抽出を行なう各実施形態について説明してきた。これに対し、本発明の第６の実施形態では、変調コードの異なる複数の種類の変調光を用いてオブジェクトを照射するようにした。そして、その撮像画像を画素毎にデコードを試み、正しくデコードされている場合は、さらに、いずれのコード・パターンがデコードされているのかを検知することで、いずれの変調光に対する反射光であるかを特定する。この場合、各変調光により抽出されたオブジェクト毎に個別の画像処理を適用することができるので、さらに使い勝手の良いシステムを提供することができる。以下では、変調光を用いたオブジェクト抽出の応用として、２種類以上の変調コードのパターンからなる変調光を用いた実施形態について説明する。
【００９３】
図１８には、本実施形態に係る発光部の構成を示している。第１〜第５の実施形態では、図２に示したように、１種類の変調コード・パターンが変調光１０として発光される。これに対し、本実施形態では、２種類以上の変調コード・パターンからなる変調光３０及び３１が発光される。図１８では、光源３３が「０１０１００１０」と「０１０１１００１」の２つの変調光を交互に発光する例が示されている。
【００９４】
ここで、光源３３は、１つの光源が複数の変調コード・パターンを出力するようにしてもよいし、変調コード・パターン毎に光源を配設するようにしてもよい。光源３３の制御は、発光制御部３２が行なっている。
【００９５】
さらに、２つの変調光３０及び３１は光強度を相対的に変えてあり、前者が弱く、後者が強くなるように設定している。この場合、それぞれの変調光３０及び３１が到達しうる距離もその光強度に応じて異なり、後者の方が遠くまで届くことになる。
【００９６】
図１９には、本実施形態に係る画像取得の動作シーケンスを示している。図示の動作シーケンスは、第４の実施形態（図１４を参照のこと）の場合と同様に、オブジェクト抽出のための画像取得とを時分割により行なう。後者のオブジェクト抽出を行なうための画像取得では、環境光成分にさらに変調光成分も載った光によりオブジェクトが照射されている画像の取得を行なう。
【００９７】
図１４に示した動作シーケンスとの相違は、デコード処理が２回続けて行なわれる、すなわち変調コード・パターン毎にデコード処理が行なわれる点である。この理由、それぞれの変調光３０及び３１が干渉する場合を想定しているためである。勿論、互いに干渉しない変調方法（コーディング方式）を用いれば、同時にデコードすることも可能である。
【００９８】
また、図１９に示す例では、通常画像取得動作と画像取得及びデコード処理動作では、後者の動作期間の方が長く描かれているが、上記したような空間的なずれを考慮すると、後者の動作は極力速く処理するのが望ましい。
【００９９】
上記のような発光動作、及び動作シーケンスを用いた場合、光強度を異ならせたコードの数だけデコーディングを行なった段階で、各変調光により照射されたオブジェクトを抽出するとともに、オブジェクトまでの距離を同定することができる。図１８には、コード毎に光強度を異ならせた２種類以上の変調光を照射した様子を示している。同図に示すように、光強度の弱い変調光３０からの反射光をデコードできるのはより近い距離にあるオブジェクト３４であり、強い変調光３１からの反射光をデコードできるのは、これより遠くの距離にあるオブジェクト３５である。さらにデコードが正しく行なえないのは、さらに遠くにあるオブジェクト３６である。図示の例では変調光は２種類であるが、当然これ以上でも良い。
【０１００】
以上のように、複数の変調光を用いることで、距離情報を得ることが可能となり、これより任意の距離のオブジェクトを抽出し表示することも可能になる。
【０１０１】
図２０には、本実施形態において、データ出力から画像表示までの処理手順をフローチャートの形式で示している。
【０１０２】
通常画像用のデータと、オブジェクト抽出用の画像取得は時分割に交互に出力される（ステップＳ５１、Ｓ５２）。時間的に前に通常画像処理が行なわれ、その後のデコード処理では、オブジェクト抽出用の取得画像の画素毎に各コーディング方式により正しくデコードすることができたかどうかを判別する（ステップＳ５３）。
【０１０３】
ここで、いずれのコーディング方式でも正しくデコードされなかった画素については、処理２を適用する（ステップＳ５４）。処理２の一例は当該画素信号を表示出力しないことである。
【０１０４】
また、いずれかのコーディング方式により正しくデコードすることができた画素については（ステップＳ５３）、さらに、いずれのコーディング方式により正しくデコードできたかに応じて、その処理方法について決定する（ステップＳ５５）。
【０１０５】
例えば、弱い光強度に設定されている変調光３０が持つコード・パターン「０１０１００１０」がデコードされた画素については、より近い場所にあるオブジェクトの画素信号として、処理１（例えば表示出力）が適用される（ステップＳ５６）。
【０１０６】
また、強い光強度に設定されている変調光３１が持つコード・パターン「０１０１１００１」がデコードされた画素については、より遠い場所にあるオブジェクトとの画素信号として、処理４（例えば表示出力）が適用される（ステップＳ５７）。
【０１０７】
また、いずれのコード・パターン「０１０１００１０」及び「０１０１１００１」もデコードすることができた画素については、処理３（例えば表示出力）が適用される（ステップＳ５８）。
【０１０８】
第７の実施形態：
上述した第６の実施形態では、光強度を異ならせた複数の変調光を用いた。これに対し、本実施形態では、発光角度が異なる複数の変調光を用いている。
【０１０９】
図２１には、本実施形態に係る発光部、及び変調光の構成を示している。変調光３７及び３８は互いに異なる方向へ発光している。方向は左右でも、上下でも、同心円状でも、どの方向でも構わない。光源３９は、１つの光源が時分割で発光角度の異なる変調光を照射するようにしてもよいし、発光角度毎に光源を配設するように構成してもよい。
【０１１０】
なお、変調コード・パターンが相違する変調光毎に時分割でデコード処理を行なうのは、それぞれの変調光３７及び３８が干渉することを想定しているためであり、干渉しない変調方法（コーディング方式）を用いることにより同時にデコードすることも可能である。
【０１１１】
また、光源３９の動作制御は、発光制御部４０が行なっている。動作シーケンスは図１９と同様であり、オブジェクト抽出のための画像取得とを時分割により行なうことができる。後者のオブジェクト抽出を行なうための画像取得では、環境光成分にさらに変調光成分も載った光によりオブジェクトが照射されている画像の取得を行なう。デコード処理は、発光角度毎に行なわれる。
【０１１２】
本実施形態によれば、オブジェクト抽出を行ないたい方向を特定することが可能である。図２２には、左右方向に異なる変調光を発光する際の、発光エリア５０（変調光３７）、及び発光エリア５１（変調光３８）と、撮像素子の撮像画角５２の関係を示している。同図のように設定することで、例えば、図２３のように変調光３７に照射された右手５３と変調光３８に照射された左手５４の双方を別々のコードで認識することができるようになる。これにより、両手による別々の情報入力などが可能になる。ゲームなどの用途では、遊び方の応用範囲を広げることができる。
【産業上の利用可能性】
【０１１３】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【０１１４】
撮像素子から得られた電気信号データを数フレーム分だけ記憶し、前後のフレームで電気信号データを比較してデコード処理を行なう機能モジュールの一部又は全部を１つのチップ又はチップ内モジュールに集積することによっても、本発明を好適に実現することができる。
【０１１５】
例えば、本出願人に既に譲渡されている特開２００２−２９２３７９号公報、特開２００２−３２６８５７号公報、特開２００３−３３９６２号公報には、画素データを演算処理する演算機能を備えた撮像装置について開示されている。この種の撮像装置に本発明に関する機能モジュールの一部又は全部を実装することができる。
【０１１６】
また、閾値との比較により画素毎の電気信号データをデコードする処理、あるいは前後のフレームで電気信号データを比較してデコード処理を行なう演算処理などを、ハードウェアで行はなくソフトウェアで行なうようにしても良い。
【０１１７】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【図面の簡単な説明】
【０１１８】
【図１】図１は、本発明の第１の実施形態に係るオブジェクト抽出装置の機能構成を模式的に示した図である。
【図２】図２は、発光部８の構成を示した図である。
【図３】図３は、変調光デコード部２におけるデコード処理の手順を示したフローチャートである。
【図４】図４は、撮像部３の撮像面の構成を模式的に示した図である。
【図５】図５は、撮像部３から出力された電気信号の演算方法を説明するための図である。
【図６】図６は、正しくデコードされた画素にのみ着目することでオブジェクト１１の形状を抽出する様子を示した図である。
【図７】図７は、本発明の第２の実施形態に係るオブジェクト抽出装置の機能構成を示した図である。
【図８】図８は、変調光デコード部２におけるデコード処理の手順を示したフローチャートである。
【図９】図９は、撮像部３から出力された電気信号データを前後のフレームで比較する演算方法を説明するための図である。
【図１０】図１０は、撮像部３から出力された電気信号データを前後のフレームで比較する処理手順を示したフローチャートである。
【図１１】図１１は、フレーム・データの流れを示した図である。
【図１２】図１２は、正しくデコードされた画素にのみ着目することでオブジェクト１１の形状を抽出することができた様子を示した図である。
【図１３】図１３は、本発明を適用し、撮影画像に含まれる特定のオブジェクトを表示した場合の画面例を示した図である。
【図１４】図１４は、本発明の第４の実施形態に係る画像取得の動作シーケンスを示した図である。
【図１５】図１５は、本発明の第４の実施形態において、データ出力から画像表示までの処理手順を示したフローチャートである。
【図１６】図１６は、動いているオブジェクトに対し通常画像の撮影とオブジェクト抽出（デコード）用の撮影を時分割で交互に行なっている様子を示した図である。
【図１７】図１７は、オブジェクトの動きベクトルの抽出と動きベクトルに基づくがそのアドレス変換を行なうための処理手順を示したフローチャートである。
【図１８】図１８は、本発明の第６の実施形態に係る発光部の構成を示した図である。
【図１９】図１９は、本発明の第６の実施形態に係る画像取得の動作シーケンスを示した図である。
【図２０】図２０は、本発明の第６の実施形態において、データ出力から画像表示までの処理手順を示したフローチャートである。
【図２１】図２１は、本発明の第７の実施形態に係る発光部及び変調光の構成を示した図である。
【図２２】図２２は、左右方向に異なる変調光を発行する際の発光エリアと撮像画角の関係を示した図である。
【図２３】図２３は、図２２に示したように発光エリアと撮像画角の関係を設定した場合におけるオブジェクトの認識結果の例を示した図である。
【図２４】図２４は、特定のオブジェクトのみを抽出する手段を備えた情報入力装置の構成例（従来技術）を示した図である。
【符号の説明】
【０１１９】
１…オブジェクト抽出装置
２…変調光デコード部
３…撮像部
４…フレーム間比較部
５…バッファ・メモリ
６…演算部
７…タイミング制御部
８…発光部
９…レンズ
１７…演算部
【特許請求の範囲】
【請求項１】
任意にコーディングされた変調光を照射する照射部と、
前記変調光に対する特定のオブジェクトからの反射光を含んだ画像を撮像する撮像部と、
前記変調光のデコーディングに基づいて撮像画像を処理する演算部と、
を具備することを撮像装置。
【請求項２】
前記演算部は、撮像画像に対し変調光のデコーディングを行ない、正しくデコードされたか否かに基づいて撮像画像のうち前記変調光が照射された部分とそれ以外の部分に分離し、前記変調光が照射された部分を前記特定のオブジェクトとして抽出する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像部は、２次元的に配列された撮像素子で構成され、
前記演算部は、撮像素子毎に前記変調光のデコーディングを試み、正しくデコードされたか否かに基づいて前記変調光が照射された部分と照射されていない部分に分離する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記照射部は、所定の発光周波数に従って変調光をコーディングし、
前記撮像部は、前記発光周波数と同等以上のフレームレートで画像を撮像し、
前記演算部は、前記撮像部からの出力信号を基に、前記特定のオブジェクトからの変調光に対する反射光に含まれるコードをデコードする、
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記照射部において変調光をコーディングし、前記演算部において撮像画像から前記変調光のデコーディングを行なうときに、前記撮像部はフレームレートを切り替える、
ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記撮像部が通常の画像撮像を行なう通常画像撮像モードと、前記撮像部が前記演算部において前記変調光のデコーディングを行なうための画像撮像を行なうデコード・モードを備える、
ことを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記通常画像撮像モードでは、前記照射部は変調光を照射せず、前記撮像部は環境光に対する反射光からなる画像を撮像し、
前記デコード・モードでは、前記照射部は変調光を照射し、前記撮像部は、環境光及び前記変調光に対する反射光からなる画像を撮像する、
ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記通常画像撮像モードと前記デコード・モードを時分割で交互に動作する、
ことを特徴とする請求項６に記載の撮像装置。
【請求項９】
前記演算部は、前記デコード・モード下で撮像した画像に対し前記変調光のデコーディングを行なった結果に基づいて前記特定のオブジェクトの部分を特定し、前記通常画像撮像モード下で撮像した画像のうち該当部分を前記特定のオブジェクトの画像として抽出する、
ことを特徴とする請求項６に記載の撮像装置。
【請求項１０】
前記演算部は、前記デコード・モードと前記通常画像撮像モード間で撮像画像の時間的な相違による前記特定のオブジェクトの移動を考慮して、前記通常画像撮像モード下での撮像画像から前記特定のオブジェクトの画像を抽出する、
ことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記演算部は、前記デコード・モードと前記通常画像撮像モード間で撮像画像の時間的な相違に起因する前記特定のオブジェクトの空間的な相違を表す動きベクトルを求め、前記動きベクトルに基づいて前記デコード・モード下での撮影画像中における前記特定のオブジェクトの部分から前記通常画像撮像モード下での撮像画像中における前記特定のオブジェクトの部分へアドレス変換して前記特定のオブジェクトの画像を抽出する、
ことを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記撮像部における数フレーム分の撮像画像を記憶する記憶部をさらに備える、
ことを特徴とする請求項１に記載の撮像装置。
【請求項１３】
前記演算部は、前後のフレームの比較に基づいて撮像画像を処理する、
ことを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記撮像部と、前記記憶部と、前記演算部が単一の半導体回路チップで構成される、
ことを特徴とする請求項１２に記載の撮像装置。
【請求項１５】
前記照射部は、不可視光の波長成分からなる変調光を照射する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項１６】
前記照射部は、コード、コーディング方式、光強度、発光角度のうち少なくとも１つが相違する２種類以上の変調光を照射する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項１７】
前記照射部は、コードの異なる２種類以上の変調光を照射し、
前記演算部は、コード毎に変調光のデコーディングを行ない、各変調光に照射された部分をそれぞれ抽出する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項１８】
前記演算部は、コードが異なる変調光が照射された部分毎に個別の画像処理を適用する、
ことを特徴とする請求項１７に記載の撮像装置。
【請求項１９】
前記演算部は、特定のコードによる変調光が照射された部分のみを表示出力する、
ことを特徴とする請求項１７に記載の撮像装置。
【請求項２０】
前記照射部は、コード毎に光強度を異ならせた２種類以上の変調光を照射し、
前記演算部は、コード毎に変調光のデコーディングを行ない、各変調光に照射された部分をそれぞれオブジェクトとして抽出するとともに、変調光毎の光強度に基づいて各オブジェクトまでの距離を同定する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項２１】
前記演算部は、距離が同定されたオブジェクト毎に抽出し、表示出力する、
ことを特徴とする請求項２０に記載の撮像装置。
【請求項２２】
前記照射部は、コード毎に発光角度を異ならせた２種類以上の変調光を照射し、
前記演算部は、発光角度毎に変調光のデコーディングを行ない、画角に応じたオブジェクトの表示処理を行なう、
ことを特徴とする請求項１に記載の撮像装置。
【請求項２３】
任意にコーディングされた変調光が照射された特定のオブジェクトを撮像して得られる画像情報を処理する情報処理装置であって、
撮像画像に対し変調光のデコーディングを行なうデコード手段と、
正しくデコードされたか否かに基づいて撮像画像のうち前記変調光が照射された部分とそれ以外の部分に分離し、前記変調光が照射された部分を前記特定のオブジェクトとして抽出するオブジェクト抽出手段と、
を具備することを特徴とする情報処理装置。
【請求項２４】
撮像画像は２次元的に配列された画素信号で構成され、
前記デコード手段は、画素信号毎に前記変調光のデコーディングを試み、
前記オブジェクト抽出手段は、正しくデコードされた画素の部分をオブジェクトとして抽出する、
ことを特徴とする請求項２３に記載の情報処理装置。
【請求項２５】
撮像画像は変調光をコーディングする発光周波数と同等以上のフレームレートで撮像されており、
前記デコード手段は、撮像画像を基に特定のオブジェクトからの変調光に対する反射光に含まれるコードをデコードする、
ことを特徴とする請求項２３に記載の情報処理装置。
【請求項２６】
環境光に対する反射光からなる通常撮像画像と、環境光及びコーディングされた変調光に対する反射光からなるオブジェクト抽出用撮像画像をともに入力する、
ことを特徴とする請求項２３に記載の情報処理装置。
【請求項２７】
通常撮像画像とオブジェクト抽出用撮像画像を時分割で交互に入力し、それぞれの画像の処理を行なう、
ことを特徴とする請求項２６に記載の情報処理装置。
【請求項２８】
前記オブジェクト抽出手段は、オブジェクト抽出用撮像画像から前記変調光のデコーディングを行なった結果に基づいて前記特定のオブジェクトの部分を特定し、通常撮像画像のうち該当部分を前記特定のオブジェクトの画像として抽出する、
ことを特徴とする請求項２６に記載の情報処理装置。
【請求項２９】
前記オブジェクト抽出手段は、通常撮像画像とオブジェクト抽出用撮像画像間での時間的な相違による前記特定のオブジェクトの移動を考慮して、前記通常撮像画像から前記特定のオブジェクトの画像を抽出する、
ことを特徴とする請求項２８に記載の情報処理装置。
【請求項３０】
前記オブジェクト抽出手段は、通常撮像画像とオブジェクト抽出用撮像画像間での時間的な相違に起因する前記特定のオブジェクトの空間的な相違を表す動きベクトルを求め、前記動きベクトルに基づいて前記オブジェクト抽出用撮影画像中における前記特定のオブジェクトの部分から前記通常撮像画像中における前記特定のオブジェクトの部分へアドレス変換して前記特定のオブジェクトの画像を抽出する、
ことを特徴とする請求項２９に記載の情報処理装置。
【請求項３１】
コードの異なる２以上の変調光が照射された特定のオブジェクトを撮像して得られる画像情報を入力し、
前記デコード手段は、撮像画像に対しコード毎に変調光のデコーディングを行ない、
前記オブジェクト抽出手段は、コード毎にデコードした結果に基づいて、各変調光に照射されたオブジェクトをそれぞれ抽出する、
ことを特徴とする請求項２３に記載の情報処理装置。
【請求項３２】
コードが異なる変調光が照射された部分毎に個別の画像処理を適用する画像処理手段をさらに備える、
ことを特徴とする請求項３１に記載の情報処理装置。
【請求項３３】
前記画像処理手段は、特定のコードによる変調光が照射された部分のみを表示出力する、
ことを特徴とする請求項３２に記載の情報処理装置。
【請求項３４】
コード毎に光強度を異ならせた２種類以上の変調光が照射された特定のオブジェクトを撮像して得られる画像情報を入力し、
前記デコード手段は、撮像画像に対しコード毎に変調光のデコーディングを行ない、
前記オブジェクト抽出手段は、コード毎にデコードした結果に基づいて、各変調光に照射されたオブジェクトをそれぞれ抽出するとともに、変調光毎の光強度に基づいて各オブジェクトまでの距離を同定する、
ことを特徴とする請求項２３に記載の情報処理装置。
【請求項３５】
距離が同定されたオブジェクト毎に抽出し、表示出力する表示手段をさらに備える、
ことを特徴とする請求項３４に記載の情報処理装置。
【請求項３６】
コード毎に発光角度を異ならせた２種類以上の変調光が照射された特定のオブジェクトを撮像して得られる画像情報を入力し、
前記デコード手段は、撮像画像に対し発光角度毎に変調光のデコーディングを行ない、
前記オブジェクト抽出手段は、コード毎にデコードした結果に基づいて、各変調光に照射されたオブジェクトを画角毎に抽出する、
ことを特徴とする請求項２３に記載の情報処理装置。
【請求項３７】
任意にコーディングされた変調光が照射された特定のオブジェクトを撮像して得られる画像情報を処理する情報処理方法であって、
撮像画像に対し変調光のデコーディングを行なうデコーディング・ステップと、
正しくデコードされたか否かに基づいて撮像画像のうち前記変調光が照射された部分とそれ以外の部分に分離し、前記変調光が照射された部分を前記特定のオブジェクトとして抽出するオブジェクト抽出ステップと、
を具備することを特徴とする情報処理方法。
【請求項３８】
撮像画像は２次元的に配列された画素信号で構成され、
前記デコーディング・ステップでは、画素信号毎に前記変調光のデコーディングを試み、
前記オブジェクト抽出ステップでは、正しくデコードされた画素の部分をオブジェクトとして抽出する、
ことを特徴とする請求項３７に記載の情報処理方法。
【請求項３９】
撮像画像は変調光をコーディングする発光周波数と同等以上のフレームレートで撮像されており、
前記デコーディング・ステップでは、撮像画像を基に特定のオブジェクトからの変調光に対する反射光に含まれるコードをデコードする、
ことを特徴とする請求項３７に記載の情報処理方法。
【請求項４０】
環境光に対する反射光からなる通常撮像画像と、環境光及びコーディングされた変調光に対する反射光からなるオブジェクト抽出用撮像画像をともに入力する、
ことを特徴とする請求項３７に記載の情報処理方法。
【請求項４１】
通常撮像画像とオブジェクト抽出用撮像画像を時分割で交互に入力し、それぞれの画像の処理を行なう、
ことを特徴とする請求項４０に記載の情報処理方法。
【請求項４２】
前記オブジェクト抽出ステップでは、オブジェクト抽出用撮像画像から前記変調光のデコーディングを行なった結果に基づいて前記特定のオブジェクトの部分を特定し、通常撮像画像のうち該当部分を前記特定のオブジェクトの画像として抽出する、
ことを特徴とする請求項４０に記載の情報処理方法。
【請求項４３】
前記オブジェクト抽出ステップでは、通常撮像画像とオブジェクト抽出用撮像画像間での時間的な相違による前記特定のオブジェクトの移動を考慮して、前記通常撮像画像から前記特定のオブジェクトの画像を抽出する、
ことを特徴とする請求項４２に記載の情報処理方法。
【請求項４４】
前記オブジェクト抽出ステップでは、通常撮像画像とオブジェクト抽出用撮像画像間での時間的な相違に起因する前記特定のオブジェクトの空間的な相違を表す動きベクトルを求め、前記動きベクトルに基づいて前記オブジェクト抽出用撮影画像中における前記特定のオブジェクトの部分から前記通常撮像画像中における前記特定のオブジェクトの部分へアドレス変換して前記特定のオブジェクトの画像を抽出する、
ことを特徴とする請求項４３に記載の情報処理方法。
【請求項４５】
コードの異なる２以上の変調光が照射された特定のオブジェクトを撮像して得られる画像情報を入力し、
前記デコーディング・ステップでは、撮像画像に対しコード毎に変調光のデコーディングを行ない、
前記オブジェクト抽出ステップでは、コード毎にデコードした結果に基づいて、各変調光に照射されたオブジェクトをそれぞれ抽出する、
ことを特徴とする請求項３７に記載の情報処理方法。
【請求項４６】
コードが異なる変調光が照射された部分毎に個別の画像処理を適用する画像処理ステップをさらに備える、
ことを特徴とする請求項４５に記載の情報処理方法。
【請求項４７】
前記画像処理ステップでは、特定のコードによる変調光が照射された部分のみを表示出力する、
ことを特徴とする請求項４６に記載の情報処理方法。
【請求項４８】
コード毎に光強度を異ならせた２種類以上の変調光が照射された特定のオブジェクトを撮像して得られる画像情報を入力し、
前記デコーディング・ステップでは、撮像画像に対しコード毎に変調光のデコーディングを行ない、
前記オブジェクト抽出ステップでは、コード毎にデコードした結果に基づいて、各変調光に照射されたオブジェクトをそれぞれ抽出するとともに、変調光毎の光強度に基づいて各オブジェクトまでの距離を同定する、
ことを特徴とする請求項３７に記載の情報処理方法。
【請求項４９】
距離が同定されたオブジェクト毎に抽出し、表示出力する表示ステップをさらに備える、
ことを特徴とする請求項４８に記載の情報処理方法。
【請求項５０】
コード毎に発光角度を異ならせた２種類以上の変調光が照射された特定のオブジェクトを撮像して得られる画像情報を入力し、
前記デコーディング・ステップでは、撮像画像に対し発光角度毎に変調光のデコーディングを行ない、
前記オブジェクト抽出ステップでは、コード毎にデコードした結果に基づいて、各変調光に照射されたオブジェクトを画角毎に抽出する、
ことを特徴とする請求項３７に記載の情報処理方法。
【請求項５１】
任意にコーディングされた変調光が照射された特定のオブジェクトを撮像して得られる画像情報の処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
撮像画像に対し変調光のデコーディングを行なうデコーディング・ステップと、
正しくデコードされたか否かに基づいて撮像画像のうち前記変調光が照射された部分とそれ以外の部分に分離し、前記変調光が照射された部分を前記特定のオブジェクトとして抽出するオブジェクト抽出ステップと、
を具備することを特徴とするコンピュータ・プログラム。
【請求項１】
任意にコーディングされた変調光を照射する照射部と、
前記変調光に対する特定のオブジェクトからの反射光を含んだ画像を撮像する撮像部と、
前記変調光のデコーディングに基づいて撮像画像を処理する演算部と、
を具備することを撮像装置。
【請求項２】
前記演算部は、撮像画像に対し変調光のデコーディングを行ない、正しくデコードされたか否かに基づいて撮像画像のうち前記変調光が照射された部分とそれ以外の部分に分離し、前記変調光が照射された部分を前記特定のオブジェクトとして抽出する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像部は、２次元的に配列された撮像素子で構成され、
前記演算部は、撮像素子毎に前記変調光のデコーディングを試み、正しくデコードされたか否かに基づいて前記変調光が照射された部分と照射されていない部分に分離する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記照射部は、所定の発光周波数に従って変調光をコーディングし、
前記撮像部は、前記発光周波数と同等以上のフレームレートで画像を撮像し、
前記演算部は、前記撮像部からの出力信号を基に、前記特定のオブジェクトからの変調光に対する反射光に含まれるコードをデコードする、
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記照射部において変調光をコーディングし、前記演算部において撮像画像から前記変調光のデコーディングを行なうときに、前記撮像部はフレームレートを切り替える、
ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記撮像部が通常の画像撮像を行なう通常画像撮像モードと、前記撮像部が前記演算部において前記変調光のデコーディングを行なうための画像撮像を行なうデコード・モードを備える、
ことを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記通常画像撮像モードでは、前記照射部は変調光を照射せず、前記撮像部は環境光に対する反射光からなる画像を撮像し、
前記デコード・モードでは、前記照射部は変調光を照射し、前記撮像部は、環境光及び前記変調光に対する反射光からなる画像を撮像する、
ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記通常画像撮像モードと前記デコード・モードを時分割で交互に動作する、
ことを特徴とする請求項６に記載の撮像装置。
【請求項９】
前記演算部は、前記デコード・モード下で撮像した画像に対し前記変調光のデコーディングを行なった結果に基づいて前記特定のオブジェクトの部分を特定し、前記通常画像撮像モード下で撮像した画像のうち該当部分を前記特定のオブジェクトの画像として抽出する、
ことを特徴とする請求項６に記載の撮像装置。
【請求項１０】
前記演算部は、前記デコード・モードと前記通常画像撮像モード間で撮像画像の時間的な相違による前記特定のオブジェクトの移動を考慮して、前記通常画像撮像モード下での撮像画像から前記特定のオブジェクトの画像を抽出する、
ことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記演算部は、前記デコード・モードと前記通常画像撮像モード間で撮像画像の時間的な相違に起因する前記特定のオブジェクトの空間的な相違を表す動きベクトルを求め、前記動きベクトルに基づいて前記デコード・モード下での撮影画像中における前記特定のオブジェクトの部分から前記通常画像撮像モード下での撮像画像中における前記特定のオブジェクトの部分へアドレス変換して前記特定のオブジェクトの画像を抽出する、
ことを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記撮像部における数フレーム分の撮像画像を記憶する記憶部をさらに備える、
ことを特徴とする請求項１に記載の撮像装置。
【請求項１３】
前記演算部は、前後のフレームの比較に基づいて撮像画像を処理する、
ことを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記撮像部と、前記記憶部と、前記演算部が単一の半導体回路チップで構成される、
ことを特徴とする請求項１２に記載の撮像装置。
【請求項１５】
前記照射部は、不可視光の波長成分からなる変調光を照射する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項１６】
前記照射部は、コード、コーディング方式、光強度、発光角度のうち少なくとも１つが相違する２種類以上の変調光を照射する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項１７】
前記照射部は、コードの異なる２種類以上の変調光を照射し、
前記演算部は、コード毎に変調光のデコーディングを行ない、各変調光に照射された部分をそれぞれ抽出する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項１８】
前記演算部は、コードが異なる変調光が照射された部分毎に個別の画像処理を適用する、
ことを特徴とする請求項１７に記載の撮像装置。
【請求項１９】
前記演算部は、特定のコードによる変調光が照射された部分のみを表示出力する、
ことを特徴とする請求項１７に記載の撮像装置。
【請求項２０】
前記照射部は、コード毎に光強度を異ならせた２種類以上の変調光を照射し、
前記演算部は、コード毎に変調光のデコーディングを行ない、各変調光に照射された部分をそれぞれオブジェクトとして抽出するとともに、変調光毎の光強度に基づいて各オブジェクトまでの距離を同定する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項２１】
前記演算部は、距離が同定されたオブジェクト毎に抽出し、表示出力する、
ことを特徴とする請求項２０に記載の撮像装置。
【請求項２２】
前記照射部は、コード毎に発光角度を異ならせた２種類以上の変調光を照射し、
前記演算部は、発光角度毎に変調光のデコーディングを行ない、画角に応じたオブジェクトの表示処理を行なう、
ことを特徴とする請求項１に記載の撮像装置。
【請求項２３】
任意にコーディングされた変調光が照射された特定のオブジェクトを撮像して得られる画像情報を処理する情報処理装置であって、
撮像画像に対し変調光のデコーディングを行なうデコード手段と、
正しくデコードされたか否かに基づいて撮像画像のうち前記変調光が照射された部分とそれ以外の部分に分離し、前記変調光が照射された部分を前記特定のオブジェクトとして抽出するオブジェクト抽出手段と、
を具備することを特徴とする情報処理装置。
【請求項２４】
撮像画像は２次元的に配列された画素信号で構成され、
前記デコード手段は、画素信号毎に前記変調光のデコーディングを試み、
前記オブジェクト抽出手段は、正しくデコードされた画素の部分をオブジェクトとして抽出する、
ことを特徴とする請求項２３に記載の情報処理装置。
【請求項２５】
撮像画像は変調光をコーディングする発光周波数と同等以上のフレームレートで撮像されており、
前記デコード手段は、撮像画像を基に特定のオブジェクトからの変調光に対する反射光に含まれるコードをデコードする、
ことを特徴とする請求項２３に記載の情報処理装置。
【請求項２６】
環境光に対する反射光からなる通常撮像画像と、環境光及びコーディングされた変調光に対する反射光からなるオブジェクト抽出用撮像画像をともに入力する、
ことを特徴とする請求項２３に記載の情報処理装置。
【請求項２７】
通常撮像画像とオブジェクト抽出用撮像画像を時分割で交互に入力し、それぞれの画像の処理を行なう、
ことを特徴とする請求項２６に記載の情報処理装置。
【請求項２８】
前記オブジェクト抽出手段は、オブジェクト抽出用撮像画像から前記変調光のデコーディングを行なった結果に基づいて前記特定のオブジェクトの部分を特定し、通常撮像画像のうち該当部分を前記特定のオブジェクトの画像として抽出する、
ことを特徴とする請求項２６に記載の情報処理装置。
【請求項２９】
前記オブジェクト抽出手段は、通常撮像画像とオブジェクト抽出用撮像画像間での時間的な相違による前記特定のオブジェクトの移動を考慮して、前記通常撮像画像から前記特定のオブジェクトの画像を抽出する、
ことを特徴とする請求項２８に記載の情報処理装置。
【請求項３０】
前記オブジェクト抽出手段は、通常撮像画像とオブジェクト抽出用撮像画像間での時間的な相違に起因する前記特定のオブジェクトの空間的な相違を表す動きベクトルを求め、前記動きベクトルに基づいて前記オブジェクト抽出用撮影画像中における前記特定のオブジェクトの部分から前記通常撮像画像中における前記特定のオブジェクトの部分へアドレス変換して前記特定のオブジェクトの画像を抽出する、
ことを特徴とする請求項２９に記載の情報処理装置。
【請求項３１】
コードの異なる２以上の変調光が照射された特定のオブジェクトを撮像して得られる画像情報を入力し、
前記デコード手段は、撮像画像に対しコード毎に変調光のデコーディングを行ない、
前記オブジェクト抽出手段は、コード毎にデコードした結果に基づいて、各変調光に照射されたオブジェクトをそれぞれ抽出する、
ことを特徴とする請求項２３に記載の情報処理装置。
【請求項３２】
コードが異なる変調光が照射された部分毎に個別の画像処理を適用する画像処理手段をさらに備える、
ことを特徴とする請求項３１に記載の情報処理装置。
【請求項３３】
前記画像処理手段は、特定のコードによる変調光が照射された部分のみを表示出力する、
ことを特徴とする請求項３２に記載の情報処理装置。
【請求項３４】
コード毎に光強度を異ならせた２種類以上の変調光が照射された特定のオブジェクトを撮像して得られる画像情報を入力し、
前記デコード手段は、撮像画像に対しコード毎に変調光のデコーディングを行ない、
前記オブジェクト抽出手段は、コード毎にデコードした結果に基づいて、各変調光に照射されたオブジェクトをそれぞれ抽出するとともに、変調光毎の光強度に基づいて各オブジェクトまでの距離を同定する、
ことを特徴とする請求項２３に記載の情報処理装置。
【請求項３５】
距離が同定されたオブジェクト毎に抽出し、表示出力する表示手段をさらに備える、
ことを特徴とする請求項３４に記載の情報処理装置。
【請求項３６】
コード毎に発光角度を異ならせた２種類以上の変調光が照射された特定のオブジェクトを撮像して得られる画像情報を入力し、
前記デコード手段は、撮像画像に対し発光角度毎に変調光のデコーディングを行ない、
前記オブジェクト抽出手段は、コード毎にデコードした結果に基づいて、各変調光に照射されたオブジェクトを画角毎に抽出する、
ことを特徴とする請求項２３に記載の情報処理装置。
【請求項３７】
任意にコーディングされた変調光が照射された特定のオブジェクトを撮像して得られる画像情報を処理する情報処理方法であって、
撮像画像に対し変調光のデコーディングを行なうデコーディング・ステップと、
正しくデコードされたか否かに基づいて撮像画像のうち前記変調光が照射された部分とそれ以外の部分に分離し、前記変調光が照射された部分を前記特定のオブジェクトとして抽出するオブジェクト抽出ステップと、
を具備することを特徴とする情報処理方法。
【請求項３８】
撮像画像は２次元的に配列された画素信号で構成され、
前記デコーディング・ステップでは、画素信号毎に前記変調光のデコーディングを試み、
前記オブジェクト抽出ステップでは、正しくデコードされた画素の部分をオブジェクトとして抽出する、
ことを特徴とする請求項３７に記載の情報処理方法。
【請求項３９】
撮像画像は変調光をコーディングする発光周波数と同等以上のフレームレートで撮像されており、
前記デコーディング・ステップでは、撮像画像を基に特定のオブジェクトからの変調光に対する反射光に含まれるコードをデコードする、
ことを特徴とする請求項３７に記載の情報処理方法。
【請求項４０】
環境光に対する反射光からなる通常撮像画像と、環境光及びコーディングされた変調光に対する反射光からなるオブジェクト抽出用撮像画像をともに入力する、
ことを特徴とする請求項３７に記載の情報処理方法。
【請求項４１】
通常撮像画像とオブジェクト抽出用撮像画像を時分割で交互に入力し、それぞれの画像の処理を行なう、
ことを特徴とする請求項４０に記載の情報処理方法。
【請求項４２】
前記オブジェクト抽出ステップでは、オブジェクト抽出用撮像画像から前記変調光のデコーディングを行なった結果に基づいて前記特定のオブジェクトの部分を特定し、通常撮像画像のうち該当部分を前記特定のオブジェクトの画像として抽出する、
ことを特徴とする請求項４０に記載の情報処理方法。
【請求項４３】
前記オブジェクト抽出ステップでは、通常撮像画像とオブジェクト抽出用撮像画像間での時間的な相違による前記特定のオブジェクトの移動を考慮して、前記通常撮像画像から前記特定のオブジェクトの画像を抽出する、
ことを特徴とする請求項４２に記載の情報処理方法。
【請求項４４】
前記オブジェクト抽出ステップでは、通常撮像画像とオブジェクト抽出用撮像画像間での時間的な相違に起因する前記特定のオブジェクトの空間的な相違を表す動きベクトルを求め、前記動きベクトルに基づいて前記オブジェクト抽出用撮影画像中における前記特定のオブジェクトの部分から前記通常撮像画像中における前記特定のオブジェクトの部分へアドレス変換して前記特定のオブジェクトの画像を抽出する、
ことを特徴とする請求項４３に記載の情報処理方法。
【請求項４５】
コードの異なる２以上の変調光が照射された特定のオブジェクトを撮像して得られる画像情報を入力し、
前記デコーディング・ステップでは、撮像画像に対しコード毎に変調光のデコーディングを行ない、
前記オブジェクト抽出ステップでは、コード毎にデコードした結果に基づいて、各変調光に照射されたオブジェクトをそれぞれ抽出する、
ことを特徴とする請求項３７に記載の情報処理方法。
【請求項４６】
コードが異なる変調光が照射された部分毎に個別の画像処理を適用する画像処理ステップをさらに備える、
ことを特徴とする請求項４５に記載の情報処理方法。
【請求項４７】
前記画像処理ステップでは、特定のコードによる変調光が照射された部分のみを表示出力する、
ことを特徴とする請求項４６に記載の情報処理方法。
【請求項４８】
コード毎に光強度を異ならせた２種類以上の変調光が照射された特定のオブジェクトを撮像して得られる画像情報を入力し、
前記デコーディング・ステップでは、撮像画像に対しコード毎に変調光のデコーディングを行ない、
前記オブジェクト抽出ステップでは、コード毎にデコードした結果に基づいて、各変調光に照射されたオブジェクトをそれぞれ抽出するとともに、変調光毎の光強度に基づいて各オブジェクトまでの距離を同定する、
ことを特徴とする請求項３７に記載の情報処理方法。
【請求項４９】
距離が同定されたオブジェクト毎に抽出し、表示出力する表示ステップをさらに備える、
ことを特徴とする請求項４８に記載の情報処理方法。
【請求項５０】
コード毎に発光角度を異ならせた２種類以上の変調光が照射された特定のオブジェクトを撮像して得られる画像情報を入力し、
前記デコーディング・ステップでは、撮像画像に対し発光角度毎に変調光のデコーディングを行ない、
前記オブジェクト抽出ステップでは、コード毎にデコードした結果に基づいて、各変調光に照射されたオブジェクトを画角毎に抽出する、
ことを特徴とする請求項３７に記載の情報処理方法。
【請求項５１】
任意にコーディングされた変調光が照射された特定のオブジェクトを撮像して得られる画像情報の処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
撮像画像に対し変調光のデコーディングを行なうデコーディング・ステップと、
正しくデコードされたか否かに基づいて撮像画像のうち前記変調光が照射された部分とそれ以外の部分に分離し、前記変調光が照射された部分を前記特定のオブジェクトとして抽出するオブジェクト抽出ステップと、
を具備することを特徴とするコンピュータ・プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２００６−５３６９８（Ｐ２００６−５３６９８Ａ）
【公開日】平成１８年２月２３日（２００６．２．２３）
【国際特許分類】
【出願番号】特願２００４−２３３９０９（Ｐ２００４−２３３９０９）
【出願日】平成１６年８月１０日（２００４．８．１０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１８年２月２３日（２００６．２．２３）
【国際特許分類】
【出願日】平成１６年８月１０日（２００４．８．１０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]