複眼カメラおよびカメラ応用機器
【課題】視野角を拡大した画像を生成すると共に、カメラ画像から同程度の視野角の被写体の距離を測定可能とした複眼カメラを提供し、新たな機能の実現や低コストで高性能なカメラ応用機器を提供する。
【解決手段】水平画角αの同一の２つのカメラａ、ｂのレンズ中心を含む平面上でカメラａ，ｂの光軸を水平画角αと同じ角度αで交差するように配置し、画像を合成することで、２αの視野のワイド画像を生成し、距離測定をできる。さらに同様の配置を行う４眼カメラの場合、垂直方向も２βの視野の画面を生成でき、距離測定範囲も同様に拡大できる。また背景画像を記憶し移動物・人物抽出部により背景の変化を記録することで、送信や記録の画像情報データ量を削減すると同時に忘れ物記憶や置き場所当てゲームなどができ、また動き出部情報から人物の体形情報を成長記録として残せ、また教師の動き情報との比較からダンス等の採点などの機能を提供できる。
【解決手段】水平画角αの同一の２つのカメラａ、ｂのレンズ中心を含む平面上でカメラａ，ｂの光軸を水平画角αと同じ角度αで交差するように配置し、画像を合成することで、２αの視野のワイド画像を生成し、距離測定をできる。さらに同様の配置を行う４眼カメラの場合、垂直方向も２βの視野の画面を生成でき、距離測定範囲も同様に拡大できる。また背景画像を記憶し移動物・人物抽出部により背景の変化を記録することで、送信や記録の画像情報データ量を削減すると同時に忘れ物記憶や置き場所当てゲームなどができ、また動き出部情報から人物の体形情報を成長記録として残せ、また教師の動き情報との比較からダンス等の採点などの機能を提供できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複眼カメラおよびカメラ応用機器に関し、特に複数のカメラ画像から視野角を拡大した画像を合成すると共に、同じ視野角で被写体の距離を測定可能とした複眼カメラ、およびゲーム機、自動車、ＷＥＢなどにおいて、新規の機能を実現するカメラ応用機器に関する。
【背景技術】
【０００２】
近年、ゲーム機、家電機器、防犯、自動車、ロボットなどの多くの分野において、画像認識技術と距離測定技術とを併用した応用の実用化が活発化している。画像認識技術では、一般の高画質デジタルカメラと異なり、画素数が比較的少なく、安価なカメラが多く用いられているが、今後ワイド画面の提供なども含め機能や性能をより魅力あるものにするために広視野角のカメラが期待される。
【０００３】
広視野角のカメラを実現するには、広角レンズを用いる方法や、複眼カメラの撮像された画像を合成処理して実現する方法がある。しかし広角レンズは高価であると同時に樽型歪が生じる為の歪補正処理を必要とする問題があり、また標準レンズ向けの撮像素子で広視野画像の取得を行う為、解像度が劣化する問題がある。
【０００４】
複眼カメラを用いる方法は、二倍の画角の画像取得する方法として二眼パノラマが多く提案されている。例えば、特許文献１の「パノラマカメラの配置方法及びその構築法」の提案では、撮像レンズを垂直方向に重なるように配置し、水平方向のレンズ中心を揃え視差の少ない方法が考案されている。しかしこの方法でも視差は残り、また垂直方向の近接画像での垂直画角のずれという大きな問題と垂直方向の視差の問題が残る。
【０００５】
一方距離測定技術では、車載応用はミリ波レーダや超音波ソナーが、その他の応用は赤外線が主に利用されている。しかし電波、音波、赤外線の発信器が必要であり、反射の時間差を利用した距離測定を行うことから複数点の距離を同時計測する場合には高価なセンサーが必要であり、また広い角度の範囲の距離測定は実現していない。さらに画像認識結果との直接的な関係付けが困難であるなど連動処理上の問題がある。
【０００６】
その為、画像認識と距離測定をカメラ画像情報から同時に行い連動させるアプローチが検討されている。その代表は車載応用で検討されているステレオカメラのアプローチである。しかし従来のステレオカメラでは、レンズの水平画角以上の視野角の合成画像が得られない問題と距離計算可能角度範囲がレンズの水平画角以下である問題がある。
【０００７】
次にカメラ画像や距離情報を利用した応用に目を向けると、例えばゲーム機や家電機器のモーションコントロールなどで動き認識を利用したものがある。しかし距離情報を用いるアプローチのほとんどは例えばＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式の赤外線センサーなどを用いたものや、画像と加速度センサーなどを利用したリモコンを用いるなど、使用形態の制限が大きく、またゲーム機などではカメラ情報をゲーム機本体で処理を行うなど、ゲーム機の計算負担が大きいなどの問題がある。また防犯カメラでも単に映像をディスプレイで見るか記録するなどの機能が殆どであり、画像認識を利用したものも真に有効な機能は極めて少ないのが現状である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２−３６９０６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、このような問題点を解決するためになされたもので、レンズの画角の２倍以上の広視野角のカメラを実現し、同時に画像情報から距離測定を広視野角に対して可能とする複眼カメラを提供すること、およびカメラ応用機器では特に固定点で使用するカメラにおいて新たな機能を実現することを目的とする。
【課題を解決するための手段】
【００１０】
請求項１の発明においては、水平画角α（または垂直画角β）の同一の２つのカメラａ、ｂを具備し、カメラａ，ｂのレンズ中心を含む平面上でカメラａの光軸ａ２とカメラｂの光軸ｂ２を水平画角α（または垂直画角β）と同じ角度α（またはβ）で交差するように配置する。尚、２つの光軸の交差する点を通り、かつ同一平面上の直線で２つの光軸と同じ角度（つまりα／２またはβ／２）の直線を以下では平均光軸Ｘａｂと表すことにする。
【００１１】
請求項２の発明においては、水平画角αの同一の４つのカメラａ，ｂ，ｃ，ｄの内、カメラａ，ｂまたはカメラｃ，ｄの両方が請求項１記載の複眼カメラであり、４つのレンズ中心を含む平面上でカメラａの光軸とカメラｃの光軸を平行にし、カメラｂの光軸とカメラｄの光軸を平行になるように配置する。
【００１２】
請求項３の発明においては、水平画角α、垂直画角βの４つの同一のカメラａ，ｂ，ｅ，ｆを具備し、カメラａ，ｂおよびカメラｅ，ｆの両方が請求項１記載の複眼カメラであり、カメラａ，ｂの平均光軸Ｘａｂとカメラｅ，ｆの平均光軸Ｘｅｆの成す平面上で角度βで交差するように配置する。
【００１３】
また請求項４の発明のように、請求項１ないし請求項３の複眼カメラを少なくとも１つ具備し、これら複眼カメラ（／および１眼カメラ）を組み合わせて構成してもよい。
【００１４】
また請求項５の発明のように、請求項１ないし請求項４の複眼カメラを設け、画像合成部を設けてもよい。
【００１５】
また請求項６の発明のように、請求項１ないし請求項５の複眼カメラを設け、画角の重なり領域の距離計算を行う距離計算部を設ける構成としてもよい。
【００１６】
また請求項７の発明のように、複眼カメラ、被写体三次元座標計算部、仮想カメラ情報入力部、仮想撮像情報距離計算部を具備し、複眼カメラの複数のカメラの画像出力から被写体三次元座標計算部で被写体の三次元座標値を計算し、この三次元座標値と仮想カメラ情報入力部からの仮想レンズ中心座標値と仮想光軸ベクトル値から、仮想撮像情報距離計算部で計算し、仮想レンズ中心にあるピンホールカメラと同等の合成画像を得る構成とする。
【００１７】
また請求項８の発明のように、請求項７記載の複眼カメラに関し、光軸収束点計算部を具備し、仮想カメラ情報入力部からは仮想３Ｄカメラの２つの仮想光軸ベクトルおよび被写体三次元座標計算部で計算された被写体の三次元座標値を光軸収束点計算部に入力し、光軸収束点を再計算により２つの再計算光軸ベクトルを計算し、計算結果を仮想撮像情報距離計算部で、２つのレンズに対応する仮想撮像情報を計算し、２チャンネルの合成画像データおよび距離データを出力する構成とする。
【００１８】
次に本発明の請求項９から請求項１７のカメラ応用機器に関する課題解決の手段を示す。請求項９の発明においてカメラ、背景画像記憶部、移動物人物付随物抽出部、背景画像計算制御部を具備し、カメラからの撮像情報と移動物人物付随物抽出部からの現移動物人物付随物情報と現背景画像の３つの情報を背景画像計算制御部に入力し、移動物人物付随物情報から付随物が移動物または（／および）人物から離脱したと判断できる時に、付随物の離脱判断部分を現背景画像に上書きし、次背景画像として背景画像記憶部を更新することを特徴とする。
【００１９】
また請求項１０の発明において、請求項９記載のカメラ応用機器に関し、背景変化記憶部、タイマー、背景変化確認制御部、初期背景画像記憶部を具備し、背景画像記憶部を更新すると同時に、更新時の背景と異なった変化画像情報を時系列情報とともに、背景変化記憶部に格納し、背景変化確認制御部の指示で、指定された時間の背景画像を初期背景画像記憶部の画像と背景変化記憶部の画像から随時で背景画像の再生成処理を行い確認できることを特徴とする。
【００２０】
また請求項１１の発明のように、請求項９記載のカメラ応用機器に関し、ホスト機器または（／および）カメラ内画像記憶装置を具備し、予めホスト機器または（／および）カメラ内画像記憶装置に背景画像記憶部の初期情報を送信し、その後は、背景画像記憶部が更新される毎に更新情報をホストに送信し、また移動物・人物抽出部の情報は随時送信し、データ通信量を減らし、カメラ情報の送信情報量や記憶装置容量を削減する構成とする。
【００２１】
また請求項１２の発明のように、請求項９記載のカメラ応用機器に関し、ホスト機器および移動物人物付随物抽出部からの動き情報を抽出する動き抽出部を具備し、通信回線を通して動き情報だけをホスト機器等へ送信し、ホスト機器へのデータ通信量を減らすことを特徴とする構成としてもよい。
【００２２】
また請求項１３の発明のように、請求項１１または請求項１２記載のホスト機器へのデータ送信を同時に実現する構成としてもよい。
【００２３】
また請求項１４の発明のように、請求項１３記載のカメラ応用機器に関し、画像表示装置およびホスト側に送られた動き情報とホスト側の教師動き情報を比較し採点する動き採点部を具備し、画像表示装置で教師画像と人物のカメラ画像を分割した表示領域に同時に表示し、逐次採点を行う構成としてもよい。
【００２４】
また請求項１５の発明のように、請求項９記載のカメラ応用機器に関し、エッジ抽出部、体形情報計算部を具備し、移動物人物付随物抽出部から得られる人物画像情報からエッジ抽出部でエッジ情報を抽出し、人物が回転して得られる全方位のエッジ情報を収集し、カメラ内またはホスト機器に送り体形情報を計算する構成としてもよい。
【００２５】
また請求項１６の発明のように、請求項１５記載のカメラ応用機器に関し、表示装置、体形情報記憶部、タイマー、体形表示制御部を具備し、測定した体形情報と同時に体形測定時の年月日及び時間情報を体形情報記憶部に記録し、時間的変化を表示可能とした構成としてもよい。
【００２６】
また請求項１７の発明のように、請求項９ないし請求項１６記載のカメラ応用機器に関し、請求項１ないし請求項８記載の複眼カメラを具備した構成としてもよい。
【００２７】
なお、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品もこの発明の技術的な範囲に含まれることも当然である。
【００２８】
この発明の上述の側面および他の側面は特許請求の範囲に記載され、以下、実施例等を用いて詳述される。
【発明の効果】
【００２９】
請求項１の発明のように、水平画角αの２つのカメラのレンズ中心を含む平面上で２つのカメラの光軸を角度αで交差するように配置したことで、角度２αでのカメラ画像情報の取得が可能になり、請求項５の画像合成部で処理すれば、１つの広角画像を生成できる。
【００３０】
さらに請求項２の発明のように水平画角αの４つのカメラの光軸を同一平面内で、２つは角度αで交差させ。この２つの光軸に残り２つの光軸を平行に位置付けることで、２αの角度で、三角測量原理などを用いた請求項６の距離計算部で処理すれば距離測定が可能になる。
【００３１】
また請求項３の発明のようにこれらのレンズが垂直画角βのレンズであれば、垂直方向に対しても同様の手段を講ずれば、水平方向の２α、垂直方向の２βの角度でのカメラ画像の取得と同時に画像合成部、距離計算部で処理すれば２次元的に広い画像の生成や距離測定が可能となる。尚、画角αやβの倍数が１８０度未満の範囲であれば、画像取得と距離測定の角度を３倍、４倍と拡大することが可能となる。
【００３２】
また請求項７の発明のように被写体三次元情報計算部と光軸収束点計算部を備えれば、これらの複眼カメラから得られた情報により、２チャンネルの３Ｄ映像情報を計算により求めることが可能になる。
【００３３】
次に請求項９から請求項１７のカメラ応用機器に関する発明によれば、記憶した初期の背景画像に移動物（車や人物など）と共に付随した物が写った場合に、背景画像との差異を変化判定部で移動物から離れたことを判定した時点で、背景に変化がある場合には移動物以外のものが背景に置かれたと判断できた時に背景を更新する手段を講じることで、背景変化の履歴を記憶すれば、置物を時間を遡って確認するなどが可能になり、忘れ物捜しや新規のゲームなどに繋がる。また背景はこの変化部分だけを随時記憶やホストへの転送などデータ量の削減も可能になる。
【００３４】
このように、請求項１ないし請求項４の複眼カメラの場合には、カメラの水平画角の２倍以上の画角にしたり、垂直画角も２倍以上の画角にしたり、広い視野角の撮像情報を取得可能とでき、さらに画角の重なりをもった領域に関しては距離測定情報を取得可能とできるカメラが実現できる。パソコンなどの画像入力用カメラとして用いればパソコン内でパノラマ合成法のような画像合成を行うなどで広視野角の画像を作ることができ、また距離計算ソフトを用いた距離計算が可能になる効果がある。
【００３５】
請求項５の複眼カメラでは、画像合成部を内蔵するためカメラ単独で広視野角の画像を作ることができ、請求項６の複眼カメラでは、距離計算部を内蔵するためカメラ単独で距離を測定できる効果がある。
【００３６】
請求項７の複眼カメラの場合には、被写体の各点の三次元情報を計算により取得できることから、仮想的なピンホールカメラで撮影した画像や、仮想レンズ中心との距離を同時取得でき、特に遠近が混在するような被写体に対してはパノラマ合成技術より優れた広視野角の画像を得ることができる効果がある。
【００３７】
請求項８の複眼カメラの場合には、光軸収束部による判定機能により、最近傍の被写点に光軸の交点を合わせることができなど、３Ｄ立体映像に相応しい２チャンネル映像の撮影が可能になる効果がある。
【００３８】
請求項９のカメラ応用機器は、ある期間固定の位置に設置したカメラ応用機器を想定したもので、車などの移動物や人物および人物が手に持った物などの付随物を随時処理し、背景画像を逐次更新することができる効果がある。
【００３９】
請求項１０のカメラ応用機器の場合には、初期画面記憶部と背景変化記憶部の情報から時間を指定した背景画面の生成ができる効果がある。
【００４０】
請求項１１のカメラ応用機器の場合には、カメラから撮像情報を初期背景情報とその後の変化する移動物人物付随物情報とに分けて処理することで、カメラ内記憶装置の容量やホストへの通信容量を減らせる効果がある。
【００４１】
請求項１２のカメラ応用機器の場合には、動き情報だけをホスト機器に送信する構成であることから、例えば３Ｄグラフィックなどで処理能力が限界であるようなゲーム機などホスト機器の処理負担を減らした形で、モーションコントロールなどのアプリケーションを実現できる効果がある。
【００４２】
請求項１３のカメラ応用機器の場合には、請求項１１および請求項１２を同時に実現する効果がある。
【００４３】
請求項１４のカメラ応用機器の場合には、教師とユーザの両方を画面表示しつつ採点を行うダンス採点ゲームのようなアプリケーションを実現できる効果がある。
【００４４】
請求項１５のカメラ応用機器の場合には、人物の体形情報を取得できる効果がある。請求項１６のカメラ応用機器の場合には、人物の体形情報を記録し、確認したい時期の体形情報を観たり、成長のグラフを見たりなど体形情報により成長記録のいう従来にない機能を実現できる効果がある。
【００４５】
請求項１７のカメラ応用機器の場合には、カメラ部を請求項１ないし請求項８の複眼カメラとすることで、請求項９から請求項１５の効果を広視野角映像のカメラ情報に拡張でき、特に部屋中で遊ぶゲーム応用や広視野の防犯カメラや参加者の全員が写るテレビ会議など広範囲な応用に繋がる効果がある。
【図面の簡単な説明】
【００４６】
【図１】本発明の第１の実施例の複眼カメラ構成図である。
【図２】本発明の第１の実施例の複眼カメラ画角重なり図である。
【図３】本発明の第２の実施例の複眼カメラ構成図である。
【図４】本発明の第２の実施例の複眼カメラ画角重なり図である。
【図５】本発明の第３の実施例の複眼カメラ構成図である。
【図６】本発明の第３の実施例の複眼カメラ画角重なり図である。
【図７】本発明の第４の実施例の複眼カメラ構成の側面図である。
【図８】本発明の第５の実施例の複眼カメラ構成図である。
【図９】本発明の第５の実施例の複眼カメラ画角重なり図である。
【図１０】本発明の第６の実施例の複眼カメラ構成図である。
【図１１】本発明の第６の実施例の複眼カメラのパソコンを利用した形態図である。
【図１２】本発明の第７の実施例の複眼カメラ構成図である。
【図１３】本発明の第８の実施例の複眼カメラ構成図である。
【図１４】本発明の第９の実施例の複眼カメラ構成図である。
【図１５】本発明の第１０の実施例の複眼カメラ構成図である。
【図１６】本発明の第１１の実施例のカメラ応用機器構成図である。
【図１７】本発明の第１１の実施例の付随物離脱処理説明図である。
【図１８】本発明の第１２の実施例のカメラ応用機器構成図である。
【図１９】本発明の第１３の実施例のカメラ応用機器構成図である。
【図２０】本発明の第１４の実施例のカメラ応用機器構成図である。
【図２１】本発明の第１７の実施例のカメラ応用機器構成図である。
【図２２】本発明の第１８の実施例のカメラ応用機器構成図である。
【発明を実施するための形態】
【００４７】
以下、この発明の実施例の情報閲覧システムについて説明する。
【００４８】
先ず、本発明の複眼カメラの実施例を説明する。
【００４９】
［第１の実施例］
図１は、請求項１に関する本発明の第１の実施例の複眼カメラ構成図である。図１においては同じ水平画角αのレンズからなるレンズ中心ａ１のカメラａとレンズ中心ｂ１のカメラｂで構成され、それぞれの光軸はａ２とｂ２、撮像素子はａ３とｂ３とし、レンズ中心ａ１とｂ１を含む平面上で、光軸ａ２と光軸ｂ２が角度αで交差するように配置することで、カメラａとカメラｂとの撮像素子に写る画角の範囲の合計は２αとすることが可能となる。本発明のカメラは、その用途に応じて静止画用でもよいし、動画用でもよい。
【００５０】
図２は図１のカメラａ，ｂの配置における２つのカメラの画角の重なる部分をグレー色の中にａ，ｂと記して示した本発明の第１の実施例の複眼カメラ画角重なり図である。従来提案されている複眼カメラの重なり配置は、撮像素子に写る画角の範囲の合計が２α未満になるのに対して、請求項１のカメラ配置は、撮像素子に写る角度範囲を２αにでき、かつパノラマ合成処理などで必要とされる画像の水平方向の重なり部分を保証できる配置となる。さらに重なりのある部分では、三角測量の原理に基づき距離測定が可能となる。
【００５１】
［第２の実施例］
図３は、請求項２に関する本発明の第２の実施例の複眼カメラ構成図である。図３においては請求項１のａ，ｂからなる複眼カメラとｃ，ｄからなる複眼カメラを同一平面上でカメラａとカメラｃの光軸が平行にし、カメラｂとカメラｄの光軸を平行して、カメラａ，ｂが、カメラｃ．，ｄの内側に配置した構成である。これはｃ，ｂからなる請求項１の複眼カメラとａ，ｄからなる請求項１の複眼カメラからなると見ることもできる。図４は請求項２に関する本発明の第２の実施例の複眼カメラ画角重なり図である。
【００５２】
図４から分かるように、三角測量の方法で必要となるカメラの画角の水平方向の重なりを有した角度範囲は、４つのカメラの相互の重なりを総合すれば、２αに及ぶ配置になっている。従って距離測定可能な範囲を２αにできる。
【００５３】
また図４から中央の重なりは、カメラａ，ｂとａ，ｃとａ，ｄとｂ，ｃとｂ，ｄとｃ，ｄの６つの組み合わせから距離計算ができることから平均化処理などで距離の精度を高めることができる。中央部分の距離計算精度を上げたい場合に特に有効である。
【００５４】
［第３の実施例］
図５は、請求項２に関する本発明の第３の実施例の複眼カメラ構成図である。図５においては請求項１のａ，ｂからなる複眼カメラとｃ，ｄからなる複眼カメラを対称な位置関係で配置した構成である。図６は請求項２に関する本発明の第３の実施例の複眼カメラ画角重なり図である。図６は、図４と同様に２つのカメラの画角の水平方向の重なりを有した角度範囲は、２αに及ぶ配置になっている。従って距離測定可能な範囲は２αにできる。三角測量では、距離の遠い場所の距離測定精度を上げる場合、レンズ間の距離を大きくした方が有利であることが知られていることから、遠距離の距離精度を優先する場合に有効な実施例である。
【００５５】
［第４の実施例］
図７は、請求項３に関する本発明の第４の実施例の複眼カメラ構成の側面図である。図７においては、同じ水平画角α、垂直画角βの４つのカメラａ，ｂ，ｅ，ｆからなり、カメラａ，ｂおよびカメラｅ，ｆの両方が請求項１記載の複眼カメラとし、カメラａ，ｂの平均光軸Ｘａｂとカメラｅ、ｆの平均光軸Ｘｅｆの成す平面上でＸａｂとＸｅｆが角度βで交差するように配置することで、カメラａ，ｂ，ｃ，ｄの撮像素子に写る画角の範囲は、水平方向の合計は２αであると同時に、垂直方向の合計が２βとすることが可能となる。図を示さないが、垂直方向にも重なりの部分を有し、距離測定可能な範囲を有する。
【００５６】
［第５の実施例］
図８は、請求項４に関する本発明の第５の実施例の複眼カメラ構成図である。図９は請求項４に関する本発明の第５の実施例の複眼カメラ画角重なり図である。
【００５７】
図８においては、第３の実施例である図５の構成の中央に１眼カメラｅを配置した構成にする。このことで、図９から分かるように、画角の重なりを増やすことで、距離測定の精度を高めることができる点と、例えば被写体が１名の場合などカメラｅのみで撮影可能な場合など、他の４つのカメラの電源をオフできる利点がある。
【００５８】
［第６の実施例］
図１０は、請求項１および請求項４に関する本発明の第６の実施例の複眼カメラ構成図である。図１０においては、水平画角αの同一のカメラａ，ｂ，ｃから構成し、ａ，ｂは請求項１の複眼カメラに該当し、請求項４に該当する１眼カメラｃを追加したカメラであるが、カメラｂ，ｃの２つもまた請求項１の複眼となる構成であることを特徴とする。この場合、カメラａ，ｂ，ｃの撮像素子に写る画角の範囲の合計は３αとすることが可能となる。また画角の加算あり領域がＶ字状の２つの領域ができ距離測定が可能な領域となる。レンズ歪の少ない標準レンズなどから広角の撮影情報を得る場合などで有効である。尚、第６の実施例と同様に水平方向に限らずまた３眼カメラに限らず、本発明の請求項１から請求項４に従い、垂直方向にも、また４眼以上で同様の構成が実現できることは明らかである。
【００５９】
また本発明の請求項１ないし請求項４については、複眼カメラの構成に関する発明である点から、画像合成および（／または）距離計算に関してはパソコンを利用する構成でも実現できる。 図１１は、複眼カメラ１１０１からの撮像情報１１０２をパソコン１１０３に入れ、パソコン１１０３でパノラマ合成手法などの画像合成ソフトで画像合成データ１１０４を出力する構成を示した本発明の第６の実施例の複眼カメラのパソコンを利用した形態図である。画像合成の代わりに距離計算を行う場合や両方を計算する場合も同じ構成で実現できる。
【００６０】
［第７の実施例］
図１２は、請求項５に関する本発明の第７の実施例の複眼カメラ構成図である。図１２においては、複眼カメラ１２０１からの撮像情報１２０２を画像合成部１２０３に入れ、画像合成部１２０３ではパノラマ合成などの画像合成処理を行い、画像合成データ１２０４を出力する。このことで、ワイドな画面情報を出力することができる。
【００６１】
［第８の実施例］
図１３は、請求項６に関する本発明の第８の実施例の複眼カメラ構成図である。図１３においては、複眼カメラ１３０１からの撮像情報１３０２を距離計算部１３０３に入れ、距離計算部１３０３では例えば三角測量の原理に基づく距離計算処理を行い、距離計算データ１３０４を出力する。このことで画角の重なり領域の距離計算結果を出力することができる。
【００６２】
［第９の実施例］
図１４は、請求項７に関する本発明の第９の実施例の複眼カメラ構成図である。図１４においては、複眼カメラ１４０１からの撮像情報１４０２を被写体三次元座標計算部１４０３に入れ、被写体三次元座標値１４０４を計算し出力する。仮想撮像情報距離計算部１４０８は、仮想カメラ情報入力部１４０７から入力されたレンズ中心座標値１４０５および光軸ベクトル１４０６および被写体三次元座標値１４０４を入力として合成画像データ１４０９および距離計算データ１４１０を計算し出力する。このことで、仮想レンズ中心にあるピンホールカメラに対応する合成画像と距離情報を同時に得ることができる。
【００６３】
［第１０の実施例］
図１５は、請求項８に関する本発明の第１０の実施例の複眼カメラ構成図である。図１５においては、複眼カメラ１５０１からの撮像情報１５０２を被写体三次元座標計算部１５０３にいれ、被写体三次元座標値１５０４を計算し出力する。光軸収束点計算部１５０９は、仮想カメラ情報入力部１５０５から入力された自動オンオフスイッチ１５０８とマニュアルで予め設定された３Ｄカメラの２つの光軸ベクトル１５０７および被写体三次元座標値１５０４を入力し、自動オンオフスイッチ１５０８がオンの時には、例えば被写体の最近傍の被写体の点が収束点になるよう２つの光軸ベクトル１５０７を修正計算し、２つの修正光軸ベクトル１５１０を出力する。出力の２つのレンズ中心座標値１５０９は、仮想撮像情報距離計算部１５１１は、被写体三次元座標値１５０４および２つの修正光軸ベクトル１５１０および仮想カメラ情報入力部からの２つのレンズ中心座標値１５０６を入力し、２つの修正光軸を視線方向とした２つの仮想レンズからの撮像情報として計算し、２チャンネル合成画像データ１５１２および必要があれば２チャンネル画素点距離データ１５１３を計算し出力する。
【００６４】
自動オンオフスイッチ１５０８がオフの時には、光軸収束点計算部１５０９は、修正光軸ベクトル１５１０とし２つの光軸ベクトル１５０７を出力し、仮想撮像情報距離計算部１５１１は、被写体三次元座標値１５０４および２つの修正光軸ベクトル１５１０および仮想カメラ情報入力部からの２つのレンズ中心座標値１５０６を入力し、２つの修正光軸を視線方向とした２つの仮想レンズからの撮像情報として計算し、２チャンネル合成画像データ１５１２および必要があれば２チャンネル画素点距離データ１５１３を計算し出力する。
【００６５】
［第１１の実施例］
次に本発明のカメラ応用機器の実施の形態を説明する。
【００６６】
以後の本実施例の説明では、実施の形態を明確化する意味でカメラ応用機器の時間単位は画像の取得単位であるフレーム単位で示すものとする。
【００６７】
図１６は、請求項９に関する本発明の第１１の実施例のカメラ応用機器構成図である。図１６においては、カメラ１６０１からの撮像情報１６０２は背景画像計算制御部１６０３および移動物人物抽出部１６０８にフレーム単位で入力される。背景画像計算制御部１６０３は背景リセット信号１６０４がオンの時には、その時点の撮像情報１６０２を、次背景画像１６０５として何も計算せず出力し、背景画像記憶部１６０７にも記憶する。移動物人物付随物抽出部１６０８は、撮像情報１６０２と背景画像記憶部１６０７から現背景画像１６０９として入力しエッジ抽出後にエッジ内のみの情報を抜き取り計算し、車や人物のような移動物と車に搭載したものや人物が手にもった付随物を含めた情報である移動物人物付随物情報１６１０として出力する。
【００６８】
この計算は、背景リセット信号１６０４がオンとなりリセットされた次のフレームから背景リセット信号１６０４がオフである限りフレーム毎に計算するが、同じフレーム時間内で他の処理を行う時間（以下残余時間と呼ぶ）を有するよう高速処理で実現する。
【００６９】
背景画像計算制御部１６０３は、背景リセット信号１６０４がオフの時には、撮像情報１６０２と背景画像記憶部１６０７からの現背景画像１６０９と移動物人物付随物抽出部１６０８からの移動物人物付随物情報１６１０の３つの情報を入力し、残余時間内で付随物が移動物または人物から確実に離脱したと判断できる付随物の全部または一部の領域の画像を背景画像に上書きし、更新された次背景画像１６０５として出力し、背景画像記憶部１６０７に記憶する。以後この付随物の離脱判断部分の背景への上書き処理を付随物離脱処理と呼ぶことにする。
【００７０】
以上のように構成することで、背景画像は随時更新され、車のような移動物または（／および）人物から付随物が離脱して十分後のフレームでは、背景画像記憶部１６０７には、離脱後の付随物が背景画像に置かれた状態の画像とすることができる。
【００７１】
図１７は、請求項９に関する本発明の第１１の実施例の付随物離脱処理説明図である。図１７においては、１行目は撮像情報１６０２を、２行目は移動物人物付随物情報１６１０を、３行目は現背景情報１６０９を、４行目は次背景情報１６０５を、５フレームの時間に亘っての変化の様子を示したもので、付随物が移動物または人物から確実に離脱したとする判断は、例えば人物や車の形状判断処理を背景画像計算制御部で行うことで、フレーム＝４の連結していない２つの画像領域部の何れが付随物であるかの判断ができる。また人物や車の形状判断処理を行わない方法としては、移動物人物付随物情報の時間的な推移を追跡し、動かなくなった領域を付随物情報と判断する方法でも実現できる。
【００７２】
以上のように本発明の請求項９によれば、第１１の実施例のように固定カメラの撮像情報から背景画像の自動更新が実現できる。
【００７３】
［第１２の実施例］
図１８は、請求項１０に関する本発明の第１２の実施例のカメラ応用機器構成図である。図１８においては、破線で囲われた部分は、図１６の構成と同じ構成とする。１８０１〜１８１０は１６０１〜１６１０と同じ機能および信号とする。ただし、背景リセット信号１８０４がオンになった時に、初期背景画像記憶部１８２０に背景変化確認制御部１８１７を経由して初期背景画像が格納され、背景画像計算制御部１８０３で背景が更新された時に背景更新信号１８１１と背景画像の変化情報である付随物情報１８１２を出力し、タイマー１８１２からの更新時点の時間１８１４と同時に背景変化記憶部１８１５に記憶する。また破線部からは現背景情報１８０９を出力する構成とする。
【００７４】
過去の何時までの時点の背景を確認したいかなどの指示信号である背景履歴確認指示信号１８１９を背景変化確認制御部１８１７が受け取ると、背景変化確認制御部１８１７は、初期背景画像記憶部１８２０を元に、背景変化記憶部１８１５から順次、時間付随物情報１８１６を読み、背景履歴確認指示信号１８１９の指示される時間までの再生背景画像１８１８を生成し出力する。
本発明の第１２の実施例により、例えば防犯カメラにおける不審物の発見や、部屋における置き場所記憶などの応用が可能になる。
【００７５】
［第１３の実施例］
図１９は、請求項１１に関する本発明の第１３の実施例のカメラ応用機器構成図である。図１９においては、図１６の構成のカメラ応用機器１９０１に加え、カメラ内画像記憶装置１９０２を設け、図１６の構成のカメラ応用機器１９０１の出力である次背景情報１９０３および移動物人物付随物情報１９０４をカメラ内画像記憶装置１９０２に格納する構成である。
【００７６】
このことで、室内の撮影映像の情報を大幅に削減して再生することができる。また図１９のカメラ内画像記憶装置を設ける代わりにＰＣやゲーム機などのホスト機器に置き換え、通信回線で図１６の構成のカメラ応用機器からの次背景情報１９０３および移動物人物付随物情報１９０４をホストに送信し、ホスト内の記憶装置に格納する構成でも情報削減した映像記録が実現できる。
【００７７】
［第１４の実施例］
図２０は、請求項１２に関する本発明の第１４の実施例のカメラ応用機器構成図である。図２０においては、図１６の構成のカメラ応用機器２００１からの出力である移動物人物付随物情報２００２から動き情報抽出部２００３で動き情報２００４を抽出し、ホスト機器２００５に送信する構成である。この構成により例えば動き情報を利用したモーションコントロール型のゲームにおいて、情報送信量が少ないと同時に、ゲーム機側で動き抽出を行う必要がないため、レスポンスの速いゲームが実現できる。
【００７８】
［第１５の実施例］
請求項１３に関する本発明の第１３の実施例と第１４の実施例を同時に実装した構成とする本発明の第１５の実施例にすることで、ゲーム機の負担を減らした形で、リアルな画像をホスト側で表示し、かつモーションコントロールを行うようなゲームの実現が可能になる。
【００７９】
［第１６の実施例］
請求項１４に関する本発明の第１５の実施例に、ホスト側に送られた動き情報と教師動き情報を比較し採点する動き採点部と画面表示装置を設けた構成とする本発明の第１６の実施例にすることで、ダンス教育ゲームのゲームソフトなどが実現できる。
【００８０】
［第１７の実施例］
図２１は、請求項１５に関する本発明の第１７の実施例のカメラ応用機器構成図である。図２１においては、図１６の構成のカメラ応用機器２１０１からの出力である移動物人物付随物情報２１０２からエッジ抽出部２１０３でエッジ情報２１０４を抽出し、体形情報計算部２１０５で体形情報２１０６を計算する構成とすることで、カメラに向かって人物が回転するなどにより収集された人物の全方位エッジ情報から全身の採寸を可能とすることができる。なお、カメラ内に体形情報計算部の代わりにエッジ情報をホスト側に送信し、体形情報の計算をホスト側で行う構成でもよい。
【００８１】
［第１８の実施例］
図２２は、請求項１６に関する本発明の第１８の実施例のカメラ応用機器構成図である。図２２においては、図２１の構成のカメラ応用機器２２０１からの出力である体形情報２２０２をタイマー２２０６からの日時情報２２０７と一緒に体形情報記憶部２２０３に記憶し、体形表示制御部２２０８の指示により体形表示指示信号２２０９を体形情報記憶部２２０３および表示装置２２０５に指示を出し、体形の時間的変化を表示可能とした構成にすることで、子供の成長記録をとり、成長の履歴を確認したりすることができる。
【００８２】
［第１９の実施例］
請求項１７に関する本発明の第１９の実施例は、請求項９ないし請求項１６におけるカメラを請求項１ないし請求項８の複眼カメラとすることで、広視野角での防犯カメラや、ゲーム機用カメラなどが実現できる。
【００８３】
以上で実施例の説明を終了する。
【００８４】
なお、この発明は上述の実施例に限定されることなく、その趣旨を逸脱しない範囲で種々変更が可能である。
【符号の説明】
【００８５】
ａ，ｂ，ｃ，ｄ，ｅ，ｆ カメラの識別記号
ａ１，ｂ１，ｅ１，ｆ１ レンズ中心
ａ２，ｂ２，ｃ２，ｄ２，ｅ２，ｆ２ 光軸
ａ３，ｂ３，ｅ３，ｆ３ 撮像素子
α カメラの水平画角
β カメラの垂直画角
Ｘａｂ，Ｘｅｆ 平均光軸
【技術分野】
【０００１】
本発明は、複眼カメラおよびカメラ応用機器に関し、特に複数のカメラ画像から視野角を拡大した画像を合成すると共に、同じ視野角で被写体の距離を測定可能とした複眼カメラ、およびゲーム機、自動車、ＷＥＢなどにおいて、新規の機能を実現するカメラ応用機器に関する。
【背景技術】
【０００２】
近年、ゲーム機、家電機器、防犯、自動車、ロボットなどの多くの分野において、画像認識技術と距離測定技術とを併用した応用の実用化が活発化している。画像認識技術では、一般の高画質デジタルカメラと異なり、画素数が比較的少なく、安価なカメラが多く用いられているが、今後ワイド画面の提供なども含め機能や性能をより魅力あるものにするために広視野角のカメラが期待される。
【０００３】
広視野角のカメラを実現するには、広角レンズを用いる方法や、複眼カメラの撮像された画像を合成処理して実現する方法がある。しかし広角レンズは高価であると同時に樽型歪が生じる為の歪補正処理を必要とする問題があり、また標準レンズ向けの撮像素子で広視野画像の取得を行う為、解像度が劣化する問題がある。
【０００４】
複眼カメラを用いる方法は、二倍の画角の画像取得する方法として二眼パノラマが多く提案されている。例えば、特許文献１の「パノラマカメラの配置方法及びその構築法」の提案では、撮像レンズを垂直方向に重なるように配置し、水平方向のレンズ中心を揃え視差の少ない方法が考案されている。しかしこの方法でも視差は残り、また垂直方向の近接画像での垂直画角のずれという大きな問題と垂直方向の視差の問題が残る。
【０００５】
一方距離測定技術では、車載応用はミリ波レーダや超音波ソナーが、その他の応用は赤外線が主に利用されている。しかし電波、音波、赤外線の発信器が必要であり、反射の時間差を利用した距離測定を行うことから複数点の距離を同時計測する場合には高価なセンサーが必要であり、また広い角度の範囲の距離測定は実現していない。さらに画像認識結果との直接的な関係付けが困難であるなど連動処理上の問題がある。
【０００６】
その為、画像認識と距離測定をカメラ画像情報から同時に行い連動させるアプローチが検討されている。その代表は車載応用で検討されているステレオカメラのアプローチである。しかし従来のステレオカメラでは、レンズの水平画角以上の視野角の合成画像が得られない問題と距離計算可能角度範囲がレンズの水平画角以下である問題がある。
【０００７】
次にカメラ画像や距離情報を利用した応用に目を向けると、例えばゲーム機や家電機器のモーションコントロールなどで動き認識を利用したものがある。しかし距離情報を用いるアプローチのほとんどは例えばＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式の赤外線センサーなどを用いたものや、画像と加速度センサーなどを利用したリモコンを用いるなど、使用形態の制限が大きく、またゲーム機などではカメラ情報をゲーム機本体で処理を行うなど、ゲーム機の計算負担が大きいなどの問題がある。また防犯カメラでも単に映像をディスプレイで見るか記録するなどの機能が殆どであり、画像認識を利用したものも真に有効な機能は極めて少ないのが現状である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２−３６９０６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、このような問題点を解決するためになされたもので、レンズの画角の２倍以上の広視野角のカメラを実現し、同時に画像情報から距離測定を広視野角に対して可能とする複眼カメラを提供すること、およびカメラ応用機器では特に固定点で使用するカメラにおいて新たな機能を実現することを目的とする。
【課題を解決するための手段】
【００１０】
請求項１の発明においては、水平画角α（または垂直画角β）の同一の２つのカメラａ、ｂを具備し、カメラａ，ｂのレンズ中心を含む平面上でカメラａの光軸ａ２とカメラｂの光軸ｂ２を水平画角α（または垂直画角β）と同じ角度α（またはβ）で交差するように配置する。尚、２つの光軸の交差する点を通り、かつ同一平面上の直線で２つの光軸と同じ角度（つまりα／２またはβ／２）の直線を以下では平均光軸Ｘａｂと表すことにする。
【００１１】
請求項２の発明においては、水平画角αの同一の４つのカメラａ，ｂ，ｃ，ｄの内、カメラａ，ｂまたはカメラｃ，ｄの両方が請求項１記載の複眼カメラであり、４つのレンズ中心を含む平面上でカメラａの光軸とカメラｃの光軸を平行にし、カメラｂの光軸とカメラｄの光軸を平行になるように配置する。
【００１２】
請求項３の発明においては、水平画角α、垂直画角βの４つの同一のカメラａ，ｂ，ｅ，ｆを具備し、カメラａ，ｂおよびカメラｅ，ｆの両方が請求項１記載の複眼カメラであり、カメラａ，ｂの平均光軸Ｘａｂとカメラｅ，ｆの平均光軸Ｘｅｆの成す平面上で角度βで交差するように配置する。
【００１３】
また請求項４の発明のように、請求項１ないし請求項３の複眼カメラを少なくとも１つ具備し、これら複眼カメラ（／および１眼カメラ）を組み合わせて構成してもよい。
【００１４】
また請求項５の発明のように、請求項１ないし請求項４の複眼カメラを設け、画像合成部を設けてもよい。
【００１５】
また請求項６の発明のように、請求項１ないし請求項５の複眼カメラを設け、画角の重なり領域の距離計算を行う距離計算部を設ける構成としてもよい。
【００１６】
また請求項７の発明のように、複眼カメラ、被写体三次元座標計算部、仮想カメラ情報入力部、仮想撮像情報距離計算部を具備し、複眼カメラの複数のカメラの画像出力から被写体三次元座標計算部で被写体の三次元座標値を計算し、この三次元座標値と仮想カメラ情報入力部からの仮想レンズ中心座標値と仮想光軸ベクトル値から、仮想撮像情報距離計算部で計算し、仮想レンズ中心にあるピンホールカメラと同等の合成画像を得る構成とする。
【００１７】
また請求項８の発明のように、請求項７記載の複眼カメラに関し、光軸収束点計算部を具備し、仮想カメラ情報入力部からは仮想３Ｄカメラの２つの仮想光軸ベクトルおよび被写体三次元座標計算部で計算された被写体の三次元座標値を光軸収束点計算部に入力し、光軸収束点を再計算により２つの再計算光軸ベクトルを計算し、計算結果を仮想撮像情報距離計算部で、２つのレンズに対応する仮想撮像情報を計算し、２チャンネルの合成画像データおよび距離データを出力する構成とする。
【００１８】
次に本発明の請求項９から請求項１７のカメラ応用機器に関する課題解決の手段を示す。請求項９の発明においてカメラ、背景画像記憶部、移動物人物付随物抽出部、背景画像計算制御部を具備し、カメラからの撮像情報と移動物人物付随物抽出部からの現移動物人物付随物情報と現背景画像の３つの情報を背景画像計算制御部に入力し、移動物人物付随物情報から付随物が移動物または（／および）人物から離脱したと判断できる時に、付随物の離脱判断部分を現背景画像に上書きし、次背景画像として背景画像記憶部を更新することを特徴とする。
【００１９】
また請求項１０の発明において、請求項９記載のカメラ応用機器に関し、背景変化記憶部、タイマー、背景変化確認制御部、初期背景画像記憶部を具備し、背景画像記憶部を更新すると同時に、更新時の背景と異なった変化画像情報を時系列情報とともに、背景変化記憶部に格納し、背景変化確認制御部の指示で、指定された時間の背景画像を初期背景画像記憶部の画像と背景変化記憶部の画像から随時で背景画像の再生成処理を行い確認できることを特徴とする。
【００２０】
また請求項１１の発明のように、請求項９記載のカメラ応用機器に関し、ホスト機器または（／および）カメラ内画像記憶装置を具備し、予めホスト機器または（／および）カメラ内画像記憶装置に背景画像記憶部の初期情報を送信し、その後は、背景画像記憶部が更新される毎に更新情報をホストに送信し、また移動物・人物抽出部の情報は随時送信し、データ通信量を減らし、カメラ情報の送信情報量や記憶装置容量を削減する構成とする。
【００２１】
また請求項１２の発明のように、請求項９記載のカメラ応用機器に関し、ホスト機器および移動物人物付随物抽出部からの動き情報を抽出する動き抽出部を具備し、通信回線を通して動き情報だけをホスト機器等へ送信し、ホスト機器へのデータ通信量を減らすことを特徴とする構成としてもよい。
【００２２】
また請求項１３の発明のように、請求項１１または請求項１２記載のホスト機器へのデータ送信を同時に実現する構成としてもよい。
【００２３】
また請求項１４の発明のように、請求項１３記載のカメラ応用機器に関し、画像表示装置およびホスト側に送られた動き情報とホスト側の教師動き情報を比較し採点する動き採点部を具備し、画像表示装置で教師画像と人物のカメラ画像を分割した表示領域に同時に表示し、逐次採点を行う構成としてもよい。
【００２４】
また請求項１５の発明のように、請求項９記載のカメラ応用機器に関し、エッジ抽出部、体形情報計算部を具備し、移動物人物付随物抽出部から得られる人物画像情報からエッジ抽出部でエッジ情報を抽出し、人物が回転して得られる全方位のエッジ情報を収集し、カメラ内またはホスト機器に送り体形情報を計算する構成としてもよい。
【００２５】
また請求項１６の発明のように、請求項１５記載のカメラ応用機器に関し、表示装置、体形情報記憶部、タイマー、体形表示制御部を具備し、測定した体形情報と同時に体形測定時の年月日及び時間情報を体形情報記憶部に記録し、時間的変化を表示可能とした構成としてもよい。
【００２６】
また請求項１７の発明のように、請求項９ないし請求項１６記載のカメラ応用機器に関し、請求項１ないし請求項８記載の複眼カメラを具備した構成としてもよい。
【００２７】
なお、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品もこの発明の技術的な範囲に含まれることも当然である。
【００２８】
この発明の上述の側面および他の側面は特許請求の範囲に記載され、以下、実施例等を用いて詳述される。
【発明の効果】
【００２９】
請求項１の発明のように、水平画角αの２つのカメラのレンズ中心を含む平面上で２つのカメラの光軸を角度αで交差するように配置したことで、角度２αでのカメラ画像情報の取得が可能になり、請求項５の画像合成部で処理すれば、１つの広角画像を生成できる。
【００３０】
さらに請求項２の発明のように水平画角αの４つのカメラの光軸を同一平面内で、２つは角度αで交差させ。この２つの光軸に残り２つの光軸を平行に位置付けることで、２αの角度で、三角測量原理などを用いた請求項６の距離計算部で処理すれば距離測定が可能になる。
【００３１】
また請求項３の発明のようにこれらのレンズが垂直画角βのレンズであれば、垂直方向に対しても同様の手段を講ずれば、水平方向の２α、垂直方向の２βの角度でのカメラ画像の取得と同時に画像合成部、距離計算部で処理すれば２次元的に広い画像の生成や距離測定が可能となる。尚、画角αやβの倍数が１８０度未満の範囲であれば、画像取得と距離測定の角度を３倍、４倍と拡大することが可能となる。
【００３２】
また請求項７の発明のように被写体三次元情報計算部と光軸収束点計算部を備えれば、これらの複眼カメラから得られた情報により、２チャンネルの３Ｄ映像情報を計算により求めることが可能になる。
【００３３】
次に請求項９から請求項１７のカメラ応用機器に関する発明によれば、記憶した初期の背景画像に移動物（車や人物など）と共に付随した物が写った場合に、背景画像との差異を変化判定部で移動物から離れたことを判定した時点で、背景に変化がある場合には移動物以外のものが背景に置かれたと判断できた時に背景を更新する手段を講じることで、背景変化の履歴を記憶すれば、置物を時間を遡って確認するなどが可能になり、忘れ物捜しや新規のゲームなどに繋がる。また背景はこの変化部分だけを随時記憶やホストへの転送などデータ量の削減も可能になる。
【００３４】
このように、請求項１ないし請求項４の複眼カメラの場合には、カメラの水平画角の２倍以上の画角にしたり、垂直画角も２倍以上の画角にしたり、広い視野角の撮像情報を取得可能とでき、さらに画角の重なりをもった領域に関しては距離測定情報を取得可能とできるカメラが実現できる。パソコンなどの画像入力用カメラとして用いればパソコン内でパノラマ合成法のような画像合成を行うなどで広視野角の画像を作ることができ、また距離計算ソフトを用いた距離計算が可能になる効果がある。
【００３５】
請求項５の複眼カメラでは、画像合成部を内蔵するためカメラ単独で広視野角の画像を作ることができ、請求項６の複眼カメラでは、距離計算部を内蔵するためカメラ単独で距離を測定できる効果がある。
【００３６】
請求項７の複眼カメラの場合には、被写体の各点の三次元情報を計算により取得できることから、仮想的なピンホールカメラで撮影した画像や、仮想レンズ中心との距離を同時取得でき、特に遠近が混在するような被写体に対してはパノラマ合成技術より優れた広視野角の画像を得ることができる効果がある。
【００３７】
請求項８の複眼カメラの場合には、光軸収束部による判定機能により、最近傍の被写点に光軸の交点を合わせることができなど、３Ｄ立体映像に相応しい２チャンネル映像の撮影が可能になる効果がある。
【００３８】
請求項９のカメラ応用機器は、ある期間固定の位置に設置したカメラ応用機器を想定したもので、車などの移動物や人物および人物が手に持った物などの付随物を随時処理し、背景画像を逐次更新することができる効果がある。
【００３９】
請求項１０のカメラ応用機器の場合には、初期画面記憶部と背景変化記憶部の情報から時間を指定した背景画面の生成ができる効果がある。
【００４０】
請求項１１のカメラ応用機器の場合には、カメラから撮像情報を初期背景情報とその後の変化する移動物人物付随物情報とに分けて処理することで、カメラ内記憶装置の容量やホストへの通信容量を減らせる効果がある。
【００４１】
請求項１２のカメラ応用機器の場合には、動き情報だけをホスト機器に送信する構成であることから、例えば３Ｄグラフィックなどで処理能力が限界であるようなゲーム機などホスト機器の処理負担を減らした形で、モーションコントロールなどのアプリケーションを実現できる効果がある。
【００４２】
請求項１３のカメラ応用機器の場合には、請求項１１および請求項１２を同時に実現する効果がある。
【００４３】
請求項１４のカメラ応用機器の場合には、教師とユーザの両方を画面表示しつつ採点を行うダンス採点ゲームのようなアプリケーションを実現できる効果がある。
【００４４】
請求項１５のカメラ応用機器の場合には、人物の体形情報を取得できる効果がある。請求項１６のカメラ応用機器の場合には、人物の体形情報を記録し、確認したい時期の体形情報を観たり、成長のグラフを見たりなど体形情報により成長記録のいう従来にない機能を実現できる効果がある。
【００４５】
請求項１７のカメラ応用機器の場合には、カメラ部を請求項１ないし請求項８の複眼カメラとすることで、請求項９から請求項１５の効果を広視野角映像のカメラ情報に拡張でき、特に部屋中で遊ぶゲーム応用や広視野の防犯カメラや参加者の全員が写るテレビ会議など広範囲な応用に繋がる効果がある。
【図面の簡単な説明】
【００４６】
【図１】本発明の第１の実施例の複眼カメラ構成図である。
【図２】本発明の第１の実施例の複眼カメラ画角重なり図である。
【図３】本発明の第２の実施例の複眼カメラ構成図である。
【図４】本発明の第２の実施例の複眼カメラ画角重なり図である。
【図５】本発明の第３の実施例の複眼カメラ構成図である。
【図６】本発明の第３の実施例の複眼カメラ画角重なり図である。
【図７】本発明の第４の実施例の複眼カメラ構成の側面図である。
【図８】本発明の第５の実施例の複眼カメラ構成図である。
【図９】本発明の第５の実施例の複眼カメラ画角重なり図である。
【図１０】本発明の第６の実施例の複眼カメラ構成図である。
【図１１】本発明の第６の実施例の複眼カメラのパソコンを利用した形態図である。
【図１２】本発明の第７の実施例の複眼カメラ構成図である。
【図１３】本発明の第８の実施例の複眼カメラ構成図である。
【図１４】本発明の第９の実施例の複眼カメラ構成図である。
【図１５】本発明の第１０の実施例の複眼カメラ構成図である。
【図１６】本発明の第１１の実施例のカメラ応用機器構成図である。
【図１７】本発明の第１１の実施例の付随物離脱処理説明図である。
【図１８】本発明の第１２の実施例のカメラ応用機器構成図である。
【図１９】本発明の第１３の実施例のカメラ応用機器構成図である。
【図２０】本発明の第１４の実施例のカメラ応用機器構成図である。
【図２１】本発明の第１７の実施例のカメラ応用機器構成図である。
【図２２】本発明の第１８の実施例のカメラ応用機器構成図である。
【発明を実施するための形態】
【００４７】
以下、この発明の実施例の情報閲覧システムについて説明する。
【００４８】
先ず、本発明の複眼カメラの実施例を説明する。
【００４９】
［第１の実施例］
図１は、請求項１に関する本発明の第１の実施例の複眼カメラ構成図である。図１においては同じ水平画角αのレンズからなるレンズ中心ａ１のカメラａとレンズ中心ｂ１のカメラｂで構成され、それぞれの光軸はａ２とｂ２、撮像素子はａ３とｂ３とし、レンズ中心ａ１とｂ１を含む平面上で、光軸ａ２と光軸ｂ２が角度αで交差するように配置することで、カメラａとカメラｂとの撮像素子に写る画角の範囲の合計は２αとすることが可能となる。本発明のカメラは、その用途に応じて静止画用でもよいし、動画用でもよい。
【００５０】
図２は図１のカメラａ，ｂの配置における２つのカメラの画角の重なる部分をグレー色の中にａ，ｂと記して示した本発明の第１の実施例の複眼カメラ画角重なり図である。従来提案されている複眼カメラの重なり配置は、撮像素子に写る画角の範囲の合計が２α未満になるのに対して、請求項１のカメラ配置は、撮像素子に写る角度範囲を２αにでき、かつパノラマ合成処理などで必要とされる画像の水平方向の重なり部分を保証できる配置となる。さらに重なりのある部分では、三角測量の原理に基づき距離測定が可能となる。
【００５１】
［第２の実施例］
図３は、請求項２に関する本発明の第２の実施例の複眼カメラ構成図である。図３においては請求項１のａ，ｂからなる複眼カメラとｃ，ｄからなる複眼カメラを同一平面上でカメラａとカメラｃの光軸が平行にし、カメラｂとカメラｄの光軸を平行して、カメラａ，ｂが、カメラｃ．，ｄの内側に配置した構成である。これはｃ，ｂからなる請求項１の複眼カメラとａ，ｄからなる請求項１の複眼カメラからなると見ることもできる。図４は請求項２に関する本発明の第２の実施例の複眼カメラ画角重なり図である。
【００５２】
図４から分かるように、三角測量の方法で必要となるカメラの画角の水平方向の重なりを有した角度範囲は、４つのカメラの相互の重なりを総合すれば、２αに及ぶ配置になっている。従って距離測定可能な範囲を２αにできる。
【００５３】
また図４から中央の重なりは、カメラａ，ｂとａ，ｃとａ，ｄとｂ，ｃとｂ，ｄとｃ，ｄの６つの組み合わせから距離計算ができることから平均化処理などで距離の精度を高めることができる。中央部分の距離計算精度を上げたい場合に特に有効である。
【００５４】
［第３の実施例］
図５は、請求項２に関する本発明の第３の実施例の複眼カメラ構成図である。図５においては請求項１のａ，ｂからなる複眼カメラとｃ，ｄからなる複眼カメラを対称な位置関係で配置した構成である。図６は請求項２に関する本発明の第３の実施例の複眼カメラ画角重なり図である。図６は、図４と同様に２つのカメラの画角の水平方向の重なりを有した角度範囲は、２αに及ぶ配置になっている。従って距離測定可能な範囲は２αにできる。三角測量では、距離の遠い場所の距離測定精度を上げる場合、レンズ間の距離を大きくした方が有利であることが知られていることから、遠距離の距離精度を優先する場合に有効な実施例である。
【００５５】
［第４の実施例］
図７は、請求項３に関する本発明の第４の実施例の複眼カメラ構成の側面図である。図７においては、同じ水平画角α、垂直画角βの４つのカメラａ，ｂ，ｅ，ｆからなり、カメラａ，ｂおよびカメラｅ，ｆの両方が請求項１記載の複眼カメラとし、カメラａ，ｂの平均光軸Ｘａｂとカメラｅ、ｆの平均光軸Ｘｅｆの成す平面上でＸａｂとＸｅｆが角度βで交差するように配置することで、カメラａ，ｂ，ｃ，ｄの撮像素子に写る画角の範囲は、水平方向の合計は２αであると同時に、垂直方向の合計が２βとすることが可能となる。図を示さないが、垂直方向にも重なりの部分を有し、距離測定可能な範囲を有する。
【００５６】
［第５の実施例］
図８は、請求項４に関する本発明の第５の実施例の複眼カメラ構成図である。図９は請求項４に関する本発明の第５の実施例の複眼カメラ画角重なり図である。
【００５７】
図８においては、第３の実施例である図５の構成の中央に１眼カメラｅを配置した構成にする。このことで、図９から分かるように、画角の重なりを増やすことで、距離測定の精度を高めることができる点と、例えば被写体が１名の場合などカメラｅのみで撮影可能な場合など、他の４つのカメラの電源をオフできる利点がある。
【００５８】
［第６の実施例］
図１０は、請求項１および請求項４に関する本発明の第６の実施例の複眼カメラ構成図である。図１０においては、水平画角αの同一のカメラａ，ｂ，ｃから構成し、ａ，ｂは請求項１の複眼カメラに該当し、請求項４に該当する１眼カメラｃを追加したカメラであるが、カメラｂ，ｃの２つもまた請求項１の複眼となる構成であることを特徴とする。この場合、カメラａ，ｂ，ｃの撮像素子に写る画角の範囲の合計は３αとすることが可能となる。また画角の加算あり領域がＶ字状の２つの領域ができ距離測定が可能な領域となる。レンズ歪の少ない標準レンズなどから広角の撮影情報を得る場合などで有効である。尚、第６の実施例と同様に水平方向に限らずまた３眼カメラに限らず、本発明の請求項１から請求項４に従い、垂直方向にも、また４眼以上で同様の構成が実現できることは明らかである。
【００５９】
また本発明の請求項１ないし請求項４については、複眼カメラの構成に関する発明である点から、画像合成および（／または）距離計算に関してはパソコンを利用する構成でも実現できる。 図１１は、複眼カメラ１１０１からの撮像情報１１０２をパソコン１１０３に入れ、パソコン１１０３でパノラマ合成手法などの画像合成ソフトで画像合成データ１１０４を出力する構成を示した本発明の第６の実施例の複眼カメラのパソコンを利用した形態図である。画像合成の代わりに距離計算を行う場合や両方を計算する場合も同じ構成で実現できる。
【００６０】
［第７の実施例］
図１２は、請求項５に関する本発明の第７の実施例の複眼カメラ構成図である。図１２においては、複眼カメラ１２０１からの撮像情報１２０２を画像合成部１２０３に入れ、画像合成部１２０３ではパノラマ合成などの画像合成処理を行い、画像合成データ１２０４を出力する。このことで、ワイドな画面情報を出力することができる。
【００６１】
［第８の実施例］
図１３は、請求項６に関する本発明の第８の実施例の複眼カメラ構成図である。図１３においては、複眼カメラ１３０１からの撮像情報１３０２を距離計算部１３０３に入れ、距離計算部１３０３では例えば三角測量の原理に基づく距離計算処理を行い、距離計算データ１３０４を出力する。このことで画角の重なり領域の距離計算結果を出力することができる。
【００６２】
［第９の実施例］
図１４は、請求項７に関する本発明の第９の実施例の複眼カメラ構成図である。図１４においては、複眼カメラ１４０１からの撮像情報１４０２を被写体三次元座標計算部１４０３に入れ、被写体三次元座標値１４０４を計算し出力する。仮想撮像情報距離計算部１４０８は、仮想カメラ情報入力部１４０７から入力されたレンズ中心座標値１４０５および光軸ベクトル１４０６および被写体三次元座標値１４０４を入力として合成画像データ１４０９および距離計算データ１４１０を計算し出力する。このことで、仮想レンズ中心にあるピンホールカメラに対応する合成画像と距離情報を同時に得ることができる。
【００６３】
［第１０の実施例］
図１５は、請求項８に関する本発明の第１０の実施例の複眼カメラ構成図である。図１５においては、複眼カメラ１５０１からの撮像情報１５０２を被写体三次元座標計算部１５０３にいれ、被写体三次元座標値１５０４を計算し出力する。光軸収束点計算部１５０９は、仮想カメラ情報入力部１５０５から入力された自動オンオフスイッチ１５０８とマニュアルで予め設定された３Ｄカメラの２つの光軸ベクトル１５０７および被写体三次元座標値１５０４を入力し、自動オンオフスイッチ１５０８がオンの時には、例えば被写体の最近傍の被写体の点が収束点になるよう２つの光軸ベクトル１５０７を修正計算し、２つの修正光軸ベクトル１５１０を出力する。出力の２つのレンズ中心座標値１５０９は、仮想撮像情報距離計算部１５１１は、被写体三次元座標値１５０４および２つの修正光軸ベクトル１５１０および仮想カメラ情報入力部からの２つのレンズ中心座標値１５０６を入力し、２つの修正光軸を視線方向とした２つの仮想レンズからの撮像情報として計算し、２チャンネル合成画像データ１５１２および必要があれば２チャンネル画素点距離データ１５１３を計算し出力する。
【００６４】
自動オンオフスイッチ１５０８がオフの時には、光軸収束点計算部１５０９は、修正光軸ベクトル１５１０とし２つの光軸ベクトル１５０７を出力し、仮想撮像情報距離計算部１５１１は、被写体三次元座標値１５０４および２つの修正光軸ベクトル１５１０および仮想カメラ情報入力部からの２つのレンズ中心座標値１５０６を入力し、２つの修正光軸を視線方向とした２つの仮想レンズからの撮像情報として計算し、２チャンネル合成画像データ１５１２および必要があれば２チャンネル画素点距離データ１５１３を計算し出力する。
【００６５】
［第１１の実施例］
次に本発明のカメラ応用機器の実施の形態を説明する。
【００６６】
以後の本実施例の説明では、実施の形態を明確化する意味でカメラ応用機器の時間単位は画像の取得単位であるフレーム単位で示すものとする。
【００６７】
図１６は、請求項９に関する本発明の第１１の実施例のカメラ応用機器構成図である。図１６においては、カメラ１６０１からの撮像情報１６０２は背景画像計算制御部１６０３および移動物人物抽出部１６０８にフレーム単位で入力される。背景画像計算制御部１６０３は背景リセット信号１６０４がオンの時には、その時点の撮像情報１６０２を、次背景画像１６０５として何も計算せず出力し、背景画像記憶部１６０７にも記憶する。移動物人物付随物抽出部１６０８は、撮像情報１６０２と背景画像記憶部１６０７から現背景画像１６０９として入力しエッジ抽出後にエッジ内のみの情報を抜き取り計算し、車や人物のような移動物と車に搭載したものや人物が手にもった付随物を含めた情報である移動物人物付随物情報１６１０として出力する。
【００６８】
この計算は、背景リセット信号１６０４がオンとなりリセットされた次のフレームから背景リセット信号１６０４がオフである限りフレーム毎に計算するが、同じフレーム時間内で他の処理を行う時間（以下残余時間と呼ぶ）を有するよう高速処理で実現する。
【００６９】
背景画像計算制御部１６０３は、背景リセット信号１６０４がオフの時には、撮像情報１６０２と背景画像記憶部１６０７からの現背景画像１６０９と移動物人物付随物抽出部１６０８からの移動物人物付随物情報１６１０の３つの情報を入力し、残余時間内で付随物が移動物または人物から確実に離脱したと判断できる付随物の全部または一部の領域の画像を背景画像に上書きし、更新された次背景画像１６０５として出力し、背景画像記憶部１６０７に記憶する。以後この付随物の離脱判断部分の背景への上書き処理を付随物離脱処理と呼ぶことにする。
【００７０】
以上のように構成することで、背景画像は随時更新され、車のような移動物または（／および）人物から付随物が離脱して十分後のフレームでは、背景画像記憶部１６０７には、離脱後の付随物が背景画像に置かれた状態の画像とすることができる。
【００７１】
図１７は、請求項９に関する本発明の第１１の実施例の付随物離脱処理説明図である。図１７においては、１行目は撮像情報１６０２を、２行目は移動物人物付随物情報１６１０を、３行目は現背景情報１６０９を、４行目は次背景情報１６０５を、５フレームの時間に亘っての変化の様子を示したもので、付随物が移動物または人物から確実に離脱したとする判断は、例えば人物や車の形状判断処理を背景画像計算制御部で行うことで、フレーム＝４の連結していない２つの画像領域部の何れが付随物であるかの判断ができる。また人物や車の形状判断処理を行わない方法としては、移動物人物付随物情報の時間的な推移を追跡し、動かなくなった領域を付随物情報と判断する方法でも実現できる。
【００７２】
以上のように本発明の請求項９によれば、第１１の実施例のように固定カメラの撮像情報から背景画像の自動更新が実現できる。
【００７３】
［第１２の実施例］
図１８は、請求項１０に関する本発明の第１２の実施例のカメラ応用機器構成図である。図１８においては、破線で囲われた部分は、図１６の構成と同じ構成とする。１８０１〜１８１０は１６０１〜１６１０と同じ機能および信号とする。ただし、背景リセット信号１８０４がオンになった時に、初期背景画像記憶部１８２０に背景変化確認制御部１８１７を経由して初期背景画像が格納され、背景画像計算制御部１８０３で背景が更新された時に背景更新信号１８１１と背景画像の変化情報である付随物情報１８１２を出力し、タイマー１８１２からの更新時点の時間１８１４と同時に背景変化記憶部１８１５に記憶する。また破線部からは現背景情報１８０９を出力する構成とする。
【００７４】
過去の何時までの時点の背景を確認したいかなどの指示信号である背景履歴確認指示信号１８１９を背景変化確認制御部１８１７が受け取ると、背景変化確認制御部１８１７は、初期背景画像記憶部１８２０を元に、背景変化記憶部１８１５から順次、時間付随物情報１８１６を読み、背景履歴確認指示信号１８１９の指示される時間までの再生背景画像１８１８を生成し出力する。
本発明の第１２の実施例により、例えば防犯カメラにおける不審物の発見や、部屋における置き場所記憶などの応用が可能になる。
【００７５】
［第１３の実施例］
図１９は、請求項１１に関する本発明の第１３の実施例のカメラ応用機器構成図である。図１９においては、図１６の構成のカメラ応用機器１９０１に加え、カメラ内画像記憶装置１９０２を設け、図１６の構成のカメラ応用機器１９０１の出力である次背景情報１９０３および移動物人物付随物情報１９０４をカメラ内画像記憶装置１９０２に格納する構成である。
【００７６】
このことで、室内の撮影映像の情報を大幅に削減して再生することができる。また図１９のカメラ内画像記憶装置を設ける代わりにＰＣやゲーム機などのホスト機器に置き換え、通信回線で図１６の構成のカメラ応用機器からの次背景情報１９０３および移動物人物付随物情報１９０４をホストに送信し、ホスト内の記憶装置に格納する構成でも情報削減した映像記録が実現できる。
【００７７】
［第１４の実施例］
図２０は、請求項１２に関する本発明の第１４の実施例のカメラ応用機器構成図である。図２０においては、図１６の構成のカメラ応用機器２００１からの出力である移動物人物付随物情報２００２から動き情報抽出部２００３で動き情報２００４を抽出し、ホスト機器２００５に送信する構成である。この構成により例えば動き情報を利用したモーションコントロール型のゲームにおいて、情報送信量が少ないと同時に、ゲーム機側で動き抽出を行う必要がないため、レスポンスの速いゲームが実現できる。
【００７８】
［第１５の実施例］
請求項１３に関する本発明の第１３の実施例と第１４の実施例を同時に実装した構成とする本発明の第１５の実施例にすることで、ゲーム機の負担を減らした形で、リアルな画像をホスト側で表示し、かつモーションコントロールを行うようなゲームの実現が可能になる。
【００７９】
［第１６の実施例］
請求項１４に関する本発明の第１５の実施例に、ホスト側に送られた動き情報と教師動き情報を比較し採点する動き採点部と画面表示装置を設けた構成とする本発明の第１６の実施例にすることで、ダンス教育ゲームのゲームソフトなどが実現できる。
【００８０】
［第１７の実施例］
図２１は、請求項１５に関する本発明の第１７の実施例のカメラ応用機器構成図である。図２１においては、図１６の構成のカメラ応用機器２１０１からの出力である移動物人物付随物情報２１０２からエッジ抽出部２１０３でエッジ情報２１０４を抽出し、体形情報計算部２１０５で体形情報２１０６を計算する構成とすることで、カメラに向かって人物が回転するなどにより収集された人物の全方位エッジ情報から全身の採寸を可能とすることができる。なお、カメラ内に体形情報計算部の代わりにエッジ情報をホスト側に送信し、体形情報の計算をホスト側で行う構成でもよい。
【００８１】
［第１８の実施例］
図２２は、請求項１６に関する本発明の第１８の実施例のカメラ応用機器構成図である。図２２においては、図２１の構成のカメラ応用機器２２０１からの出力である体形情報２２０２をタイマー２２０６からの日時情報２２０７と一緒に体形情報記憶部２２０３に記憶し、体形表示制御部２２０８の指示により体形表示指示信号２２０９を体形情報記憶部２２０３および表示装置２２０５に指示を出し、体形の時間的変化を表示可能とした構成にすることで、子供の成長記録をとり、成長の履歴を確認したりすることができる。
【００８２】
［第１９の実施例］
請求項１７に関する本発明の第１９の実施例は、請求項９ないし請求項１６におけるカメラを請求項１ないし請求項８の複眼カメラとすることで、広視野角での防犯カメラや、ゲーム機用カメラなどが実現できる。
【００８３】
以上で実施例の説明を終了する。
【００８４】
なお、この発明は上述の実施例に限定されることなく、その趣旨を逸脱しない範囲で種々変更が可能である。
【符号の説明】
【００８５】
ａ，ｂ，ｃ，ｄ，ｅ，ｆ カメラの識別記号
ａ１，ｂ１，ｅ１，ｆ１ レンズ中心
ａ２，ｂ２，ｃ２，ｄ２，ｅ２，ｆ２ 光軸
ａ３，ｂ３，ｅ３，ｆ３ 撮像素子
α カメラの水平画角
β カメラの垂直画角
Ｘａｂ，Ｘｅｆ 平均光軸
【特許請求の範囲】
【請求項１】
水平画角α（または垂直画角β）の同一の２つのカメラａ、ｂを具備し、カメラａ，ｂのレンズ中心を含む平面上でカメラａ，ｂの光軸を水平画角α（または垂直画角β）と同じ角度α（またはβ）で交差するように配置したことを特徴とする複眼カメラ。
【請求項２】
水平画角α（または垂直画角β）の同一の４つのカメラａ，ｂ，ｃ，ｄを具備し、カメラａ，ｂおよびカメラｃ，ｄの両方が請求項１記載の複眼カメラであり、４つのレンズ中心を含む平面上でカメラａの光軸とカメラｃの光軸を平行にし、カメラｂの光軸とカメラｄの光軸を平行になるように配置したことを特徴とする複眼カメラ。
【請求項３】
水平画角α、垂直画角βの４つの同一のカメラａ，ｂ，ｅ，ｆを具備し、カメラａ，ｂおよびカメラｅ，ｆの両方が請求項１記載の複眼カメラとし、カメラａ，ｂの平均光軸Ｘａｂとカメラｅ，ｆの平均光軸Ｘｅｆの成す平面上でＸａｂとＸｅｆを角度βで交差するように配置したことを特徴とする複眼カメラ。
【請求項４】
請求項１ないし請求項３の複眼カメラを少なくとも１つ具備し、これら複眼カメラ（／および１眼カメラ）を組み合わせて構成したことを特徴とする複眼カメラ。
【請求項５】
請求項１ないし請求項４の複眼カメラを具備し、画像合成部を具備したことを特徴とする複眼カメラ。
【請求項６】
請求項１ないし請求項５の複眼カメラを具備し、画角の重なり領域の距離計算を行う距離計算部を具備したことを特徴とする複眼カメラ。
【請求項７】
複眼カメラ、被写体三次元座標計算部、仮想カメラ情報入力部、仮想撮像情報距離計算部を具備し、複眼カメラから撮像情報を被写体三次元座標計算部に入力し、計算された出力の被写体三次元座標情報と仮想カメラ情報入力部からの仮想レンズ中心座標および仮想光軸ベクトルを、仮想撮像情報距離計算部に入力し、仮想撮像情報距離計算部で計算した合成画像データおよび距離データを出力することで、仮想レンズ中心にあるピンホールカメラに対応する合成画像と距離情報を同時に得ることを特徴とする複眼カメラ。
【請求項８】
光軸収束点計算部を具備し、仮想カメラ情報入力部からの仮想３Ｄカメラの２つの仮想光軸ベクトルおよび入力被写体三次元座標計算部で計算された被写体の三次元座標値を光軸収束点計算部に入力し、光軸収束点を計算により２つの光軸ベクトルを再計算し、計算結果を仮想撮像情報距離計算部で、２つのレンズに対応する仮想撮像情報を計算し、２チャンネルの合成画像データおよび距離データを出力することを特徴とする請求項７記載の複眼カメラ。
【請求項９】
カメラ、背景画像記憶部、移動物人物付随物抽出部、背景画像計算制御部を具備し、カメラからの撮像情報と移動物人物付随物抽出部からの現移動物人物付随物情報と現背景画像の３つの情報を背景画像計算制御部に入力し、移動物人物付随物情報から付随物が移動物または（／および）人物から離脱したと判断できる時に、付随物の離脱判断部分を現背景画像に上書きし、次背景画像として背景画像記憶部を更新することを特徴とするカメラ応用機器。
【請求項１０】
背景変化記憶部、タイマー、背景変化確認制御部、初期背景画像記憶部を具備し、背景画像記憶部を更新すると同時に、更新時の背景と異なった変化画像情報を時系列情報とともに、背景変化記憶部に格納し、背景変化確認制御部の指示で、指定された時間の背景画像を初期背景画像記憶部の画像と背景変化記憶部の画像から随時で背景画像の再生成処理を行い確認できることを特徴とする請求項９記載のカメラ応用機器。
【請求項１１】
ホスト機器または（／および）カメラ内画像記憶装置を具備し、予めホスト機器または（／および）カメラ内画像記憶装置に背景画像記憶部の初期情報を送信し、その後は、背景画像記憶部が更新される毎に更新情報をホストに送信し、また移動物人物付随物抽出部からの移動物人物付随物情報は随時ホストまたは（／および）カメラ内画像記憶装置に送信し、データ通信量を減らし、カメラ情報の送信情報量やカメラ内画像記憶装置の容量を削減することを特徴とする請求項９記載のカメラ応用機器。
【請求項１２】
ホスト機器および移動物人物付随物抽出部からの動き情報を抽出する動き抽出部を具備し、通信回線を通して動き情報だけをホスト機器等へ送信し、ホスト機器へのデータ通信量を減らすことを特徴とする請求項９記載のカメラ応用機器。
【請求項１３】
請求項１１および請求項１２記載のホスト機器へのデータ送信を同時に実現することを特徴とするカメラ応用機器。
【請求項１４】
画像表示装置およびホスト側に送られた動き情報とホスト側の教師動き情報を比較し採点する動き採点部を具備し、画像表示装置で教師画像と人物のカメラ画像を分割した表示領域に同時に表示し、逐次採点を行うことを特徴とする請求項１３記載のカメラ応用機器。
【請求項１５】
エッジ抽出部、体形情報計算部を具備し、移動物人物付随物抽出部から得られる人物画像情報からエッジ抽出部でエッジ情報を抽出し、人物が回転して得られる全方位のエッジ情報を収集し、カメラ内またはホスト機器に送り体形情報を計算することを特徴とする請求項９記載のカメラ応用機器。
【請求項１６】
表示装置、体形情報記憶部、タイマー、体形表示制御部を具備し、測定した体形情報と同時に体形測定時の年月日及び時間情報を体形情報記憶部に記録し、時間的変化を表示可能としたことを特徴とする請求項１５記載のカメラ応用機器。
【請求項１７】
請求項１ないし請求項８記載の複眼カメラを具備し、請求項９ないし請求項１６を実現したことを特徴とするカメラ応用機器。
【請求項１】
水平画角α（または垂直画角β）の同一の２つのカメラａ、ｂを具備し、カメラａ，ｂのレンズ中心を含む平面上でカメラａ，ｂの光軸を水平画角α（または垂直画角β）と同じ角度α（またはβ）で交差するように配置したことを特徴とする複眼カメラ。
【請求項２】
水平画角α（または垂直画角β）の同一の４つのカメラａ，ｂ，ｃ，ｄを具備し、カメラａ，ｂおよびカメラｃ，ｄの両方が請求項１記載の複眼カメラであり、４つのレンズ中心を含む平面上でカメラａの光軸とカメラｃの光軸を平行にし、カメラｂの光軸とカメラｄの光軸を平行になるように配置したことを特徴とする複眼カメラ。
【請求項３】
水平画角α、垂直画角βの４つの同一のカメラａ，ｂ，ｅ，ｆを具備し、カメラａ，ｂおよびカメラｅ，ｆの両方が請求項１記載の複眼カメラとし、カメラａ，ｂの平均光軸Ｘａｂとカメラｅ，ｆの平均光軸Ｘｅｆの成す平面上でＸａｂとＸｅｆを角度βで交差するように配置したことを特徴とする複眼カメラ。
【請求項４】
請求項１ないし請求項３の複眼カメラを少なくとも１つ具備し、これら複眼カメラ（／および１眼カメラ）を組み合わせて構成したことを特徴とする複眼カメラ。
【請求項５】
請求項１ないし請求項４の複眼カメラを具備し、画像合成部を具備したことを特徴とする複眼カメラ。
【請求項６】
請求項１ないし請求項５の複眼カメラを具備し、画角の重なり領域の距離計算を行う距離計算部を具備したことを特徴とする複眼カメラ。
【請求項７】
複眼カメラ、被写体三次元座標計算部、仮想カメラ情報入力部、仮想撮像情報距離計算部を具備し、複眼カメラから撮像情報を被写体三次元座標計算部に入力し、計算された出力の被写体三次元座標情報と仮想カメラ情報入力部からの仮想レンズ中心座標および仮想光軸ベクトルを、仮想撮像情報距離計算部に入力し、仮想撮像情報距離計算部で計算した合成画像データおよび距離データを出力することで、仮想レンズ中心にあるピンホールカメラに対応する合成画像と距離情報を同時に得ることを特徴とする複眼カメラ。
【請求項８】
光軸収束点計算部を具備し、仮想カメラ情報入力部からの仮想３Ｄカメラの２つの仮想光軸ベクトルおよび入力被写体三次元座標計算部で計算された被写体の三次元座標値を光軸収束点計算部に入力し、光軸収束点を計算により２つの光軸ベクトルを再計算し、計算結果を仮想撮像情報距離計算部で、２つのレンズに対応する仮想撮像情報を計算し、２チャンネルの合成画像データおよび距離データを出力することを特徴とする請求項７記載の複眼カメラ。
【請求項９】
カメラ、背景画像記憶部、移動物人物付随物抽出部、背景画像計算制御部を具備し、カメラからの撮像情報と移動物人物付随物抽出部からの現移動物人物付随物情報と現背景画像の３つの情報を背景画像計算制御部に入力し、移動物人物付随物情報から付随物が移動物または（／および）人物から離脱したと判断できる時に、付随物の離脱判断部分を現背景画像に上書きし、次背景画像として背景画像記憶部を更新することを特徴とするカメラ応用機器。
【請求項１０】
背景変化記憶部、タイマー、背景変化確認制御部、初期背景画像記憶部を具備し、背景画像記憶部を更新すると同時に、更新時の背景と異なった変化画像情報を時系列情報とともに、背景変化記憶部に格納し、背景変化確認制御部の指示で、指定された時間の背景画像を初期背景画像記憶部の画像と背景変化記憶部の画像から随時で背景画像の再生成処理を行い確認できることを特徴とする請求項９記載のカメラ応用機器。
【請求項１１】
ホスト機器または（／および）カメラ内画像記憶装置を具備し、予めホスト機器または（／および）カメラ内画像記憶装置に背景画像記憶部の初期情報を送信し、その後は、背景画像記憶部が更新される毎に更新情報をホストに送信し、また移動物人物付随物抽出部からの移動物人物付随物情報は随時ホストまたは（／および）カメラ内画像記憶装置に送信し、データ通信量を減らし、カメラ情報の送信情報量やカメラ内画像記憶装置の容量を削減することを特徴とする請求項９記載のカメラ応用機器。
【請求項１２】
ホスト機器および移動物人物付随物抽出部からの動き情報を抽出する動き抽出部を具備し、通信回線を通して動き情報だけをホスト機器等へ送信し、ホスト機器へのデータ通信量を減らすことを特徴とする請求項９記載のカメラ応用機器。
【請求項１３】
請求項１１および請求項１２記載のホスト機器へのデータ送信を同時に実現することを特徴とするカメラ応用機器。
【請求項１４】
画像表示装置およびホスト側に送られた動き情報とホスト側の教師動き情報を比較し採点する動き採点部を具備し、画像表示装置で教師画像と人物のカメラ画像を分割した表示領域に同時に表示し、逐次採点を行うことを特徴とする請求項１３記載のカメラ応用機器。
【請求項１５】
エッジ抽出部、体形情報計算部を具備し、移動物人物付随物抽出部から得られる人物画像情報からエッジ抽出部でエッジ情報を抽出し、人物が回転して得られる全方位のエッジ情報を収集し、カメラ内またはホスト機器に送り体形情報を計算することを特徴とする請求項９記載のカメラ応用機器。
【請求項１６】
表示装置、体形情報記憶部、タイマー、体形表示制御部を具備し、測定した体形情報と同時に体形測定時の年月日及び時間情報を体形情報記憶部に記録し、時間的変化を表示可能としたことを特徴とする請求項１５記載のカメラ応用機器。
【請求項１７】
請求項１ないし請求項８記載の複眼カメラを具備し、請求項９ないし請求項１６を実現したことを特徴とするカメラ応用機器。
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１７】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１７】
【公開番号】特開２０１１−１５１６３６（Ｐ２０１１−１５１６３６Ａ）
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願番号】特願２０１０−１１７０７（Ｐ２０１０−１１７０７）
【出願日】平成２２年１月２２日（２０１０．１．２２）
【出願人】（３０１０７３１６３）マセマテック株式会社 (6)
【Ｆターム（参考）】
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願日】平成２２年１月２２日（２０１０．１．２２）
【出願人】（３０１０７３１６３）マセマテック株式会社 (6)
【Ｆターム（参考）】
[ Back to top ]