情報処理装置、そのプログラム、および情報処理方法
【課題】実物の被写体における水平方向の視差を有する被写体の立体画像が生成される可能性を高める。
【解決手段】情報処理装置は、２次元的または３次元的に分散配置された３以上の撮像系を有する撮像手段と、情報処理装置の姿勢を判定する判定手段と、判定手段によって判定された情報処理装置の姿勢に応じて、当該３以上の撮像系のうち相互間の基線方向が水平方向に最も近い２つの撮像系を選択撮像系として選択する選択手段と、当該選択撮像系によってそれぞれ撮影された被写体の画像に基づいて被写体の立体画像を生成する生成手段とを備える。
【解決手段】情報処理装置は、２次元的または３次元的に分散配置された３以上の撮像系を有する撮像手段と、情報処理装置の姿勢を判定する判定手段と、判定手段によって判定された情報処理装置の姿勢に応じて、当該３以上の撮像系のうち相互間の基線方向が水平方向に最も近い２つの撮像系を選択撮像系として選択する選択手段と、当該選択撮像系によってそれぞれ撮影された被写体の画像に基づいて被写体の立体画像を生成する生成手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像を生成する情報処理技術に関する。
【背景技術】
【０００２】
近年、表示される画像を立体視可能な三次元テレビなどの三次元表示装置の普及が進んでおり、三次元表示装置用の立体視可能な左目用および右目用の画像群（立体画像）を容易に生成可能な技術が望まれている。
【０００３】
例えば、特許文献１に記載の複眼カメラは、長方形状の撮像素子と光学系とが組み合わされた撮像系を２つ備えたステレオカメラ部を備えており、観察者によって予め撮像系間の基線方向が水平方向となるように複眼カメラの姿勢が設定された状態で、該ステレオカメラ部によって撮影された左目用画像と右目用画像とが時系列的に交互に表示部に表示される。該表示部においては、表示される画像の切り替えに同期して画像に係る光路が光路切り替え部によって立体視可能に交互に切り替えられることによって、観察者が立体視可能な立体画像が表示される。
【０００４】
より詳細には、当該複眼カメラは、ステレオカメラ部と、２つの撮像素子と、光路切り替え部とのそれぞれを、互いに平行な各回転軸を中心としてそれぞれ自転させ得る回転駆動機構を備えている。この回転駆動機構によって駆動されることにより、ステレオカメラ部は、その２つの撮像部が共通の軸を中心として略９０度公転するように自転可能である。また、ステレオカメラの２つの撮像素子は、該公転に応じて、各々の光学系の光軸を中心としてそれぞれ略９０度自転可能であり、光路切り替え部は、該公転に応じて、略９０度自転可能である。
【０００５】
従って、該複眼カメラにおいては、ステレオカメラ部の基線方向と、撮像素子の長辺の方向と、光路切り替え部の向きとの組み合わせの複眼カメラに対する配置関係として２通りの配置関係が設定され得る。該２通りの配置関係の何れにおいてもステレオカメラ部の基線方向と、光路切り替え部による左目用画像と右目用画像の間での光路の切り替え方向とが一致する。該２通りの配置関係の一方においては、ステレオカメラ部の基線方向と撮像素子の長辺方向とが一致し、該２通りの配置関係の他方においては、ステレオカメラ部の基線方向と撮像素子の長辺方向とは直交する。
【０００６】
特許文献１の複眼カメラにおいては、該２通りの配置関係のそれぞれにおいて、ステレオカメラ部の基線方向が、水平方向、すなわち、観察者の両目の基線方向と一致するように、観察者によって複眼カメラの姿勢が変更された後に、被写体の撮影と、立体画像の表示とが行われる。従って、特許文献１の複眼カメラにおいては、撮影視野の形状が鉛直方向に長い縦撮影であっても、水平方向に長い横撮影であっても、観察者が立体視可能な立体画像が表示され得る。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１８８９３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の複眼カメラには、ステレオカメラ部の基線方向が、鉛直方向である状態のままで被写体の撮影が行われた場合には、撮像された各画像における被写体の同一点にそれぞれ対応した各対応画素の間での各画像の画像空間における座標のずれ、すなわち視差は鉛直方向に生ずる。一方、画像の観察者は、目線が上向き、下向き、および水平の何れの状態であっても、通常、左右の目が水平方向に並んだ状態で被写体を観察する。このため、鉛直方向の視差を有する画像群がそのままの状態で立体画像を構成する画像群として観察者に提示されたとしても、観察者の両目の配列方向と、立体画像を構成する画像群の視差の方向とが異なるために、観察者は立体を認識することができない。
【０００９】
また、例えば、ステレオカメラ部の基線方向が鉛直方向である特許文献１の複眼カメラによって被写体が撮影された後に該複眼カメラの姿勢が変更されることにより、画像間の視差の方向が鉛直方向から水平方向に変更された立体画像が観察者に提示された場合には、観察者は立体を認識できるものの、被写体の向きが、例えば、９０度回転されて横向きに変わってしまうために観察者は違和感を覚える。
【００１０】
このように、特許文献１の複眼カメラにおいては、観察者が、表示された被写体の画像の向きに違和感を覚えることなく立体を認識することができるようにするためには、被写体の撮影に先立ってステレオカメラ部の基線方向が水平方向に一致するように複眼カメラの姿勢が変更されなければならないといった問題がある。
【００１１】
本発明は、こうした問題を解決するためになされたもので、被写体を撮像する装置の姿勢に関わらず、実物の被写体における水平方向の視差を有する被写体の立体画像が生成される可能性を高めることを目的とする。
【課題を解決するための手段】
【００１２】
上記の課題を解決するため、第１の態様に係る情報処理装置は、２次元的または３次元的に分散配置された３以上の撮像系を有する撮像手段と、前記情報処理装置の姿勢を判定する判定手段と、前記判定手段によって判定された前記情報処理装置の姿勢に応じて、前記３以上の撮像系のうち相互間の基線方向が水平方向に最も近い２つの撮像系を選択撮像系として選択する選択手段と、前記選択撮像系によってそれぞれ撮影された被写体の画像に基づいて前記被写体の立体画像を生成する生成手段と、を備えることを特徴とする。
【００１３】
第２の態様に係る情報処理装置は、第１の態様に係る情報処理装置であって、前記選択手段が、前記判定手段によって判定された前記情報処理装置の姿勢が、前記３以上の撮像系のうち２つの撮像系の基線方向が水平方向と一致する姿勢であるときには、当該２つの撮像系を前記選択撮像系として選択することを特徴とする。
【００１４】
第３の態様に係る情報処理装置は、第１または第２の態様に係る情報処理装置であって、前記３以上の撮像系が、仮想的な直角三角形の各頂点位置に配置された３つの撮像系を含むことを特徴とする。
【００１５】
第４の態様に係る情報処理装置は、第３の態様に係る情報処理装置であって、前記直角三角形が不等辺三角形であることを特徴とする。
【００１６】
第５の態様に係る情報処理装置は、第３または第４の態様に係る情報処理装置であって、ユーザに正対したときの左右方向と上下方向とがあらかじめ定義された情報伝達領域を有し、前記情報伝達領域を用いて前記情報処理装置とユーザとの間での情報の授受を行うヒューマンインターフェイス手段をさらに備え、前記直覚三角形の第１辺と第２辺との方向を、前記情報伝達領域の前記左右方向と前記上下方向とにそれぞれ一致させていることを特徴とする。
【００１７】
第６の態様に係る情報処理装置は、第５の態様に係る情報処理装置であって、前記ヒューマンインターフェイス手段が、複数の方向にそれぞれ視差を有する各立体画像をそれぞれ表示可能な表示手段を備え、前記複数の方向は、前記３以上の撮像系の相互間の基線方向に一致していることを特徴とする。
【００１８】
第７の態様に係る情報処理装置は、第５の態様に係る情報処理装置であって、前記ヒューマンインターフェイス手段が、複数の方向にそれぞれ視差を有する各立体画像をそれぞれ表示可能な表示手段を備え、前記複数の方向は、前記３以上の撮像系の相互間の基線方向からなる集合の中に含まれていることを特徴とする。
【００１９】
第８の態様に係る情報処理装置は、第１から第７の何れか１つの態様に係る情報処理装置であって、前記３以上の撮像系の中の特定の基線方向を水平方向とするような前記情報処理装置の推奨姿勢の情報をユーザに報知する報知手段を更に備えたことを特徴とする。
【００２０】
第９の態様に係る情報処理装置は、第８の態様に係る情報処理装置であって、前記情報処理装置から前記被写体までの距離情報に応じて、前記３以上の撮像系の相互間における各基線長のうち被写体の立体画像において予め設定された条件を満たす視差を生ずる１つの基線長を特定するとともに、特定された該１つの基線長に係る１つの基線方向を水平方向とするような前記情報処理装置の推奨姿勢の情報をユーザに報知する報知手段を更に備えたことを特徴とする。
【００２１】
第１０の態様に係る情報処理装置は、第９の態様に係る情報処理装置であって、前記報知手段が、立体画像の画像表示条件に基づいて前記１つの基線長を特定することを特徴とする。
【００２２】
第１１の態様に係る情報処理装置は、第６または第７の態様に係る情報処理装置であって、前記立体画像の表示における視差方向を水平方向とするような前記情報処理装置の推奨姿勢の情報をユーザに報知する報知手段を更に備えたことを特徴とする。
【００２３】
第１２の態様に係る情報処理装置は、第８から第１１の何れか１つの態様に係る情報処理装置であって、前記報知手段が、前記判定手段によって判定された前記情報処理装置の姿勢が前記推奨姿勢とは異なる場合に、前記推奨姿勢の情報をユーザに報知する。
【００２４】
第１３の態様に係る情報処理装置は、第１から第１２の何れか１つの態様に係る情報処理装置であって、前記３以上の撮像系のうち少なくとも１つの撮像系は焦点距離が可変であり、前記選択手段によって前記少なくとも１つの撮像系のうち１つが、前記選択撮像系のうち一方として選択された場合に、前記選択撮像系のうち他方の撮像系の焦点距離と、該一方の撮像系の焦点距離とが等しくなるように該一方の撮像系の焦点距離を調整する調整手段を更に備えたことを特徴とする。
【００２５】
第１４の態様に係るプログラムは、情報処理装置に搭載されたコンピュータにおいて実行されることにより当該情報処理装置を第１から第１３の何れか１つの態様に係る情報処理装置として機能させることを特徴とする。
【００２６】
第１５の態様に係る情報処理方法は、２次元的または３次元的に分散配置された３以上の撮像系を有する撮像手段を備えた情報処理装置の姿勢を判定する判定工程と、前記判定工程によって判定された前記情報処理装置の姿勢に応じて、前記３以上の撮像系のうち相互間の基線方向が水平方向に最も近い２つの撮像系を選択撮像系として選択する選択工程と、前記選択撮像系によってそれぞれ撮影された被写体の画像に基づいて前記被写体の立体画像を生成する生成工程とを備えることを特徴とする。
【発明の効果】
【００２７】
第１から第１５の何れの態様に係る発明によっても、判定された前記情報処理装置の姿勢に応じて、３以上の撮像系のうち相互間の基線方向が水平方向に最も近い２つの撮像系が選択され、選択された２つの撮像系によってそれぞれ撮影された被写体の画像に基づいて被写体の立体画像が生成されるので、実物の被写体における水平方向の視差を有する被写体の立体画像が生成される可能性を高めることができる。
【図面の簡単な説明】
【００２８】
【図１】実施形態に係る情報処理装置の外観構成の概略を示す模式図である。
【図２】実施形態に係る情報処理装置の外観構成の概略を示す模式図である。
【図３】実施形態に係る情報処理装置の外観構成の概略を示す模式図である。
【図４】実施形態に係る情報処理装置の主な構成の１例を示す図である。
【図５】実施形態に係る情報処理装置の機能構成の１例を示す図である。
【図６】実施形態に係るステレオカメラの主な機能構成の１例を示す図である。
【図７】左画像と右画像との１例を示す図である。
【図８】カメラ間の基線方向と表示部の視差方向との関係の１例を示す図である。
【図９】カメラ間の基線方向と表示部の視差方向との関係の１例を示す図である。
【図１０】カメラ間の基線方向と表示部の視差方向との関係の１例を示す図である。
【図１１】左カメラと右カメラとが選択される様子の１例を示す図である。
【図１２】カメラ間の基線方向と表示部の視差方向との関係の１例を示す図である。
【図１３】カメラ間の基線方向と表示部の視差方向との関係の１例を示す図である。
【図１４】実施形態に係る情報処理装置の動作フローを例示する図である。
【図１５】実施形態に係る情報処理装置の動作フローを例示する図である。
【発明を実施するための形態】
【００２９】
以下、本発明の一実施形態を図面に基づいて説明する。図面では同様な構成および機能を有する部分に同じ符号が付され、下記説明では重複説明が省略される。また、各図面は模式的に示されたものであり、例えば、各図面における画像上の表示物のサイズおよび位置関係等は正確に図示されたものではない。また、画像データと、該画像データに基づいて表示される画像とをまとめて「画像」と適宜総称する。更に、各図面では、画像の左上の画素が原点とされ、該画像の長辺に沿った方向（ここでは、横方向）がＸ軸方向とされ、該画像の短辺に沿った方向（ここでは縦方向）がＹ軸方向とされる。そして、各画像の右方向が＋Ｘ方向とされ、各画像の下方向が＋Ｙ方向とされる。なお、図１〜図３、および図７〜図１３には、直交するＸＹＺの３軸が付されている。
【００３０】
＜実施形態について：＞
＜◎情報処理装置１００Ａの外観構成について：＞
図１〜図３は、本発明の実施形態に係る情報処理装置１００Ａの外観構成の概略を示す模式図である。情報処理装置１００Ａは、携帯電話、カメラ、およびサーバ装置との間で無線通信等により各種情報の送受信を行う端末装置などとして機能する折り畳み式の携帯型情報端末として構成され、図１〜図３に示されるように、筐体２００Ａと、筐体２５０Ａと、ヒンジ部４００とを主に有している。ヒンジ部４００は、筐体２００Ａと筐体２５０Ａとを機械的に回動（折畳み）可能に接続するとともに、筐体２００Ａと筐体２５０Ａとを電気的にも接続している。ヒンジ部４００によって情報処理装置１００Ａは、折り畳み可能となっている。
【００３１】
また、図１〜図３は、情報処理装置１００Ａが開かれた外観をそれぞれ示している。図１には、情報処理装置１００Ａが折り畳まれたときに情報処理装置１００Ａの外面となる面（「うら面」とも称される）が示されている。また、図２および図３には、情報処理装置１００Ａが開かれた状態における該うら面以外の面（「おもて面」とも称される）が示されている。図２においては、カメラ１０１および１０２の基線方向が、Ｘ軸方向（水平方向）に一致するとともに、図３においては、カメラ１０１および１０３の基線方向が、Ｘ軸方向に一致している。
【００３２】
筐体２００Ａおよび筐体２５０Ａは、それぞれ板状の部材であり、各種電子部材を格納する筐体としての役割を有している。具体的には、筐体２００Ａは、そのうら面側にカメラ１０１〜１０３を備えた多眼カメラ部３００（図４、図５）を有するとともに、そのおもて面に表示部４３を有している。また、情報処理装置１００Ａのそれぞれの機能要素のうち、カメラ１０１〜１０３や表示部４３は筐体２００Ａ上の固定された位置にある。また、操作部４２が搭載された筐体２５０Ａは筐体２００Ａに対して回動（折畳み）可能であるが、実際の撮影操作のときには、筐体２００Ａと筐体２５０Ａとはユーザが選択した相対角度を保っており、１回の撮影処理という短い時間で見ると相対的に固定された相対角度にある。換言すれば、筐体２００Ａと筐体２５０Ａとは一体化されていて、情報処理装置１００Ａはその全体の姿勢を変更可能であるだけでなく、可搬性の装置であり、特に、ユーザが手中に保持した状態で姿勢を容易に変更できる携帯型の情報処理装置である。
【００３３】
なお、図１〜図３に示された多眼カメラ部３００は、筐体２００Ａの裏面に分散配置された３個のカメラを有しているが、多眼カメラ部３００の構成は、図１〜図３に示された構成に限定されず、多眼カメラ部３００が４以上のカメラを備えていたとしても本発明の有用性を損なうものではない。また、多眼カメラ部３００が有する各カメラは、２次元的に、すなわち同一平面上に分散配置されるだけでなく、３次元的に分散配置されたとしても本発明の有用性を損なうものではない。すなわち、多眼カメラ部３００は２次元的にまたは３次元的に分散配置された３以上の撮像系を有する撮像部である。
【００３４】
また、筐体２５０Ａは、ボタン等の操作部４２をそのおもて面に有するともに、情報処理装置１００Ａを電気的に制御するＣＰＵ（Central Processing Unit）１１Ａ（図４）などをその内部に有している。
【００３５】
情報処理装置１００Ａは、図２および図３などの各種姿勢において多眼カメラ部３００における各カメラのうち基線方向が水平方向に最も近い左カメラ６１および右カメラ６２（図２、図３）によって撮影された被写体の各画像に基づいて観察者が立体視可能な立体画像を生成し、表示部４３に表示する。
【００３６】
より具体的には、操作者（観察者）によって設定された情報処理装置１００Ａの姿勢は、情報処理装置１００Ａの判定部１４（図４、図５）によって判定される。
【００３７】
情報処理装置１００Ａの選択部１５（図４、図５）は、判定部１４によって判定された情報処理装置１００Ａの姿勢に応じて、多眼カメラ部３００が備える各カメラのうち相互間の基線方向が水平方向に最も近い２つのカメラを左カメラ６１および右カメラ６２としてそれぞれ選択する。
【００３８】
例えば、情報処理装置１００Ａの姿勢が、図２に示されるようにカメラ１０１および１０２の配列方向が水平方向（Ｘ軸方向）に最も近い姿勢である場合には、選択部１５は、カメラ１０１および１０２を、左カメラ６１および右カメラ６２としてそれぞれ選択する。また、情報処理装置１００Ａの姿勢が、図３に示されるようにカメラ１０１および１０３の列方向が水平方向（Ｘ軸方向）に最も近い姿勢である場合には、選択部１５は、カメラ１０１および１０３を、左カメラ６１および右カメラ６２としてそれぞれ選択する。従って、判定部１４によって判定された情報処理装置１００Ａの姿勢が、多眼カメラ部３００が有する３以上の撮像系のうち２つの撮像系の基線方向が水平方向と一致する姿勢であるときには、選択部１５は、当該２つの撮像系を前記選択撮像系として選択する。
【００３９】
情報処理装置１００Ａの生成部１６（図４、図５）は、選択部１５によって選択された左カメラ６１および右カメラ６２によってそれぞれ撮影された被写体の左画像２１および右画像２２（図４、図５）に基づいて、操作者が立体視可能な被写体の立体画像２９（図５）を生成する。立体画像２９は、左目用画像２７および右目用画像２８（図４、図５）によって構成される。生成された立体画像２９は、表示部４３に表示される。
【００４０】
情報処理装置１００Ａにおいては、判定部１４によって判定された情報処理装置１００Ａの姿勢に応じて、選択部１５によって多眼カメラ部３００が有する３以上のカメラのうち相互間の基線方向が水平方向に最も近い２つのカメラが選択され、選択された２つのカメラによってそれぞれ撮影された被写体の各画像に基づいて被写体の立体画像が生成されるので、被写体を撮影する情報処理装置１００Ａの姿勢に関わらず実物の被写体における水平方向の視差を有する被写体の立体画像が生成される可能性を高めることができる。
【００４１】
＜◎多眼カメラ部３００の構成と動作：＞
次に、情報処理装置１００Ａの多眼カメラ部３００の構成と動作について説明する。図１に示されるように、多眼カメラ部３００のカメラ１０１〜１０３は、カメラ１０１および１０２の基線方向と、カメラ１０１および１０３の基線方向とが互いに直交するようにそれぞれ配置されており、カメラ１０１〜１０３の筐体２００Ａにおける配列は、仮想的な直角三角形を形成している。すなわち、多眼カメラ部３００は、相互間の基線方向のうち２つの基線方向が互いに直交する３つのカメラを含んでいる。
【００４２】
例えば、多眼カメラ部３００の各カメラが長方形状の有効画素領域を有する撮像素子をそれぞれ有している場合において、さらに図２に示されるように、カメラ１０１および１０２の基線方向が水平方向（Ｘ軸方向）であるときに各撮像素子における有効画素領域の長辺の方向が水平方向である場合には、カメラ１０１および１０２によって撮影された被写体の画像は、縦方向よりも横方向の長さが長い「横撮影」の画像となる。
【００４３】
カメラ１０１および１０２の基線方向と、カメラ１０１および１０３の基線方向とが互いに直交していれば、情報処理装置１００Ａの姿勢が図２から図３の状態に変更されたときには、基線方向が水平方向に最も近いカメラ１０１および１０３によって撮影された被写体の画像は、横方向よりも縦方向に沿った長さが長い「縦撮影」の画像となる。
【００４４】
このように、多眼カメラ部３００が、相互間の基線方向のうち２つの基線方向が互いに直交する３つのカメラを含んでいれば、該２つの基線方向のそれぞれに係る２対のカメラにおける各対のそれぞれが、相互間の基線方向が水平方向に最も近くなる２つのカメラとして選択され得るように情報処理装置１００Ａの姿勢の設定がなされることによって、被写体の横撮影と縦撮影とがそれぞれ可能となる。なお、多眼カメラ部３００が、相互間の基線方向のうち２つの基線方向が互いに直交する３つのカメラを含んでいないとしても、本発明の有用性を損なうものではない。
【００４５】
また、図１に示されるように、カメラ１０１および１０２の間における基線長ｂ１と、カメラ１０１および１０３の間における基線長ｂ２とは互いに異なっている。この場合、カメラ１０１〜１０３の配列は、直角三角形であるので、カメラ１０１〜１０３の相互間の各基線長は互いに異なったものとなる。すなわち、カメラ１０１〜１０３によって形成される仮想的な直角三角形が不等辺三角形となるので、被写体の撮影に係る基線長の選択枝を増加させることができる。なお、カメラ１０１〜１０３の配列が、例えば、２等辺三角形や正三角形を形成しているとしても、本発明の有用性を損なうものではない。
【００４６】
ところで、後述するように、操作者が情報処理装置１００Ａを保持して操作部４２および表示部４３に正対したとき、すなわち操作者が情報処理装置１００Ａに正対したときに操作部４２および表示部４３に表示された文字等の向きは、その上下方向、左右方向が、操作者が最も該文字等を視認しやすい向きとなる。そして、図２に示されるように多眼カメラ部３００におけるカメラ１０１〜１０３は、カメラ１０１〜１０３によって形成される仮想的な直角三角形において互いに直交する第１辺と第２辺との方向が該上下方向と該左右方向とにそれぞれ一致するように配置されている。従って、操作者が、情報処理装置１００Ａの姿勢を、最も操作性の良い姿勢、すなわち最も設定しやすい姿勢に設定することによって、各カメラ間の各基線方向の１つが水平となる状態が容易に実現される。
【００４７】
図６は、実施形態に係る情報処理装置１００Ａに設けられた多眼カメラ部３００の主な機能構成の１例を示す図である。なお、図６は、情報処理装置１００Ａが図２に示された姿勢に設定された結果、後述する選択部１５（図４、図５）によって、カメラ１０１および１０２がそれぞれ左カメラ６１および右カメラ６２として選択された場合を例として、多眼カメラ部３００の機能構成を説明する図である。カメラ１０３は、カメラ１０１および１０３のそれぞれと同様の構成を有しているため、カメラ１０３については説明を省略する。
【００４８】
図６に示されるように、左カメラ６１（カメラ１０１）と右カメラ６２（カメラ１０２）とは、所定の基線長を隔てて設けられている。左カメラ６１は、撮影光学系７２ａ、撮像素子７５ａ、および制御処理回路８５ａを主に備えて構成されている。また、右カメラ６２は、撮影光学系７２ｂ、撮像素子７５ｂ、および制御処理回路８５ｂを主に備えて構成されている。
【００４９】
多眼カメラ部３００の各種動作は、ＣＰＵ１１Ａの制御部１３から入出力部４１およびデータ線ＤＬ１を介して供給される制御信号５６（図５）に基づいて制御される。多眼カメラ部３００は、被写体７１からの光を左カメラ６１および右カメラ６２で撮影して左画像２１および右画像２２をそれぞれ取得する。生成された左画像２１および右画像２２は、データ線ＤＬ１を介してＣＰＵ１１Ａの入出力部４１（図４）へと供給される。
【００５０】
撮影光学系７２ａおよび７２ｂは、薄肉レンズと該レンズを支持する不図示の鏡胴とを主に備えて構成されており、被写体７１の画像をそれぞれ撮像素子７５ａおよび７５ｂ上に結像させる光学系である。このとき、被写体７１上の物点Ｍの像は、光学中心７３ａおよび７３ｂをそれぞれ通過する主光線７６ａおよび７６ｂに沿って撮像素子７５ａおよび７５ｂ上にそれぞれ像点ＰａおよびＰｂとして結像される。光学中心７３ａおよび７３ｂは、通常、撮像光学系の主点であるが、例えば、撮像光学系としてテレセントリック光学系が採用された場合には、通常、撮像光学系の焦点が光学中心となる。
【００５１】
また、仮想主光線７６ａｖは、光学中心７３ｂを通るように主光線７６ａを平行移動した仮想の主光線であり、像点Ｐａに対応する仮想の像点Ｐａｖは仮想主光線７６ａｖに沿って撮像素子７５ｂ上に設定される。
【００５２】
左カメラ６１および右カメラ６２の結像中心７７ａおよび７７ｂは、それぞれ撮像素子７５ａと光軸７４ａとの交点、および撮像素子７５ｂと光軸７４ｂとの交点であり、また、撮影光学系７２ａおよび７２ｂ間の基線長ｂ１は、光学中心７３ａおよび７３ｂ間の距離である。
【００５３】
仮想の像点Ｐａｖと像点Ｐｂとの距離ｄは、被写体７１上の同一物点Ｍに対応する各像点ＰａおよびＰｂを、結像中心の座標が等しい共通の画像座標系で表現したときの各像点位置間の距離であり、物点Ｍに対する左カメラ６１と右カメラ６２との視差に相当する。
【００５４】
ここで、多眼カメラ部３００については、撮影光学系７２ａおよび７２ｂのそれぞれ焦点距離ｆｒ（より正確には、光学中心と撮像素子との距離）は等しく、それぞれの光軸７４ａおよび７４ｂは平行である。また、撮影光学系７２ａおよび７２ｂの各主平面は光軸７４ａおよび７４ｂのそれぞれに垂直な同一平面上にあり、それぞれの光学中心７３ａおよび７３ｂも、該同一平面上にある。さらに、それぞれの撮影光学系の撮像素子７５ａおよび７５ｂは、光軸７４ａおよび７４ｂのそれぞれに垂直な同一平面上にある。また、左画像２１および右画像２２の相互間での対応点探索処理が容易に行えるように、撮像素子７５ａおよび７５ｂは、それぞれの走査線が平行になるように設置されている。
【００５５】
実際の構成においては、通常、上述した構成条件に対して誤差があるが、左カメラ６１および右カメラ６２からそれぞれ供給される左画像２１および右画像２２に対して、ＣＰＵ１１Ａがカメラパラメータなどを用いた処理（「平行化処理」とも称される）を行うことによって多眼カメラ部３００の各機能要素が上述した構成条件を満たす場合と同等の状態が実現され得る。
【００５６】
平行化処理が行われた場合には、撮影光学系７２ａおよび７２ｂの主平面と物点Ｍとの距離Ｄは、視差ｄ、焦点距離ｆｒ、および撮影光学系７２ａおよび７２ｂ間の基線長ｂ１を用いて（１）式によって与えられる。
【００５７】
【数１】
【００５８】
（１）式に示されるように、視差は、被写体上の点の多眼カメラ部３００からの距離に関する指標値となっている。
【００５９】
撮像素子７５ａおよび７５ｂは、例えば、３４５６×２５９２画素サイズの有効画素数を持つＣＣＤイメージセンサやＣＭＯＳイメージセンサなどによって構成される撮像素子であり、撮像素子７５ａおよび７５ｂに結像された像の強度に応じた画像信号を生成して制御処理回路８５ａおよび制御処理回路８５ｂに供給する。なお、撮像素子７５ａおよび７５ｂは、カラーイメージセンサであっても、モノクロイメージセンサであっても本発明の有用性を損なうものではない。また、撮像素子７５ａおよび７５ｂについて、主走査方向（水平走査方向）の画素数と、副走査方向（垂直走査方向）の画素数とのうち何れか一方が他方よりも多いとしても、また、両者が同数であるとしても、本発明の有用性を損なうものではない。
【００６０】
図６に示される制御処理回路８５ａおよび制御処理回路８５ｂは、撮像素子７５ａおよび７５ｂから供給される各画像信号を同期して処理してデジタル画像に変換することにより、各撮像素子の有効画素数に応じた左画像２１および右画像２２を生成する。
【００６１】
なお、左画像２１と右画像２２とのそれぞれの撮影時における多眼カメラ部３００に対する被写体の位置関係が同じであれば、左画像２１と右画像２２とは、同時刻に撮影されていなくても良い。また、多眼カメラ部３００は、左カメラ６１と右カメラ６２との同期をとりつつ被写体を時間順次に連続的に撮影することによって、複数の左画像２１および複数の右画像２２（「時系列ステレオ画像」とも称される）を生成することもできる。
【００６２】
＜◎情報処理装置１００Ａの構成について：＞
図４は、実施形態に係る情報処理装置１００Ａの主な構成の１例を示すブロック図である。図４に示されるように、情報処理装置１００Ａは、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５、記憶装置４６、姿勢センサ４７および上述した多眼カメラ部３００を主に備えて構成されている。
【００６３】
○入出力部４１：
入出力部４１は、例えば、多眼カメラ部３００および姿勢センサ４７のそれぞれと電気的に接続されたデータ線ＤＬ１およびＤＬ２と、信号線４９とを電気的に接続するコネクタなどによって構成される。入出力部４１は、多眼カメラ部３００とＣＰＵ１１Ａなどとの間でデータの授受を行う。具体的には、入出力部４１は、例えば、ＣＰＵ１１Ａが多眼カメラ部３００を制御するための各種の制御信号を、データ線ＤＬ１を介して入出力部４１に接続された多眼カメラ部３００へと供給する。また、入出力部４１は、多眼カメラ部３００が撮影した左画像２１および右画像２２をＲＡＭ４５およびＣＰＵ１１Ａなどへとそれぞれ供給する。また、入出力部４１は、姿勢センサ４７が出力する出力信号５１（図５）をＣＰＵ１１Ａに供給する。なお、入出力部４１は、ＵＳＢインタフェースなどの外部機器用のインタフェースもまた備えている。このため、情報処理装置１００Ａは、予め撮影されてコンピュータなどの外部機器に記憶された左画像２１および右画像２２を入出力部４１を介して取得することもできる。また、情報処理装置１００Ａは、立体画像２９を入出力部４１を介して外部の表示装置に供給し、該外部の表示装置の表示画面において表示することもできる。なお、表示部４３および該外部の表示装置に係る立体画像２９の表示条件情報５７は、予め、記憶装置４６に記憶されている。
【００６４】
○操作部４２：
操作部４２は、例えば、筐体２５０Ａのおもて面に設けられた各種の操作ボタンなどによって構成されており、操作者が操作部４２を操作することによって、該操作に対応した操作信号５２が操作部４２からＣＰＵ１１Ａへと供給される。ＣＰＵ１１Ａは、供給された操作信号５２に基づいて情報処理装置１００Ａの各種制御パラメータおよび各種動作モードの設定などを行う。また、情報処理装置１００Ａの各機能部は、操作部４２を介して設定された各動作モードに応じた処理を行う。操作部４２には、被写体を撮影するときの情報処理装置１００Ａの姿勢を操作者が情報処理装置１００Ａに入力するためのボタンまたはスイッチなどが設けられている。該姿勢は、例えば、図２に示されるようにカメラ１０１とカメラ１０２との配列方向が水平方向（Ｘ軸方向）となる情報処理装置１００Ａの姿勢、あるいは、図３に示されるように該配列方向が鉛直方向（Ｙ軸方向）となる情報処理装置１００Ａの姿勢などである。この場合、操作信号５２は、操作者による該姿勢の入力結果、あるいは該姿勢に関する情報を情報処理装置１００Ａに設定するために操作者が設定したスイッチの設定状態に対応した信号などである。また、操作部４２に、情報処理装置１００Ａの各姿勢に応じて、操作者が操作しやすい位置に多眼カメラ部３００の撮影ボタンがそれぞれ設けられるとともに、各撮影ボタンのうち何れが操作されたかを示す操作信号５２がＣＰＵ１１Ａに供給されたとしても本発明の有用性を損なうものではない。
【００６５】
なお、操作部４２の各種の操作ボタンには、操作者が行う操作を支援するために、例えば、文字、記号、および図形のうち少なくとも１つが表示されている。そして、操作者が情報処理装置１００Ａを保持して操作部４２に正対したときに、個々の操作ボタンに表示された文字等の向きと、各操作ボタンの配列方向とは、それぞれ、操作者が最も視認しやすい向きおよび方向となる。従って、操作部４２は、ユーザに正対したとき左右方向と上下方向とがあらかじめ定義された情報伝達領域、すなわち操作ボタン領域を有するとともに、該情報伝達領域を用いて情報処理装置１００Ａと操作者との間での情報の授受を行うヒューマンインターフェイス部として機能する。
【００６６】
また、後述する表示部４３においても、その表示画面に情報処理装置１００Ａに関する情報が文字情報などとして表示されるが、該文字情報に係る各文字および文字列の向きも、操作部４２の操作ボタンに表示された文字などと同様に、を表示して操作者に対して情報処理装置１００Ａに関する情報を提示し、操作者が情報処理装置１００Ａを保持して表示部４３に正対したときに表示画面に表示された文字等の向きは、操作者が最も視認しやすい向きとなる。従って、表示部４３もまた、操作部４２と同様のヒューマンインターフェイス部として機能する。
【００６７】
○表示部４３：
表示部４３は、例えば、ＣＰＵ１１Ａからの制御に応じて表示部４３における各バリア部の空間的な分布方向を、図２のＸ軸方向とＹ軸方向などの複数の方向のそれぞれに切り替え可能なパララックスバリア方式を採用した３次元表示用の液晶ディスプレイなどによって構成される。表示部４３に表示する右目用画像と左目用画像との視差の方向に応じてＣＰＵ１１Ａが表示部４３のバリアの方向を切り替えることなどによって、表示部４３に表示された立体画像を観察する観察者が裸眼で立体を視認可能な方向が切り替えられる。
【００６８】
また、例えば、表示部４３が、左目用画像および右目用画像を交互に高速で切り替えて表示するとともに、該切り替えに同期して、左目および右目にそれぞれ対応した各シャッター部を交互に開閉可能な専用めがねを介して表示部４３に表示された立体画像が観察される三次元表示方式が採用されたとしても本発明の有用性を損なうものではない。該三次元表示方式においては、ＣＰＵ１１Ａが、表示部４３に表示される左目用画像と右目用画像との視差の方向を切り替えることによって、専用めがねを着用した観察者が立体画像を観察して立体を認識可能な方向を切り替えることができる。なお、表示部４３は、多眼カメラ部３００から供給される左画像２１、右画像２２、および情報処理装置１００Ａに関する各種設定情報などが、二次元の画像や文字情報として観察者に視認され得るように表示することもできる。
【００６９】
図８〜図１０は、実施形態に係る情報処理装置１００Ａにおける各カメラの相互間の基線方向と表示部４３の視差方向との関係の１例を示す図である。図８〜図１０に示された情報処理装置１００Ａにおいては、筐体２５０Ａおよびヒンジ部４００の表示は省略されている。
【００７０】
ここで、パララックスバリア方式など、予め設定された方向にのみ視差画像を表示可能な表示方式が採用される表示部４３においては、表示画面において設定可能な視差方向の種類は、通常、高々数通りである。視差方向図８および図９に示される情報処理装置１００Ａにおいては、パララックスバリア方式が採用された表示部４３は、その表示画面において互いに直交した２方向の視差方向９２ａおよび視差方向９２ｂと、基線方向９１ｂに対して約３０度の角度を有する視差方向９２ｃとの３方向に視差をそれぞれ有する立体画像をそれぞれ表示可能である。また、相互間の基線方向９１ａ〜９１ｃが視差方向９２ａ〜９２ｃとそれぞれ一致しているカメラ１０１および１０２と、カメラ１０１および１０３と、カメラ１０２および１０３との３対のカメラのそれぞれの対によって被写体の左画像２１および右画像２２が撮影可能に構成されている。このように、図８および図９に示された情報処理装置１００Ａは、互いに異なる予め設定された各視差方向に、それぞれ視差を有する各立体画像をそれぞれ表示可能な表示部４３を備えている。そして、該予め設定された各視差方向と、多眼カメラ部３００における各カメラの相互間の各基線方向とがそれぞれ一致している。従って、多眼カメラ部３００における各カメラの相互間の全ての基線方向のそれぞれにおいて基線方向が水平となる左カメラ６１と右カメラ６２とが選択可能である。また、選択された左カメラ６１と右カメラ６２とによって撮影された被写体の左画像２１と右画像２２とに基づいて各基線方向と同一方向の視差を有する立体画像２９を生成して表示部４３に表示することができる。従って、多眼カメラ部３００が有するカメラの個数を抑制しつつ、立体画像の撮影および表示が可能なカメラの基線方向の選択枝を増加させることができ、情報処理装置１００Ａの操作性の向上を図ることができる。
【００７１】
図１０に示される情報処理装置１００Ａにおいては、パララックスバリア方式が採用された表示部４３は、その表示画面における視差方向９２ａおよび９２ｂの互いに直交する２方向に視差をそれぞれ有する立体画像をそれぞれ表示可能である。また、相互間の基線長９１ａが視差方向９２ａと同一方向であるカメラ１０１および１０２と、相互間の基線長９１ｂが視差方向９２ｂと同一方向であるカメラ１０１および１０３との２対のカメラのそれぞれによって被写体の左画像２１および右画像２２が撮影可能に構成されている。このように図１０に示された情報処理装置１００Ａは、互いに異なる予め設定された各視差方向に、それぞれ視差を有する各立体画像をそれぞれ表示可能な表示部４３を備えている。そして、該予め設定された各視差方向と、多眼カメラ部３００における各カメラの相互間の各基線方向の一部とがそれぞれ一致している。すなわち、該予め設定された各視差方向は、多眼カメラ部３００における各カメラの相互間の各基線方向からなる集合の中に含まれる。従って図１０に示された情報処理装置１００Ａにおいては、表示部４３において設定可能な視差方向の個数を、多眼カメラ部３００におけるカメラの各対のうち、予め設定された一部の対についての基線方向の個数に抑制することができるので、情報処理装置１００Ａの製造コストを抑制することができる。
【００７２】
○ＲＯＭ４４：
ＲＯＭ（Read Only Memory）４４は、読出し専用メモリであり、ＣＰＵ１１Ａを動作させるプログラムＰＧなどを格納している。なお、読み書き自在の不揮発性メモリ（例えば、フラッシュメモリ）が、ＲＯＭ４４に代えて使用されてもよい。
【００７３】
○ＲＡＭ４５：
ＲＡＭ（Random Access Memory）４５は、読み書き自在の揮発性メモリである。ＲＡＭ４５は、多眼カメラ部３００が撮影した各種画像、情報処理装置１００Ａが生成した立体画像などを一時的に記憶する画像格納部として機能する。また、ＲＡＭ４５は、ＣＰＵ１１Ａの処理情報を一時的に記憶するワークメモリなどとしても機能する。また、情報処理装置１００Ａにおける各機能部間の情報の授受は、通常、ＲＡＭ４５を介して行われる。
【００７４】
○記憶装置４６：
記憶装置４６は、例えば、フラッシュメモリなどの読み書き自在な不揮発性メモリや小型のハードディスク装置等によって構成されており、情報処理装置１００Ａの各種制御パラメータや各種動作モードなどの情報を恒久的に記録する。また、記憶装置４６には、多眼カメラ部３００における各カメラの筐体２００Ａに対する配置情報５３が記憶されるとともに、表示部４３と、と外部の表示部として予め想定される外部表示装置とのそれぞれに係る立体画像２９の表示条件情報５７が記憶されている。表示条件情報５７は、具体的には、例えば、表示部４３の表示画面のサイズ情報、該表示画面に表示される画像の画素数、および該表示画面が観察される際の観察者と該表示画面との距離などである。
【００７５】
○姿勢センサ４７：
姿勢センサ４７は、例えば、３軸のジャイロ・センサと３軸の加速度センサとがＭＥＭＳ（Micro Electro Mechanical Systems）技術などによって搭載された小型の姿勢センサなどによって構成される。姿勢センサ４７は、データ線ＤＬ２によって入出力部４１と電気的に接続されており、鉛直方向（重力方向）に対する情報処理装置１００Ａの姿勢に応じた出力信号５１（図５）を、逐次、入出力部４１へと供給する。また、ＣＰＵ１１Ａは、入出力部４１に供給される出力信号５１を所定のタイミングで取得する。
【００７６】
○ＣＰＵ１１Ａ：
ＣＰＵ（Central Processing Unit）１１Ａは、情報処理装置１００Ａの各機能部を統轄制御する制御処理装置であり、ＲＯＭ４４に格納されたプログラムに従った制御および処理を実行する。ＣＰＵ１１Ａは、後述するように、取得部１２、制御部１３、判定部１４、選択部１５、生成部１６、および報知部１７としても機能する。
【００７７】
ＣＰＵ１１Ａは、これらの各機能部などによって、多眼カメラ部３００によって撮影された被写体の画像から、被写体についての立体画像２９を構成する左目用画像２７および右目用画像２８を生成する。また、ＣＰＵ１１Ａは、多眼カメラ部３００の撮像動作の制御などを行うとともに、表示部４３を制御して、各種画像、立体画像、算出結果、および各種制御情報などを表示部４３に表示させる。
【００７８】
また、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５、記憶装置４６、姿勢センサ４７等のそれぞれは、信号線４９を介して電気的に接続されている。したがって、ＣＰＵ１１Ａは、例えば、入出力部４１を介した多眼カメラ部３００の制御および多眼カメラ部３００からの画像情報の取得、姿勢センサ４７からの出力信号５１の取得、および表示部４３への表示等を所定のタイミングで実行できる。
【００７９】
なお、図１に示される構成例では、取得部１２、制御部１３、判定部１４、検出部１５、生成部１６、および報知部１７の各機能部は、ＣＰＵ１１Ａで所定のプログラムを実行することによって実現されているが、これらの各機能部はそれぞれ、例えば、専用のハードウェア回路などによって実現されてもよい。
【００８０】
＜◎情報処理装置１００Ａの各機能部の動作について：＞
図５は、実施形態に係る情報処理装置１００Ａの主な機能構成の１例を示すブロック図である。図５に示されるように、情報処理装置１００Ａは、多眼カメラ部３００の左カメラ６１（図２および図３のカメラ１０１）による被写体の撮影に基づいて得られる左画像２１と、右カメラ６２（図２のカメラ１０１、図３のカメラ１０３）による該被写体の撮影に基づいて得られる右画像２２とに基づいて、該被写体についての立体画像２９、すなわち左目用画像２７および右目用画像２８をそれぞれ生成する。
【００８１】
図１４および図１５は、実施形態に係る情報処理装置１００Ａが立体画像２９を生成する処理に係る動作フローＳ１００およびＳ２００をそれぞれ例示する図である。以下に、図５、図１４、および図１５などを適宜参照しつつ、情報処理装置１００Ａの各機能部の動作について説明する。
【００８２】
情報処理装置１００Ａによる被写体の立体画像２９の生成処理に先立って、多眼カメラ部３００に設けられたカメラ１０１〜１０３のうち少なくとも２つのカメラの両方から該被写体が撮影できるように、情報処理装置１００Ａの位置および姿勢が操作者によって調整される。そして、情報処理装置１００Ａの位置および姿勢が調整された状態で、操作部４２に設けられた撮影ボタンが操作されると、図５に示されるように、多眼カメラ部３００による撮影動作の開始を指示する操作信号５２が取得部１２に供給される。
【００８３】
取得部１２は、撮影動作の開始を指示する操作信号５２を受け付けると、予め設定された動作モードに応じて、情報処理装置１００Ａの姿勢を表現した姿勢センサ４７からの出力信号５１、操作信号５２、および記憶装置４６などに記憶された撮影済みの左画像２１（右画像２２）の少なくとも１つを情報処理装置１００Ａの姿勢の判定用の判定用情報５５として判定部１４に供給するとともに、撮影動作の開始を指示する操作信号５２を制御部１３へと供給する。
【００８４】
○判定部１４の動作：
判定部１４は、取得部１２から供給された判定用情報５５（図５）に基づいて情報処理装置１００Ａの姿勢を判定する（図１４のステップＳ１１０）。該判定のための処理として、判定部１４は、例えば、操作信号５２のうち撮影時の情報処理装置１００Ａの姿勢を表現した信号に基づいて情報処理装置１００Ａの姿勢を判定する処理、姿勢センサ４７の出力信号５１に基づいて情報処理装置１００Ａの姿勢を判定する処理、撮影済みの左画像２１および右画像２２の少なくとも一方に対してＯＣＲ（optical character recognition）を施して画像中の文字の方向を判定することなどによって情報処理装置１００Ａの姿勢を判定する処理のうち少なくとも１つの処理を行う。また、撮影済みの左画像２１または右画像２２に基づいた情報処理装置１００Ａの姿勢の判定処理として、例えば、画像に対する人物認識処理を施して抽出された人物の両目の配列方向などの特徴部分に基づいて、判定部１４が情報処理装置１００Ａの姿勢を判定する処理が採用されてもよい。判定部１４によって判定された情報処理装置１００Ａの姿勢は、姿勢情報５４として選択部１５および報知部１７に供給される。
【００８５】
○選択部１５の動作：
選択部１５は、姿勢情報５４を供給されると、姿勢情報５４と、記憶装置４６に記憶された多眼カメラ部３００の各カメラの配置情報５３とに基づいて、判定部１４によって判定された情報処理装置１００Ａの姿勢情報５４に応じて、多眼カメラ部３００における３以上のカメラのうち相互間の基線方向が水平方向に最も近い２つのカメラを左カメラ６１および右カメラ６２としてそれぞれ選択する（図１４のステップＳ１２０）。該選択は、多眼カメラ部３００の各カメラの中から、実際の被写体における水平方向に最も近い方向の視差を有する左画像２１および右画像２２を撮影可能な一対のカメラを選択するために行われる。
【００８６】
図１１は、左カメラ６１と右カメラ６２とが選択部１５によって選択される様子の１例を示す図である。図１１においては、多眼カメラ部３００における各カメラの相互間の基線方向のうちカメラ１０１とカメラ１０２とにおける基線方向が水平方向Ｈ１に最も近くなっている。従って、選択部１５は、カメラ１０１および１０２を、左カメラ６１および右カメラ６２としてそれぞれ選択する。そして選択部１５は、多眼カメラ部３００における各カメラのうち選択された左カメラ６１および右カメラ６２をそれぞれ特定する選択情報８１（図５）を制御部１３へと供給する。
【００８７】
○多眼カメラ部３００および制御部１３の動作：
制御部１３は、取得部１２から撮影動作の開始を指示する操作信号５２を供給され、選択部１５から選択情報８１を供給されると、多眼カメラ部３００の各カメラのうち選択情報８１によって特定される左カメラ６１および右カメラ６２のそれぞれに撮影動作を行わせる制御信号５６（図５）を、多眼カメラ部３００に供給する。
【００８８】
多眼カメラ部３００は、制御信号５６が供給されると、左カメラ６１および右カメラ６２によって互いに異なる方向から被写体を撮影する撮影動作を行う（図１４のステップＳ１３０）。該撮影動作が終了すると、多眼カメラ部３００の左カメラ６１および右カメラ６２によってそれぞれ撮影された被写体についての左画像２１および右画像２２が、それぞれ生成される。生成された左画像２１および右画像２２は、取得部１２へと供給される。また、左画像２１および右画像２２の撮影に際して、例えば、多眼カメラ部３００に測距センサが搭載されている場合には、多眼カメラ部３００は、該測距センサによって測定された多眼カメラ部３００に対する被写体の距離６５（図５）を、左画像２１および右画像２２とともに取得部１２に供給する。
【００８９】
○取得部１２による左画像２１および右画像２２の取得などの動作：
生成された被写体の左画像２１および右画像２２は、入出力部４１（図４）を介して取得部１２へと供給され、取得部１２によってそれぞれ取得される（図１４のステップＳ１４０）。取得された左画像２１および右画像２２は、生成部１６へと供給される。
【００９０】
図７は、左画像２１および右画像２２のそれぞれの１例として、情報処理装置１００Ａの姿勢が図２に示される姿勢である場合における左画像２１ｅと右画像２２ｅとをそれぞれ示す図である。
【００９１】
図７において、左画像２１ｅと、右画像２２ｅとには、多眼カメラ部３００に対して＋Ｚ方向に位置する同一の近側被写体についての近景被写体像６６ｃおよび６６ｄがそれぞれ撮影されているとともに、多眼カメラ部３００に対して＋Ｚ方向に該近側被写体より遠方にある同一の遠側被写体についての遠景被写体像６７ｃおよび６７ｄがそれぞれ撮影されている。図７においては、説明を容易にするために、各被写体像のそれぞれにおける各特徴部のエッジ（輪郭）のみが表示されている。また、近景被写体像６６ｃ上の画素６８ｃおよび近景被写体像６６ｄ上の画素６８ｄは、近側被写体の同一の点にそれぞれ対応した画素であり、遠景被写体像６７ｃ上の画素６９ｃおよび遠景被写体像６７ｄ上の画素６９ｄは、遠側被写体の同一の点にそれぞれ対応した画素である。また、視差９ａは、画素６８ｃと画素６８ｄとについての視差であり、視差９ｂは、画素６９ｃと画素６９ｄとについての視差である。図７においては、左画像２１ｅと右画像２２ｅとは、視差の把握を容易にするため該両画像の左端（右端）のＸ座標が等しくなるように鉛直方向（図７のＹ軸方向）に並べて表示されている。
【００９２】
なお、本願においては、左画像２１および右画像２２（後述する左目用画像２７および右目用画像２８についても同様）との間における物体の同一部分を捉えた画素の位置のずれ量、より詳細には、物体の同一部分にそれぞれ対応した左画像２１における注目画素と右画像２２における対応画素とにおいて、（２）式によって、左画像２１の画像空間における注目画素の位置（Ｘ座標）から右画像２２の画像空間における対応画素の位置（Ｘ座標）が減算された減算結果は、「視差」とも称される。
【００９３】
【数２】
【００９４】
図７に示されるように、視差９ａおよび視差９ｂは、水平方向（Ｘ軸方向）に生じている。また、多眼カメラ部３００に対する近側被写体と遠側被写体とのそれぞれの距離の差異に起因して視差９ａと視差９ｂとは異なった値となっている。より詳細には、視差９ａと視差９ｂは、ともに正の値を有しており、近側被写体に対応した視差９ａの方が遠側被写体に対応した視差９ｂよりも視差の大きさが大きくなっている。このように視差の大きさは、画像上の画素に対応した被写体上の点の多眼カメラ部３００からの距離に応じて変動する。
【００９５】
ここで、左画像２１および右画像２２（または、左目用画像２７および右目用画像２８）が立体画像として表示部４３の表示画面に表示された場合、視差の値が正であれば、左目用画像における注目画素および右目用画像における対応画素に対応した物体の同一部分は、表示画面よりも近方に観察される。また、視差の値が零であれば、該同一部分は、表示画面と同じ位置に観察される。また、視差の値が負であれば、該同一部分は、表示画面よりも遠方に観察される。
【００９６】
従って、図７に示された左画像２１と右画像２２とが、このままの状態で表示部４３の表示画面に立体画像として表示された場合には、視差９ａに対応した近側被写体上の点は、視差９ｂに対応した遠側被写体上の点よりも近方に観察されるとともに、これら２つの点は、ともに該表示画面よりも近方に観察される。従って、情報処理装置１００Ａにおいては、設定された動作モードに応じて、例えば、被写体の立体画像が表示部４３の表示画面の前後方向、または主に表示画面の後方向に観察されるように左画像２１および右画像２２の視差の調整が生成部１６によって行われる。
【００９７】
また、取得部１２は、設定された動作モードに応じて、過去の撮影動作によって撮影されて記憶装置４６に記憶された左画像２１および右画像２２を対象とした対応点探索処理を行うことによって、例えば、左画像２１の各画素にそれぞれ対応した右画像２２の各対応画素を探索し、（２）式によって左画像２１と右画像２２との間における各視差を求める。なお、取得部１２は、例えば、ＮＣＣ（Normalized Cross Correlation）法、ＳＡＤ（Sum of Absolute Difference）法、またはＰＯＣ（Phase Only Correlation）法などの相関演算手法を用いて対応点探索処理を行う。取得部１２は、左画像２１と右画像２２との間における各視差に基づいて、例えば、双方の画像における主要被写体に係る各視差の平均値などを左画像２１と右画像２２との間における各視差の代表値として取得する。
【００９８】
また、通常、被写体が撮影された画像の彩度は、撮像装置に対して被写体が近いほど彩度が高く、被写体が遠いほど彩度が低くなるので、取得部１２が、設定された動作モードに応じて、例えば、左画像２１の彩度に基づいた推定によって被写体の多眼カメラ部３００からの距離を取得してもよい。
【００９９】
取得部１２は、動作モードに応じて、多眼カメラ部３００から供給される被写体の距離６５、視差の代表値、画像情報から推定した被写体の距離のうち少なくとも１つを距離情報５８として報知部１７に供給する。なお、本願においては、「視差」と「距離」との総称として「距離情報」という用語を使用する。
【０１００】
◎生成部１６の動作：
取得部１２から左画像２１および右画像２２をそれぞれ供給されると、生成部１６は、左画像２１および右画像２２の視差の調整を行う動作モードの設定がされているか否かを確認する（図１４のステップＳ１５０）。
【０１０１】
ステップＳ１５０での確認の結果、左画像２１と右画像２２との視差の調整を行う動作モードが設定されていた場合には、生成部１６は、左画像２１と右画像２２との上述した視差の調整を行い（図１４のステップＳ１６０）、視差がそれぞれ調整された左画像２１および右画像２２を、立体画像２９を構成する左目用画像２７および右目用画像２８として生成する。
【０１０２】
ステップＳ１５０での確認の結果、左画像２１と右画像２２との視差の調整を行う動作モードが設定されていない場合には、生成部１６は、左画像２１および右画像２２をそのままの状態で、立体画像２９を構成する左目用画像２７および右目用画像２８として生成する。
【０１０３】
生成部１６によって生成された立体画像２９は、表示部４３へと供給され、表示部４３の表示画面に立体画像として表示される（図１４のステップＳ１７０）。また、立体画像２９は、記憶装置４６に供給されて記憶される。
【０１０４】
図２に示される姿勢の情報処理装置１００Ａの左カメラ６１（カメラ１０１）および右カメラ６２（カメラ１０２）によって左画像２１および右画像２２がそれぞれ撮影され、撮影された左画像２１および右画像２２に基づいて生成された立体画像２９が、図２における表示部４３に表示された場合において、表示部４３を観察する観察者の左目と右目との配列方向が、水平方向（Ｘ軸方向）である場合には、観察者の両目の配列方向と、画像間の視差の方向とが一致するため、観察者は立体を認識できる。なお、表示部４３が、例えば、パララックスバリア方式のディスプレイである場合には、表示部４３における各バリアの長手方向はＹ軸方向（鉛直方向）に沿うように設定される。
【０１０５】
また、生成された立体画像２９は、多眼カメラ部３００におけるカメラの各対のそれぞれによる被写体の撮影に基づいて生成され得る各立体画像のうち、実際の被写体における水平方向に最も近い方向の視差を有する立体画像、すなわち、該各立体画像のうち観察者が覚える被写体の向きに関する違和感が最も小さくなる立体画像である。
【０１０６】
◎報知部１７の動作：
報知部１７は、多眼カメラ部３００における３以上のカメラの相互間における各基線方向の何れか１つの基線方向を特定するとともに、特定された基線方向を水平方向とするような情報処理装置１００Ａの推奨される姿勢（「推奨姿勢」とも称される）に関する推奨姿勢情報５９（図５）を操作者に報知する。報知部１７が、推奨姿勢情報５９を、例えば、表示部４３に表示することや、不図示のスピーカ部から音声として出力することなどにより操作者に報知することによって、操作者による撮影前の情報処理装置１００Ａの姿勢決めが容易となる。
【０１０７】
図１５は、報知部１７による推奨姿勢情報５９の報知動作に係る情報処理装置１００Ａの動作フローＳ２００を例示する図である。動作フローＳ２００は、例えば、図１４に示された動作フローＳ１００におけるステップＳ１１０の開始前、または、ステップＳ１７０の終了後などにＣＰＵ１１Ａ（報知部１７）によって実行される。ステップＳ１１０の開始前の動作フローＳ２００の実施は、例えば、情報処理装置１００Ａの電源投入による情報処理装置１００Ａの初期化動作の終了後、動作フローＳ１００が開始されるまでの間に、所定の時間間隔で動作フローＳ２００が繰り返し実行されることなどによって実現される。また、ステップＳ１７０の終了後の動作フローＳ２００は、例えば、直近の立体画像２９の生成動作の結果に基づいて新たな立体画像２９の生成に用いられる左画像２１と右画像２２との撮影に係る情報処理装置１００Ａの姿勢を設定する操作を容易にするために、ステップＳ１７０の終了後、新たな動作フローＳ１００が開始されるまでの間に、所定の時間間隔で動作フローＳ２００が繰り返し実行されることなどによって実現される。
【０１０８】
動作フローＳ２００が開始されると、報知部１７は、情報処理装置１００Ａの推奨姿勢を決定するための情報を取得する（図１５のステップＳ２１０）。該推奨姿勢を決定するための情報は、具体的には、例えば、記憶装置４６に記憶された多眼カメラ部３００の各カメラの配置情報５３、表示部４３における立体画像の表示条件情報５７、および取得部１２から供給される被写体の距離情報５８、判定部１４から供給される情報処理装置１００Ａの姿勢情報５４などである。該推奨姿勢を決定するための情報が取得されると、報知部１７は、情報処理装置１００Ａの推奨姿勢を決定する（図１５のステップＳ２２０）。
【０１０９】
情報処理装置１００Ａの推奨姿勢の決定は、設定された動作モードに応じて、例えば、処理（ａ−１）、処理（ａ−２）などとして実現される。
【０１１０】
・処理（ａ−１）：
処理（ａ−１）においては、報知部１７は、被写体の距離情報５８から立体画像２９における目標視差を算出し、配置情報５３における多眼カメラ部３００の各カメラ間の基線長情報などに基づいて情報処理装置１００Ａの推奨姿勢情報を決定する。
【０１１１】
具体的には、報知部１７は、情報処理装置１００Ａに対する被写体の距離情報５８に応じて、多眼カメラ部３００における各カメラの相互間における各基線長のうち被写体の立体画像において予め設定された条件を満たす視差を生ずる１つの基線長を特定する。そして報知部１７は、特定された該１つの基線長に係る１つの基線方向が水平方向となる情報処理装置１００Ａの姿勢に基づいて情報処理装置１００Ａの推奨姿勢を決定する。
【０１１２】
ここで、観察者が表示部４３の表示面の一点を見たときの両眼の視線の輻輳角と、立体画像２９に係る立体を見たときの該輻輳角との差は、「視差角」とも称される。一般に、視差角が１度以内であれば、観察者は、表示部４３の表示面に焦点を合わせつつ表示面の前後に立体を快適に認識することができる。１度以内の視差角を与える立体画像の視差の範囲は、表示条件情報５７と、多眼カメラ部３００における各カメラの配置情報５３とに基づいて算出される。
【０１１３】
また、立体画像における、上述した予め設定された条件とは、例えば、観察者が表示部４３の表示面に焦点を合わせつつ表示面の前後に立体を快適に認識できる視差の範囲内で最も大きな視差を有することなどである。上述したように該条件は、表示条件情報５７に基づいて算出されれば精度良く算出され得るが、例えば、表示部４３に係る実際の表示条件情報５７が用いられることなく、予め設定された標準的な表示条件情報５７が用いられたとしても本発明の有用性を損なうものではない。
【０１１４】
・処理（ａ−２）：
処理（ａ−２）において、報知部１７は、表示部４３の設定可能な視差の方向情報と、情報処理装置１００Ａの姿勢情報５４とに基づいて情報処理装置１００Ａの推奨姿勢情報を決定する。
【０１１５】
具体的には、報知部１７は、表示部４３における立体画像２９の表示条件情報５７に基づいて特定された設定可能な表示部４３の各視差方向のうち、例えば、現在の情報処理装置１００Ａの姿勢において水平方向に最も近い１つの視差方向を特定するとともに、特定された該視差方向が水平方向となる情報処理装置１００Ａの姿勢を情報処理装置１００Ａの推奨姿勢として決定する。
【０１１６】
情報処理装置１００Ａの推奨姿勢が決定されると、報知部１７は、情報処理装置１００Ａの推奨姿勢に係る推奨姿勢情報５９を報知する（ステップＳ２３０）。推奨姿勢情報５９は、決定された情報処理装置１００Ａの推奨姿勢そのものとして報知されたとしても、また、現在の情報処理装置１００Ａの姿勢情報５４と、決定された情報処理装置１００Ａの推奨姿勢との差分情報として報知されたとしても本発明の有用性を損なうものではない。
【０１１７】
推奨姿勢情報５９は、報知部１７によって推奨姿勢情報５９が求められる度に報知されても良いが、例えば、決定された情報処理装置１００Ａの推奨姿勢と、判定部１４によって判定された情報処理装置１００Ａの姿勢情報５４に係る姿勢とが異なる場合にのみ推奨姿勢情報５９が報知されたとしても本発明の有用性を損なうものではない。
【０１１８】
上述したように、情報処理装置１００Ａにおいては、判定部１４によって判定された情報処理装置１００Ａの姿勢に応じて、選択部１５によって多眼カメラ部３００が有する３以上のカメラのうち相互間の基線方向が水平方向に最も近い２つのカメラが左カメラ６１および右カメラ６２として選択される。そして、選択部１５によって選択された２つのカメラによってそれぞれ撮影された被写体の左画像２１および右画像２２に基づいて被写体の立体画像が生成部１６によって生成されるので、情報処理装置１００Ａの姿勢に関わらず、実物の被写体における水平方向の視差を有する被写体の立体画像が生成される可能性を高めることができる。
【０１１９】
＜変形例について：＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【０１２０】
例えば、情報処理装置１００Ａが、その各機能要素を全て備えた筐体２００Ａによって構成されていてもよい。また、情報処理装置１００Ａが、例えば、多眼カメラ部３００および姿勢センサ４７などをそれぞれ備えたデジタルスチルカメラ、またはデジタルビデオカメラであったとしても本発明の有用性を損なうものではない。
【０１２１】
また、上述した情報処理装置１００Ａにおいては、情報処理装置１００Ａの姿勢に応じて多眼カメラ部３００の各カメラのうち左カメラ６１と右カメラ６２とが選択されるとともに、選択された左カメラ６１と右カメラ６２とによって被写体がそれぞれ撮影された左画像２１および右画像２２が取得され、左画像２１および右画像２２に基づいて立体画像２９が生成されていた。しかしながら、例えば、多眼カメラ部３００の全てのカメラによって被写体の各画像がそれぞれ撮影されるとともに、該各画像のうち選択された左カメラ６１と右カメラ６２との被写体の撮影に関する画像が左画像２１および右画像２２としてそれぞれ特定されて立体画像２９の生成に用いられたとしても本発明の有用性を損なうものではない。
【０１２２】
また、多眼カメラ部３００における３以上のカメラのうち少なくとも１つのカメラの焦点距離が可変であってもよい。より詳細には、判定部１４によって該少なくとも１つのカメラのうち１つが、左カメラ６１および右カメラ６２のうち一方として選択された場合に、選択された左カメラ６１および右カメラ６２のうち他方のカメラの焦点距離と、該一方のカメラの焦点距離とが等しくなるように該一方のカメラの焦点距離が調整されてもよい。該調整は、例えば、制御部１３が該一方のカメラの焦点距離を調整する調整手段として機能し、多眼カメラ部３００における焦点距離の制御機構を制御することなどによって行われる。
【０１２３】
左カメラ６１および右カメラ６２の焦点距離、すなわち撮影倍率が異なったとしても、それぞれのカメラの一方によって撮像された画像の解像度を他方のカメラの解像度に合わせる調整（「画像の倍率調整」）を行うことなどによって、左カメラ６１と右カメラ６２とによって撮影された左画像２１および右画像２２に基づいて、被写体の立体画像を生成できるので、左カメラ６１および右カメラ６２の焦点距離が異なったとしても本発明の有用性を損なうものではない。しかし、左カメラ６１と右カメラ６２との撮影倍率を等しく調整できれば、画像の倍率調整を行うことなく被写体の立体画像を生成することができるので処理コストを低減できるとともに、被写体の撮影に係る画角の調整が容易にすることもできる。
【０１２４】
また、図１２および図１３は、変形例に係る情報処理装置１００Ｂにおける各カメラの相互間の基線方向と表示部の視差方向との関係の１例を示す図である。情報処理装置１００Ｂは、筐体２００Ｂ、不図示の筐体２５０Ａ、および不図示のヒンジ部４００を主に備えて構成されている。情報処理装置１００Ｂは、その多眼カメラ部としてカメラ１０１〜１０４の４つのカメラを筐体２５０Ａの裏面に有していることを除いて、情報処理装置１００Ａと同様の構成を有している。
【０１２５】
カメラ１０１〜カメラ１０４の相互間の各基線方向のうちカメラ１０１および１０２と、カメラ１０１および１０３と、カメラ１０１および１０４とのそれぞれにおける基線方向９１ａ、９１ｂ、および９１ｄと、表示部４３における視差方向９２ａ、９２ｂ、および９２ｄとがそれぞれ一致している。すなわち、表示部４３は、互いに異なる予め設定された視差方向９２ａ、９２ｂ、および９２ｄに視差をそれぞれ有する各立体画像をそれぞれ表示することができる。情報処理装置１００Ｂのように表示部４３において予め設定された各視差方向と、筐体２００Ｂにおける３以上のカメラの相互間の各基線方向のうち一部の各方向とがそれぞれ一致しているとしても本発明の有用性を損なうものではない。
【符号の説明】
【０１２６】
１００Ａ，１００Ｂ 情報処理装置
２００Ａ，２００Ｂ，２５０Ａ 筐体
４００ ヒンジ部
２１ 左画像
２２ 右画像
２７ 左目用画像
２８ 右目用画像
２９ 立体画像
５１ 出力信号
５２ 操作信号
５３ 配置情報
５４ 姿勢情報
５５ 判定用情報
５６ 制御信号
５７ 表示条件情報
５８ 距離情報
５９ 推奨姿勢情報
８１ 選択情報
６１ 左カメラ
６２ 右カメラ
６６ｃ，６６ｄ 近景被写体像
６７ｃ，６７ｄ 遠景被写体像
１０１，１０２，１０３，１０４ カメラ
ｂ１，ｂ２ 基線長
ＤＬ１，ＤＬ２ データ線
【技術分野】
【０００１】
本発明は、立体画像を生成する情報処理技術に関する。
【背景技術】
【０００２】
近年、表示される画像を立体視可能な三次元テレビなどの三次元表示装置の普及が進んでおり、三次元表示装置用の立体視可能な左目用および右目用の画像群（立体画像）を容易に生成可能な技術が望まれている。
【０００３】
例えば、特許文献１に記載の複眼カメラは、長方形状の撮像素子と光学系とが組み合わされた撮像系を２つ備えたステレオカメラ部を備えており、観察者によって予め撮像系間の基線方向が水平方向となるように複眼カメラの姿勢が設定された状態で、該ステレオカメラ部によって撮影された左目用画像と右目用画像とが時系列的に交互に表示部に表示される。該表示部においては、表示される画像の切り替えに同期して画像に係る光路が光路切り替え部によって立体視可能に交互に切り替えられることによって、観察者が立体視可能な立体画像が表示される。
【０００４】
より詳細には、当該複眼カメラは、ステレオカメラ部と、２つの撮像素子と、光路切り替え部とのそれぞれを、互いに平行な各回転軸を中心としてそれぞれ自転させ得る回転駆動機構を備えている。この回転駆動機構によって駆動されることにより、ステレオカメラ部は、その２つの撮像部が共通の軸を中心として略９０度公転するように自転可能である。また、ステレオカメラの２つの撮像素子は、該公転に応じて、各々の光学系の光軸を中心としてそれぞれ略９０度自転可能であり、光路切り替え部は、該公転に応じて、略９０度自転可能である。
【０００５】
従って、該複眼カメラにおいては、ステレオカメラ部の基線方向と、撮像素子の長辺の方向と、光路切り替え部の向きとの組み合わせの複眼カメラに対する配置関係として２通りの配置関係が設定され得る。該２通りの配置関係の何れにおいてもステレオカメラ部の基線方向と、光路切り替え部による左目用画像と右目用画像の間での光路の切り替え方向とが一致する。該２通りの配置関係の一方においては、ステレオカメラ部の基線方向と撮像素子の長辺方向とが一致し、該２通りの配置関係の他方においては、ステレオカメラ部の基線方向と撮像素子の長辺方向とは直交する。
【０００６】
特許文献１の複眼カメラにおいては、該２通りの配置関係のそれぞれにおいて、ステレオカメラ部の基線方向が、水平方向、すなわち、観察者の両目の基線方向と一致するように、観察者によって複眼カメラの姿勢が変更された後に、被写体の撮影と、立体画像の表示とが行われる。従って、特許文献１の複眼カメラにおいては、撮影視野の形状が鉛直方向に長い縦撮影であっても、水平方向に長い横撮影であっても、観察者が立体視可能な立体画像が表示され得る。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１８８９３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の複眼カメラには、ステレオカメラ部の基線方向が、鉛直方向である状態のままで被写体の撮影が行われた場合には、撮像された各画像における被写体の同一点にそれぞれ対応した各対応画素の間での各画像の画像空間における座標のずれ、すなわち視差は鉛直方向に生ずる。一方、画像の観察者は、目線が上向き、下向き、および水平の何れの状態であっても、通常、左右の目が水平方向に並んだ状態で被写体を観察する。このため、鉛直方向の視差を有する画像群がそのままの状態で立体画像を構成する画像群として観察者に提示されたとしても、観察者の両目の配列方向と、立体画像を構成する画像群の視差の方向とが異なるために、観察者は立体を認識することができない。
【０００９】
また、例えば、ステレオカメラ部の基線方向が鉛直方向である特許文献１の複眼カメラによって被写体が撮影された後に該複眼カメラの姿勢が変更されることにより、画像間の視差の方向が鉛直方向から水平方向に変更された立体画像が観察者に提示された場合には、観察者は立体を認識できるものの、被写体の向きが、例えば、９０度回転されて横向きに変わってしまうために観察者は違和感を覚える。
【００１０】
このように、特許文献１の複眼カメラにおいては、観察者が、表示された被写体の画像の向きに違和感を覚えることなく立体を認識することができるようにするためには、被写体の撮影に先立ってステレオカメラ部の基線方向が水平方向に一致するように複眼カメラの姿勢が変更されなければならないといった問題がある。
【００１１】
本発明は、こうした問題を解決するためになされたもので、被写体を撮像する装置の姿勢に関わらず、実物の被写体における水平方向の視差を有する被写体の立体画像が生成される可能性を高めることを目的とする。
【課題を解決するための手段】
【００１２】
上記の課題を解決するため、第１の態様に係る情報処理装置は、２次元的または３次元的に分散配置された３以上の撮像系を有する撮像手段と、前記情報処理装置の姿勢を判定する判定手段と、前記判定手段によって判定された前記情報処理装置の姿勢に応じて、前記３以上の撮像系のうち相互間の基線方向が水平方向に最も近い２つの撮像系を選択撮像系として選択する選択手段と、前記選択撮像系によってそれぞれ撮影された被写体の画像に基づいて前記被写体の立体画像を生成する生成手段と、を備えることを特徴とする。
【００１３】
第２の態様に係る情報処理装置は、第１の態様に係る情報処理装置であって、前記選択手段が、前記判定手段によって判定された前記情報処理装置の姿勢が、前記３以上の撮像系のうち２つの撮像系の基線方向が水平方向と一致する姿勢であるときには、当該２つの撮像系を前記選択撮像系として選択することを特徴とする。
【００１４】
第３の態様に係る情報処理装置は、第１または第２の態様に係る情報処理装置であって、前記３以上の撮像系が、仮想的な直角三角形の各頂点位置に配置された３つの撮像系を含むことを特徴とする。
【００１５】
第４の態様に係る情報処理装置は、第３の態様に係る情報処理装置であって、前記直角三角形が不等辺三角形であることを特徴とする。
【００１６】
第５の態様に係る情報処理装置は、第３または第４の態様に係る情報処理装置であって、ユーザに正対したときの左右方向と上下方向とがあらかじめ定義された情報伝達領域を有し、前記情報伝達領域を用いて前記情報処理装置とユーザとの間での情報の授受を行うヒューマンインターフェイス手段をさらに備え、前記直覚三角形の第１辺と第２辺との方向を、前記情報伝達領域の前記左右方向と前記上下方向とにそれぞれ一致させていることを特徴とする。
【００１７】
第６の態様に係る情報処理装置は、第５の態様に係る情報処理装置であって、前記ヒューマンインターフェイス手段が、複数の方向にそれぞれ視差を有する各立体画像をそれぞれ表示可能な表示手段を備え、前記複数の方向は、前記３以上の撮像系の相互間の基線方向に一致していることを特徴とする。
【００１８】
第７の態様に係る情報処理装置は、第５の態様に係る情報処理装置であって、前記ヒューマンインターフェイス手段が、複数の方向にそれぞれ視差を有する各立体画像をそれぞれ表示可能な表示手段を備え、前記複数の方向は、前記３以上の撮像系の相互間の基線方向からなる集合の中に含まれていることを特徴とする。
【００１９】
第８の態様に係る情報処理装置は、第１から第７の何れか１つの態様に係る情報処理装置であって、前記３以上の撮像系の中の特定の基線方向を水平方向とするような前記情報処理装置の推奨姿勢の情報をユーザに報知する報知手段を更に備えたことを特徴とする。
【００２０】
第９の態様に係る情報処理装置は、第８の態様に係る情報処理装置であって、前記情報処理装置から前記被写体までの距離情報に応じて、前記３以上の撮像系の相互間における各基線長のうち被写体の立体画像において予め設定された条件を満たす視差を生ずる１つの基線長を特定するとともに、特定された該１つの基線長に係る１つの基線方向を水平方向とするような前記情報処理装置の推奨姿勢の情報をユーザに報知する報知手段を更に備えたことを特徴とする。
【００２１】
第１０の態様に係る情報処理装置は、第９の態様に係る情報処理装置であって、前記報知手段が、立体画像の画像表示条件に基づいて前記１つの基線長を特定することを特徴とする。
【００２２】
第１１の態様に係る情報処理装置は、第６または第７の態様に係る情報処理装置であって、前記立体画像の表示における視差方向を水平方向とするような前記情報処理装置の推奨姿勢の情報をユーザに報知する報知手段を更に備えたことを特徴とする。
【００２３】
第１２の態様に係る情報処理装置は、第８から第１１の何れか１つの態様に係る情報処理装置であって、前記報知手段が、前記判定手段によって判定された前記情報処理装置の姿勢が前記推奨姿勢とは異なる場合に、前記推奨姿勢の情報をユーザに報知する。
【００２４】
第１３の態様に係る情報処理装置は、第１から第１２の何れか１つの態様に係る情報処理装置であって、前記３以上の撮像系のうち少なくとも１つの撮像系は焦点距離が可変であり、前記選択手段によって前記少なくとも１つの撮像系のうち１つが、前記選択撮像系のうち一方として選択された場合に、前記選択撮像系のうち他方の撮像系の焦点距離と、該一方の撮像系の焦点距離とが等しくなるように該一方の撮像系の焦点距離を調整する調整手段を更に備えたことを特徴とする。
【００２５】
第１４の態様に係るプログラムは、情報処理装置に搭載されたコンピュータにおいて実行されることにより当該情報処理装置を第１から第１３の何れか１つの態様に係る情報処理装置として機能させることを特徴とする。
【００２６】
第１５の態様に係る情報処理方法は、２次元的または３次元的に分散配置された３以上の撮像系を有する撮像手段を備えた情報処理装置の姿勢を判定する判定工程と、前記判定工程によって判定された前記情報処理装置の姿勢に応じて、前記３以上の撮像系のうち相互間の基線方向が水平方向に最も近い２つの撮像系を選択撮像系として選択する選択工程と、前記選択撮像系によってそれぞれ撮影された被写体の画像に基づいて前記被写体の立体画像を生成する生成工程とを備えることを特徴とする。
【発明の効果】
【００２７】
第１から第１５の何れの態様に係る発明によっても、判定された前記情報処理装置の姿勢に応じて、３以上の撮像系のうち相互間の基線方向が水平方向に最も近い２つの撮像系が選択され、選択された２つの撮像系によってそれぞれ撮影された被写体の画像に基づいて被写体の立体画像が生成されるので、実物の被写体における水平方向の視差を有する被写体の立体画像が生成される可能性を高めることができる。
【図面の簡単な説明】
【００２８】
【図１】実施形態に係る情報処理装置の外観構成の概略を示す模式図である。
【図２】実施形態に係る情報処理装置の外観構成の概略を示す模式図である。
【図３】実施形態に係る情報処理装置の外観構成の概略を示す模式図である。
【図４】実施形態に係る情報処理装置の主な構成の１例を示す図である。
【図５】実施形態に係る情報処理装置の機能構成の１例を示す図である。
【図６】実施形態に係るステレオカメラの主な機能構成の１例を示す図である。
【図７】左画像と右画像との１例を示す図である。
【図８】カメラ間の基線方向と表示部の視差方向との関係の１例を示す図である。
【図９】カメラ間の基線方向と表示部の視差方向との関係の１例を示す図である。
【図１０】カメラ間の基線方向と表示部の視差方向との関係の１例を示す図である。
【図１１】左カメラと右カメラとが選択される様子の１例を示す図である。
【図１２】カメラ間の基線方向と表示部の視差方向との関係の１例を示す図である。
【図１３】カメラ間の基線方向と表示部の視差方向との関係の１例を示す図である。
【図１４】実施形態に係る情報処理装置の動作フローを例示する図である。
【図１５】実施形態に係る情報処理装置の動作フローを例示する図である。
【発明を実施するための形態】
【００２９】
以下、本発明の一実施形態を図面に基づいて説明する。図面では同様な構成および機能を有する部分に同じ符号が付され、下記説明では重複説明が省略される。また、各図面は模式的に示されたものであり、例えば、各図面における画像上の表示物のサイズおよび位置関係等は正確に図示されたものではない。また、画像データと、該画像データに基づいて表示される画像とをまとめて「画像」と適宜総称する。更に、各図面では、画像の左上の画素が原点とされ、該画像の長辺に沿った方向（ここでは、横方向）がＸ軸方向とされ、該画像の短辺に沿った方向（ここでは縦方向）がＹ軸方向とされる。そして、各画像の右方向が＋Ｘ方向とされ、各画像の下方向が＋Ｙ方向とされる。なお、図１〜図３、および図７〜図１３には、直交するＸＹＺの３軸が付されている。
【００３０】
＜実施形態について：＞
＜◎情報処理装置１００Ａの外観構成について：＞
図１〜図３は、本発明の実施形態に係る情報処理装置１００Ａの外観構成の概略を示す模式図である。情報処理装置１００Ａは、携帯電話、カメラ、およびサーバ装置との間で無線通信等により各種情報の送受信を行う端末装置などとして機能する折り畳み式の携帯型情報端末として構成され、図１〜図３に示されるように、筐体２００Ａと、筐体２５０Ａと、ヒンジ部４００とを主に有している。ヒンジ部４００は、筐体２００Ａと筐体２５０Ａとを機械的に回動（折畳み）可能に接続するとともに、筐体２００Ａと筐体２５０Ａとを電気的にも接続している。ヒンジ部４００によって情報処理装置１００Ａは、折り畳み可能となっている。
【００３１】
また、図１〜図３は、情報処理装置１００Ａが開かれた外観をそれぞれ示している。図１には、情報処理装置１００Ａが折り畳まれたときに情報処理装置１００Ａの外面となる面（「うら面」とも称される）が示されている。また、図２および図３には、情報処理装置１００Ａが開かれた状態における該うら面以外の面（「おもて面」とも称される）が示されている。図２においては、カメラ１０１および１０２の基線方向が、Ｘ軸方向（水平方向）に一致するとともに、図３においては、カメラ１０１および１０３の基線方向が、Ｘ軸方向に一致している。
【００３２】
筐体２００Ａおよび筐体２５０Ａは、それぞれ板状の部材であり、各種電子部材を格納する筐体としての役割を有している。具体的には、筐体２００Ａは、そのうら面側にカメラ１０１〜１０３を備えた多眼カメラ部３００（図４、図５）を有するとともに、そのおもて面に表示部４３を有している。また、情報処理装置１００Ａのそれぞれの機能要素のうち、カメラ１０１〜１０３や表示部４３は筐体２００Ａ上の固定された位置にある。また、操作部４２が搭載された筐体２５０Ａは筐体２００Ａに対して回動（折畳み）可能であるが、実際の撮影操作のときには、筐体２００Ａと筐体２５０Ａとはユーザが選択した相対角度を保っており、１回の撮影処理という短い時間で見ると相対的に固定された相対角度にある。換言すれば、筐体２００Ａと筐体２５０Ａとは一体化されていて、情報処理装置１００Ａはその全体の姿勢を変更可能であるだけでなく、可搬性の装置であり、特に、ユーザが手中に保持した状態で姿勢を容易に変更できる携帯型の情報処理装置である。
【００３３】
なお、図１〜図３に示された多眼カメラ部３００は、筐体２００Ａの裏面に分散配置された３個のカメラを有しているが、多眼カメラ部３００の構成は、図１〜図３に示された構成に限定されず、多眼カメラ部３００が４以上のカメラを備えていたとしても本発明の有用性を損なうものではない。また、多眼カメラ部３００が有する各カメラは、２次元的に、すなわち同一平面上に分散配置されるだけでなく、３次元的に分散配置されたとしても本発明の有用性を損なうものではない。すなわち、多眼カメラ部３００は２次元的にまたは３次元的に分散配置された３以上の撮像系を有する撮像部である。
【００３４】
また、筐体２５０Ａは、ボタン等の操作部４２をそのおもて面に有するともに、情報処理装置１００Ａを電気的に制御するＣＰＵ（Central Processing Unit）１１Ａ（図４）などをその内部に有している。
【００３５】
情報処理装置１００Ａは、図２および図３などの各種姿勢において多眼カメラ部３００における各カメラのうち基線方向が水平方向に最も近い左カメラ６１および右カメラ６２（図２、図３）によって撮影された被写体の各画像に基づいて観察者が立体視可能な立体画像を生成し、表示部４３に表示する。
【００３６】
より具体的には、操作者（観察者）によって設定された情報処理装置１００Ａの姿勢は、情報処理装置１００Ａの判定部１４（図４、図５）によって判定される。
【００３７】
情報処理装置１００Ａの選択部１５（図４、図５）は、判定部１４によって判定された情報処理装置１００Ａの姿勢に応じて、多眼カメラ部３００が備える各カメラのうち相互間の基線方向が水平方向に最も近い２つのカメラを左カメラ６１および右カメラ６２としてそれぞれ選択する。
【００３８】
例えば、情報処理装置１００Ａの姿勢が、図２に示されるようにカメラ１０１および１０２の配列方向が水平方向（Ｘ軸方向）に最も近い姿勢である場合には、選択部１５は、カメラ１０１および１０２を、左カメラ６１および右カメラ６２としてそれぞれ選択する。また、情報処理装置１００Ａの姿勢が、図３に示されるようにカメラ１０１および１０３の列方向が水平方向（Ｘ軸方向）に最も近い姿勢である場合には、選択部１５は、カメラ１０１および１０３を、左カメラ６１および右カメラ６２としてそれぞれ選択する。従って、判定部１４によって判定された情報処理装置１００Ａの姿勢が、多眼カメラ部３００が有する３以上の撮像系のうち２つの撮像系の基線方向が水平方向と一致する姿勢であるときには、選択部１５は、当該２つの撮像系を前記選択撮像系として選択する。
【００３９】
情報処理装置１００Ａの生成部１６（図４、図５）は、選択部１５によって選択された左カメラ６１および右カメラ６２によってそれぞれ撮影された被写体の左画像２１および右画像２２（図４、図５）に基づいて、操作者が立体視可能な被写体の立体画像２９（図５）を生成する。立体画像２９は、左目用画像２７および右目用画像２８（図４、図５）によって構成される。生成された立体画像２９は、表示部４３に表示される。
【００４０】
情報処理装置１００Ａにおいては、判定部１４によって判定された情報処理装置１００Ａの姿勢に応じて、選択部１５によって多眼カメラ部３００が有する３以上のカメラのうち相互間の基線方向が水平方向に最も近い２つのカメラが選択され、選択された２つのカメラによってそれぞれ撮影された被写体の各画像に基づいて被写体の立体画像が生成されるので、被写体を撮影する情報処理装置１００Ａの姿勢に関わらず実物の被写体における水平方向の視差を有する被写体の立体画像が生成される可能性を高めることができる。
【００４１】
＜◎多眼カメラ部３００の構成と動作：＞
次に、情報処理装置１００Ａの多眼カメラ部３００の構成と動作について説明する。図１に示されるように、多眼カメラ部３００のカメラ１０１〜１０３は、カメラ１０１および１０２の基線方向と、カメラ１０１および１０３の基線方向とが互いに直交するようにそれぞれ配置されており、カメラ１０１〜１０３の筐体２００Ａにおける配列は、仮想的な直角三角形を形成している。すなわち、多眼カメラ部３００は、相互間の基線方向のうち２つの基線方向が互いに直交する３つのカメラを含んでいる。
【００４２】
例えば、多眼カメラ部３００の各カメラが長方形状の有効画素領域を有する撮像素子をそれぞれ有している場合において、さらに図２に示されるように、カメラ１０１および１０２の基線方向が水平方向（Ｘ軸方向）であるときに各撮像素子における有効画素領域の長辺の方向が水平方向である場合には、カメラ１０１および１０２によって撮影された被写体の画像は、縦方向よりも横方向の長さが長い「横撮影」の画像となる。
【００４３】
カメラ１０１および１０２の基線方向と、カメラ１０１および１０３の基線方向とが互いに直交していれば、情報処理装置１００Ａの姿勢が図２から図３の状態に変更されたときには、基線方向が水平方向に最も近いカメラ１０１および１０３によって撮影された被写体の画像は、横方向よりも縦方向に沿った長さが長い「縦撮影」の画像となる。
【００４４】
このように、多眼カメラ部３００が、相互間の基線方向のうち２つの基線方向が互いに直交する３つのカメラを含んでいれば、該２つの基線方向のそれぞれに係る２対のカメラにおける各対のそれぞれが、相互間の基線方向が水平方向に最も近くなる２つのカメラとして選択され得るように情報処理装置１００Ａの姿勢の設定がなされることによって、被写体の横撮影と縦撮影とがそれぞれ可能となる。なお、多眼カメラ部３００が、相互間の基線方向のうち２つの基線方向が互いに直交する３つのカメラを含んでいないとしても、本発明の有用性を損なうものではない。
【００４５】
また、図１に示されるように、カメラ１０１および１０２の間における基線長ｂ１と、カメラ１０１および１０３の間における基線長ｂ２とは互いに異なっている。この場合、カメラ１０１〜１０３の配列は、直角三角形であるので、カメラ１０１〜１０３の相互間の各基線長は互いに異なったものとなる。すなわち、カメラ１０１〜１０３によって形成される仮想的な直角三角形が不等辺三角形となるので、被写体の撮影に係る基線長の選択枝を増加させることができる。なお、カメラ１０１〜１０３の配列が、例えば、２等辺三角形や正三角形を形成しているとしても、本発明の有用性を損なうものではない。
【００４６】
ところで、後述するように、操作者が情報処理装置１００Ａを保持して操作部４２および表示部４３に正対したとき、すなわち操作者が情報処理装置１００Ａに正対したときに操作部４２および表示部４３に表示された文字等の向きは、その上下方向、左右方向が、操作者が最も該文字等を視認しやすい向きとなる。そして、図２に示されるように多眼カメラ部３００におけるカメラ１０１〜１０３は、カメラ１０１〜１０３によって形成される仮想的な直角三角形において互いに直交する第１辺と第２辺との方向が該上下方向と該左右方向とにそれぞれ一致するように配置されている。従って、操作者が、情報処理装置１００Ａの姿勢を、最も操作性の良い姿勢、すなわち最も設定しやすい姿勢に設定することによって、各カメラ間の各基線方向の１つが水平となる状態が容易に実現される。
【００４７】
図６は、実施形態に係る情報処理装置１００Ａに設けられた多眼カメラ部３００の主な機能構成の１例を示す図である。なお、図６は、情報処理装置１００Ａが図２に示された姿勢に設定された結果、後述する選択部１５（図４、図５）によって、カメラ１０１および１０２がそれぞれ左カメラ６１および右カメラ６２として選択された場合を例として、多眼カメラ部３００の機能構成を説明する図である。カメラ１０３は、カメラ１０１および１０３のそれぞれと同様の構成を有しているため、カメラ１０３については説明を省略する。
【００４８】
図６に示されるように、左カメラ６１（カメラ１０１）と右カメラ６２（カメラ１０２）とは、所定の基線長を隔てて設けられている。左カメラ６１は、撮影光学系７２ａ、撮像素子７５ａ、および制御処理回路８５ａを主に備えて構成されている。また、右カメラ６２は、撮影光学系７２ｂ、撮像素子７５ｂ、および制御処理回路８５ｂを主に備えて構成されている。
【００４９】
多眼カメラ部３００の各種動作は、ＣＰＵ１１Ａの制御部１３から入出力部４１およびデータ線ＤＬ１を介して供給される制御信号５６（図５）に基づいて制御される。多眼カメラ部３００は、被写体７１からの光を左カメラ６１および右カメラ６２で撮影して左画像２１および右画像２２をそれぞれ取得する。生成された左画像２１および右画像２２は、データ線ＤＬ１を介してＣＰＵ１１Ａの入出力部４１（図４）へと供給される。
【００５０】
撮影光学系７２ａおよび７２ｂは、薄肉レンズと該レンズを支持する不図示の鏡胴とを主に備えて構成されており、被写体７１の画像をそれぞれ撮像素子７５ａおよび７５ｂ上に結像させる光学系である。このとき、被写体７１上の物点Ｍの像は、光学中心７３ａおよび７３ｂをそれぞれ通過する主光線７６ａおよび７６ｂに沿って撮像素子７５ａおよび７５ｂ上にそれぞれ像点ＰａおよびＰｂとして結像される。光学中心７３ａおよび７３ｂは、通常、撮像光学系の主点であるが、例えば、撮像光学系としてテレセントリック光学系が採用された場合には、通常、撮像光学系の焦点が光学中心となる。
【００５１】
また、仮想主光線７６ａｖは、光学中心７３ｂを通るように主光線７６ａを平行移動した仮想の主光線であり、像点Ｐａに対応する仮想の像点Ｐａｖは仮想主光線７６ａｖに沿って撮像素子７５ｂ上に設定される。
【００５２】
左カメラ６１および右カメラ６２の結像中心７７ａおよび７７ｂは、それぞれ撮像素子７５ａと光軸７４ａとの交点、および撮像素子７５ｂと光軸７４ｂとの交点であり、また、撮影光学系７２ａおよび７２ｂ間の基線長ｂ１は、光学中心７３ａおよび７３ｂ間の距離である。
【００５３】
仮想の像点Ｐａｖと像点Ｐｂとの距離ｄは、被写体７１上の同一物点Ｍに対応する各像点ＰａおよびＰｂを、結像中心の座標が等しい共通の画像座標系で表現したときの各像点位置間の距離であり、物点Ｍに対する左カメラ６１と右カメラ６２との視差に相当する。
【００５４】
ここで、多眼カメラ部３００については、撮影光学系７２ａおよび７２ｂのそれぞれ焦点距離ｆｒ（より正確には、光学中心と撮像素子との距離）は等しく、それぞれの光軸７４ａおよび７４ｂは平行である。また、撮影光学系７２ａおよび７２ｂの各主平面は光軸７４ａおよび７４ｂのそれぞれに垂直な同一平面上にあり、それぞれの光学中心７３ａおよび７３ｂも、該同一平面上にある。さらに、それぞれの撮影光学系の撮像素子７５ａおよび７５ｂは、光軸７４ａおよび７４ｂのそれぞれに垂直な同一平面上にある。また、左画像２１および右画像２２の相互間での対応点探索処理が容易に行えるように、撮像素子７５ａおよび７５ｂは、それぞれの走査線が平行になるように設置されている。
【００５５】
実際の構成においては、通常、上述した構成条件に対して誤差があるが、左カメラ６１および右カメラ６２からそれぞれ供給される左画像２１および右画像２２に対して、ＣＰＵ１１Ａがカメラパラメータなどを用いた処理（「平行化処理」とも称される）を行うことによって多眼カメラ部３００の各機能要素が上述した構成条件を満たす場合と同等の状態が実現され得る。
【００５６】
平行化処理が行われた場合には、撮影光学系７２ａおよび７２ｂの主平面と物点Ｍとの距離Ｄは、視差ｄ、焦点距離ｆｒ、および撮影光学系７２ａおよび７２ｂ間の基線長ｂ１を用いて（１）式によって与えられる。
【００５７】
【数１】
【００５８】
（１）式に示されるように、視差は、被写体上の点の多眼カメラ部３００からの距離に関する指標値となっている。
【００５９】
撮像素子７５ａおよび７５ｂは、例えば、３４５６×２５９２画素サイズの有効画素数を持つＣＣＤイメージセンサやＣＭＯＳイメージセンサなどによって構成される撮像素子であり、撮像素子７５ａおよび７５ｂに結像された像の強度に応じた画像信号を生成して制御処理回路８５ａおよび制御処理回路８５ｂに供給する。なお、撮像素子７５ａおよび７５ｂは、カラーイメージセンサであっても、モノクロイメージセンサであっても本発明の有用性を損なうものではない。また、撮像素子７５ａおよび７５ｂについて、主走査方向（水平走査方向）の画素数と、副走査方向（垂直走査方向）の画素数とのうち何れか一方が他方よりも多いとしても、また、両者が同数であるとしても、本発明の有用性を損なうものではない。
【００６０】
図６に示される制御処理回路８５ａおよび制御処理回路８５ｂは、撮像素子７５ａおよび７５ｂから供給される各画像信号を同期して処理してデジタル画像に変換することにより、各撮像素子の有効画素数に応じた左画像２１および右画像２２を生成する。
【００６１】
なお、左画像２１と右画像２２とのそれぞれの撮影時における多眼カメラ部３００に対する被写体の位置関係が同じであれば、左画像２１と右画像２２とは、同時刻に撮影されていなくても良い。また、多眼カメラ部３００は、左カメラ６１と右カメラ６２との同期をとりつつ被写体を時間順次に連続的に撮影することによって、複数の左画像２１および複数の右画像２２（「時系列ステレオ画像」とも称される）を生成することもできる。
【００６２】
＜◎情報処理装置１００Ａの構成について：＞
図４は、実施形態に係る情報処理装置１００Ａの主な構成の１例を示すブロック図である。図４に示されるように、情報処理装置１００Ａは、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５、記憶装置４６、姿勢センサ４７および上述した多眼カメラ部３００を主に備えて構成されている。
【００６３】
○入出力部４１：
入出力部４１は、例えば、多眼カメラ部３００および姿勢センサ４７のそれぞれと電気的に接続されたデータ線ＤＬ１およびＤＬ２と、信号線４９とを電気的に接続するコネクタなどによって構成される。入出力部４１は、多眼カメラ部３００とＣＰＵ１１Ａなどとの間でデータの授受を行う。具体的には、入出力部４１は、例えば、ＣＰＵ１１Ａが多眼カメラ部３００を制御するための各種の制御信号を、データ線ＤＬ１を介して入出力部４１に接続された多眼カメラ部３００へと供給する。また、入出力部４１は、多眼カメラ部３００が撮影した左画像２１および右画像２２をＲＡＭ４５およびＣＰＵ１１Ａなどへとそれぞれ供給する。また、入出力部４１は、姿勢センサ４７が出力する出力信号５１（図５）をＣＰＵ１１Ａに供給する。なお、入出力部４１は、ＵＳＢインタフェースなどの外部機器用のインタフェースもまた備えている。このため、情報処理装置１００Ａは、予め撮影されてコンピュータなどの外部機器に記憶された左画像２１および右画像２２を入出力部４１を介して取得することもできる。また、情報処理装置１００Ａは、立体画像２９を入出力部４１を介して外部の表示装置に供給し、該外部の表示装置の表示画面において表示することもできる。なお、表示部４３および該外部の表示装置に係る立体画像２９の表示条件情報５７は、予め、記憶装置４６に記憶されている。
【００６４】
○操作部４２：
操作部４２は、例えば、筐体２５０Ａのおもて面に設けられた各種の操作ボタンなどによって構成されており、操作者が操作部４２を操作することによって、該操作に対応した操作信号５２が操作部４２からＣＰＵ１１Ａへと供給される。ＣＰＵ１１Ａは、供給された操作信号５２に基づいて情報処理装置１００Ａの各種制御パラメータおよび各種動作モードの設定などを行う。また、情報処理装置１００Ａの各機能部は、操作部４２を介して設定された各動作モードに応じた処理を行う。操作部４２には、被写体を撮影するときの情報処理装置１００Ａの姿勢を操作者が情報処理装置１００Ａに入力するためのボタンまたはスイッチなどが設けられている。該姿勢は、例えば、図２に示されるようにカメラ１０１とカメラ１０２との配列方向が水平方向（Ｘ軸方向）となる情報処理装置１００Ａの姿勢、あるいは、図３に示されるように該配列方向が鉛直方向（Ｙ軸方向）となる情報処理装置１００Ａの姿勢などである。この場合、操作信号５２は、操作者による該姿勢の入力結果、あるいは該姿勢に関する情報を情報処理装置１００Ａに設定するために操作者が設定したスイッチの設定状態に対応した信号などである。また、操作部４２に、情報処理装置１００Ａの各姿勢に応じて、操作者が操作しやすい位置に多眼カメラ部３００の撮影ボタンがそれぞれ設けられるとともに、各撮影ボタンのうち何れが操作されたかを示す操作信号５２がＣＰＵ１１Ａに供給されたとしても本発明の有用性を損なうものではない。
【００６５】
なお、操作部４２の各種の操作ボタンには、操作者が行う操作を支援するために、例えば、文字、記号、および図形のうち少なくとも１つが表示されている。そして、操作者が情報処理装置１００Ａを保持して操作部４２に正対したときに、個々の操作ボタンに表示された文字等の向きと、各操作ボタンの配列方向とは、それぞれ、操作者が最も視認しやすい向きおよび方向となる。従って、操作部４２は、ユーザに正対したとき左右方向と上下方向とがあらかじめ定義された情報伝達領域、すなわち操作ボタン領域を有するとともに、該情報伝達領域を用いて情報処理装置１００Ａと操作者との間での情報の授受を行うヒューマンインターフェイス部として機能する。
【００６６】
また、後述する表示部４３においても、その表示画面に情報処理装置１００Ａに関する情報が文字情報などとして表示されるが、該文字情報に係る各文字および文字列の向きも、操作部４２の操作ボタンに表示された文字などと同様に、を表示して操作者に対して情報処理装置１００Ａに関する情報を提示し、操作者が情報処理装置１００Ａを保持して表示部４３に正対したときに表示画面に表示された文字等の向きは、操作者が最も視認しやすい向きとなる。従って、表示部４３もまた、操作部４２と同様のヒューマンインターフェイス部として機能する。
【００６７】
○表示部４３：
表示部４３は、例えば、ＣＰＵ１１Ａからの制御に応じて表示部４３における各バリア部の空間的な分布方向を、図２のＸ軸方向とＹ軸方向などの複数の方向のそれぞれに切り替え可能なパララックスバリア方式を採用した３次元表示用の液晶ディスプレイなどによって構成される。表示部４３に表示する右目用画像と左目用画像との視差の方向に応じてＣＰＵ１１Ａが表示部４３のバリアの方向を切り替えることなどによって、表示部４３に表示された立体画像を観察する観察者が裸眼で立体を視認可能な方向が切り替えられる。
【００６８】
また、例えば、表示部４３が、左目用画像および右目用画像を交互に高速で切り替えて表示するとともに、該切り替えに同期して、左目および右目にそれぞれ対応した各シャッター部を交互に開閉可能な専用めがねを介して表示部４３に表示された立体画像が観察される三次元表示方式が採用されたとしても本発明の有用性を損なうものではない。該三次元表示方式においては、ＣＰＵ１１Ａが、表示部４３に表示される左目用画像と右目用画像との視差の方向を切り替えることによって、専用めがねを着用した観察者が立体画像を観察して立体を認識可能な方向を切り替えることができる。なお、表示部４３は、多眼カメラ部３００から供給される左画像２１、右画像２２、および情報処理装置１００Ａに関する各種設定情報などが、二次元の画像や文字情報として観察者に視認され得るように表示することもできる。
【００６９】
図８〜図１０は、実施形態に係る情報処理装置１００Ａにおける各カメラの相互間の基線方向と表示部４３の視差方向との関係の１例を示す図である。図８〜図１０に示された情報処理装置１００Ａにおいては、筐体２５０Ａおよびヒンジ部４００の表示は省略されている。
【００７０】
ここで、パララックスバリア方式など、予め設定された方向にのみ視差画像を表示可能な表示方式が採用される表示部４３においては、表示画面において設定可能な視差方向の種類は、通常、高々数通りである。視差方向図８および図９に示される情報処理装置１００Ａにおいては、パララックスバリア方式が採用された表示部４３は、その表示画面において互いに直交した２方向の視差方向９２ａおよび視差方向９２ｂと、基線方向９１ｂに対して約３０度の角度を有する視差方向９２ｃとの３方向に視差をそれぞれ有する立体画像をそれぞれ表示可能である。また、相互間の基線方向９１ａ〜９１ｃが視差方向９２ａ〜９２ｃとそれぞれ一致しているカメラ１０１および１０２と、カメラ１０１および１０３と、カメラ１０２および１０３との３対のカメラのそれぞれの対によって被写体の左画像２１および右画像２２が撮影可能に構成されている。このように、図８および図９に示された情報処理装置１００Ａは、互いに異なる予め設定された各視差方向に、それぞれ視差を有する各立体画像をそれぞれ表示可能な表示部４３を備えている。そして、該予め設定された各視差方向と、多眼カメラ部３００における各カメラの相互間の各基線方向とがそれぞれ一致している。従って、多眼カメラ部３００における各カメラの相互間の全ての基線方向のそれぞれにおいて基線方向が水平となる左カメラ６１と右カメラ６２とが選択可能である。また、選択された左カメラ６１と右カメラ６２とによって撮影された被写体の左画像２１と右画像２２とに基づいて各基線方向と同一方向の視差を有する立体画像２９を生成して表示部４３に表示することができる。従って、多眼カメラ部３００が有するカメラの個数を抑制しつつ、立体画像の撮影および表示が可能なカメラの基線方向の選択枝を増加させることができ、情報処理装置１００Ａの操作性の向上を図ることができる。
【００７１】
図１０に示される情報処理装置１００Ａにおいては、パララックスバリア方式が採用された表示部４３は、その表示画面における視差方向９２ａおよび９２ｂの互いに直交する２方向に視差をそれぞれ有する立体画像をそれぞれ表示可能である。また、相互間の基線長９１ａが視差方向９２ａと同一方向であるカメラ１０１および１０２と、相互間の基線長９１ｂが視差方向９２ｂと同一方向であるカメラ１０１および１０３との２対のカメラのそれぞれによって被写体の左画像２１および右画像２２が撮影可能に構成されている。このように図１０に示された情報処理装置１００Ａは、互いに異なる予め設定された各視差方向に、それぞれ視差を有する各立体画像をそれぞれ表示可能な表示部４３を備えている。そして、該予め設定された各視差方向と、多眼カメラ部３００における各カメラの相互間の各基線方向の一部とがそれぞれ一致している。すなわち、該予め設定された各視差方向は、多眼カメラ部３００における各カメラの相互間の各基線方向からなる集合の中に含まれる。従って図１０に示された情報処理装置１００Ａにおいては、表示部４３において設定可能な視差方向の個数を、多眼カメラ部３００におけるカメラの各対のうち、予め設定された一部の対についての基線方向の個数に抑制することができるので、情報処理装置１００Ａの製造コストを抑制することができる。
【００７２】
○ＲＯＭ４４：
ＲＯＭ（Read Only Memory）４４は、読出し専用メモリであり、ＣＰＵ１１Ａを動作させるプログラムＰＧなどを格納している。なお、読み書き自在の不揮発性メモリ（例えば、フラッシュメモリ）が、ＲＯＭ４４に代えて使用されてもよい。
【００７３】
○ＲＡＭ４５：
ＲＡＭ（Random Access Memory）４５は、読み書き自在の揮発性メモリである。ＲＡＭ４５は、多眼カメラ部３００が撮影した各種画像、情報処理装置１００Ａが生成した立体画像などを一時的に記憶する画像格納部として機能する。また、ＲＡＭ４５は、ＣＰＵ１１Ａの処理情報を一時的に記憶するワークメモリなどとしても機能する。また、情報処理装置１００Ａにおける各機能部間の情報の授受は、通常、ＲＡＭ４５を介して行われる。
【００７４】
○記憶装置４６：
記憶装置４６は、例えば、フラッシュメモリなどの読み書き自在な不揮発性メモリや小型のハードディスク装置等によって構成されており、情報処理装置１００Ａの各種制御パラメータや各種動作モードなどの情報を恒久的に記録する。また、記憶装置４６には、多眼カメラ部３００における各カメラの筐体２００Ａに対する配置情報５３が記憶されるとともに、表示部４３と、と外部の表示部として予め想定される外部表示装置とのそれぞれに係る立体画像２９の表示条件情報５７が記憶されている。表示条件情報５７は、具体的には、例えば、表示部４３の表示画面のサイズ情報、該表示画面に表示される画像の画素数、および該表示画面が観察される際の観察者と該表示画面との距離などである。
【００７５】
○姿勢センサ４７：
姿勢センサ４７は、例えば、３軸のジャイロ・センサと３軸の加速度センサとがＭＥＭＳ（Micro Electro Mechanical Systems）技術などによって搭載された小型の姿勢センサなどによって構成される。姿勢センサ４７は、データ線ＤＬ２によって入出力部４１と電気的に接続されており、鉛直方向（重力方向）に対する情報処理装置１００Ａの姿勢に応じた出力信号５１（図５）を、逐次、入出力部４１へと供給する。また、ＣＰＵ１１Ａは、入出力部４１に供給される出力信号５１を所定のタイミングで取得する。
【００７６】
○ＣＰＵ１１Ａ：
ＣＰＵ（Central Processing Unit）１１Ａは、情報処理装置１００Ａの各機能部を統轄制御する制御処理装置であり、ＲＯＭ４４に格納されたプログラムに従った制御および処理を実行する。ＣＰＵ１１Ａは、後述するように、取得部１２、制御部１３、判定部１４、選択部１５、生成部１６、および報知部１７としても機能する。
【００７７】
ＣＰＵ１１Ａは、これらの各機能部などによって、多眼カメラ部３００によって撮影された被写体の画像から、被写体についての立体画像２９を構成する左目用画像２７および右目用画像２８を生成する。また、ＣＰＵ１１Ａは、多眼カメラ部３００の撮像動作の制御などを行うとともに、表示部４３を制御して、各種画像、立体画像、算出結果、および各種制御情報などを表示部４３に表示させる。
【００７８】
また、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５、記憶装置４６、姿勢センサ４７等のそれぞれは、信号線４９を介して電気的に接続されている。したがって、ＣＰＵ１１Ａは、例えば、入出力部４１を介した多眼カメラ部３００の制御および多眼カメラ部３００からの画像情報の取得、姿勢センサ４７からの出力信号５１の取得、および表示部４３への表示等を所定のタイミングで実行できる。
【００７９】
なお、図１に示される構成例では、取得部１２、制御部１３、判定部１４、検出部１５、生成部１６、および報知部１７の各機能部は、ＣＰＵ１１Ａで所定のプログラムを実行することによって実現されているが、これらの各機能部はそれぞれ、例えば、専用のハードウェア回路などによって実現されてもよい。
【００８０】
＜◎情報処理装置１００Ａの各機能部の動作について：＞
図５は、実施形態に係る情報処理装置１００Ａの主な機能構成の１例を示すブロック図である。図５に示されるように、情報処理装置１００Ａは、多眼カメラ部３００の左カメラ６１（図２および図３のカメラ１０１）による被写体の撮影に基づいて得られる左画像２１と、右カメラ６２（図２のカメラ１０１、図３のカメラ１０３）による該被写体の撮影に基づいて得られる右画像２２とに基づいて、該被写体についての立体画像２９、すなわち左目用画像２７および右目用画像２８をそれぞれ生成する。
【００８１】
図１４および図１５は、実施形態に係る情報処理装置１００Ａが立体画像２９を生成する処理に係る動作フローＳ１００およびＳ２００をそれぞれ例示する図である。以下に、図５、図１４、および図１５などを適宜参照しつつ、情報処理装置１００Ａの各機能部の動作について説明する。
【００８２】
情報処理装置１００Ａによる被写体の立体画像２９の生成処理に先立って、多眼カメラ部３００に設けられたカメラ１０１〜１０３のうち少なくとも２つのカメラの両方から該被写体が撮影できるように、情報処理装置１００Ａの位置および姿勢が操作者によって調整される。そして、情報処理装置１００Ａの位置および姿勢が調整された状態で、操作部４２に設けられた撮影ボタンが操作されると、図５に示されるように、多眼カメラ部３００による撮影動作の開始を指示する操作信号５２が取得部１２に供給される。
【００８３】
取得部１２は、撮影動作の開始を指示する操作信号５２を受け付けると、予め設定された動作モードに応じて、情報処理装置１００Ａの姿勢を表現した姿勢センサ４７からの出力信号５１、操作信号５２、および記憶装置４６などに記憶された撮影済みの左画像２１（右画像２２）の少なくとも１つを情報処理装置１００Ａの姿勢の判定用の判定用情報５５として判定部１４に供給するとともに、撮影動作の開始を指示する操作信号５２を制御部１３へと供給する。
【００８４】
○判定部１４の動作：
判定部１４は、取得部１２から供給された判定用情報５５（図５）に基づいて情報処理装置１００Ａの姿勢を判定する（図１４のステップＳ１１０）。該判定のための処理として、判定部１４は、例えば、操作信号５２のうち撮影時の情報処理装置１００Ａの姿勢を表現した信号に基づいて情報処理装置１００Ａの姿勢を判定する処理、姿勢センサ４７の出力信号５１に基づいて情報処理装置１００Ａの姿勢を判定する処理、撮影済みの左画像２１および右画像２２の少なくとも一方に対してＯＣＲ（optical character recognition）を施して画像中の文字の方向を判定することなどによって情報処理装置１００Ａの姿勢を判定する処理のうち少なくとも１つの処理を行う。また、撮影済みの左画像２１または右画像２２に基づいた情報処理装置１００Ａの姿勢の判定処理として、例えば、画像に対する人物認識処理を施して抽出された人物の両目の配列方向などの特徴部分に基づいて、判定部１４が情報処理装置１００Ａの姿勢を判定する処理が採用されてもよい。判定部１４によって判定された情報処理装置１００Ａの姿勢は、姿勢情報５４として選択部１５および報知部１７に供給される。
【００８５】
○選択部１５の動作：
選択部１５は、姿勢情報５４を供給されると、姿勢情報５４と、記憶装置４６に記憶された多眼カメラ部３００の各カメラの配置情報５３とに基づいて、判定部１４によって判定された情報処理装置１００Ａの姿勢情報５４に応じて、多眼カメラ部３００における３以上のカメラのうち相互間の基線方向が水平方向に最も近い２つのカメラを左カメラ６１および右カメラ６２としてそれぞれ選択する（図１４のステップＳ１２０）。該選択は、多眼カメラ部３００の各カメラの中から、実際の被写体における水平方向に最も近い方向の視差を有する左画像２１および右画像２２を撮影可能な一対のカメラを選択するために行われる。
【００８６】
図１１は、左カメラ６１と右カメラ６２とが選択部１５によって選択される様子の１例を示す図である。図１１においては、多眼カメラ部３００における各カメラの相互間の基線方向のうちカメラ１０１とカメラ１０２とにおける基線方向が水平方向Ｈ１に最も近くなっている。従って、選択部１５は、カメラ１０１および１０２を、左カメラ６１および右カメラ６２としてそれぞれ選択する。そして選択部１５は、多眼カメラ部３００における各カメラのうち選択された左カメラ６１および右カメラ６２をそれぞれ特定する選択情報８１（図５）を制御部１３へと供給する。
【００８７】
○多眼カメラ部３００および制御部１３の動作：
制御部１３は、取得部１２から撮影動作の開始を指示する操作信号５２を供給され、選択部１５から選択情報８１を供給されると、多眼カメラ部３００の各カメラのうち選択情報８１によって特定される左カメラ６１および右カメラ６２のそれぞれに撮影動作を行わせる制御信号５６（図５）を、多眼カメラ部３００に供給する。
【００８８】
多眼カメラ部３００は、制御信号５６が供給されると、左カメラ６１および右カメラ６２によって互いに異なる方向から被写体を撮影する撮影動作を行う（図１４のステップＳ１３０）。該撮影動作が終了すると、多眼カメラ部３００の左カメラ６１および右カメラ６２によってそれぞれ撮影された被写体についての左画像２１および右画像２２が、それぞれ生成される。生成された左画像２１および右画像２２は、取得部１２へと供給される。また、左画像２１および右画像２２の撮影に際して、例えば、多眼カメラ部３００に測距センサが搭載されている場合には、多眼カメラ部３００は、該測距センサによって測定された多眼カメラ部３００に対する被写体の距離６５（図５）を、左画像２１および右画像２２とともに取得部１２に供給する。
【００８９】
○取得部１２による左画像２１および右画像２２の取得などの動作：
生成された被写体の左画像２１および右画像２２は、入出力部４１（図４）を介して取得部１２へと供給され、取得部１２によってそれぞれ取得される（図１４のステップＳ１４０）。取得された左画像２１および右画像２２は、生成部１６へと供給される。
【００９０】
図７は、左画像２１および右画像２２のそれぞれの１例として、情報処理装置１００Ａの姿勢が図２に示される姿勢である場合における左画像２１ｅと右画像２２ｅとをそれぞれ示す図である。
【００９１】
図７において、左画像２１ｅと、右画像２２ｅとには、多眼カメラ部３００に対して＋Ｚ方向に位置する同一の近側被写体についての近景被写体像６６ｃおよび６６ｄがそれぞれ撮影されているとともに、多眼カメラ部３００に対して＋Ｚ方向に該近側被写体より遠方にある同一の遠側被写体についての遠景被写体像６７ｃおよび６７ｄがそれぞれ撮影されている。図７においては、説明を容易にするために、各被写体像のそれぞれにおける各特徴部のエッジ（輪郭）のみが表示されている。また、近景被写体像６６ｃ上の画素６８ｃおよび近景被写体像６６ｄ上の画素６８ｄは、近側被写体の同一の点にそれぞれ対応した画素であり、遠景被写体像６７ｃ上の画素６９ｃおよび遠景被写体像６７ｄ上の画素６９ｄは、遠側被写体の同一の点にそれぞれ対応した画素である。また、視差９ａは、画素６８ｃと画素６８ｄとについての視差であり、視差９ｂは、画素６９ｃと画素６９ｄとについての視差である。図７においては、左画像２１ｅと右画像２２ｅとは、視差の把握を容易にするため該両画像の左端（右端）のＸ座標が等しくなるように鉛直方向（図７のＹ軸方向）に並べて表示されている。
【００９２】
なお、本願においては、左画像２１および右画像２２（後述する左目用画像２７および右目用画像２８についても同様）との間における物体の同一部分を捉えた画素の位置のずれ量、より詳細には、物体の同一部分にそれぞれ対応した左画像２１における注目画素と右画像２２における対応画素とにおいて、（２）式によって、左画像２１の画像空間における注目画素の位置（Ｘ座標）から右画像２２の画像空間における対応画素の位置（Ｘ座標）が減算された減算結果は、「視差」とも称される。
【００９３】
【数２】
【００９４】
図７に示されるように、視差９ａおよび視差９ｂは、水平方向（Ｘ軸方向）に生じている。また、多眼カメラ部３００に対する近側被写体と遠側被写体とのそれぞれの距離の差異に起因して視差９ａと視差９ｂとは異なった値となっている。より詳細には、視差９ａと視差９ｂは、ともに正の値を有しており、近側被写体に対応した視差９ａの方が遠側被写体に対応した視差９ｂよりも視差の大きさが大きくなっている。このように視差の大きさは、画像上の画素に対応した被写体上の点の多眼カメラ部３００からの距離に応じて変動する。
【００９５】
ここで、左画像２１および右画像２２（または、左目用画像２７および右目用画像２８）が立体画像として表示部４３の表示画面に表示された場合、視差の値が正であれば、左目用画像における注目画素および右目用画像における対応画素に対応した物体の同一部分は、表示画面よりも近方に観察される。また、視差の値が零であれば、該同一部分は、表示画面と同じ位置に観察される。また、視差の値が負であれば、該同一部分は、表示画面よりも遠方に観察される。
【００９６】
従って、図７に示された左画像２１と右画像２２とが、このままの状態で表示部４３の表示画面に立体画像として表示された場合には、視差９ａに対応した近側被写体上の点は、視差９ｂに対応した遠側被写体上の点よりも近方に観察されるとともに、これら２つの点は、ともに該表示画面よりも近方に観察される。従って、情報処理装置１００Ａにおいては、設定された動作モードに応じて、例えば、被写体の立体画像が表示部４３の表示画面の前後方向、または主に表示画面の後方向に観察されるように左画像２１および右画像２２の視差の調整が生成部１６によって行われる。
【００９７】
また、取得部１２は、設定された動作モードに応じて、過去の撮影動作によって撮影されて記憶装置４６に記憶された左画像２１および右画像２２を対象とした対応点探索処理を行うことによって、例えば、左画像２１の各画素にそれぞれ対応した右画像２２の各対応画素を探索し、（２）式によって左画像２１と右画像２２との間における各視差を求める。なお、取得部１２は、例えば、ＮＣＣ（Normalized Cross Correlation）法、ＳＡＤ（Sum of Absolute Difference）法、またはＰＯＣ（Phase Only Correlation）法などの相関演算手法を用いて対応点探索処理を行う。取得部１２は、左画像２１と右画像２２との間における各視差に基づいて、例えば、双方の画像における主要被写体に係る各視差の平均値などを左画像２１と右画像２２との間における各視差の代表値として取得する。
【００９８】
また、通常、被写体が撮影された画像の彩度は、撮像装置に対して被写体が近いほど彩度が高く、被写体が遠いほど彩度が低くなるので、取得部１２が、設定された動作モードに応じて、例えば、左画像２１の彩度に基づいた推定によって被写体の多眼カメラ部３００からの距離を取得してもよい。
【００９９】
取得部１２は、動作モードに応じて、多眼カメラ部３００から供給される被写体の距離６５、視差の代表値、画像情報から推定した被写体の距離のうち少なくとも１つを距離情報５８として報知部１７に供給する。なお、本願においては、「視差」と「距離」との総称として「距離情報」という用語を使用する。
【０１００】
◎生成部１６の動作：
取得部１２から左画像２１および右画像２２をそれぞれ供給されると、生成部１６は、左画像２１および右画像２２の視差の調整を行う動作モードの設定がされているか否かを確認する（図１４のステップＳ１５０）。
【０１０１】
ステップＳ１５０での確認の結果、左画像２１と右画像２２との視差の調整を行う動作モードが設定されていた場合には、生成部１６は、左画像２１と右画像２２との上述した視差の調整を行い（図１４のステップＳ１６０）、視差がそれぞれ調整された左画像２１および右画像２２を、立体画像２９を構成する左目用画像２７および右目用画像２８として生成する。
【０１０２】
ステップＳ１５０での確認の結果、左画像２１と右画像２２との視差の調整を行う動作モードが設定されていない場合には、生成部１６は、左画像２１および右画像２２をそのままの状態で、立体画像２９を構成する左目用画像２７および右目用画像２８として生成する。
【０１０３】
生成部１６によって生成された立体画像２９は、表示部４３へと供給され、表示部４３の表示画面に立体画像として表示される（図１４のステップＳ１７０）。また、立体画像２９は、記憶装置４６に供給されて記憶される。
【０１０４】
図２に示される姿勢の情報処理装置１００Ａの左カメラ６１（カメラ１０１）および右カメラ６２（カメラ１０２）によって左画像２１および右画像２２がそれぞれ撮影され、撮影された左画像２１および右画像２２に基づいて生成された立体画像２９が、図２における表示部４３に表示された場合において、表示部４３を観察する観察者の左目と右目との配列方向が、水平方向（Ｘ軸方向）である場合には、観察者の両目の配列方向と、画像間の視差の方向とが一致するため、観察者は立体を認識できる。なお、表示部４３が、例えば、パララックスバリア方式のディスプレイである場合には、表示部４３における各バリアの長手方向はＹ軸方向（鉛直方向）に沿うように設定される。
【０１０５】
また、生成された立体画像２９は、多眼カメラ部３００におけるカメラの各対のそれぞれによる被写体の撮影に基づいて生成され得る各立体画像のうち、実際の被写体における水平方向に最も近い方向の視差を有する立体画像、すなわち、該各立体画像のうち観察者が覚える被写体の向きに関する違和感が最も小さくなる立体画像である。
【０１０６】
◎報知部１７の動作：
報知部１７は、多眼カメラ部３００における３以上のカメラの相互間における各基線方向の何れか１つの基線方向を特定するとともに、特定された基線方向を水平方向とするような情報処理装置１００Ａの推奨される姿勢（「推奨姿勢」とも称される）に関する推奨姿勢情報５９（図５）を操作者に報知する。報知部１７が、推奨姿勢情報５９を、例えば、表示部４３に表示することや、不図示のスピーカ部から音声として出力することなどにより操作者に報知することによって、操作者による撮影前の情報処理装置１００Ａの姿勢決めが容易となる。
【０１０７】
図１５は、報知部１７による推奨姿勢情報５９の報知動作に係る情報処理装置１００Ａの動作フローＳ２００を例示する図である。動作フローＳ２００は、例えば、図１４に示された動作フローＳ１００におけるステップＳ１１０の開始前、または、ステップＳ１７０の終了後などにＣＰＵ１１Ａ（報知部１７）によって実行される。ステップＳ１１０の開始前の動作フローＳ２００の実施は、例えば、情報処理装置１００Ａの電源投入による情報処理装置１００Ａの初期化動作の終了後、動作フローＳ１００が開始されるまでの間に、所定の時間間隔で動作フローＳ２００が繰り返し実行されることなどによって実現される。また、ステップＳ１７０の終了後の動作フローＳ２００は、例えば、直近の立体画像２９の生成動作の結果に基づいて新たな立体画像２９の生成に用いられる左画像２１と右画像２２との撮影に係る情報処理装置１００Ａの姿勢を設定する操作を容易にするために、ステップＳ１７０の終了後、新たな動作フローＳ１００が開始されるまでの間に、所定の時間間隔で動作フローＳ２００が繰り返し実行されることなどによって実現される。
【０１０８】
動作フローＳ２００が開始されると、報知部１７は、情報処理装置１００Ａの推奨姿勢を決定するための情報を取得する（図１５のステップＳ２１０）。該推奨姿勢を決定するための情報は、具体的には、例えば、記憶装置４６に記憶された多眼カメラ部３００の各カメラの配置情報５３、表示部４３における立体画像の表示条件情報５７、および取得部１２から供給される被写体の距離情報５８、判定部１４から供給される情報処理装置１００Ａの姿勢情報５４などである。該推奨姿勢を決定するための情報が取得されると、報知部１７は、情報処理装置１００Ａの推奨姿勢を決定する（図１５のステップＳ２２０）。
【０１０９】
情報処理装置１００Ａの推奨姿勢の決定は、設定された動作モードに応じて、例えば、処理（ａ−１）、処理（ａ−２）などとして実現される。
【０１１０】
・処理（ａ−１）：
処理（ａ−１）においては、報知部１７は、被写体の距離情報５８から立体画像２９における目標視差を算出し、配置情報５３における多眼カメラ部３００の各カメラ間の基線長情報などに基づいて情報処理装置１００Ａの推奨姿勢情報を決定する。
【０１１１】
具体的には、報知部１７は、情報処理装置１００Ａに対する被写体の距離情報５８に応じて、多眼カメラ部３００における各カメラの相互間における各基線長のうち被写体の立体画像において予め設定された条件を満たす視差を生ずる１つの基線長を特定する。そして報知部１７は、特定された該１つの基線長に係る１つの基線方向が水平方向となる情報処理装置１００Ａの姿勢に基づいて情報処理装置１００Ａの推奨姿勢を決定する。
【０１１２】
ここで、観察者が表示部４３の表示面の一点を見たときの両眼の視線の輻輳角と、立体画像２９に係る立体を見たときの該輻輳角との差は、「視差角」とも称される。一般に、視差角が１度以内であれば、観察者は、表示部４３の表示面に焦点を合わせつつ表示面の前後に立体を快適に認識することができる。１度以内の視差角を与える立体画像の視差の範囲は、表示条件情報５７と、多眼カメラ部３００における各カメラの配置情報５３とに基づいて算出される。
【０１１３】
また、立体画像における、上述した予め設定された条件とは、例えば、観察者が表示部４３の表示面に焦点を合わせつつ表示面の前後に立体を快適に認識できる視差の範囲内で最も大きな視差を有することなどである。上述したように該条件は、表示条件情報５７に基づいて算出されれば精度良く算出され得るが、例えば、表示部４３に係る実際の表示条件情報５７が用いられることなく、予め設定された標準的な表示条件情報５７が用いられたとしても本発明の有用性を損なうものではない。
【０１１４】
・処理（ａ−２）：
処理（ａ−２）において、報知部１７は、表示部４３の設定可能な視差の方向情報と、情報処理装置１００Ａの姿勢情報５４とに基づいて情報処理装置１００Ａの推奨姿勢情報を決定する。
【０１１５】
具体的には、報知部１７は、表示部４３における立体画像２９の表示条件情報５７に基づいて特定された設定可能な表示部４３の各視差方向のうち、例えば、現在の情報処理装置１００Ａの姿勢において水平方向に最も近い１つの視差方向を特定するとともに、特定された該視差方向が水平方向となる情報処理装置１００Ａの姿勢を情報処理装置１００Ａの推奨姿勢として決定する。
【０１１６】
情報処理装置１００Ａの推奨姿勢が決定されると、報知部１７は、情報処理装置１００Ａの推奨姿勢に係る推奨姿勢情報５９を報知する（ステップＳ２３０）。推奨姿勢情報５９は、決定された情報処理装置１００Ａの推奨姿勢そのものとして報知されたとしても、また、現在の情報処理装置１００Ａの姿勢情報５４と、決定された情報処理装置１００Ａの推奨姿勢との差分情報として報知されたとしても本発明の有用性を損なうものではない。
【０１１７】
推奨姿勢情報５９は、報知部１７によって推奨姿勢情報５９が求められる度に報知されても良いが、例えば、決定された情報処理装置１００Ａの推奨姿勢と、判定部１４によって判定された情報処理装置１００Ａの姿勢情報５４に係る姿勢とが異なる場合にのみ推奨姿勢情報５９が報知されたとしても本発明の有用性を損なうものではない。
【０１１８】
上述したように、情報処理装置１００Ａにおいては、判定部１４によって判定された情報処理装置１００Ａの姿勢に応じて、選択部１５によって多眼カメラ部３００が有する３以上のカメラのうち相互間の基線方向が水平方向に最も近い２つのカメラが左カメラ６１および右カメラ６２として選択される。そして、選択部１５によって選択された２つのカメラによってそれぞれ撮影された被写体の左画像２１および右画像２２に基づいて被写体の立体画像が生成部１６によって生成されるので、情報処理装置１００Ａの姿勢に関わらず、実物の被写体における水平方向の視差を有する被写体の立体画像が生成される可能性を高めることができる。
【０１１９】
＜変形例について：＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【０１２０】
例えば、情報処理装置１００Ａが、その各機能要素を全て備えた筐体２００Ａによって構成されていてもよい。また、情報処理装置１００Ａが、例えば、多眼カメラ部３００および姿勢センサ４７などをそれぞれ備えたデジタルスチルカメラ、またはデジタルビデオカメラであったとしても本発明の有用性を損なうものではない。
【０１２１】
また、上述した情報処理装置１００Ａにおいては、情報処理装置１００Ａの姿勢に応じて多眼カメラ部３００の各カメラのうち左カメラ６１と右カメラ６２とが選択されるとともに、選択された左カメラ６１と右カメラ６２とによって被写体がそれぞれ撮影された左画像２１および右画像２２が取得され、左画像２１および右画像２２に基づいて立体画像２９が生成されていた。しかしながら、例えば、多眼カメラ部３００の全てのカメラによって被写体の各画像がそれぞれ撮影されるとともに、該各画像のうち選択された左カメラ６１と右カメラ６２との被写体の撮影に関する画像が左画像２１および右画像２２としてそれぞれ特定されて立体画像２９の生成に用いられたとしても本発明の有用性を損なうものではない。
【０１２２】
また、多眼カメラ部３００における３以上のカメラのうち少なくとも１つのカメラの焦点距離が可変であってもよい。より詳細には、判定部１４によって該少なくとも１つのカメラのうち１つが、左カメラ６１および右カメラ６２のうち一方として選択された場合に、選択された左カメラ６１および右カメラ６２のうち他方のカメラの焦点距離と、該一方のカメラの焦点距離とが等しくなるように該一方のカメラの焦点距離が調整されてもよい。該調整は、例えば、制御部１３が該一方のカメラの焦点距離を調整する調整手段として機能し、多眼カメラ部３００における焦点距離の制御機構を制御することなどによって行われる。
【０１２３】
左カメラ６１および右カメラ６２の焦点距離、すなわち撮影倍率が異なったとしても、それぞれのカメラの一方によって撮像された画像の解像度を他方のカメラの解像度に合わせる調整（「画像の倍率調整」）を行うことなどによって、左カメラ６１と右カメラ６２とによって撮影された左画像２１および右画像２２に基づいて、被写体の立体画像を生成できるので、左カメラ６１および右カメラ６２の焦点距離が異なったとしても本発明の有用性を損なうものではない。しかし、左カメラ６１と右カメラ６２との撮影倍率を等しく調整できれば、画像の倍率調整を行うことなく被写体の立体画像を生成することができるので処理コストを低減できるとともに、被写体の撮影に係る画角の調整が容易にすることもできる。
【０１２４】
また、図１２および図１３は、変形例に係る情報処理装置１００Ｂにおける各カメラの相互間の基線方向と表示部の視差方向との関係の１例を示す図である。情報処理装置１００Ｂは、筐体２００Ｂ、不図示の筐体２５０Ａ、および不図示のヒンジ部４００を主に備えて構成されている。情報処理装置１００Ｂは、その多眼カメラ部としてカメラ１０１〜１０４の４つのカメラを筐体２５０Ａの裏面に有していることを除いて、情報処理装置１００Ａと同様の構成を有している。
【０１２５】
カメラ１０１〜カメラ１０４の相互間の各基線方向のうちカメラ１０１および１０２と、カメラ１０１および１０３と、カメラ１０１および１０４とのそれぞれにおける基線方向９１ａ、９１ｂ、および９１ｄと、表示部４３における視差方向９２ａ、９２ｂ、および９２ｄとがそれぞれ一致している。すなわち、表示部４３は、互いに異なる予め設定された視差方向９２ａ、９２ｂ、および９２ｄに視差をそれぞれ有する各立体画像をそれぞれ表示することができる。情報処理装置１００Ｂのように表示部４３において予め設定された各視差方向と、筐体２００Ｂにおける３以上のカメラの相互間の各基線方向のうち一部の各方向とがそれぞれ一致しているとしても本発明の有用性を損なうものではない。
【符号の説明】
【０１２６】
１００Ａ，１００Ｂ 情報処理装置
２００Ａ，２００Ｂ，２５０Ａ 筐体
４００ ヒンジ部
２１ 左画像
２２ 右画像
２７ 左目用画像
２８ 右目用画像
２９ 立体画像
５１ 出力信号
５２ 操作信号
５３ 配置情報
５４ 姿勢情報
５５ 判定用情報
５６ 制御信号
５７ 表示条件情報
５８ 距離情報
５９ 推奨姿勢情報
８１ 選択情報
６１ 左カメラ
６２ 右カメラ
６６ｃ，６６ｄ 近景被写体像
６７ｃ，６７ｄ 遠景被写体像
１０１，１０２，１０３，１０４ カメラ
ｂ１，ｂ２ 基線長
ＤＬ１，ＤＬ２ データ線
【特許請求の範囲】
【請求項１】
情報処理装置であって、
２次元的または３次元的に分散配置された３以上の撮像系を有する撮像手段と、
前記情報処理装置の姿勢を判定する判定手段と、
前記判定手段によって判定された前記情報処理装置の姿勢に応じて、前記３以上の撮像系のうち相互間の基線方向が水平方向に最も近い２つの撮像系を選択撮像系として選択する選択手段と、
前記選択撮像系によってそれぞれ撮影された被写体の画像に基づいて前記被写体の立体画像を生成する生成手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
請求項１に記載された情報処理装置であって、
前記選択手段が、
前記判定手段によって判定された前記情報処理装置の姿勢が、前記３以上の撮像系のうち２つの撮像系の基線方向が水平方向と一致する姿勢であるときには、当該２つの撮像系を前記選択撮像系として選択することを特徴とする情報処理装置。
【請求項３】
請求項１または請求項２に記載された情報処理装置であって、
前記３以上の撮像系が、
仮想的な直角三角形の各頂点位置に配置された３つの撮像系を含むことを特徴とする情報処理装置。
【請求項４】
請求項３に記載された情報処理装置であって、
前記直角三角形が不等辺三角形であることを特徴とする情報処理装置。
【請求項５】
請求項３または請求項４に記載された情報処理装置であって、
ユーザに正対したときの左右方向と上下方向とがあらかじめ定義された情報伝達領域を有し、前記情報伝達領域を用いて前記情報処理装置とユーザとの間での情報の授受を行うヒューマンインターフェイス手段、
をさらに備え、
前記直覚三角形の第１辺と第２辺との方向を、前記情報伝達領域の前記左右方向と前記上下方向とにそれぞれ一致させていることを特徴とする情報処理装置。
【請求項６】
請求項５に記載された情報処理装置であって、
前記ヒューマンインターフェイス手段が、
複数の方向にそれぞれ視差を有する各立体画像をそれぞれ表示可能な表示手段を備え、
前記複数の方向は、前記３以上の撮像系の相互間の基線方向に一致していることを特徴とする情報処理装置。
【請求項７】
請求項５に記載された情報処理装置であって、
前記ヒューマンインターフェイス手段が、
複数の方向にそれぞれ視差を有する各立体画像をそれぞれ表示可能な表示手段を備え、
前記複数の方向は、前記３以上の撮像系の相互間の基線方向からなる集合の中に含まれていることを特徴とする情報処理装置。
【請求項８】
請求項１から請求項７の何れか１つの請求項に記載された情報処理装置であって、
前記３以上の撮像系の中の特定の基線方向を水平方向とするような前記情報処理装置の推奨姿勢の情報をユーザに報知する報知手段、
を更に備えたことを特徴とする情報処理装置。
【請求項９】
請求項８に記載された情報処理装置であって、
前記情報処理装置から前記被写体までの距離情報に応じて、前記３以上の撮像系の相互間における各基線長のうち被写体の立体画像において予め設定された条件を満たす視差を生ずる１つの基線長を特定するとともに、特定された該１つの基線長に係る１つの基線方向を水平方向とするような前記情報処理装置の推奨姿勢の情報をユーザに報知する報知手段、
を更に備えたことを特徴とする情報処理装置。
【請求項１０】
請求項９に記載された情報処理装置であって、
前記報知手段が、
立体画像の画像表示条件に基づいて前記１つの基線長を特定することを特徴とする情報処理装置。
【請求項１１】
請求項６または請求項７に記載された情報処理装置であって、
前記立体画像の表示における視差方向を水平方向とするような前記情報処理装置の推奨姿勢の情報をユーザに報知する報知手段、
を更に備えたことを特徴とする情報処理装置。
【請求項１２】
請求項８から請求項１１の何れか１つの請求項に記載された情報処理装置であって、
前記報知手段が、
前記判定手段によって判定された前記情報処理装置の姿勢が前記推奨姿勢とは異なる場合に、前記推奨姿勢の情報をユーザに報知することを特徴とする情報処理装置。
【請求項１３】
請求項１から請求項１２の何れか１つの請求項に記載された情報処理装置であって、
前記３以上の撮像系のうち少なくとも１つの撮像系は焦点距離が可変であり、
前記選択手段によって前記少なくとも１つの撮像系のうち１つが、前記選択撮像系のうち一方として選択された場合に、前記選択撮像系のうち他方の撮像系の焦点距離と、該一方の撮像系の焦点距離とが等しくなるように該一方の撮像系の焦点距離を調整する調整手段、
を更に備えたことを特徴とする情報処理装置。
【請求項１４】
情報処理装置に搭載されたコンピュータにおいて実行されることにより当該情報処理装置を請求項１から請求項１３の何れか１つの請求項に記載の情報処理装置として機能させることを特徴とするプログラム。
【請求項１５】
２次元的または３次元的に分散配置された３以上の撮像系を有する撮像手段を備えた情報処理装置の姿勢を判定する判定工程と、
前記判定工程によって判定された前記情報処理装置の姿勢に応じて、前記３以上の撮像系のうち相互間の基線方向が水平方向に最も近い２つの撮像系を選択撮像系として選択する選択工程と、
前記選択撮像系によってそれぞれ撮影された被写体の画像に基づいて前記被写体の立体画像を生成する生成工程と、
を備えることを特徴とする情報処理方法。
【請求項１】
情報処理装置であって、
２次元的または３次元的に分散配置された３以上の撮像系を有する撮像手段と、
前記情報処理装置の姿勢を判定する判定手段と、
前記判定手段によって判定された前記情報処理装置の姿勢に応じて、前記３以上の撮像系のうち相互間の基線方向が水平方向に最も近い２つの撮像系を選択撮像系として選択する選択手段と、
前記選択撮像系によってそれぞれ撮影された被写体の画像に基づいて前記被写体の立体画像を生成する生成手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
請求項１に記載された情報処理装置であって、
前記選択手段が、
前記判定手段によって判定された前記情報処理装置の姿勢が、前記３以上の撮像系のうち２つの撮像系の基線方向が水平方向と一致する姿勢であるときには、当該２つの撮像系を前記選択撮像系として選択することを特徴とする情報処理装置。
【請求項３】
請求項１または請求項２に記載された情報処理装置であって、
前記３以上の撮像系が、
仮想的な直角三角形の各頂点位置に配置された３つの撮像系を含むことを特徴とする情報処理装置。
【請求項４】
請求項３に記載された情報処理装置であって、
前記直角三角形が不等辺三角形であることを特徴とする情報処理装置。
【請求項５】
請求項３または請求項４に記載された情報処理装置であって、
ユーザに正対したときの左右方向と上下方向とがあらかじめ定義された情報伝達領域を有し、前記情報伝達領域を用いて前記情報処理装置とユーザとの間での情報の授受を行うヒューマンインターフェイス手段、
をさらに備え、
前記直覚三角形の第１辺と第２辺との方向を、前記情報伝達領域の前記左右方向と前記上下方向とにそれぞれ一致させていることを特徴とする情報処理装置。
【請求項６】
請求項５に記載された情報処理装置であって、
前記ヒューマンインターフェイス手段が、
複数の方向にそれぞれ視差を有する各立体画像をそれぞれ表示可能な表示手段を備え、
前記複数の方向は、前記３以上の撮像系の相互間の基線方向に一致していることを特徴とする情報処理装置。
【請求項７】
請求項５に記載された情報処理装置であって、
前記ヒューマンインターフェイス手段が、
複数の方向にそれぞれ視差を有する各立体画像をそれぞれ表示可能な表示手段を備え、
前記複数の方向は、前記３以上の撮像系の相互間の基線方向からなる集合の中に含まれていることを特徴とする情報処理装置。
【請求項８】
請求項１から請求項７の何れか１つの請求項に記載された情報処理装置であって、
前記３以上の撮像系の中の特定の基線方向を水平方向とするような前記情報処理装置の推奨姿勢の情報をユーザに報知する報知手段、
を更に備えたことを特徴とする情報処理装置。
【請求項９】
請求項８に記載された情報処理装置であって、
前記情報処理装置から前記被写体までの距離情報に応じて、前記３以上の撮像系の相互間における各基線長のうち被写体の立体画像において予め設定された条件を満たす視差を生ずる１つの基線長を特定するとともに、特定された該１つの基線長に係る１つの基線方向を水平方向とするような前記情報処理装置の推奨姿勢の情報をユーザに報知する報知手段、
を更に備えたことを特徴とする情報処理装置。
【請求項１０】
請求項９に記載された情報処理装置であって、
前記報知手段が、
立体画像の画像表示条件に基づいて前記１つの基線長を特定することを特徴とする情報処理装置。
【請求項１１】
請求項６または請求項７に記載された情報処理装置であって、
前記立体画像の表示における視差方向を水平方向とするような前記情報処理装置の推奨姿勢の情報をユーザに報知する報知手段、
を更に備えたことを特徴とする情報処理装置。
【請求項１２】
請求項８から請求項１１の何れか１つの請求項に記載された情報処理装置であって、
前記報知手段が、
前記判定手段によって判定された前記情報処理装置の姿勢が前記推奨姿勢とは異なる場合に、前記推奨姿勢の情報をユーザに報知することを特徴とする情報処理装置。
【請求項１３】
請求項１から請求項１２の何れか１つの請求項に記載された情報処理装置であって、
前記３以上の撮像系のうち少なくとも１つの撮像系は焦点距離が可変であり、
前記選択手段によって前記少なくとも１つの撮像系のうち１つが、前記選択撮像系のうち一方として選択された場合に、前記選択撮像系のうち他方の撮像系の焦点距離と、該一方の撮像系の焦点距離とが等しくなるように該一方の撮像系の焦点距離を調整する調整手段、
を更に備えたことを特徴とする情報処理装置。
【請求項１４】
情報処理装置に搭載されたコンピュータにおいて実行されることにより当該情報処理装置を請求項１から請求項１３の何れか１つの請求項に記載の情報処理装置として機能させることを特徴とするプログラム。
【請求項１５】
２次元的または３次元的に分散配置された３以上の撮像系を有する撮像手段を備えた情報処理装置の姿勢を判定する判定工程と、
前記判定工程によって判定された前記情報処理装置の姿勢に応じて、前記３以上の撮像系のうち相互間の基線方向が水平方向に最も近い２つの撮像系を選択撮像系として選択する選択工程と、
前記選択撮像系によってそれぞれ撮影された被写体の画像に基づいて前記被写体の立体画像を生成する生成工程と、
を備えることを特徴とする情報処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１９９７５９（Ｐ２０１２−１９９７５９Ａ）
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願番号】特願２０１１−６２２７１（Ｐ２０１１−６２２７１）
【出願日】平成２３年３月２２日（２０１１．３．２２）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願日】平成２３年３月２２日（２０１１．３．２２）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]