画像処理装置、画像処理装置の制御方法およびプログラム
【課題】複数の画像の視認性を維持して画像表示時における処理の負荷を低減する。
【解決手段】画像処理装置は、第１画像および第２画像を同時に表示する第１表示モードと、第２画像の第１画像との関係を第１画像と同時に表示する第２表示モードとを具備する。また、画像処理装置は、制御部を具備する。この制御部は、第１画像を表示する際に、所定条件に基づいて、第１表示モードと第２表示モードとの何れかを設定する制御を行うものである。
【解決手段】画像処理装置は、第１画像および第２画像を同時に表示する第１表示モードと、第２画像の第１画像との関係を第１画像と同時に表示する第２表示モードとを具備する。また、画像処理装置は、制御部を具備する。この制御部は、第１画像を表示する際に、所定条件に基づいて、第１表示モードと第２表示モードとの何れかを設定する制御を行うものである。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置に関する。詳しくは、画像を表示させる画像処理装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
従来、複数の撮像部により同時に生成された複数の画像（画像データ）を関連付けて記録するデジタルスチルカメラやデジタルビデオカメラ（カメラ一体型レコーダ）等の画像処理装置が提案されている。例えば、左右眼の視差を利用して立体的な視覚を得ることができる立体視画像を表示するための複数の画像（画像データ）を関連付けて記録する撮像装置が提案されている。
【０００３】
例えば、２つの光学系を用いて２つの画像（立体視画像）を生成する二眼撮像装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−２６１８２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の従来技術によれば、２つの光学系を用いて２つの画像（立体視画像）を生成することができる。このように、上述の従来技術では、２つの光学系を用いて２つの画像を生成することができるため、例えば、立体視画像以外の２つの画像（例えば、ズーム倍率が異なる２つの画像）を生成することも考えられる。
【０００６】
例えば、２つの光学系を用いて、立体視画像以外の２つの画像（例えば、ズーム倍率が異なる２つの画像）を生成する場合には、これらの２つの画像の撮像範囲が異なるため、これらの撮像範囲をユーザが容易に把握することが重要となる。
【０００７】
また、近年では、ユーザが容易に携帯することができる小型の画像処理装置（例えば、撮像装置）が普及している。このような携帯可能な画像処理装置は、バッテリ駆動により動作するものが多く、その動作時間を長くすることが重要となる。このため、例えば、撮像動作中において、画像表示時における処理の負荷を低減し、消費電力を抑制することが重要である。
【０００８】
本技術はこのような状況に鑑みて生み出されたものであり、複数の画像の視認性を維持して画像表示時における処理の負荷を低減することを目的とする。
【課題を解決するための手段】
【０００９】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、第１画像および第２画像を同時に表示する第１表示モードと、上記第２画像の上記第１画像との関係を上記第１画像と同時に表示する第２表示モードと、上記第１画像を表示する際に、所定条件に基づいて、上記第１表示モードと上記第２表示モードとの何れかを設定する制御を行う制御部とを具備する画像処理装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、第１画像を表示する際に、所定条件に基づいて、第１表示モードと第２表示モードとの何れかを設定するという作用をもたらす。
【００１０】
また、この第１の側面において、上記第１画像は、第１撮像部が被写体を撮像して生成された画像とし、上記第２画像は、第２撮像部が上記被写体を撮像して生成された画像とし、上記第２表示モードは、上記第２画像の上記第１画像との関係として、上記被写体に対する上記第１撮像部の撮像範囲と上記第２撮像部の撮像範囲との関係を表示する表示モードとするようにしてもよい。これにより、第２表示モードの設定時には、被写体に対する第１撮像部の撮像範囲と第２撮像部の撮像範囲との関係を表示するという作用をもたらす。
【００１１】
また、この第１の側面において、上記第２表示モードは、上記被写体に対する上記第１撮像部の撮像範囲と上記第２撮像部の撮像範囲との関係を表す画像として、上記第１画像上に上記第２撮像部の撮像範囲を表す付加画像を表示する表示モードとするようにしてもよい。これにより、第２表示モードの設定時には、第１画像上に第２撮像部の撮像範囲を表す付加画像を表示するという作用をもたらす。
【００１２】
また、この第１の側面において、上記制御部は、上記第１表示モードおよび上記第２表示モードの切替時において、上記第１表示モード設定時に表示される上記第２画像の位置と、上記第２表示モード設定時に上記第１画像上に表示される上記付加画像により特定される位置との間を、上記第２画像を移動させながらアニメーション表示させるための制御を行うようにしてもよい。これにより、第１表示モードおよび第２表示モードの切替時において、第１表示モード設定時に表示される第２画像の位置と、第２表示モード設定時に第１画像上に表示される付加画像により特定される位置との間を、第２画像を移動させながらアニメーション表示させるという作用をもたらす。
【００１３】
また、この第１の側面において、上記第２表示モードは、上記被写体に対する上記第１撮像部の撮像範囲と上記第２撮像部の撮像範囲との関係を表す表示態様として、上記第１画像において上記第２撮像部の撮像範囲に対応する画像と他の画像とを異なる表示態様とする表示モードとするようにしてもよい。これにより、第２表示モードの設定時には、第１画像において第２撮像部の撮像範囲に対応する画像と他の画像とを異なる表示態様とするという作用をもたらす。
【００１４】
また、この第１の側面において、上記制御部は、上記第１画像および上記第２画像のそれぞれを静止画コンテンツとして記録するための撮像モードが設定されていることを上記所定条件とし、上記所定条件を満たす場合には、上記第１表示モードを設定する制御を行うようにしてもよい。これにより、第１画像および第２画像のそれぞれを静止画コンテンツとして記録するための撮像モードが設定されている場合には、第１表示モードを設定するという作用をもたらす。
【００１５】
また、この第１の側面において、上記制御部は、上記第１画像および上記第２画像のうちの少なくとも一方を動画コンテンツとして記録するための記録処理が行われていることを上記所定条件とし、上記所定条件を満たす場合には、上記第２表示モードを設定する制御を行うようにしてもよい。これにより、第１画像および第２画像のうちの少なくとも一方を動画コンテンツとして記録するための記録処理が行われている場合には、第２表示モードを設定するという作用をもたらす。
【００１６】
また、この第１の側面において、上記制御部は、上記第２撮像部に係る光学系のズーム倍率が一定値を基準として大きいことを上記所定条件とし、上記所定条件を満たす場合には、上記第１表示モードを設定する制御を行うようにしてもよい。これにより、第２撮像部に係る光学系のズーム倍率が一定値を基準として大きい場合には、第１表示モードを設定するという作用をもたらす。
【００１７】
また、この第１の側面において、上記制御部は、上記第２画像に主要被写体が含まれていることを上記所定条件とし、上記所定条件を満たす場合には、上記第１表示モードを設定する制御を行うようにしてもよい。これにより、第２画像に主要被写体が含まれている場合には、第１表示モードを設定するという作用をもたらす。
【００１８】
また、この第１の側面において、上記制御部は、上記第２画像に主要被写体が含まれる場合であって当該主要被写体の表示サイズが上記第１画像に含まれる当該主要被写体の表示サイズを基準として大きいことを上記所定条件とし、上記所定条件を満たす場合には、上記第１表示モードを設定する制御を行うようにしてもよい。これにより、第２画像に主要被写体が含まれる場合であってその主要被写体の表示サイズが第１画像に含まれるその主要被写体の表示サイズを基準として大きい場合には、第１表示モードを設定するという作用をもたらす。
【００１９】
また、この第１の側面において、上記制御部は、低消費電力モードが設定されていることを上記所定条件とし、上記所定条件を満たす場合には、上記第２表示モードを設定する制御を行うようにしてもよい。これにより、低消費電力モードが設定されている場合には、第２表示モードを設定するという作用をもたらす。
【００２０】
また、この第１の側面において、上記制御部は、上記画像処理装置におけるバッテリ残量が所定値を基準として小さいことを上記所定条件とし、上記所定条件を満たす場合には、上記第２表示モードを設定する制御を行うようにしてもよい。これにより、画像処理装置におけるバッテリ残量が所定値を基準として小さい場合には、第２表示モードを設定するという作用をもたらす。
【００２１】
また、この第１の側面において、上記制御部は、上記第１表示モードが設定される場合において上記第１画像に主要被写体が含まれている場合には当該主要被写体と上記第２画像とが重複しないように当該第２画像の表示位置を変更する制御を行うようにしてもよい。これにより、第１表示モードの設定時において第１画像に主要被写体が含まれている場合には、その主要被写体と第２画像とが重複しないように第２画像の表示位置を変更するという作用をもたらす。
【００２２】
また、この第１の側面において、上記制御部は、上記第１表示モードが設定される場合において上記第２画像に主要被写体が含まれている場合には当該主要被写体のサイズが所定サイズとなるように当該第２画像のサイズを変更する制御を行うようにしてもよい。これにより、第１表示モードの設定時において第２画像に主要被写体が含まれている場合には、その主要被写体のサイズが所定サイズとなるように第２画像のサイズを変更するという作用をもたらす。
【００２３】
また、この第１の側面において、上記第１画像および上記第２画像は、同一被写体に対して撮像範囲が異なるように複数の撮像部によりそれぞれ生成された画像とし、上記第１表示モードは、上記第１画像上における所定位置に上記第２画像を重ねて表示する表示モードとし、上記第２表示モードは、上記第２画像の上記第１画像との関係を表す画像として、上記第１画像上に上記第２撮像部の撮像範囲を表す付加画像を表示する表示モードとするようにしてもよい。これにより、第１表示モードの設定時には、第１画像上における所定位置に第２画像を重ねて表示し、第２表示モードの設定時には、第１画像上に第２撮像部の撮像範囲を表す付加画像を表示するという作用をもたらす。
【００２４】
また、この第１の側面において、上記制御部により設定された表示モードに従って各画像を表示する表示部をさらに具備するようにしてもよい。これにより、制御部により設定された表示モードに従って各画像を表示するという作用をもたらす。
【００２５】
また、この第１の側面において、上記第１撮像部および上記第２撮像部をさらに具備するようにしてもよい。これにより、第１撮像部により第１画像を生成し、第２撮像部により第２画像を生成するという作用をもたらす。
【００２６】
また、この第１の側面において、上記第１撮像部および上記第２撮像部は、第１撮像モードが設定されている場合には立体視画像を表示するための２つの画像を生成し、第２撮像モードが設定されている場合には立体視画像以外の画像を表示するための上記第１画像および上記第２画像を生成し、上記制御部は、上記第２撮像モードが設定されている場合に上記第１表示モードと上記第２表示モードとの何れかを設定する制御を行うようにしてもよい。これにより、第１撮像モードが設定されている場合には立体視画像を表示するための２つの画像を生成し、第２撮像モードが設定されている場合には立体視画像以外の画像を表示するための第１画像および第２画像を生成し、第２撮像モードが設定されている場合に第１表示モードと第２表示モードとの何れかを設定するという作用をもたらす。
【発明の効果】
【００２７】
本技術によれば、複数の画像の視認性を維持して画像表示時における処理の負荷を低減することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００２８】
【図１】本技術の第１の実施の形態における画像処理装置１００の外観を示す斜視図である。
【図２】本技術の第１の実施の形態における画像処理装置１００の内部構成例を示すブロック図である。
【図３】本技術の第１の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。
【図４】本技術の第１の実施の形態における画像処理装置１００において２眼撮像モードが設定されている場合における表示部１７２の表示例を示す図である。
【図５】本技術の第１の実施の形態における表示部１７２に表示されるＰｉｎＰ表示の遷移例を示す図である。
【図６】本技術の第１の実施の形態における表示部１７２に表示される枠表示の遷移例を示す図である。
【図７】本技術の第１の実施の形態における画像処理装置１００の撮像動作時におけるデータの流れを模式的に示す図である。
【図８】本技術の第１の実施の形態における表示部１７２に表示される枠表示およびＰｉｎＰ表示の遷移例を示す図である。
【図９】本技術の第１の実施の形態における画像処理装置１００による表示モード設定処理の処理手順の一例を示すフローチャートである。
【図１０】本技術の第１の実施の形態における画像処理装置１００による表示モード設定処理の処理手順の一例を示すフローチャートである。
【図１１】本技術の第２の実施の形態における表示部１７２に表示される枠表示およびＰｉｎＰ表示の遷移例を示す図である。
【図１２】本技術の第２の実施の形態における画像処理装置１００による表示モード設定処理の処理手順の一例を示すフローチャートである。
【図１３】本技術の第２の実施の形態における画像処理装置１００による表示モード設定処理の処理手順の一例を示すフローチャートである。
【図１４】本技術の第３の実施の形態における表示部１７２に表示される枠表示およびＰｉｎＰ表示の遷移例を示す図である。
【図１５】本技術の第３の実施の形態における画像処理装置１００による表示モード設定処理の処理手順の一例を示すフローチャートである。
【図１６】本技術の第４の実施の形態における表示部１７２に表示される枠表示からＰｉｎＰ表示への遷移例を示す図である。
【図１７】本技術の第４の実施の形態における表示部１７２の表示領域において第２画像表示領域を配置する候補の一例を示す図である。
【図１８】本技術の第４の実施の形態における表示部１７２に表示される枠表示からＰｉｎＰ表示への遷移例を示す図である。
【図１９】本技術の第４の実施の形態における表示部１７２に表示される枠表示からＰｉｎＰ表示への遷移例を示す図である。
【図２０】本技術の第４の実施の形態における画像処理装置１００によるＰｉｎＰ表示処理の処理手順の一例を示すフローチャートである。
【図２１】本技術の第４の実施の形態における画像処理装置１００によるＰｉｎＰ表示処理の処理手順の一例を示すフローチャートである。
【図２２】本技術の第４の実施の形態における制御部２９０が第２画像表示領域の移動やサイズ変更を判断する際に用いられる主要被写体の一例を示す図である。
【図２３】本技術の実施の形態の変形例における表示部１７２に表示されるＰｉｎＰ表示の遷移例を示す図である。
【図２４】本技術の実施の形態の変形例における表示部１７２に表示される表示画面の遷移例を示す図である。
【図２５】本技術の実施の形態の変形例における画像処理装置８００の外観構成例を示す図である。
【図２６】本技術の実施の形態の変形例における画像処理装置１００および表示装置８５０の外観構成例を示す図である。
【発明を実施するための形態】
【００２９】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（表示モード設定制御：撮像動作中において、設定されている撮像モード、低消費電力モードの設定の有無、バッテリ残量に基づいて表示モードを設定する例）
２．第２の実施の形態（表示モード設定制御：撮像動作中において、動画記録動作の有無等に基づいて表示モードを設定する例）
３．第３の実施の形態（表示モード設定制御：撮像動作中において、ズーム倍率等に基づいて表示モードを設定する例）
４．第４の実施の形態（表示モード設定制御：撮像動作中において、表示モード切替時の画像の遷移をアニメーション表示する例）
５．変形例
６．変形例
７．変形例
【００３０】
＜１．第１の実施の形態＞
［画像処理装置の外観構成例］
図１は、本技術の第１の実施の形態における画像処理装置１００の外観を示す斜視図である。図１（ａ）は、画像処理装置１００の正面（すなわち、被写体に向けられるレンズが設けられている面）側の外観を示す斜視図である。また、図１（ｂ）は、画像処理装置１００の背面（すなわち、撮影者に向けられる表示部１７２が設けられている面）側の外観を示す斜視図である。
【００３１】
画像処理装置１００は、第１撮像部１１１と、第２撮像部１１２と、表示部１７２と、シャッターボタン１８５とを備える。画像処理装置１００は、被写体を撮像して画像（画像データ）を生成し、この生成された画像を画像コンテンツ（静止画コンテンツまたは動画コンテンツ）として記録媒体（図２に示すリムーバブルメディア１９２）に記録することが可能な撮像装置である。また、画像処理装置１００は、２系統の撮像素子（イメージャ）を備える立体視撮像対応の撮像装置（いわゆる、２眼カメラ）であり、立体視画像（３Ｄ画像）を表示させるための画像コンテンツを生成することができる。なお、立体視画像（３Ｄ画像）は、左右眼の視差を利用して立体的な視覚を得ることができる画像である。
【００３２】
例えば、第１撮像部１１１および第２撮像部１１２のそれぞれが被写体を撮像して２つの画像（立体視画像を表示するための左眼視用画像（左眼画像）および右眼視用画像（右眼画像））を生成する。そして、その生成された２つの画像に基づいて、立体視画像を表示させるための画像コンテンツが生成される。
【００３３】
また、画像処理装置１００は、立体視画像の撮像動作とは別に、第１撮像部１１１および第２撮像部１１２のそれぞれが独立して撮像動作を行い、設定が異なる２つの画像を生成することができる。例えば、画像処理装置１００は、一方の撮像部（例えば、第１撮像部１１１）のズームレンズをワイド端に固定した状態で、他方の撮像部（例えば、第２撮像部１１２）のズームレンズをユーザ操作に基づいて移動させながら撮像動作を行うことができる。すなわち、画像処理装置１００では、一度の撮像動作で、ワイド端の画像とズームされた画像との２つの画像を同時に生成することができる撮像モードを設定することが可能である。
【００３４】
なお、画像処理装置１００には、電源スイッチ、モード切替スイッチ、ズームボタン等の他の操作部材が備えられているが、ここでの図示および説明は省略する。
【００３５】
表示部１７２は、各種画像を表示する表示パネルである。表示部１７２として、例えば、表示部１７２における接触操作を検出することによりユーザからの操作入力を受け付けるタッチパネルを用いることができる。
【００３６】
シャッターボタン１８５は、被写体を撮像して生成された画像（画像データ）を画像コンテンツ（静止画コンテンツ）として記録する際にユーザにより押下されるボタンである。例えば、静止画を記録するための撮像モード（例えば、静止画＋静止画モード）が設定されている場合において、シャッターボタン１８５が半押しされた場合には、オートフォーカスを行うためのフォーカス制御が行われる。また、シャッターボタン１８５が全押しされた場合には、そのフォーカス制御が行われ、この全押しの際に第１撮像部１１１および第２撮像部１１２のそれぞれにより撮像された画像が関連付けて記録媒体に記録される。
【００３７】
なお、第１撮像部１１１および第２撮像部１１２については、図２を参照して詳細に説明する。
【００３８】
［画像処理装置の内部構成例］
図２は、本技術の第１の実施の形態における画像処理装置１００の内部構成例を示すブロック図である。
【００３９】
画像処理装置１００は、第１撮像部１１１と、第２撮像部１１２と、第１信号処理部１２１と、第２信号処理部１２２と、解像度変換部１３１と、画像圧縮伸張部１３２と、グラフィックエンジン１３３とを備える。また、画像処理装置１００は、ＲＯＭ（Read Only Memory）１４０と、ＲＡＭ（Random Access Memory）１５０と、ＣＰＵ（Central Processing Unit）１６０とを備える。また、画像処理装置１００は、表示部コントローラ１７１と、表示部１７２と、入力制御部１８１と、操作部１８２と、リムーバブルメディアコントローラ１９１と、リムーバブルメディア１９２と、外部インターフェース１９５とを備える。なお、画像処理装置１００を構成する各部の間で行われるやりとりは、バス１０１を介して行われる。
【００４０】
第１撮像部１１１および第２撮像部１１２は、ＣＰＵ１６０の制御に基づいて、被写体からの入射光を変換して画像（画像データ）を生成するものである。また、第１撮像部１１１および第２撮像部１１２は、立体視画像を表示するための左眼視用画像および右眼視用画像を生成するため、光学系、撮像素子のそれぞれが左右１組となるように構成されている。すなわち、第１撮像部１１１および第２撮像部１１２のそれぞれは、ズームレンズと、フォーカスレンズと、絞りと、これらの駆動部と、撮像素子とを備える。
【００４１】
なお、第１撮像部１１１および第２撮像部１１２の各構成（各レンズ、各撮像素子等）は、配置位置が異なる点以外は略同一である。このため、以下では、これらの左右の構成のうち何れかについては一部の説明を省略して説明する。
【００４２】
第１撮像部１１１は、ＣＰＵ１６０の制御に基づいて、被写体からの入射光を変換して画像データ（画像）を生成するものであり、生成された画像データを第１信号処理部１２１に供給する。
【００４３】
第１撮像部１１１の光学系を構成するズームレンズは、ＣＰＵ１６０の制御に基づいて、光軸方向に移動して焦点距離を調整するレンズである。すなわち、ズームレンズは、画像に含まれる被写体を拡大または縮小させるため、被写体に対して前後に駆動するレンズであり、ズーム機能を実現するためのレンズである。
【００４４】
第１撮像部１１１の光学系を構成するフォーカスレンズは、ＣＰＵ１６０の制御に基づいて、光軸方向に移動してフォーカス（焦点）を調整するレンズである。すなわち、フォーカスレンズは、画像に含まれる所望の対象物にフォーカスを合わせるために使用されるレンズであり、オートフォーカス機能を実現する。
【００４５】
このように、ズームレンズおよびフォーカスレンズは、被写体からの入射光を集光するレンズ群であり、これらのレンズ群により集光される光が、第１撮像部１１１の光学系を構成する絞りによりその量（光量）が調整されて撮像素子に入射される。
【００４６】
第１撮像部１１１の撮像素子は、ズームレンズ、フォーカスレンズおよび絞りを通過した入射光に光電変換処理を施し、光電変換された電気信号（画像信号）を第１信号処理部１２１に供給する撮像素子である。すなわち、撮像素子は、ズームレンズおよびフォーカスレンズを介して入射された被写体からの光を受光して光電変換を行うことにより、光の受光量に応じたアナログの画像信号を生成する。なお、撮像素子として、例えば、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等を用いることができる。
【００４７】
第１信号処理部１２１は、ＣＰＵ１６０の制御に基づいて、第１撮像部１１１から供給されたアナログの画像信号に対して各種の信号処理を施す信号処理部である。そして、第１信号処理部１２１は、各種の信号処理が施されて生成されたデジタルの画像信号（例えば、左眼視用画像）をＲＡＭ１５０に一時的に保持させる。
【００４８】
なお、第１信号処理部１２１および第２信号処理部１２２は、配置位置が異なる点以外は略同一である。このため、第２信号処理部１２２についての説明を省略する。
【００４９】
解像度変換部（Resolution Converter）１３１は、ＣＰＵ１６０からの制御信号に基づいて、入力された各種画像データを各画像処理に適した解像度に変換するものである。
【００５０】
画像圧縮伸張部１３２は、ＣＰＵ１６０からの制御信号に基づいて、入力された各種画像データを各画像処理に応じて圧縮または伸張するものである。画像圧縮伸張部１３２は、例えば、入力された各種画像データをＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）形式の画像データに圧縮または伸張する。画像圧縮伸張部１３２は、例えば、ＪＰＥＧ ＣｏｎｖｅｒｔｅｒやＣｏｄｅｃ Ｅｎｇｉｎｅに対応する。
【００５１】
グラフィックエンジン（Graphic Engine）１３３は、ＣＰＵ１６０の制御に基づいて、表示部１７２に表示させる各種画像を生成するものである。例えば、グラフィックエンジン１３３は、撮像動作中には、撮像動作に関する各種画像（例えば、図５、図６に示すアイコン表示領域３１５内のアイコン）を生成する。また、グラフィックエンジン１３３は、撮像動作中において、枠表示モードが設定されている場合には、モニタリング画像に重ねて表示される枠画像（例えば、図６に示す枠３２２、３２３）を生成する。また、グラフィックエンジン１３３は、撮像動作中において、ＰｉｎＰ（Picture in Picture）表示モードが設定されている場合には、モニタリング画像として表示される２つの画像を重畳するＭＩＸ処理を行う。例えば、図５（ａ）に示す第１画像表示領域３１１内の画像に、第２画像表示領域３１２内の画像が上書き合成される。ここで、モニタリング画像は、例えば、動画記録中または静止画の記録動作待機中に表示部１７２に表示される画像（第１撮像部１１１、第２撮像部１１２により生成される画像）である。
【００５２】
ＲＯＭ１４０は、読み出し専用のメモリであり、各種制御プログラム等を記憶するものである。
【００５３】
ＲＡＭ１５０は、ＣＰＵ１６０のメインメモリ（主記憶装置）に用いられるメモリであり、ＣＰＵ１６０において実行されるプログラムの作業領域等を備え、ＣＰＵ１６０が各種の処理を行う上で必要なプログラムやデータが一時的に保持される。また、ＲＡＭ１５０は、各種の画像処理のための画像保存領域を備える。
【００５４】
ＣＰＵ１６０は、ＲＯＭ１４０に記憶されている各種制御プログラムに基づいて、画像処理装置１００の各部を制御するものである。また、ＣＰＵ１６０は、操作部１８２により受け付けられた操作入力等に基づいて画像処理装置１００の各部を制御する。例えば、ＣＰＵ１６０は、ズーム制御、フォーカス制御、シャッター制御、画像記録処理、モード設定等の各制御を行う。例えば、ＣＰＵ１６０は、フォーカスレンズを移動させる制御信号を生成することにより、所定の被写体に対する合焦位置を検出するＡＦ（Auto Focus：オートフォーカス）制御を行う。具体的には、ＣＰＵ１６０は、第１信号処理部１２１および第２信号処理部１２２から出力された画像について、フォーカスレンズを移動させてオートフォーカス制御を行う。
【００５５】
表示部コントローラ１７１は、ＣＰＵ１６０の制御に基づいて、各種画像を表示部１７２に表示させるものである。例えば、表示部コントローラ１７１は、ＣＰＵ１６０の制御に基づいて、各種画面（例えば、図５および図６に示す各画面）を表示部１７２に表示させる。例えば、表示部コントローラ１７１は、撮像モードが設定されている場合には、第１撮像部１１１および第２撮像部１１２により生成された各画像をモニタリング画像（いわゆる、スルー画像）として表示部１７２に表示させる。
【００５６】
表示部１７２は、表示部コントローラ１７１から供給された各種画像を表示する表示部である。例えば、表示部１７２は、第１撮像部１１１および第２撮像部１１２により生成された各画像を順次表示する。表示部１７２として、例えば、有機ＥＬ（Electro Luminescence）、ＬＣＤ（Liquid Crystal Display）等の表示パネルを用いることができる。また、表示部１７２として、例えば、使用者がその指を表示面に接触または近接することにより操作入力を行うことが可能なタッチパネルを用いるようにしてもよい。
【００５７】
入力制御部１８１は、ＣＰＵ１６０からの指示に基づいて、操作部１８２により受け付けられる操作入力に関する制御を行うものである。
【００５８】
操作部１８２は、ユーザによる操作入力を受け付ける操作部であり、受け付けられた操作入力に応じた操作信号をＣＰＵ１６０に供給する。操作部１８２は、例えば、シャッターボタン１８５（図１に示す）、各種操作ボタン、各種操作ダイヤル、モード設定ボタン、ズームボタン等の操作部材に対応する。モード設定ボタンは、例えば、所望の撮像モードを設定する際（所望の撮像モードに切り替える際）に用いられる操作部材である。また、ズームボタン（Ｗ（ワイド）ボタンおよびＴ（テレ）ボタン）は、例えば、ユーザがズーム操作を行うための操作部材である。このズームボタンのＷボタンが押下されている状態では、ズームレンズがワイド端側（望遠側）に移動し、Ｔボタンが押下されている状態では、ズームレンズがテレ端側（広角側）に移動する。ここで、３Ｄ撮像モード以外の２眼撮像モードが設定されている場合において、ユーザによるズーム操作が受け付けられた場合には、２つの撮像部のうちの何れか一方（例えば、第２撮像部１１２）のズームレンズのみを移動させるものとする。また、上述したように、表示部１７２および操作部１８２については、タッチパネルにより一体で構成するようにしてもよい。
【００５９】
リムーバブルメディアコントローラ１９１は、リムーバブルメディア１９２と接続され、ＣＰＵ１６０の制御に基づいて、リムーバブルメディア１９２へのデータの読出しおよび書込みを行うものである。例えば、リムーバブルメディアコントローラ１９１は、第１撮像部１１１、第２撮像部１１２により生成された画像データ等の各種画像データを画像ファイル（画像コンテンツ）としてリムーバブルメディア１９２に記録させる。また、リムーバブルメディアコントローラ１９１は、リムーバブルメディア１９２から画像ファイル等のコンテンツを読み出してバス１０１を介してＲＡＭ１５０等に供給する。
【００６０】
リムーバブルメディア１９２は、リムーバブルメディアコントローラ１９１から供給された画像データを記録する記録デバイスである。リムーバブルメディア１９２には、例えば、ＪＰＥＧやＭＰＥＧ形式の画像データ等の各種データが記録される。
【００６１】
外部インターフェース１９５は、有線回線または無線回線を介して外部装置（例えば、表示装置８５０）と接続され、ＣＰＵ１６０からの指示に基づいて、外部装置との間で行われる通信制御を行うものである。例えば、外部インターフェース１９５は、装置間インターフェース８６０を介して表示装置８５０と接続され、ＣＰＵ１６０の制御に基づいて、表示装置８５０との間で行われる各種情報の入出力を行う。
【００６２】
ここで、第１撮像部１１１により生成された画像を静止画コンテンツとして記録する場合について説明する。例えば、第１撮像部１１１により生成され、第１信号処理部１２１により信号処理が施された画像データは、ＲＡＭ１５０に一時的に保存される。続いて、ＲＡＭ１５０に保存された画像データは、解像度変換部１３１により所定の解像度に変換され、画像圧縮伸張部１３２により圧縮（ＪＰＥＧ等）される。このように、解像度変換がされて圧縮された画像データは、リムーバブルメディアコントローラ１９１により静止画コンテンツ（静止画ファイル）として、リムーバブルメディア１９２に記録される。なお、第２撮像部１１２により生成された画像を静止画コンテンツとして記録する場合についても略同様である。
【００６３】
また、第１撮像部１１１により生成された画像を動画コンテンツとして記録する場合について説明する。例えば、第１撮像部１１１により生成され、第１信号処理部１２１により信号処理が施された画像データは、ＲＡＭ１５０に一時的に保存される。続いて、ＲＡＭ１５０に保存された画像データは、解像度変換部１３１により所定の解像度に変換され、画像圧縮伸張部１３２により圧縮（Ｈ．２６４、ＭＰＥＧ４等）される。このように、解像度変換がされて圧縮された画像データは、リムーバブルメディアコントローラ１９１により、音声データとともに動画ストリーム（動画コンテンツ）として、リムーバブルメディア１９２に記録される。なお、第２撮像部１１２により生成された画像を動画コンテンツとして記録する場合についても略同様である。
【００６４】
また、第１撮像部１１１および第２撮像部１１２を同期して動作させることにより、立体視画像（３Ｄ映像）を画像コンテンツ（立体視画像コンテンツ）として記録することができる。
【００６５】
また、第１撮像部１１１および第２撮像部１１２をそれぞれ別々に動作させることにより、ズーム倍率や露出等が異なる２つの画像コンテンツを同時に記録することができる。この２つの画像コンテンツは、例えば、ズーム倍率が異なる２つの静止画コンテンツ、ズーム倍率やフレームレートを変えた２つの動画コンテンツ、静止画コンテンツおよび動画コンテンツである。このように記録される２つの画像コンテンツについては、第１撮像部１１１および第２撮像部１１２のそれぞれにより生成される２つの画像の設定内容がそれぞれ異なる。このため、撮像動作中に２つの画像をユーザが容易に把握できることが好ましい。そこで、本技術の第１の実施の形態では、第１撮像部１１１および第２撮像部１１２のそれぞれにより生成される２つの画像を、撮像動作中にユーザが容易に把握することができる例を示す。
【００６６】
［画像処理装置の機能構成例］
図３は、本技術の第１の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。
【００６７】
画像処理装置１００は、第１画像生成部２１０と、第２画像生成部２２０と、顔検出部２３０と、操作受付部２４０と、バッテリ残量検出部２５０と、表示制御部２６０と、表示部１７２と、記録制御部２７０と、コンテンツ記憶部２８０と、制御部２９０とを備える。
【００６８】
第１画像生成部２１０および第２画像生成部２２０は、制御部２９０の制御に基づいて、被写体を撮像して画像を生成するものであり、生成された画像を、顔検出部２３０と、表示制御部２６０と、記録制御部２７０に出力する。例えば、第１画像生成部２１０および第２画像生成部２２０は、２眼撮像モードとして３Ｄ撮像モード（第１撮像モード）が設定されている場合には、立体視画像を表示するための２つの画像を生成する。また、例えば、第１画像生成部２１０および第２画像生成部２２０は、２眼撮像モードとして３Ｄ撮像モード以外の撮像モード（第２撮像モード）が設定されている場合には、立体視画像以外の画像を表示するための２つの画像（第１画像および第２画像）を生成する。この２つの画像（第１画像および第２画像）は、例えば、同一被写体に対して撮像範囲が異なるように、第１画像生成部２１０および第２画像生成部２２０によりそれぞれ生成された画像である。また、３Ｄ撮像モード以外の撮像モードは、例えば、図８等に示す静止画＋静止画モード、動画＋静止画モード、動画＋動画モードである。これらの各モードについては、図４を参照して詳細に説明する。なお、第１画像生成部２１０は、図２に示す第１撮像部１１１および第１信号処理部１２１に対応する。また、第２画像生成部２２０は、図２に示す第２撮像部１１２および第２信号処理部１２２に対応する。
【００６９】
顔検出部２３０は、第１画像生成部２１０および第２画像生成部２２０から出力された画像に含まれる人物の顔を検出するものであり、検出された顔に関する顔検出情報を制御部２９０に出力する。顔検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる顔検出方法（例えば、特開２００４−１３３６３７参照。）、画像データに含まれる肌色の部分や人間の顔の特徴量等に基づいた顔検出方法等を用いることができる。また、顔検出情報には、検出された顔の画像上における位置およびサイズが含まれる。この顔検出情報により、画像上における顔の少なくとも一部を含む顔画像（例えば、矩形状の画像）を特定することができる。なお、顔検出部２３０は、図２に示す第１信号処理部１２１、第２信号処理部１２２、または、ＣＰＵ１６０に対応する。
【００７０】
操作受付部２４０は、ユーザにより行われた操作を受け付ける操作受付部であり、受け付けられた操作内容に応じた制御信号（操作信号）を制御部２９０に出力する。操作受付部２４０は、例えば、所望の撮像モードを設定する撮像モード設定操作（撮像モード切替操作）を受け付ける。なお、操作受付部２４０は、図２に示す入力制御部１８１および操作部１８２に対応する。
【００７１】
バッテリ残量検出部２５０は、画像処理装置１００に内蔵または装着されているバッテリ（図示せず）の残量を検出するものであり、検出結果（バッテリ残量情報）を制御部２９０に出力する。なお、バッテリ残量検出部２５０は、図２に示すＣＰＵ１６０に対応する。
【００７２】
表示制御部２６０は、制御部２９０の指示に基づいて、第１画像生成部２１０および第２画像生成部２２０から出力された画像を表示部１７２に表示させるものである。例えば、表示制御部２６０は、撮像動作中において、制御部２９０により設定された表示モードに従って、モニタリング画像（例えば、図８に示す各画像）を表示部１７２に表示させる。ここで、制御部２９０により設定される表示モードは、例えば、ＰｉｎＰ表示モード（第１表示モード）または枠表示モード（第２表示モード）である。
【００７３】
ここで、ＰｉｎＰ表示モード（第１表示モード）は、第１画像生成部２１０および第２画像生成部２２０のそれぞれにより生成された２つの画像（第１画像および第２画像）を同時に表示する表示モードである。ＰｉｎＰ表示モードの設定時には、例えば、第１画像（第１画像生成部２１０により生成された画像）上における所定位置に第２画像（第２画像生成部２２０により生成された画像）が重ねて表示される。
【００７４】
また、枠表示モード（第２表示モード）は、第２画像（第２画像生成部２２０により生成された画像）の第１画像（第１画像生成部２１０により生成された画像）との関係を第１画像と同時に表示する表示モードである。例えば、第２画像の第１画像との関係として、被写体に対する第１撮像部１１１の撮像範囲と第２撮像部１１２の撮像範囲との関係が表示される。具体的には、その関係を表す画像として、第１画像上に第２撮像部１１２の撮像範囲を表す付加画像（例えば、図６に示す枠３２２、３２３）が表示される。
【００７５】
なお、表示制御部２６０は、図２に示すグラフィックエンジン１３３および表示部コントローラ１７１に対応する。また、表示部１７２は、図２に示す表示部１７２に対応するため同一の符号を付して、ここでの説明を省略する。
【００７６】
記録制御部２７０は、制御部２９０の指示に基づいて、コンテンツ記憶部２８０に対する記録制御を行うものである。例えば、記録制御部２７０は、第１画像生成部２１０および第２画像生成部２２０のそれぞれにより生成された２つの画像（画像データ）を画像コンテンツ（画像ファイル）としてコンテンツ記憶部２８０に記録させる。なお、記録制御部２７０は、図２に示すリムーバブルメディアコントローラ１９１に対応する。
【００７７】
コンテンツ記憶部２８０は、記録制御部２７０の制御に基づいて、各種情報（静止画コンテンツや動画コンテンツ）を記憶する記憶部である。なお、コンテンツ記憶部２８０は、図２に示すリムーバブルメディア１９２に対応する。
【００７８】
制御部２９０は、各種制御プログラムに基づいて、画像処理装置１００の各部を制御するものである。例えば、制御部２９０は、２眼撮像モードとして３Ｄ撮像モード以外の撮像モード（第２撮像モード）が設定されている場合において、第１画像（第１画像生成部２１０により生成された画像）を表示する際における表示モードを設定する制御を行う。すなわち、制御部２９０は、第１画像（第１画像生成部２１０により生成された画像）を表示する際に、所定条件に基づいて、ＰｉｎＰ表示モード（第１表示モード）と、枠表示モード（第２表示モード）との何れかを設定する制御を行う。
【００７９】
例えば、制御部２９０は、静止画＋静止画モードが設定されている場合（所定条件）には、ＰｉｎＰ表示モード（第１表示モード）を設定する制御を行う。
【００８０】
また、例えば、制御部２９０は、低消費電力モードが設定されている場合（所定条件）には、枠表示モード（第２表示モード）を設定する制御を行う。ここで、低消費電力モードは、画像処理装置１００において各処理が行われる場合でも、低消費電力状態を維持するためのモードである。
【００８１】
また、例えば、制御部２９０は、画像処理装置１００におけるバッテリ残量が所定値を基準として小さい場合（所定条件）には、枠表示モード（第２表示モード）を設定する制御を行う。この場合に、制御部２９０は、バッテリ残量検出部２５０から出力されたバッテリ残量情報に基づいて、画像処理装置１００におけるバッテリ残量が所定値を基準として小さいか否かを判断する。また、これらの所定条件の組み合わせに基づいて、ＰｉｎＰ表示モードおよび枠表示モードを設定するようにしてもよい。なお、制御部２９０は、図２に示すＣＰＵ１６０に対応する。
【００８２】
［２眼撮像モード設定時の表示例］
図４は、本技術の第１の実施の形態における画像処理装置１００において２眼撮像モードが設定されている場合における表示部１７２の表示例を示す図である。なお、図４では、２眼撮像モードとして、３Ｄ撮像モード以外の撮像モードが設定されている場合における表示例を示す。
【００８３】
ここで、３Ｄ撮像モード以外の撮像モードは、例えば、静止画＋静止画モード、動画＋静止画モード、動画＋動画モードである。静止画＋静止画モードは、２つの撮像部（第１撮像部１１１、第２撮像部１１２）により生成された２つの画像（１つの画像の撮像範囲（ズーム倍率）を変更可能）を静止画コンテンツとして記録するための撮像モードである。また、動画＋静止画モードは、一方の撮像部（例えば、第１撮像部１１１）により生成された画像を動画コンテンツとして記録し、他方の撮像部（例えば、第２撮像部１１２）により生成された画像を静止画コンテンツとして記録するための撮像モードである。なお、動画＋静止画モードでは、静止画コンテンツとして記録される画像の撮像範囲（ズーム倍率）を変更可能とすることができる。また、動画＋動画モードは、２つの撮像部（第１撮像部１１１、第２撮像部１１２）により生成された２つの画像（１つの画像の撮像範囲（ズーム倍率）を変更可能）を動画コンテンツとして記録するための撮像モードである。
【００８４】
図４（ａ）には、ＰｉｎＰ表示モードが設定されている場合における表示構成例を示す。ＰｉｎＰ表示モードは、第１撮像部１１１により生成された画像上に、第２撮像部１１２により生成された画像を重ねて表示させる表示モードである。例えば、表示部１７２における第１画像表示領域３０１には、ワイド端の画像（例えば、第１撮像部１１１により生成された画像）が表示される。一方、表示部１７２における第２画像表示領域３０２には、ズーム操作に応じた画像（例えば、第２撮像部１１２により生成された画像）が表示される。なお、図４（ａ）では、表示部１７２における全ての表示領域（すなわち、全画面）を第１画像表示領域３０１とし、表示部１７２における右下の領域を第２画像表示領域３０２とする例を示す。
【００８５】
ここで、第２撮像部１１２のズーム倍率が変更された場合には、第２画像表示領域３０２のサイズを変更するようにしてもよく、一定とするようにしてもよい。なお、ズーム倍率を変更するためのズーム操作は、操作部１８２における操作入力（例えば、ズームボタンの押下操作）により行われる。また、第２撮像部１１２のズーム倍率が変更された場合における表示遷移例については、図５に示す。
【００８６】
図４（ｂ）には、枠表示モードが設定されている場合における表示構成例を示す。枠表示モードは、第１撮像部１１１により生成された画像上に、第２撮像部１１２により生成された画像の撮像範囲を表す枠（付加画像）を重ねて表示させる表示モードである。例えば、表示部１７２における第１画像表示領域３０１には、第１撮像部１１１により生成された画像が表示され、この画像上には、第２撮像部１１２により生成された画像の撮像範囲を表す枠３０５が重ねて表示される。
【００８７】
ここで、第２撮像部１１２のズーム倍率が変更された場合には、第２撮像部１１２により生成される画像の撮像範囲が変更されるため、この変更に応じて枠３０５が拡大または縮小される。例えば、ズーム倍率を拡大するためのユーザ操作（例えば、Ｔボタンの押下操作）が行われた場合には、枠３０５が矢印３０８方向に縮小され、枠３０６（点線で示す）となる。一方、ズーム倍率を縮小するためのユーザ操作（例えば、Ｗボタンの押下操作）が行われた場合には、枠３０５が矢印３０９方向に拡大され、枠３０７（点線で示す）となる。なお、第２撮像部１１２のズーム倍率が、第１撮像部１１１のズーム倍率と同一となった場合には、表示部１７２における第１画像表示領域３０１の外枠と枠３０５とが一致する。なお、第２撮像部１１２のズーム倍率が変更された場合における表示遷移例については、図６に示す。
【００８８】
［ＰｉｎＰ表示モード設定時の表示遷移例］
図５は、本技術の第１の実施の形態における表示部１７２に表示されるＰｉｎＰ表示の遷移例を示す図である。なお、図５では、第１撮像部１１１により生成された画像（第１画像表示領域３１１内の画像）上には、撮像動作時に用いられるアイコンが表示されるアイコン表示領域３１５が設けられている例を示す。なお、これ以降で示す各図についても、アイコン表示領域３１５が設けられている例を示すため、これ以降では、同一の符号を付してアイコン表示領域３１５の説明を省略する。
【００８９】
図５（ａ）には、ワイド側へのズーム操作が行われた場合に表示部１７２に表示される画像（第１画像表示領域３１１内の画像）および画像（第２画像表示領域３１２内の画像）を示す。また、図５（ｂ）には、テレ側へのズーム操作が行われた場合に表示部１７２に表示される画像（第１画像表示領域３１１内の画像）および画像（第２画像表示領域３１３内の画像）を示す。なお、実際のズーム操作時において、第１画像表示領域３１１内の画像に含まれる被写体が移動することがあるが、図５では、説明の容易のため、ズーム操作の前後において、第１画像表示領域３１１内の画像には同一の被写体が含まれるものとして説明する。また、これ以降で示す画像についても、ズーム操作の前後において同一の被写体が含まれるものとして説明する。なお、図５では、第２撮像部１１２により生成された画像が表示される表示領域（第２画像表示領域３１２、３１３）のサイズを一定とする例を示す。
【００９０】
図４（ａ）で示したように、ＰｉｎＰ表示モードの設定時には、第１撮像部１１１により生成された画像（第１画像表示領域３１１内の画像）上に、第２撮像部１１２により生成された画像（第２画像表示領域３１２、３１３内の画像）を重ねて表示させる。また、第１撮像部１１１により生成された画像の撮像範囲は、一定（ワイド端に固定）である。これに対して、第２撮像部１１２により生成された画像の撮像範囲は、ユーザによりズーム操作が行われた場合には、そのズーム操作に応じて変更される。例えば、図５の矢印に示すように、ユーザにより行われたズーム操作に応じて、第２撮像部１１２により生成された画像（第２画像表示領域３１２、３１３内の画像）が表示される。
【００９１】
［枠表示モード設定時の表示遷移例］
図６は、本技術の第１の実施の形態における表示部１７２に表示される枠表示の遷移例を示す図である。
【００９２】
図６（ａ）には、ワイド側へのズーム操作が行われた場合に表示部１７２に表示される画像（第１画像表示領域３２１内の画像）および枠３２２を示す。また、図６（ｂ）には、テレ側へのズーム操作が行われた場合に表示部１７２に表示される画像（第１画像表示領域３２１内の画像）および枠３２３を示す。
【００９３】
図４（ｂ）で示したように、枠表示モードの設定時には、第１撮像部１１１により生成された画像（第１画像表示領域３２１内の画像）上に、第２撮像部１１２により生成された画像の撮像範囲を表す枠３２２、３２３を重ねて表示させる。また、図４（ｂ）と同様に、第１撮像部１１１により生成された画像の撮像範囲は、一定（ワイド端に固定）であるのに対し、第２撮像部１１２により生成された画像の撮像範囲は、ユーザによりズーム操作が行われた場合には、そのズーム操作に応じて変更される。例えば、図６の矢印に示すように、第２撮像部１１２により生成される画像の撮像範囲の変更に応じて枠３２２、３２３が表示される。
【００９４】
［撮像モード設定時におけるデータフロー例］
図７は、本技術の第１の実施の形態における画像処理装置１００の撮像モード設定時におけるデータの流れを模式的に示す図である。
【００９５】
図７では、画像処理装置１００において、３Ｄ撮像モード以外の２眼撮像モードが設定されている場合を想定する。この場合には、第１撮像部１１１では、ズームレンズがワイド端に固定された状態で撮像処理が行われるものとする。一方、第２撮像部１１２では、ユーザによるズーム操作に応じてズームレンズが移動しながら撮像処理が行われるものとする。
【００９６】
図７（ａ）には、撮像モードとして動画＋静止画モードが設定され、表示モードとしてＰｉｎＰ表示モードが設定されている場合におけるデータの流れの一例を示す。この場合には、第１撮像部１１１では、ズームレンズがワイド端に固定された状態で動画の撮像処理４０１が行われ、第２撮像部１１２では、ユーザによるズーム操作（ズーム処理４１１）に応じてズームレンズが移動しながら静止画の撮像処理４０４が行われる。
【００９７】
図７（ａ）に示す例では、第１撮像部１１１による撮像処理４０１により生成された画像データについて、第１信号処理部１２１により信号処理４０２が行われ、解像度変換部１３１により解像度変換処理４０３が行われる。また、第２撮像部１１２による撮像処理４０４により生成された画像データについて、第２信号処理部１２２により信号処理４０５が行われ、解像度変換部１３１により解像度変換処理４０６が行われる。このように生成された２つの画像データについて、ＭＩＸ処理４０７が行われ、このＭＸＩ処理４０７が施された画像データについて表示部コントローラ１７１により表示処理４０８が行われる。
【００９８】
ここで、ＭＩＸ処理４０７は、グラフィックエンジン１３３により行われる。また、解像度変換部１３１により解像度変換処理４０３が行われた画像データと、解像度変換部１３１により解像度変換処理４０６が行われた画像データとをＲＡＭ１５０に順次貼り付けることによりＭＩＸ処理４０７を行うようにしてもよい。
【００９９】
ここで、動画記録指示操作が行われた場合には、画像データ（動画データ）の記録処理４１０が行われる。すなわち、解像度変換部１３１により解像度変換処理４０３が行われた画像データについて画像圧縮伸張部１３２によりエンコード処理４０９が行われる。続いて、エンコード処理４０９が施された画像データについてリムーバブルメディアコントローラ１９１により記録処理４１０が行われる。
【０１００】
このように、動画＋静止画モードが設定され、ＰｉｎＰ表示モードが設定されている場合において、動画の記録処理４１０が行われている場合には、解像度変換処理４０６およびＭＩＸ処理４０７とともに、エンコード処理４０９が行われる。このため、システム負荷が高くなるため、消費電力が増加し、バッテリ容量が低下する。また、システム負荷が高くなるため、これを実現するためには、リッチなシステムとする必要があり、高コスト化に繋がるおそれがある。
【０１０１】
図７（ｂ）には、撮像モードとして静止画＋静止画モードが設定され、表示モードとして枠表示モードが設定されている場合におけるデータの流れの一例を示す。この場合についても、第１撮像部１１１では、ズームレンズがワイド端に固定された状態で動画の撮像処理４２１が行われる。また、第２撮像部１１２では、ユーザによるズーム操作（ズーム処理４３０）に応じてズームレンズが移動しながら静止画の撮像処理４２４が行われる。
【０１０２】
図７（ｂ）に示す例では、第１撮像部１１１による撮像処理４２１により生成された画像データについて、第１信号処理部１２１により信号処理４２２が行われ、解像度変換部１３１により解像度変換処理４２３が行われる。このように生成された画像データについて、ユーザによるズーム操作（ズーム処理４３０）に応じた枠付加処理４２６が行われ、この枠付加処理４２６が施された画像データについて表示部コントローラ１７１により表示処理４２７が行われる。なお、枠付加処理４２６は、グラフィックエンジン１３３により行われる。
【０１０３】
このように、枠表示モードの設定時には、表示部１７２に実際に表示される画像は、一方の画像（第１撮像部１１１により生成される画像）のみである。このため、例えば、枠表示モードの設定時には、第２撮像部１１２により生成された画像を表示させる必要がないため、第２撮像部１１２の撮像素子の動作（例えば、読出動作）を停止させることができる。これにより、システム負荷を低減させることができ、消費電力を削減することができる。また、システム負荷の低減により画像処理装置１００の温度上昇を抑制することができる。ただし、静止画撮像動作のためのＡＦ（Auto Focus）処理を行う必要があるため、定期的または不定期に、第２撮像部１１２による撮像処理４２４により生成された画像データについて、第２信号処理部１２２により信号処理４２５が行われる。また、ユーザによりシャッターボタン１８５が押下された場合（全押しまたは半押し）には、第２撮像部１１２の撮像素子を動作させる。
【０１０４】
また、枠表示モードの設定時には、各撮像部（第１撮像部１１１、第２撮像部１１２）の撮像範囲を迅速に把握し易い。ただし、ズーム倍率が上がった場合には、枠が狭くなるため、視認性が悪くなるおそれがある。また、立体視画像（３Ｄ画像）は、左右眼の視差を利用して立体的な視覚を得るための画像であるため、左眼視用画像および右眼視用画像において左右方向に多少のズレが生じる。このため、枠表示モードの設定時において、枠内に表示される画像と実際の画像との間で、左右方向に多少のズレが生じることも想定される。
【０１０５】
また、ＰｉｎＰ表示モードの設定時には、各撮像部（第１撮像部１１１、第２撮像部１１２）により生成される画像が表示されるため、各撮像部の撮像範囲を視認し易い。また、ＰｉｎＰ表示モードの設定時には、記録対象となる２つの画像が表示されるため、例えば、高倍率ズームとなった場合でも、記録対象となる画像を詳細に見ることができる。ただし、ＰｉｎＰ表示モードの設定時には、表示部１７２に両方の画像（第１撮像部１１１、第２撮像部１１２により生成される画像）を表示するための処理を行う必要が生じるため、システム負荷が高くなり、消費電力が増加するおそれがある。
【０１０６】
このように、枠表示モードは、視認性が低いが、システム負荷が低く、消費電力を低減させることができる。一方、ＰｉｎＰ表示モードは、システム負荷が高く、消費電力が増加するが、視認性を高くすることができる。このため、画像処理装置１００の使用状況に応じて、枠表示モードおよびＰｉｎＰ表示モードを適切に設定することが重要である。
【０１０７】
そこで、本技術の第１の実施の形態では、画像処理装置１００の使用状況に応じて、枠表示モードおよびＰｉｎＰ表示モードを適切に設定する例を示す。
【０１０８】
［枠表示モードおよびＰｉｎＰ表示モードの遷移例］
図８は、本技術の第１の実施の形態における表示部１７２に表示される枠表示およびＰｉｎＰ表示の遷移例を示す図である。
【０１０９】
図８では、２眼撮像モード（３Ｄ撮像モード以外）として、静止画＋静止画モードが設定されている場合にのみ、ＰｉｎＰ表示モードが設定され、その他のモードが設定されている場合には、枠表示モードが設定される例を示す。ただし、静止画＋静止画モードの設定時でも、低消費電力モードが設定されている場合には、枠表示モードが設定される。また、静止画＋静止画モードの設定時（低消費電力モードが未設定）でも、バッテリ残量が少なくなった場合には、枠表示モードが設定される。
【０１１０】
すなわち、図８では、ユーザ操作により撮像モードのモード切替が行われた場合と、バッテリ残量が所定値を基準として小さくなった場合とに、枠表示モードおよびＰｉｎＰ表示モードが切り替えられる例を示す。
【０１１１】
図８（ａ）には、枠表示モードが設定されている場合における遷移例を示す。この遷移例は、図６に示す遷移例に対応する。
【０１１２】
図８（ｂ）には、ＰｉｎＰ表示モードが設定されている場合における遷移例を示す。この遷移例は、図５に遷移例に対応する。
【０１１３】
例えば、枠表示モードの設定時（図８（ａ）に示す）において、静止画＋静止画モードへの切替操作が行われた場合には、矢印３４１に示すように、ＰｉｎＰ表示モード（図８（ｂ）に示す）に切り替えられる。
【０１１４】
また、例えば、ＰｉｎＰ表示モードの設定時（図８（ｂ）に示す）において、静止画＋静止画モード以外のモードへの切替操作が行われた場合には、矢印３４１に示すように、枠表示モード（図８（ａ）に示す）に切り替えられる。ここで、静止画＋静止画モード以外のモードは、例えば、動画＋静止画モードまたは動画＋動画モードである。また、低消費電力モードへの切替操作が行われた場合についても同様に、矢印３４１に示すように、枠表示モード（図８（ａ）に示す）に切り替えられる。
【０１１５】
また、例えば、ＰｉｎＰ表示モードの設定時（図８（ｂ）に示す）において、バッテリ残量が所定値を基準として小さくなった場合には、矢印３４２に示すように、枠表示モード（図８（ａ）に示す）に切り替えられる。
【０１１６】
［画像処理装置の動作例］
図９および図１０は、本技術の第１の実施の形態における画像処理装置１００による表示モード設定処理の処理手順の一例を示すフローチャートである。
【０１１７】
最初に、制御部２９０は、撮像モードを設定するための設定操作が行われたか否かを判断し（ステップＳ９０１）、撮像モードを設定するための設定操作が行われていない場合には、監視を継続して行う。撮像モードを設定するための設定操作が行われた場合には（ステップＳ９０１）、制御部２９０は、その設定された撮像モードは、２眼撮像モードであるか否かを判断する（ステップＳ９０２）。
【０１１８】
その設定された撮像モードが２眼撮像モードでない場合（すなわち、１眼撮像モードである場合）には（ステップＳ９０２）、１眼撮像処理が行われる（ステップＳ９０３）。そして、制御部２９０は、撮像モードのモード切替操作があったか否かを判断し（ステップＳ９０４）、撮像モードのモード切替操作があった場合には、ステップＳ９０２に戻る。撮像モードのモード切替操作がない場合には（ステップＳ９０４）、制御部２９０は、撮像モード終了操作があったか否かを判断し（ステップＳ９０５）、撮像モード終了操作がない場合には、ステップＳ９０３に戻る。一方、撮像モード終了操作があった場合には（ステップＳ９０５）、撮像モード終了処理が行われ（ステップＳ９２３）、表示モード設定処理の動作を終了する。
【０１１９】
また、設定された撮像モードが２眼撮像モードである場合には（ステップＳ９０２）、制御部２９０は、その設定された撮像モードは、３Ｄ撮像モードであるか否かを判断する（ステップＳ９０６）。その設定された撮像モードが３Ｄ撮像モードである場合には（ステップＳ９０６）、３Ｄ撮像処理が行われる（ステップＳ９０７）。そして、制御部２９０は、撮像モードのモード切替操作があったか否かを判断し（ステップＳ９０８）、撮像モードのモード切替操作があった場合には、ステップＳ９０２に戻る。撮像モードのモード切替操作がない場合には（ステップＳ９０８）、制御部２９０は、撮像モード終了操作があったか否かを判断し（ステップＳ９０９）、撮像モード終了操作がない場合には、ステップＳ９０７に戻る。一方、撮像モード終了操作があった場合には（ステップＳ９０９）、撮像モード終了処理が行われ（ステップＳ９２３）、表示モード設定処理の動作を終了する。
【０１２０】
また、設定された撮像モードが３Ｄ撮像モードでない場合には（ステップＳ９０６）、制御部２９０は、その設定された撮像モードは、静止画＋静止画モードであるか否かを判断する（ステップＳ９１０）。その設定された撮像モードが静止画＋静止画モードでない場合には（ステップＳ９１０）、制御部２９０は、その設定された撮像モードは、動画＋静止画モードであるか否かを判断する（ステップＳ９１１）。そして、その設定された撮像モードが動画＋静止画モードでない場合（すなわち、動画＋動画モードである場合）には（ステップＳ９１０）、制御部２９０は、動画＋動画モードを設定するための制御を行う（ステップＳ９１２）。続いて、枠表示モードが設定され、枠表示処理が行われる（ステップＳ９１６）。例えば、図６、図８（ａ）に示す枠表示処理が行われる。なお、ステップＳ９１６は、特許請求の範囲に記載の第２表示手順の一例である。
【０１２１】
また、その設定された撮像モードが動画＋静止画モードである場合には（ステップＳ９１０）、制御部２９０は、動画＋静止画モードを設定するための制御を行う（ステップＳ９１３）。続いて、枠表示モードが設定され、枠表示処理が行われる（ステップＳ９１６）。
【０１２２】
また、設定された撮像モードが静止画＋静止画モードである場合には（ステップＳ９１０）、制御部２９０は、静止画＋静止画モードを設定するための制御を行う（ステップＳ９１４）。続いて、制御部２９０は、低消費電力モードが設定されているか否かを判断し（ステップＳ９１５）、低消費電力モードが設定されている場合には（ステップＳ９１５）、枠表示モードが設定され、枠表示処理が行われる（ステップＳ９１６）。一方、低消費電力モードが設定されていない場合には（ステップＳ９１５）、ＰｉｎＰ表示モードが設定され、ＰｉｎＰ表示処理が行われる（ステップＳ９２４）。例えば、図５、図８（ｂ）に示すＰｉｎＰ表示処理が行われる。なお、ステップＳ９２４は、特許請求の範囲に記載の第１表示手順の一例である。
【０１２３】
また、制御部２９０は、ユーザ操作が行われたか否かを判断し（ステップＳ９１７）、ユーザ操作が行われていない場合には、ステップＳ９１６に戻る。一方、ユーザ操作が行われた場合には（ステップＳ９１７）、制御部２９０は、そのユーザ操作が、撮像モードのモード切替操作であるか否かを判断し（ステップＳ９１８）、撮像モードのモード切替操作である場合には、ステップＳ９０２に戻る。
【０１２４】
また、撮像モードのモード切替操作でない場合には（ステップＳ９１９）、制御部２９０は、そのユーザ操作が、ズーム操作であるか否かを判断する（ステップＳ９１９）。そして、ズーム操作である場合には（ステップＳ９１９）、制御部２９０は、そのズーム操作に応じて表示対象となる枠の位置を変更するための制御を行い（ステップＳ９２０）、ステップＳ９１６に戻る。一方、ズーム操作でない場合には（ステップＳ９１９）、制御部２９０は、そのユーザ操作が、撮像モード終了操作であるか否かを判断する（ステップＳ９２１）。そして、撮像モード終了操作でない場合には（ステップＳ９２１）、ユーザ操作に応じた処理が行われ（ステップＳ９２２）、ステップＳ９１６に戻る。一方、撮像モード終了操作である場合には（ステップＳ９２１）、撮像モード終了処理が行われ（ステップＳ９２３）、表示モード設定処理の動作を終了する。
【０１２５】
また、制御部２９０は、バッテリ残量は所定値以下であるか否かを判断し（ステップＳ９２５）、バッテリ残量が所定値以下である場合には、ステップＳ９１６に進む。一方、バッテリ残量が所定値以下でない場合には（ステップＳ９２５）、ユーザ操作が行われたか否かを判断し（ステップＳ９２６）、ユーザ操作が行われていない場合には、ステップＳ９２４に戻る。一方、ユーザ操作が行われた場合には（ステップＳ９２６）、制御部２９０は、そのユーザ操作が、撮像モードのモード切替操作であるか否かを判断し（ステップＳ９２７）、撮像モードのモード切替操作である場合には、ステップＳ９０２に戻る。
【０１２６】
また、撮像モードのモード切替操作でない場合には（ステップＳ９２７）、制御部２９０は、そのユーザ操作が、ズーム操作であるか否かを判断し（ステップＳ９２８）、ズーム操作である場合には、ステップＳ９２４に戻る。一方、ズーム操作でない場合には（ステップＳ９２８）、制御部２９０は、そのユーザ操作が、撮像モード終了操作であるか否かを判断する（ステップＳ９２９）。そして、撮像モード終了操作でない場合には（ステップＳ９２９）、ユーザ操作に応じた処理が行われ（ステップＳ９３０）、ステップＳ９２４に戻る。一方、撮像モード終了操作である場合には（ステップＳ９２９）、撮像モード終了処理が行われ（ステップＳ９２３）、表示モード設定処理の動作を終了する。なお、ステップＳ９０１、Ｓ９０２、Ｓ９０６、Ｓ９１０乃至Ｓ９１５、Ｓ９２５は、特許請求の範囲に記載に制御手順の一例である。
【０１２７】
このように、本技術の第１の実施の形態によれば、画像処理装置１００の使用状況に応じて、枠表示モードおよびＰｉｎＰ表示モードを適切に設定することができる。この場合に、ユーザは、表示モードの設定に関する操作等を行う必要がないため、撮像動作時におけるユーザの負荷を低減させることができる。また、ユーザが表示モードの設定に関する操作等を行わなくても最適なモニタリング表示を順次提供することができる。すなわち、複数の画像の視認性を維持することができ、画像表示時における処理の負荷（システム負荷）を低減し、消費電力を抑制することができる。また、システム負荷の低減により画像処理装置１００の温度上昇を抑制することができる。
【０１２８】
＜２．第２の実施の形態＞
本技術の第１の実施の形態では、動画モード（動画＋静止画モード、動画＋動画モード）の設定時には、枠表示モードを設定する例を示した。しかしながら、動画モード（動画＋静止画モード、動画＋動画モード）の設定時であっても、動画記録動作を行っていない場合（すなわち、動画記録指示操作が行われていない場合）には、システム負荷が少ないと想定される。
【０１２９】
そこで、本技術の第２の実施の形態では、動画モード（動画＋静止画モード、動画＋動画モード）の設定時であっても、動画記録動作を行っていない場合には、ＰｉｎＰ表示モードを設定する例を示す。なお、本技術の第２の実施の形態における画像処理装置の構成については、図１乃至図３等に示す例と略同様である。このため、本技術の第１の実施の形態と共通する部分については、その説明の一部を省略する。
【０１３０】
［枠表示モードおよびＰｉｎＰ表示モードの遷移例］
図１１は、本技術の第２の実施の形態における表示部１７２に表示される枠表示およびＰｉｎＰ表示の遷移例を示す図である。
【０１３１】
図１１では、低消費電力モードの設定時にのみ、枠表示モードが設定され、その他のモードの設定時には、ＰｉｎＰ表示モードが設定される例を示す。ただし、動画＋動画モードまたは動画＋静止画モードの設定時において、動画記録動作が開始された場合（すなわち、動画記録指示操作が行われた場合）には、枠表示モードが設定される。また、動画＋動画モードまたは動画＋静止画モードの設定時において、動画記録動作が終了した場合（すなわち、動画記録終了操作が行われた場合）には、ＰｉｎＰ表示モードが設定される。
【０１３２】
すなわち、図１１では、ユーザ操作により撮像モードのモード切替が行われた場合と、動画記録指示操作が行われた場合と、動画記録終了操作が行われた場合とに、枠表示モードおよびＰｉｎＰ表示モードが切り替えられる例を示す。
【０１３３】
図１１（ａ）には、枠表示モードが設定されている場合における遷移例を示す。この遷移例は、図６に示す遷移例に対応する。
【０１３４】
図１１（ｂ）には、ＰｉｎＰ表示モードが設定されている場合における遷移例を示す。この遷移例は、図５に遷移例に対応する。
【０１３５】
例えば、枠表示モードの設定時（図１１（ａ）に示す）において、低消費電力モードの解除操作が行われた場合には、矢印３５１に示すように、ＰｉｎＰ表示モード（図１１（ｂ）に示す）に切り替えられる。一方、ＰｉｎＰ表示モードの設定時（図１１（ｂ）に示す）において、低消費電力モードの設定操作が行われた場合には、矢印３５１に示すように、枠表示モード（図１１（ａ）に示す）に切り替えられる。
【０１３６】
また、例えば、ＰｉｎＰ表示モードの設定時（動画＋動画モードまたは動画＋静止画モードの設定時）（図１１（ｂ）に示す）において、動画記録指示操作が行われた場合には、矢印３５２に示すように、枠表示モード（図１１（ａ）に示す）に切り替えられる。一方、枠表示モードの設定時（動画＋動画モードまたは動画＋静止画モードの設定時）（図１１（ａ）に示す）において、動画記録終了操作が行われた場合には、矢印３５３に示すように、ＰｉｎＰ表示モード（図１１（ｂ）に示す）に切り替えられる。
【０１３７】
［画像処理装置の動作例］
図１２および図１３は、本技術の第２の実施の形態における画像処理装置１００による表示モード設定処理の処理手順の一例を示すフローチャートである。なお、図１２および図１３は、図９および図１０の変形例であるため、図９および図１０と共通する部分については、同一の符号を付して、その説明の一部を省略する。
【０１３８】
静止画＋静止画モードが設定された後に（ステップＳ９１４）、制御部２９０は、低消費電力モードが設定されているか否かを判断する（ステップＳ９３１）。そして、低消費電力モードが設定されている場合には（ステップＳ９３１）、枠表示モードが設定され、枠表示処理が行われる（ステップＳ９４０）。一方、低消費電力モードが設定されていない場合には（ステップＳ９３１）、ＰｉｎＰ表示モードが設定され、ＰｉｎＰ表示処理が行われる（ステップＳ９３２）。
【０１３９】
続いて、制御部２９０は、ユーザ操作が行われたか否かを判断し（ステップＳ９３３）、ユーザ操作が行われていない場合には、ステップＳ９３２に戻る。一方、ユーザ操作が行われた場合には（ステップＳ９３３）、制御部２９０は、そのユーザ操作が、撮像モードのモード切替操作であるか否かを判断し（ステップＳ９３４）、撮像モードのモード切替操作である場合には、ステップＳ９０２に戻る。
【０１４０】
また、撮像モードのモード切替操作でない場合には（ステップＳ９３４）、制御部２９０は、そのユーザ操作が、ズーム操作であるか否かを判断し（ステップＳ９３５）、ズーム操作である場合には、ステップＳ９３２に戻る。一方、ズーム操作でない場合には（ステップＳ９３５）、制御部２９０は、そのユーザ操作が、動画記録開始操作であるか否かを判断する（ステップＳ９３６）。そして、動画記録開始操作である場合には（ステップＳ９３６）、ステップＳ９４０に進む。一方、動画記録開始操作でない場合には（ステップＳ９３６）、制御部２９０は、そのユーザ操作が、撮像モード終了操作であるか否かを判断する（ステップＳ９３７）。そして、撮像モード終了操作でない場合には（ステップＳ９３７）、ユーザ操作に応じた処理が行われ（ステップＳ９３８）、ステップＳ９３２に戻る。一方、撮像モード終了操作である場合には（ステップＳ９３７）、撮像モード終了処理が行われ（ステップＳ９３９）、表示モード設定処理の動作を終了する。
【０１４１】
また、制御部２９０は、ユーザ操作が行われたか否かを判断し（ステップＳ９４１）、ユーザ操作が行われていない場合には、ステップＳ９４０に戻る。一方、ユーザ操作が行われた場合には（ステップＳ９４１）、制御部２９０は、そのユーザ操作が、動画記録終了操作であるか否かを判断する（ステップＳ９４２）。そして、動画記録終了操作である場合には（ステップＳ９４２）、ステップＳ９３２に進む。一方、動画記録終了操作でない場合には（ステップＳ９４２）、制御部２９０は、そのユーザ操作が、撮像モード終了操作であるか否かを判断し（ステップＳ９４３）、撮像モードのモード切替操作である場合には、ステップＳ９０２に戻る。
【０１４２】
また、撮像モードのモード切替操作でない場合には（ステップＳ９４３）、制御部２９０は、そのユーザ操作が、ズーム操作であるか否かを判断する（ステップＳ９４４）。そして、ズーム操作である場合には（ステップＳ９４４）、制御部２９０は、そのズーム操作に応じて表示対象となる枠の位置を変更するための制御を行い（ステップＳ９４５）、ステップＳ９４０に戻る。一方、ズーム操作でない場合には（ステップＳ９４４）、制御部２９０は、そのユーザ操作が、撮像モード終了操作であるか否かを判断する（ステップＳ９４６）。そして、撮像モード終了操作でない場合には（ステップＳ９４６）、ユーザ操作に応じた処理が行われ（ステップＳ９４７）、ステップＳ９４０に戻る。一方、撮像モード終了操作である場合には（ステップＳ９４６）、撮像モード終了処理が行われ（ステップＳ９３９）、表示モード設定処理の動作を終了する。
【０１４３】
このように、制御部２９０は、第１画像および第２画像のうちの少なくとも一方を動画コンテンツとして記録するための記録処理が行われている場合（所定条件）には、第２表示モードを設定する制御を行う。なお、第１画像は、第１画像生成部２１０により生成された画像であり、第２画像は、第２画像生成部２２０により生成された画像である。
【０１４４】
このように、本技術の第２の実施の形態では、低消費電力モードの設定時以外では、ＰｉｎＰ表示モードが設定されるが、動画記録処理が開始されると、システム負荷を下げるため、枠表示モードが設定される。これにより、複数の画像の視認性を維持することができ、画像表示時における処理の負荷を低減することができる。
【０１４５】
ここで、動画記録開始操作の直後、または、動画記録終了操作の直後には、ＰｉｎＰ表示モードおよび枠表示モードの急激な切り替えが行われる。このように、急激な切り替えが行われた場合には、その切替時においてユーザが被写体を見難くなることも想定される。そこで、ＰｉｎＰ表示モードおよび枠表示モードの切替時には、第２画像表示領域内および枠内の画像をアニメーションにより滑らかに移動させることにより、その切替時においてユーザに被写体を見易くさせることができる。このように、アニメーションを用いてＰｉｎＰ表示モードおよび枠表示モードの切り替えを行う例については、本技術の第４の実施の形態に示す。
【０１４６】
＜３．第３の実施の形態＞
本技術の第１の実施の形態では、静止画＋静止画モードの設定時には、ＰｉｎＰ表示モードが設定される例を示した。しかしながら、静止画＋静止画モードの設定時であっても、表示対象となる画像のズーム倍率が比較的低い場合等には、一定の視認性を確保することができると想定される。
【０１４７】
そこで、本技術の第３の実施の形態では、静止画＋静止画モードの設定時であっても、所定条件を満たす場合には、枠表示モードを設定する例を示す。なお、本技術の第３の実施の形態における画像処理装置の構成については、図１乃至図３等に示す例と略同様である。このため、本技術の第１の実施の形態と共通する部分については、その説明の一部を省略する。
【０１４８】
［枠表示モードおよびＰｉｎＰ表示モードの遷移例］
図１４は、本技術の第３の実施の形態における表示部１７２に表示される枠表示およびＰｉｎＰ表示の遷移例を示す図である。なお、図１４（ａ）は、図８（ａ）と同一であるため、ここでの詳細な説明を省略する。
【０１４９】
図１４では、静止画＋静止画モードの設定時であっても、所定条件を満たす場合には、枠表示モードが設定される例を示す。なお、これ以外の点については、図８に示す例と同様であるため、図８に示す例と共通する部分についての説明の一部を省略する。
【０１５０】
すなわち、図１４では、静止画＋静止画モードの設定時において、所定条件を満たすか否かに応じて、枠表示モードおよびＰｉｎＰ表示モードが切り替えられる例を示す。
【０１５１】
図１４（ｂ）には、ズーム倍率に応じて枠表示モードまたはＰｉｎＰ表示モードが設定される場合における遷移例を示す。
【０１５２】
例えば、枠表示モードの設定時（図１４（ａ）に示す）において、静止画＋静止画モードへの切替操作が行われた場合には、矢印３６１に示すように、ズーム倍率に応じた枠表示モードまたはＰｉｎＰ表示モード（図１４（ｂ）に示す）に切り替えられる。
【０１５３】
また、例えば、枠表示モードまたはＰｉｎＰ表示モードの設定時（図１４（ｂ）に示す）において、静止画＋静止画モード以外のモードへの切替操作が行われた場合には、矢印３６１に示すように、枠表示モード（図８（ａ）に示す）に切り替えられる。また、低消費電力モードへの切替操作が行われた場合についても同様に、矢印３６１に示すように、枠表示モード（図８（ａ）に示す）に切り替えられる。
【０１５４】
ここで、静止画＋静止画モードの設定時において枠表示モードおよびＰｉｎＰ表示モードの切替時の基準となる所定条件について説明する。例えば、所定条件は、ズーム倍率が所定値（例えば、３倍乃至４倍）を基準として高い場合とすることができる。また、所定条件は、枠表示モードの設定時におけるその枠内に主要被写体（例えば、人物の顔）が存在し、かつ、ＰｉｎＰ表示モードに切り替えることにより、その主要被写体の視認性を向上させることができる場合である。例えば、枠表示モードの設定時におけるその枠内に含まれる主要被写体（例えば、人物の顔）のサイズが、所定サイズよりも小さい場合には、ＰｉｎＰ表示モードに切り替えたほうが、その主要被写体の視認性が向上すると考えられる。ここで、所定サイズは、例えば、ＰｉｎＰ表示モードの設定時におけるその主要被写体のサイズ（例えば、顔の長さ）とすることができる。すなわち、枠表示モードの設定時におけるその主要被写体のサイズ（例えば、顔の長さ）が、ＰｉｎＰ表示モードの設定時におけるその主要被写体のサイズ（例えば、顔の長さ）よりも小さい場合には、ＰｉｎＰ表示モードに切り替えることができる。
【０１５５】
このように、図１４に示す例は、ズーム倍率が所定値を基準として低い場合には、何れの撮像モード設定時でも枠表示モードを設定するが、静止画＋静止画モードでは、所定条件を満たすか否かに応じて自動でＰｉｎＰ表示モードを設定する例である。
【０１５６】
［画像処理装置の動作例］
図１５は、本技術の第３の実施の形態における画像処理装置１００による表示モード設定処理の処理手順の一例を示すフローチャートである。なお、図１５は、図９および図１０の変形例であるため、図９および図１０と共通する部分については、同一の符号を付して、その説明の一部を省略する。
【０１５７】
ユーザ操作がズーム操作である場合には（ステップＳ９１９）、制御部２９０は、低消費電力モードが設定されているか否かを判断し（ステップＳ９５１）、低消費電力モードが設定されている場合には（ステップＳ９５１）、ステップＳ９２０に進む。一方、低消費電力モードが設定されていない場合には（ステップＳ９５１）、制御部２９０は、ズーム倍率が所定値以上であるか否かを判断し（ステップＳ９５２）、ズーム倍率が所定値以上である場合には、ステップＳ９２４に進む。
【０１５８】
また、ズーム倍率が所定値以上でない場合（すなわち、ズーム倍率が所定値未満である場合）には（ステップＳ９５２）、制御部２９０は、表示部１７２に表示されている枠内に主要被写体が存在するか否かを判断する（ステップＳ９５３）。表示部１７２に表示されている枠内に主要被写体が存在する場合には（ステップＳ９５３）、制御部２９０は、ＰｉｎＰ表示モードに切り替えることにより、その主要被写体の視認性を向上させることができるか否かを判断する（ステップＳ９５４）。すなわち、ＰｉｎＰ表示モードの設定時における第２画像表示領域内の主要被写体のサイズＳ１と、枠表示モードの設定時における枠内の主要被写体のサイズＳ２とが比較され、Ｓ１＞Ｓ２であるか否かが判断される（ステップＳ９５４）。そして、Ｓ１＞Ｓ２である場合には（ステップＳ９５４）、ステップＳ９２４に進み、Ｓ１＞Ｓ２でない場合（すなわち、Ｓ１≦Ｓ２である場合）には（ステップＳ９５４）、ステップＳ９２０に進む。
【０１５９】
また、ユーザ操作がズーム操作でない場合には（ステップＳ９２８）、制御部２９０は、ズーム倍率が所定値未満であるか否かを判断し（ステップＳ９５５）、ズーム倍率が所定値未満でない場合には、ステップＳ９２９に進む。
【０１６０】
また、ズーム倍率が所定値未満である場合には（ステップＳ９５５）、制御部２９０は、表示部１７２に表示されている第２画像表示領域内に主要被写体が存在するか否かを判断する（ステップＳ９５６）。第２画像表示領域内に主要被写体が存在する場合には（ステップＳ９５６）、制御部２９０は、Ｓ１がＳ２よりも大きいか否かを判断する（ステップＳ９５７）。すなわち、Ｓ１＞Ｓ２であるか否かが判断される（ステップＳ９５７）。Ｓ１＞Ｓ２である場合には（ステップＳ９５７）、ステップＳ９２９に進み、Ｓ１＞Ｓ２でない場合（すなわち、Ｓ１≦Ｓ２である場合）には（ステップＳ９５７）、ステップＳ９１６に進む。
【０１６１】
ここで、ステップＳ９５２およびＳ９５５における所定値（Ｎ）については、同一の値を用いるようにしてもよく、異なる値を用いるようにしてもよい。例えば、ズーム倍率が所定値（Ｎ）の境界付近にあるよう場合には、ＰｉｎＰ表示モードおよび枠表示モードが短時間で頻繁に切り替わることが想定される。そこで、表示モードが短時間で頻繁に切り替わることを防止するため、ステップＳ９５５における所定値を、ステップＳ９５２における所定値（Ｎ）よりも低い値（例えば、Ｎ−１）とするようにしてもよい。同様に、例えば、主要被写体のサイズが、切り替えの境界付近にあるような場合には、ＰｉｎＰ表示モードおよび枠表示モードが短時間で頻繁に切り替わることが想定される。そこで、表示モードが短時間で頻繁に切り替わることを防止するため、Ｓ１およびＳ２の判断基準を一定条件で緩和するようにしてもよい。
【０１６２】
このように、制御部２９０は、第２撮像部１１２に係る光学系のズーム倍率が一定値を基準として大きい場合（所定条件）場合には、ＰｉｎＰ表示モード（第１表示モード）を設定する制御を行う。また、制御部２９０は、第２撮像部１１２により生成される画像（第２画像）に主要被写体が含まれている場合（所定条件）には、ＰｉｎＰ表示モード（第１表示モード）を設定する制御を行う。
【０１６３】
また、制御部２９０は、第２画像に主要被写体が含まれる場合であって、その主要被写体の表示サイズが、第１画像に含まれるその主要被写体の表示サイズを基準として大きい場合（所定条件）には、ＰｉｎＰ表示モード（第１表示モード）を設定する制御を行う。なお、第１画像は、第１撮像部１１１により生成される画像である。
【０１６４】
このように、本技術の第３の実施の形態では、静止画＋静止画モードの設定時であっても、所定条件を満たす場合には、システム負荷を下げるため、枠表示モードが設定される。これにより、複数の画像の視認性を維持することができ、画像表示時における処理の負荷をさらに低減することができる。
【０１６５】
＜４．第４の実施の形態＞
本技術の第１乃至第３の実施の形態では、枠表示モードおよびＰｉｎＰ表示モードの切り替えを行う場合には瞬間的に切り替える例を示した。しかしながら、枠表示モードの設定時における枠の位置およびサイズと、ＰｉｎＰ表示モードの設定時における第２画像表示領域の位置およびサイズとが大きく異なる場合には、その切替の前後でユーザが見難くなることも想定される。
【０１６６】
そこで、本技術の第４の実施の形態では、枠表示モードおよびＰｉｎＰ表示モードの切り替えを行う場合には、その切替の前後における画像（枠内の画像、第２画像表示領域内の画像）をアニメーションにより移動させる例を示す。なお、本技術の第４の実施の形態における画像処理装置の構成については、図１乃至図３等に示す例と略同様である。このため、本技術の第１の実施の形態と共通する部分については、その説明の一部を省略する。
【０１６７】
［アニメーションによる表示遷移例］
図１６は、本技術の第４の実施の形態における表示部１７２に表示される枠表示からＰｉｎＰ表示への遷移例を示す図である。
【０１６８】
図１６（ａ）には、枠表示モードの設定時に表示される画像（第１画像表示領域３２１内の画像）および枠３２２を示す。なお、図１６（ａ）は、図６（ａ）に示す例と同様であるため、ここでの詳細な説明を省略する。
【０１６９】
図１６（ｂ）には、枠表示モードからＰｉｎＰ表示モードへの切替時に表示される画像５０１乃至５０４を示す。
【０１７０】
図１６（ａ）に示す画像（第１画像表示領域３２１内の画像）および枠３２２が表示部１７２に表示されている場合において、枠表示モードからＰｉｎＰ表示モードへの切替タイミングになった場合を想定する。この場合には、表示制御部２６０は、表示部１７２に表示されていた枠３２２の位置に、枠３２２のサイズと同一サイズの画像（第２撮像部１１２により生成された画像）を表示させる。この場合には、表示部１７２に表示されていた枠３２２内の被写体と、第２撮像部１１２により生成された画像に含まれる被写体とは、視差に基づく左右のズレ以外は略同一であると想定される。
【０１７１】
続いて、枠表示モードからＰｉｎＰ表示モードへの切替時に、表示制御部２６０は、第２撮像部１１２により生成された画像をアニメーションにより移動させながら表示させる。すなわち、表示制御部２６０は、図１６（ａ）に示す枠３２２から、図１６（ｂ）に示す第２画像表示領域（画像５０４の領域）までの間、第２撮像部１１２により生成された画像をアニメーションにより移動させながら表示させる。なお、図１６（ｂ）では、アニメーションにより順次移動する画像５０１乃至５０３を点線の矩形により模式的に示す。
【０１７２】
このように、制御部２９０は、ＰｉｎＰ表示モード（第１表示モード）および枠表示モード（第２表示モード）の切替時において、第２撮像部１１２により生成された画像（第２画像）を移動させながらアニメーション表示させるための制御を行う。すなわち、表示制御部２６０は、制御部２９０の制御に基づいて、そのアニメーション表示を行う。具体的には、表示制御部２６０は、ＰｉｎＰ表示モードの設定時に表示される第２画像の位置と、枠表示モードの設定時に第１画像上に表示される付加画像（枠）により特定される位置との間を、第２画像を移動させながらアニメーション表示させる。なお、第１画像は、第１撮像部１１１により生成された画像である。
【０１７３】
なお、図１６（ｂ）では、説明の容易のため、アニメーションの間隔を比較的広くして示すが、このアニメーションの間隔については、適宜変更可能である。また、図１６（ｂ）では、第２撮像部１１２により生成された画像を縮小させながら直線状に移動させる例を示すが、第２撮像部１１２により生成された画像を縮小させながら直線以外の軌跡（例えば、曲線状）により移動させるようにしてもよい。
【０１７４】
ここで、図１６（ａ）に示すように、表示部１７２に表示されている画像（第１画像表示領域３２１内の画像）には、複数の人物の顔が含まれる。例えば、第１画像表示領域３２１内の画像における右下部分には、運動会を応援する人物５０５が含まれている。ただし、図１６（ｂ）に示すように、第２撮像部１１２により生成された画像をアニメーションにより移動させて第２画像表示領域（画像５０４の領域）に表示させた場合には、画像５０４により人物５００の顔が隠れてしまう。一般に、人物の顔については、ユーザの関心が高いと考えられるため、撮像動作中に人物の顔を確認することは重要であると想定される。そこで、以下では、画像の移動先の被写体と、表示対象となる撮像範囲に含まれる被写体（主要被写体）とを考慮して、画像の移動先や画像のサイズを変更する例を示す。
【０１７５】
［第２画像表示領域の配置例］
図１７は、本技術の第４の実施の形態における表示部１７２の表示領域において第２画像表示領域を配置する候補の一例を示す図である。
【０１７６】
ここで、図１７では、表示部１７２の表示領域における左上隅に、撮像動作時に用いられるアイコンが表示されるアイコン表示領域５１４が設けられる例を示す。このため、図１７では、表示部１７２の表示領域において第２画像表示領域を配置する候補として、表示部１７２の表示領域における左下隅、右上隅、右下隅の第１候補領域５１１乃至第３候補領域５１３を示す。
【０１７７】
例えば、枠表示モードからＰｉｎＰ表示モードへの切替時には、制御部２９０は、最初に、第２画像表示領域の表示対象画像を第１候補領域５１１に移動させる決定をする。ただし、第１候補領域５１１内で人物の顔が検出された場合（第１候補領域５１１と顔の一部とが重複する場合も含む）には、制御部２９０は、第２画像表示領域の表示対象画像を第２候補領域５１２に移動させる決定をする。ただし、第２候補領域５１２内からも人物の顔が検出されることも想定される。このように、第２候補領域５１２内で人物の顔が検出された場合（第２候補領域５１２と顔の一部とが重複する場合も含む）には、制御部２９０は、第２画像表示領域の表示対象画像を第３候補領域５１３に移動させる決定をする。
【０１７８】
ここで、例えば、第１候補領域５１１乃至第３候補領域５１３の何れの領域内からも人物の顔が検出されることも想定される。この場合には、検出された顔の数が最も少ない候補を第２画像表示領域の配置領域として決定するようにしてもよい。または、第１候補領域５１１乃至第３候補領域５１３以外の他の領域を第２画像表示領域の配置領域として決定するようにしてもよい。例えば、第１候補領域５１１および第３候補領域５１３の中間領域、第１候補領域５１１および第２候補領域５１２の中間領域等を第２画像表示領域の配置領域として決定することができる。
【０１７９】
また、例えば、ＰｉｎＰ表示モード設定時の第２画像表示領域に表示される画像に含まれる人物の顔が、第１画像表示領域に表示されている画像に含まれるその人物の顔よりも小さい場合には、その人物の顔を見難くなることも想定される。そこで、第２画像表示領域に表示される人物の顔が、第１画像表示領域に表示されているその人物の顔よりも小さい場合には、第２画像表示領域のサイズを拡大して、その人物の顔を見易くすることができる。そこで、これらの例を図１８および図１９に示す。
【０１８０】
［アニメーションによる表示遷移例］
図１８および図１９は、本技術の第４の実施の形態における表示部１７２に表示される枠表示からＰｉｎＰ表示への遷移例を示す図である。
【０１８１】
図１８（ａ）には、枠表示モードからＰｉｎＰ表示モードへの切替時に表示される画像５２１および画像５２２を示す。図１８（ｂ）には、アニメーションにより第２画像表示領域が移動する場合における画像（画像５２４乃至５２６）の遷移例を示す。なお、図１８（ａ）および図１８（ｂ）に示す遷移例は、図１６に示す例と略同様であるため、ここでの詳細な説明を省略する。
【０１８２】
図１８（ｃ）には、第２画像表示領域の表示対象画像が第１候補領域５１１に移動する際に、第１候補領域５１１に人物の顔が含まれている状態を示す。図１８（ｃ）では、顔検出部２３０により検出された人物５０５の顔を矩形の枠５２９で示す。このように、顔検出部２３０により検出された人物５０５の顔の一部または全部と、第１候補領域５１１（画像５２８の移動先）とが重複する場合には、制御部２９０は、他の候補領域に第２画像表示領域を移動することを決定する。図１８（ｃ）では、人物５０５の顔と第１候補領域とが重複しているため、第２候補領域に決定される。
【０１８３】
図１９（ａ）には、第２候補領域５１２に画像５３１乃至５３３がアニメーションにより移動する場合における画像の遷移例を示す。図１８（ｃ）および図１９（ａ）では、第１候補領域５１１に向かって移動していた表示対象画像が、その途中で第２候補領域５１２に向かって移動する場合を想定する。また、図１９（ａ）では、アニメーションにより順次移動する画像５３１、５３２を点線の矩形により模式的に示す。
【０１８４】
このように、本技術の第４の実施の形態では、主要被写体（例えば、人物の顔）が存在しない領域を第２画像表示領域とすることができる。
【０１８５】
ここで、図１９（ａ）に示すように、第１画像表示領域内の画像における右上隅に第２画像表示領域（画像５３３）が設定されている状態で、ユーザによりズーム操作が行われた場合を想定する。このズーム操作後の表示例を図１９（ｂ）に示す。
【０１８６】
図１９（ｂ）には、第２候補領域５１２に設定された第２画像表示領域内の画像５３５の表示例を示す。図１９（ｂ）では、画像５３５から人物の顔（点線の枠５３６で囲んで示す）が検出されたものとする。このように、第２画像表示領域内の画像５３５から人物の顔が検出された場合において、所定条件を満たす場合には、第２画像表示領域を拡大して、その顔の視認性を向上させるようにする。ここで、所定条件は、例えば、第２画像表示領域内の画像における顔検出時のその顔のサイズが、所定サイズよりも小さい場合である。ここで、所定サイズは、例えば、その顔検出時における第１画像表示領域内のその顔のサイズ（例えば、顔の長さ）とすることができる。このサイズの変更例を図１９（ｃ）に示す。
【０１８７】
図１９（ｃ）には、第２候補領域５１２に設定された第２画像表示領域内の画像５３８のサイズをアニメーションにより変更する場合における遷移例を示す。なお、図１９（ｃ）では、アニメーションにより順次拡大される画像５３８、５３９を点線の矩形により模式的に示す。このように、第２画像表示領域をアニメーションにより順次拡大して画像５４０を表示させることにより、その顔の視認性を向上させることができる。
【０１８８】
このように、制御部２９０は、ＰｉｎＰ表示モード（第１表示モード）の設定時において、第１画像に主要被写体が含まれている場合には、その主要被写体と第２画像とが重複しないように第２画像の表示位置を変更する制御を行う。なお、第１画像は、第１撮像部１１１により生成された画像であり、第１画像表示領域に表示される画像である。また、第２画像は、第２撮像部１１２により生成された画像であり、第２画像表示領域に表示される画像である。
【０１８９】
また、制御部２９０は、ＰｉｎＰ表示モード（第１表示モード）の設定時において、第２画像に主要被写体が含まれている場合には、その主要被写体のサイズが所定サイズとなるように第２画像のサイズを変更する制御を行う。
【０１９０】
このように、本技術の第４の実施の形態では、枠表示モードおよびＰｉｎＰ表示モードの切替時には、アニメーションにより滑らかに切り替える。これにより、その切替の前後で被写体を見失うことを防止することができる。また、第２画像表示領域内の画像が上書きされ、主要被写体が第２画像表示領域に隠れてしまわないように、第２画像表示領域の移動先に主要被写体が存在する場合には、第２画像表示領域を変更する。さらに、第２画像表示領域内の画像から主要被写体が検出された場合には、第２画像表示領域のサイズを変更してその顔の視認性を向上させることができる。
【０１９１】
［画像処理装置の動作例］
図２０および図２１は、本技術の第４の実施の形態における画像処理装置１００によるＰｉｎＰ表示処理の処理手順の一例を示すフローチャートである。この処理手順は、図１０および図１５に示すＰｉｎＰ表示処理（ステップＳ９２４）、図１３に示すＰｉｎＰ表示処理（ステップＳ９３２）に対応する処理手順である。
【０１９２】
最初に、制御部２９０は、枠表示モードからＰｉｎＰ表示モードへの変更直後であるか否かを判断し（ステップＳ９６１）、枠表示モードからＰｉｎＰ表示モードへの変更直後でない場合には、所定位置および所定サイズでＰｉｎＰ表示される（ステップＳ９６２）。すなわち、直前まで表示されていた第２画像表示領域の位置およびサイズでＰｉｎＰ表示される（ステップＳ９６２）。
【０１９３】
また、枠表示モードからＰｉｎＰ表示モードへの変更直後である場合には（ステップＳ９６３）、第１画像表示領域内の画像に重ねて表示されている枠の位置およびサイズでＰｉｎＰ表示される（ステップＳ９６３）。すなわち、その切替直前に表示されていた枠の位置およびサイズを、第２画像表示領域の位置およびサイズとするＰｉｎＰ表示モードが設定される（ステップＳ９６３）。
【０１９４】
続いて、制御部２９０は、最初の候補領域（例えば、図１７に示す第１候補領域５１１）に向かって、第２画像表示領域の表示対象画像のアニメーションによる移動を開始させる（ステップＳ９６４）。
【０１９５】
続いて、制御部２９０は、第２画像表示領域の位置およびサイズが変更中であるか否かを判断する（ステップＳ９６５）。第２画像表示領域の位置およびサイズが変更中である場合には（ステップＳ９６５）、制御部２９０は、その変更後の第２画像表示領域の位置およびサイズを取得する（ステップＳ９６６）。続いて、制御部２９０は、その変更後の第２画像表示領域は、第１画像表示領域における主要被写体と重複するか否かを判断する（ステップＳ９６７）。
【０１９６】
その変更後の第２画像表示領域が、第１画像表示領域における主要被写体と重複する場合には（ステップＳ９６７）、制御部２９０は、次の候補領域の位置およびサイズを取得する（ステップＳ９６８）。続いて、制御部２９０は、その候補領域（例えば、図１７に示す第２候補領域５１２）に向かって、第２画像表示領域の表示対象画像のアニメーションによる移動を開始させる（ステップＳ９６９）。
【０１９７】
続いて、制御部２９０は、第２画像表示領域の変更（移動またはサイズ変更）が終了したか否かを判断し（ステップＳ９７０）、第２画像表示領域の変更が終了していない場合には、ＰｉｎＰ表示処理の動作を終了する。また、第２画像表示領域の変更が終了した場合には（ステップＳ９７０）、第２画像表示領域のアニメーション処理を終了し（ステップＳ９７１）、ＰｉｎＰ表示処理の動作を終了する。
【０１９８】
また、第２画像表示領域の位置およびサイズが変更中でない場合には（ステップＳ９６５）、現在の第２画像表示領域の位置およびサイズを取得する（ステップＳ９７２）。続いて、制御部２９０は、現在の第２画像表示領域は、第１画像表示領域における主要被写体と重複するか否かを判断する（ステップＳ９７３）。現在の第２画像表示領域が、第１画像表示領域における主要被写体と重複する場合には（ステップＳ９７３）、ステップＳ９６８に進む。
【０１９９】
現在の第２画像表示領域が、第１画像表示領域における主要被写体と重複しない場合には（ステップＳ９７３）、制御部２９０は、第２画像表示領域に主要被写体が含まれるか否かを判断する（ステップＳ９７４）。そして、第２画像表示領域に主要被写体が含まれない場合には（ステップＳ９７４）、ＰｉｎＰ表示処理の動作を終了する。
【０２００】
第２画像表示領域に主要被写体が含まれる場合には（ステップＳ９７４）、制御部２９０は、第２画像表示領域に含まれる主要被写体のサイズＳ３が、枠表示モードの設定時におけるその主要被写体のサイズＳ４よりも大きいか否かを判断する（ステップＳ９７５）。すなわち、ＰｉｎＰ表示モードの設定時における第２画像表示領域内の主要被写体のサイズＳ３と、枠表示モードの設定時における枠内のその主要被写体のサイズＳ４とが比較され、Ｓ３＞Ｓ４であるか否かが判断される（ステップＳ９７５）。Ｓ３＞Ｓ４である場合には（ステップＳ９７５）、ＰｉｎＰ表示処理の動作を終了する。
【０２０１】
また、Ｓ３＞Ｓ４でない場合には（ステップＳ９７５）、制御部２９０は、Ｓ３がＳ４よりも大きくなる第２画像表示領域のサイズを取得する（ステップＳ９７６）。例えば、予め設定されている拡大率（例えば、２．１倍）に基づいて第２画像表示領域のサイズを算出することができる。または、Ｓ３およびＳ４に基づいて、制御部２９０が、第２画像表示領域のサイズを算出するようにしてもよい。また、第２画像表示領域のサイズの上限値を設定しておき、この上限値を超えないように、第２画像表示領域のサイズを設定することができる。
【０２０２】
続いて、制御部２９０は、その取得されたサイズとなるように、第２画像表示領域内の画像のアニメーションによる変更を開始させる（ステップＳ９７７）。
【０２０３】
［第２画像表示領域の移動基準および拡大基準例］
以上では、人物の顔の存在やそのサイズを基準にして第２画像表示領域の移動やサイズ変更の要否を判断する例を示した。ただし、人物の顔以外の被写体を基準にして第２画像表示領域の移動やサイズ変更の要否を判断するようにしてもよい。そこで、以下では、第２画像表示領域の移動やサイズ変更の要否を判断する際に基準となる被写体（主要被写体）の例を示す。
【０２０４】
［主要被写体例］
図２２は、本技術の第４の実施の形態における制御部２９０が第２画像表示領域の移動やサイズ変更を判断する際に用いられる主要被写体の一例を示す図である。図２２では、主要被写体６０１と重要度６０２との関係を示す。
【０２０５】
主要被写体６０１は、第２画像表示領域の移動やサイズ変更の要否を判断する際に基準となる被写体である。例えば、人物の顔は、子供、成人女性、それ以外の人物に分類される。また、人物の顔以外に、動体、静物が主要被写体として用いられる。
【０２０６】
また、図３に示す顔検出部２３０の代わりに、主要被写体検出部を設け、この主要被写体検出部により主要被写体を検出する。なお、主要被写体の検出方法として、例えば、顔検出方法と同様に、主要被写体毎の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる検出方法を用いることができる。また、例えば、顔画像における２点間の輝度の差分値を用いた弱判別器により各属性（例えば、子供、成人女性、それ以外の人物）を検出する検出方法を用いることができる（例えば、特開２００９−１１８００９号参照。）。また、輝度の勾配強度および勾配方向を用いて、特定の物体（人体、動物、電車、車等）を検出する物体検出方法を用いることができる（例えば、特開２０１０−６７１０２号参照。）。また、合焦している物体（静物）については、ＡＦ処理の合焦結果に基づいて検出することができる。
【０２０７】
重要度６０２は、主要被写体の重要度を示すものであり、数値が高いほど重要度が高いことを意味する。
【０２０８】
例えば、図１７において、第１候補領域５１１には、二人の子供の顔が含まれ、第２候補領域５１２には、一人の成人女性の顔と一人の子供の顔とが含まれ、第３候補領域５１３には、２匹の動物の顔（例えば、犬と猫）が含まれている場合を想定する。このように、第１候補領域５１１乃至第３候補領域５１３の何れにも、主要被写体が含まれている場合には、各候補領域に含まれている主要被写体の重要度の合計値に基づいて、第２画像表示領域の移動先が決定される。
【０２０９】
例えば、第１候補領域５１１には二人の子供の顔が含まれているため、重要度の合計値は１０（＝５×２）である。また、第２候補領域５１２には一人の成人女性の顔と一人の子供の顔とが含まれているため、重要度の合計値は９（＝５＋４）である。また、第３候補領域５１３には、２匹の動物の顔（例えば、犬と猫）が含まれているため、重要度の合計値は４（＝２×２）である。
【０２１０】
このため、主要被写体の重要度の合計値が最も低い第３候補領域５１３が、第２画像表示領域の移動先として決定される。
【０２１１】
また、第１候補領域５１１乃至第３候補領域５１３において、主要被写体が含まれている場合であっても、主要被写体の重要度の合計値が一定値（例えば、３）未満となる候補領域については、第２画像表示領域の移動先として決定するようにしてもよい。
【０２１２】
＜５．変形例＞
本技術の第１乃至第４の実施の形態では、第１画像表示領域内に第２画像表示領域を設けて２つの画像を表示する例を示した。ただし、第１画像表示領域および第２画像表示領域をそれぞれ異なる領域として２つの画像を表示するようにしてもよい。
【０２１３】
そこで、この変形例では、それぞれを異なる領域とする第１画像表示領域および第２画像表示領域に２つの画像を表示する例を示す。なお、この変形例における画像処理装置の構成については、図１乃至図３等に示す例と略同様である。このため、本技術の第１の実施の形態と共通する部分については、その説明の一部を省略する。
【０２１４】
［第１画像表示領域および第２画像表示領域の配置例］
図２３は、本技術の実施の形態の変形例における表示部１７２に表示されるＰｉｎＰ表示の遷移例を示す図である。
【０２１５】
図２３（ａ）には、第１画像表示領域内に第２画像表示領域が設けられている場合における表示例を示す。なお、図２３（ａ）は、図５（ａ）に示す例と同様であるため、ここでの説明を省略する。
【０２１６】
図２３（ｂ）には、隣接して並べられている２つの領域（第１画像表示領域７０１および第２画像表示領域７０２）に２つの画像を表示する場合における表示例（表示画面７００）を示す。第１画像表示領域７０１内の画像は、図２３（ａ）に示す第１画像表示領域３１１内の画像に対応し、第２画像表示領域７０２内の画像は、図２３（ａ）に示す第２画像表示領域３１２内の画像に対応する。
【０２１７】
また、図２３（ａ）に示す表示画面および図２３（ｂ）に示す表示画面は、撮像動作中において、ユーザ操作により順次切り替えることができる。例えば、画像処理装置１００の外側面に設けられている操作部材やタッチパネル上における所定ボタンを表示切替ボタンとして用いる。そして、この表示切替ボタンが押下される毎に、図２３の矢印に示すように、図２３（ａ）および（ｂ）に示す各表示画面に切り替えられるようにする。
【０２１８】
なお、この変形例では、第１画像表示領域７０１および第２画像表示領域７０２を水平方向に隣接して並べる例を示すが、第１画像表示領域７０１および第２画像表示領域７０２の配置については、適宜変更するようにしてもよい。例えば、ユーザ操作に応じて、第１画像表示領域７０１および第２画像表示領域７０２の配置を変更可能とするようにしてもよい。
【０２１９】
＜６．変形例＞
本技術の第１乃至第４の実施の形態では、枠表示モードの設定時において１つの画像上に枠を表示して、この枠により他の画像の撮像範囲を表示する例を示した。ただし、枠以外の表示態様により他の画像の撮像範囲を表示するようにしてもよい。
【０２２０】
そこで、この変形例では、枠以外の表示態様により他の画像の撮像範囲を表示する例を示す。なお、この変形例における画像処理装置の構成については、図１乃至図３等に示す例と略同様である。このため、本技術の第１の実施の形態と共通する部分については、その説明の一部を省略する。
【０２２１】
［枠表示モード設定時における表示例］
図２４は、本技術の実施の形態の変形例における表示部１７２に表示される表示画面の遷移例を示す図である。
【０２２２】
図２４（ａ）には、本技術の第１乃至第４の実施の形態と同様に、第１画像表示領域７１０内の画像上に枠７１１を表示する例を示す。例えば、図２４（ａ）に示すように、枠表示モードの設定時において黒等のように濃い色により枠７１１を表示する場合には、背景の被写体を枠７１１が隠してしまうため、その背景の被写体が視認し難くなるおそれがある。特に、ズーム倍率が高くなった場合には、枠７１１のサイズが小さくなるため、枠７１１内における被写体が視認し難くなることが想定される。
【０２２３】
そこで、この変形例では、枠を表示する代わりに、半透明のオンスクリーンディスプレイ（ＯＳＤ）により撮像範囲を表現する。この表示例を図２４（ｂ）および（ｃ）に示す。
【０２２４】
図２４（ｂ）および（ｃ）には、半透明のオンスクリーンディスプレイにより撮像範囲（第２撮像部１１２により生成される画像の撮像範囲）を表示する例を示す。具体的には、図２４（ｂ）には、第１画像表示領域７２０において、撮像範囲（第２撮像部１１２により生成される画像の撮像範囲）に対応する領域７２２を透明とし、他の領域７２１を半透明のオンスクリーンディスプレイによりグレーとする例を示す。また、図２４（ｃ）には、撮像範囲（第２撮像部１１２により生成される画像の撮像範囲）に対応する領域７３２を半透明のオンスクリーンディスプレイによりグレーとし、他の領域７３１を透明とする例を示す。
【０２２５】
このように、枠表示モードでは、被写体に対する第１撮像部１１１の撮像範囲と第２撮像部１１２の撮像範囲との関係を表す表示態様として、第１画像において第２撮像部１１２の撮像範囲に対応する画像と他の画像とを異なる表示態様とすることができる。この第１画像は、第１撮像部１１１により生成される画像である。
【０２２６】
また、撮像範囲を表現することにより、被写体の視認性を確保することができる。また、被写体の視認性については、ユーザの好みがあるため、例えば、枠表示モードの設定時における半透明のオンスクリーンディスプレイによる表示をユーザ操作により切り替えるようにすることができる。例えば、画像処理装置１００の外側面に設けられている操作部材やタッチパネル上における所定ボタンを表示切替ボタンとして用いる。そして、この表示切替ボタンが押下される毎に、図２４の矢印に示すように、図２４（ａ）乃至（ｃ）に示す各表示方法に切り替えられるようにする。これにより、ユーザの好みに応じて視認性をさらに向上させることができる。
【０２２７】
＜７．変形例＞
本技術の第１乃至第４の実施の形態では、画像処理装置に１つの表示部を備える例を示した。ただし、１つの画像処理装置に複数の表示部が設けられている場合も想定される。また、画像処理装置により生成された画像を外部装置において表示することも想定される。そこで、この変形例では、複数の表示部や外部装置を用いて各画像を表示する例を示す。
【０２２８】
［複数の表示部を備える画像処理装置の一例］
図２５は、本技術の実施の形態の変形例における画像処理装置８００の外観構成例を示す図である。具体的には、１つの画像処理装置（画像処理装置８００）に２つの表示部（第１表示部８１１、第２表示部８１２）が設けられている例を示す。
【０２２９】
また、図２５（ａ）には、本技術の第１乃至第４の実施の形態における枠表示モードの設定時に対応する表示例を示し、図２５（ｂ）には、本技術の第１乃至第４の実施の形態におけるＰｉｎＰ表示モードの設定時に対応する表示例を示す。なお、画像処理装置８００は、２つの表示部（第１表示部８１１、第２表示部８１２）が設けられている点以外は、図１乃至図３に示す画像処理装置１００と略同様である。このため、以下では、画像処理装置８００における各部には、画像処理装置１００と同一の符号を付して説明する。
【０２３０】
第１表示部８１１は、表示制御部２６０の制御に基づいて、主にメイン画面を表示する表示部である。なお、メイン画面は、例えば、本技術の第１乃至第４の実施の形態に示した各画面である。
【０２３１】
第２表示部８１２は、表示制御部２６０の制御に基づいて、主にサブ画面を表示する表示部である。なお、サブ画面は、例えば、メイン画面の内容以外の内容を表示するための補助的な画面である。
【０２３２】
例えば、撮像動作中において、枠表示モードの設定時には、図２５（ａ）に示すように、第１表示部８１１にのみ画像（枠８１５も表示）を表示させることができる。
【０２３３】
また、例えば、撮像動作中において、ＰｉｎＰ表示モードの設定時には、図２５（ｂ）に示すように、第１画像表示領域の表示対象となる画像を第１表示部８１１に表示させ、第２画像表示領域の表示対象となる画像を第２表示部８１２に表示させることができる。
【０２３４】
［外部表示装置に画像を表示させる場合の表示例］
図２６は、本技術の実施の形態の変形例における画像処理装置１００および表示装置８５０の外観構成例を示す図である。具体的には、装置間インターフェース８６０を介して画像処理装置１００および表示装置８５０が接続されている例を示す。装置間インターフェース８６０は、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）ケーブルを用いることができる。なお、装置間インターフェース８６０として、画像処理装置１００および表示装置８５０を有線または無線により接続し、画像処理装置１００および表示装置８５０間で互いに通信を行うことが可能な他の装置間インターフェースを用いるようにしてもよい。
【０２３５】
また、図２６（ａ）には、本技術の第１乃至第４の実施の形態における枠表示モードの設定時に対応する表示例を示し、図２６（ｂ）には、本技術の第１乃至第４の実施の形態におけるＰｉｎＰ表示モードの設定時に対応する表示例を示す。なお、画像処理装置１００は、図１乃至図３に示す画像処理装置１００と略同様である。
【０２３６】
表示装置８５０は、装置間インターフェース８６０および接続端子（図示せず）を介して画像処理装置１００から入力された画像（画像データ）を表示部８５１に表示することが可能な表示装置である。
【０２３７】
また、外部インターフェース１９５（図２に示す）は、装置間インターフェース８６０を介して、第１撮像部１１１および第２撮像部１１２により生成された画像（画像データ）を表示装置８５０に出力し、この出力された画像を表示装置８５０に表示させる。この場合には、図２６（ａ）および（ｂ）に示すように、表示部１７２および表示装置８５０のそれぞれに異なる画像を表示させることができる。また、表示部１７２および表示装置８５０のそれぞれに同一の画像を表示させるようにしてもよい。なお、これらの表示方法については、ユーザ操作に基づいて切替可能とすることができる。
【０２３８】
例えば、撮像動作中において、枠表示モードの設定時には、図２６（ａ）に示すように、表示部１７２にのみ画像（枠８７０も表示）を表示させることができる。
【０２３９】
また、例えば、撮像動作中において、ＰｉｎＰ表示モードの設定時には、図２６（ｂ）に示すように、第１画像表示領域の表示対象となる画像を表示部１７２に表示させ、第２画像表示領域の表示対象となる画像を表示装置８５０に表示させることができる。
【０２４０】
なお、第２画像表示領域の表示対象となる画像を表示部１７２に表示させ、第１画像表示領域の表示対象となる画像を表示装置８５０に表示させるようにしてもよい。また、これらの表示方法については、ユーザ操作に基づいて切替可能とすることができる。
【０２４１】
図２５および図２６に示すように、複数の表示部が設けられている画像処理装置や他の表示装置に接続されている画像処理装置についても、本技術の第１乃至第４の実施の形態を適用することができる。また、第１画像表示領域と、第２画像表示領域とを異なる領域とすることにより、ＰｉｎＰ表示モードの設定時には、第１画像表示領域内の画像の全部を見ることができ、視認性をさらに向上させることができる。
【０２４２】
なお、本技術の実施の形態では、２つの撮像部を備える画像処理装置を示すが、３以上の撮像部を備える画像処理装置に本技術の実施の形態を適用するようにしてもよい。
【０２４３】
また、本技術の実施の形態では、２つの撮像部を備える画像処理装置を例にして説明したが、撮像部（１または複数）を着脱可能な画像処理装置に本技術の実施の形態を適用することができる。また、撮像機能付き携帯電話機や撮像機能付き携帯端末装置（例えば、スマートフォン）等の画像処理装置に本技術の実施の形態を適用することができる。
【０２４４】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０２４５】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【０２４６】
なお、本技術は以下のような構成もとることができる。
（１） 第１画像および第２画像を同時に表示する第１表示モードと、
前記第２画像の前記第１画像との関係を前記第１画像と同時に表示する第２表示モードと、
前記第１画像を表示する際に、所定条件に基づいて、前記第１表示モードと前記第２表示モードとの何れかを設定する制御を行う制御部と
を具備する画像処理装置。
（２） 前記第１画像は、第１撮像部が被写体を撮像して生成された画像であり、
前記第２画像は、第２撮像部が前記被写体を撮像して生成された画像であり、
前記第２表示モードは、前記第２画像の前記第１画像との関係として、前記被写体に対する前記第１撮像部の撮像範囲と前記第２撮像部の撮像範囲との関係を表示する表示モードである
前記（１）に記載の画像処理装置。
（３） 前記第２表示モードは、前記被写体に対する前記第１撮像部の撮像範囲と前記第２撮像部の撮像範囲との関係を表す画像として、前記第１画像上に前記第２撮像部の撮像範囲を表す付加画像を表示する表示モードである前記（２）に記載の画像処理装置。
（４） 前記制御部は、前記第１表示モードおよび前記第２表示モードの切替時において、前記第１表示モード設定時に表示される前記第２画像の位置と、前記第２表示モード設定時に前記第１画像上に表示される前記付加画像により特定される位置との間を、前記第２画像を移動させながらアニメーション表示させるための制御を行う前記（３）に記載の画像処理装置。
（５） 前記第２表示モードは、前記被写体に対する前記第１撮像部の撮像範囲と前記第２撮像部の撮像範囲との関係を表す表示態様として、前記第１画像において前記第２撮像部の撮像範囲に対応する画像と他の画像とを異なる表示態様とする表示モードである前記（２）に記載の画像処理装置。
（６） 前記制御部は、前記第１画像および前記第２画像のそれぞれを静止画コンテンツとして記録するための撮像モードが設定されていることを前記所定条件とし、前記所定条件を満たす場合には、前記第１表示モードを設定する制御を行う前記（２）から（５）のいずれかに記載の画像処理装置。
（７） 前記制御部は、前記第１画像および前記第２画像のうちの少なくとも一方を動画コンテンツとして記録するための記録処理が行われていることを前記所定条件とし、前記所定条件を満たす場合には、前記第２表示モードを設定する制御を行う前記（２）から（６）のいずれかに記載の画像処理装置。
（８） 前記制御部は、前記第２撮像部に係る光学系のズーム倍率が一定値を基準として大きいことを前記所定条件とし、前記所定条件を満たす場合には、前記第１表示モードを設定する制御を行う前記（１）から（７）のいずれかに記載の画像処理装置。
（９） 前記制御部は、前記第２画像に主要被写体が含まれていることを前記所定条件とし、前記所定条件を満たす場合には、前記第１表示モードを設定する制御を行う前記（１）から（８）のいずれかに記載の画像処理装置。
（１０） 前記制御部は、前記第２画像に主要被写体が含まれる場合であって当該主要被写体の表示サイズが前記第１画像に含まれる当該主要被写体の表示サイズを基準として大きいことを前記所定条件とし、前記所定条件を満たす場合には、前記第１表示モードを設定する制御を行う前記（１）から（９）のいずれかに記載の画像処理装置。
（１１） 前記制御部は、低消費電力モードが設定されていることを前記所定条件とし、前記所定条件を満たす場合には、前記第２表示モードを設定する制御を行う前記（１）から（１０）のいずれかに記載の画像処理装置。
（１２） 前記制御部は、前記画像処理装置におけるバッテリ残量が所定値を基準として小さいことを前記所定条件とし、前記所定条件を満たす場合には、前記第２表示モードを設定する制御を行う前記（１）から（１１）のいずれかに記載の画像処理装置。
（１３） 前記制御部は、前記第１表示モードが設定される場合において前記第１画像に主要被写体が含まれている場合には当該主要被写体と前記第２画像とが重複しないように当該第２画像の表示位置を変更する制御を行う前記（１）から（１２）のいずれかに記載の画像処理装置。
（１４） 前記制御部は、前記第１表示モードが設定される場合において前記第２画像に主要被写体が含まれている場合には当該主要被写体のサイズが所定サイズとなるように当該第２画像のサイズを変更する制御を行う前記（１）から（１３）のいずれかに記載の画像処理装置。
（１５） 前記第１画像および前記第２画像は、同一被写体に対して撮像範囲が異なるように複数の撮像部によりそれぞれ生成された画像であり、
前記第１表示モードは、前記第１画像上における所定位置に前記第２画像を重ねて表示する表示モードであり、
前記第２表示モードは、前記第２画像の前記第１画像との関係を表す画像として、前記第１画像上に前記第２撮像部の撮像範囲を表す付加画像を表示する表示モードである
前記（１）に記載の画像処理装置。
（１６） 前記制御部により設定された表示モードに従って各画像を表示する表示部をさらに具備する前記（１）から（１５）のいずれかに記載の画像処理装置。
（１７） 前記第１撮像部および前記第２撮像部をさらに具備する前記（２）に記載の画像処理装置。
（１８） 前記第１撮像部および前記第２撮像部は、第１撮像モードが設定されている場合には立体視画像を表示するための２つの画像を生成し、第２撮像モードが設定されている場合には立体視画像以外の画像を表示するための前記第１画像および前記第２画像を生成し、
前記制御部は、前記第２撮像モードが設定されている場合に前記第１表示モードと前記第２表示モードとの何れかを設定する制御を行う
前記（１７）に記載の画像処理装置。
（１９） 第１表示モードの設定時に第１画像および第２画像を同時に表示する第１表示手順と、
第２表示モードの設定時に前記第２画像の前記第１画像との関係を前記第１画像と同時に表示する第２表示手順と、
前記第１画像を表示する際に、所定条件に基づいて、前記第１表示モードと前記第２表示モードとの何れかを設定する制御を行う制御手順と
を具備する画像処理装置の制御方法。
（２０） 第１表示モードの設定時に第１画像および第２画像を同時に表示する第１表示手順と、
第２表示モードの設定時に前記第２画像の前記第１画像との関係を前記第１画像と同時に表示する第２表示手順と、
前記第１画像を表示する際に、所定条件に基づいて、前記第１表示モードと前記第２表示モードとの何れかを設定する制御を行う制御手順と
をコンピュータに実行させるプログラム。
【符号の説明】
【０２４７】
１００、８００ 画像処理装置
１０１ バス
１１１ 第１撮像部
１１２ 第２撮像部
１２１ 第１信号処理部
１２２ 第２信号処理部
１３１ 解像度変換部
１３２ 画像圧縮伸張部
１３３ グラフィックエンジン
１４０ ＲＯＭ
１５０ ＲＡＭ
１６０ ＣＰＵ
１７１ 表示部コントローラ
１７２、８５１ 表示部
１８１ 入力制御部
１８２ 操作部
１８５ シャッターボタン
１９１ リムーバブルメディアコントローラ
１９２ リムーバブルメディア
１９５ 外部インターフェース
２１０ 第１画像生成部
２２０ 第２画像生成部
２３０ 顔検出部
２４０ 操作受付部
２５０ バッテリ残量検出部
２６０ 表示制御部
２７０ 記録制御部
２８０ コンテンツ記憶部
２９０ 制御部
８１１ 第１表示部
８１２ 第２表示部
８５０ 表示装置
８６０ 装置間インターフェース
【技術分野】
【０００１】
本技術は、画像処理装置に関する。詳しくは、画像を表示させる画像処理装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
従来、複数の撮像部により同時に生成された複数の画像（画像データ）を関連付けて記録するデジタルスチルカメラやデジタルビデオカメラ（カメラ一体型レコーダ）等の画像処理装置が提案されている。例えば、左右眼の視差を利用して立体的な視覚を得ることができる立体視画像を表示するための複数の画像（画像データ）を関連付けて記録する撮像装置が提案されている。
【０００３】
例えば、２つの光学系を用いて２つの画像（立体視画像）を生成する二眼撮像装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−２６１８２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の従来技術によれば、２つの光学系を用いて２つの画像（立体視画像）を生成することができる。このように、上述の従来技術では、２つの光学系を用いて２つの画像を生成することができるため、例えば、立体視画像以外の２つの画像（例えば、ズーム倍率が異なる２つの画像）を生成することも考えられる。
【０００６】
例えば、２つの光学系を用いて、立体視画像以外の２つの画像（例えば、ズーム倍率が異なる２つの画像）を生成する場合には、これらの２つの画像の撮像範囲が異なるため、これらの撮像範囲をユーザが容易に把握することが重要となる。
【０００７】
また、近年では、ユーザが容易に携帯することができる小型の画像処理装置（例えば、撮像装置）が普及している。このような携帯可能な画像処理装置は、バッテリ駆動により動作するものが多く、その動作時間を長くすることが重要となる。このため、例えば、撮像動作中において、画像表示時における処理の負荷を低減し、消費電力を抑制することが重要である。
【０００８】
本技術はこのような状況に鑑みて生み出されたものであり、複数の画像の視認性を維持して画像表示時における処理の負荷を低減することを目的とする。
【課題を解決するための手段】
【０００９】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、第１画像および第２画像を同時に表示する第１表示モードと、上記第２画像の上記第１画像との関係を上記第１画像と同時に表示する第２表示モードと、上記第１画像を表示する際に、所定条件に基づいて、上記第１表示モードと上記第２表示モードとの何れかを設定する制御を行う制御部とを具備する画像処理装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、第１画像を表示する際に、所定条件に基づいて、第１表示モードと第２表示モードとの何れかを設定するという作用をもたらす。
【００１０】
また、この第１の側面において、上記第１画像は、第１撮像部が被写体を撮像して生成された画像とし、上記第２画像は、第２撮像部が上記被写体を撮像して生成された画像とし、上記第２表示モードは、上記第２画像の上記第１画像との関係として、上記被写体に対する上記第１撮像部の撮像範囲と上記第２撮像部の撮像範囲との関係を表示する表示モードとするようにしてもよい。これにより、第２表示モードの設定時には、被写体に対する第１撮像部の撮像範囲と第２撮像部の撮像範囲との関係を表示するという作用をもたらす。
【００１１】
また、この第１の側面において、上記第２表示モードは、上記被写体に対する上記第１撮像部の撮像範囲と上記第２撮像部の撮像範囲との関係を表す画像として、上記第１画像上に上記第２撮像部の撮像範囲を表す付加画像を表示する表示モードとするようにしてもよい。これにより、第２表示モードの設定時には、第１画像上に第２撮像部の撮像範囲を表す付加画像を表示するという作用をもたらす。
【００１２】
また、この第１の側面において、上記制御部は、上記第１表示モードおよび上記第２表示モードの切替時において、上記第１表示モード設定時に表示される上記第２画像の位置と、上記第２表示モード設定時に上記第１画像上に表示される上記付加画像により特定される位置との間を、上記第２画像を移動させながらアニメーション表示させるための制御を行うようにしてもよい。これにより、第１表示モードおよび第２表示モードの切替時において、第１表示モード設定時に表示される第２画像の位置と、第２表示モード設定時に第１画像上に表示される付加画像により特定される位置との間を、第２画像を移動させながらアニメーション表示させるという作用をもたらす。
【００１３】
また、この第１の側面において、上記第２表示モードは、上記被写体に対する上記第１撮像部の撮像範囲と上記第２撮像部の撮像範囲との関係を表す表示態様として、上記第１画像において上記第２撮像部の撮像範囲に対応する画像と他の画像とを異なる表示態様とする表示モードとするようにしてもよい。これにより、第２表示モードの設定時には、第１画像において第２撮像部の撮像範囲に対応する画像と他の画像とを異なる表示態様とするという作用をもたらす。
【００１４】
また、この第１の側面において、上記制御部は、上記第１画像および上記第２画像のそれぞれを静止画コンテンツとして記録するための撮像モードが設定されていることを上記所定条件とし、上記所定条件を満たす場合には、上記第１表示モードを設定する制御を行うようにしてもよい。これにより、第１画像および第２画像のそれぞれを静止画コンテンツとして記録するための撮像モードが設定されている場合には、第１表示モードを設定するという作用をもたらす。
【００１５】
また、この第１の側面において、上記制御部は、上記第１画像および上記第２画像のうちの少なくとも一方を動画コンテンツとして記録するための記録処理が行われていることを上記所定条件とし、上記所定条件を満たす場合には、上記第２表示モードを設定する制御を行うようにしてもよい。これにより、第１画像および第２画像のうちの少なくとも一方を動画コンテンツとして記録するための記録処理が行われている場合には、第２表示モードを設定するという作用をもたらす。
【００１６】
また、この第１の側面において、上記制御部は、上記第２撮像部に係る光学系のズーム倍率が一定値を基準として大きいことを上記所定条件とし、上記所定条件を満たす場合には、上記第１表示モードを設定する制御を行うようにしてもよい。これにより、第２撮像部に係る光学系のズーム倍率が一定値を基準として大きい場合には、第１表示モードを設定するという作用をもたらす。
【００１７】
また、この第１の側面において、上記制御部は、上記第２画像に主要被写体が含まれていることを上記所定条件とし、上記所定条件を満たす場合には、上記第１表示モードを設定する制御を行うようにしてもよい。これにより、第２画像に主要被写体が含まれている場合には、第１表示モードを設定するという作用をもたらす。
【００１８】
また、この第１の側面において、上記制御部は、上記第２画像に主要被写体が含まれる場合であって当該主要被写体の表示サイズが上記第１画像に含まれる当該主要被写体の表示サイズを基準として大きいことを上記所定条件とし、上記所定条件を満たす場合には、上記第１表示モードを設定する制御を行うようにしてもよい。これにより、第２画像に主要被写体が含まれる場合であってその主要被写体の表示サイズが第１画像に含まれるその主要被写体の表示サイズを基準として大きい場合には、第１表示モードを設定するという作用をもたらす。
【００１９】
また、この第１の側面において、上記制御部は、低消費電力モードが設定されていることを上記所定条件とし、上記所定条件を満たす場合には、上記第２表示モードを設定する制御を行うようにしてもよい。これにより、低消費電力モードが設定されている場合には、第２表示モードを設定するという作用をもたらす。
【００２０】
また、この第１の側面において、上記制御部は、上記画像処理装置におけるバッテリ残量が所定値を基準として小さいことを上記所定条件とし、上記所定条件を満たす場合には、上記第２表示モードを設定する制御を行うようにしてもよい。これにより、画像処理装置におけるバッテリ残量が所定値を基準として小さい場合には、第２表示モードを設定するという作用をもたらす。
【００２１】
また、この第１の側面において、上記制御部は、上記第１表示モードが設定される場合において上記第１画像に主要被写体が含まれている場合には当該主要被写体と上記第２画像とが重複しないように当該第２画像の表示位置を変更する制御を行うようにしてもよい。これにより、第１表示モードの設定時において第１画像に主要被写体が含まれている場合には、その主要被写体と第２画像とが重複しないように第２画像の表示位置を変更するという作用をもたらす。
【００２２】
また、この第１の側面において、上記制御部は、上記第１表示モードが設定される場合において上記第２画像に主要被写体が含まれている場合には当該主要被写体のサイズが所定サイズとなるように当該第２画像のサイズを変更する制御を行うようにしてもよい。これにより、第１表示モードの設定時において第２画像に主要被写体が含まれている場合には、その主要被写体のサイズが所定サイズとなるように第２画像のサイズを変更するという作用をもたらす。
【００２３】
また、この第１の側面において、上記第１画像および上記第２画像は、同一被写体に対して撮像範囲が異なるように複数の撮像部によりそれぞれ生成された画像とし、上記第１表示モードは、上記第１画像上における所定位置に上記第２画像を重ねて表示する表示モードとし、上記第２表示モードは、上記第２画像の上記第１画像との関係を表す画像として、上記第１画像上に上記第２撮像部の撮像範囲を表す付加画像を表示する表示モードとするようにしてもよい。これにより、第１表示モードの設定時には、第１画像上における所定位置に第２画像を重ねて表示し、第２表示モードの設定時には、第１画像上に第２撮像部の撮像範囲を表す付加画像を表示するという作用をもたらす。
【００２４】
また、この第１の側面において、上記制御部により設定された表示モードに従って各画像を表示する表示部をさらに具備するようにしてもよい。これにより、制御部により設定された表示モードに従って各画像を表示するという作用をもたらす。
【００２５】
また、この第１の側面において、上記第１撮像部および上記第２撮像部をさらに具備するようにしてもよい。これにより、第１撮像部により第１画像を生成し、第２撮像部により第２画像を生成するという作用をもたらす。
【００２６】
また、この第１の側面において、上記第１撮像部および上記第２撮像部は、第１撮像モードが設定されている場合には立体視画像を表示するための２つの画像を生成し、第２撮像モードが設定されている場合には立体視画像以外の画像を表示するための上記第１画像および上記第２画像を生成し、上記制御部は、上記第２撮像モードが設定されている場合に上記第１表示モードと上記第２表示モードとの何れかを設定する制御を行うようにしてもよい。これにより、第１撮像モードが設定されている場合には立体視画像を表示するための２つの画像を生成し、第２撮像モードが設定されている場合には立体視画像以外の画像を表示するための第１画像および第２画像を生成し、第２撮像モードが設定されている場合に第１表示モードと第２表示モードとの何れかを設定するという作用をもたらす。
【発明の効果】
【００２７】
本技術によれば、複数の画像の視認性を維持して画像表示時における処理の負荷を低減することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００２８】
【図１】本技術の第１の実施の形態における画像処理装置１００の外観を示す斜視図である。
【図２】本技術の第１の実施の形態における画像処理装置１００の内部構成例を示すブロック図である。
【図３】本技術の第１の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。
【図４】本技術の第１の実施の形態における画像処理装置１００において２眼撮像モードが設定されている場合における表示部１７２の表示例を示す図である。
【図５】本技術の第１の実施の形態における表示部１７２に表示されるＰｉｎＰ表示の遷移例を示す図である。
【図６】本技術の第１の実施の形態における表示部１７２に表示される枠表示の遷移例を示す図である。
【図７】本技術の第１の実施の形態における画像処理装置１００の撮像動作時におけるデータの流れを模式的に示す図である。
【図８】本技術の第１の実施の形態における表示部１７２に表示される枠表示およびＰｉｎＰ表示の遷移例を示す図である。
【図９】本技術の第１の実施の形態における画像処理装置１００による表示モード設定処理の処理手順の一例を示すフローチャートである。
【図１０】本技術の第１の実施の形態における画像処理装置１００による表示モード設定処理の処理手順の一例を示すフローチャートである。
【図１１】本技術の第２の実施の形態における表示部１７２に表示される枠表示およびＰｉｎＰ表示の遷移例を示す図である。
【図１２】本技術の第２の実施の形態における画像処理装置１００による表示モード設定処理の処理手順の一例を示すフローチャートである。
【図１３】本技術の第２の実施の形態における画像処理装置１００による表示モード設定処理の処理手順の一例を示すフローチャートである。
【図１４】本技術の第３の実施の形態における表示部１７２に表示される枠表示およびＰｉｎＰ表示の遷移例を示す図である。
【図１５】本技術の第３の実施の形態における画像処理装置１００による表示モード設定処理の処理手順の一例を示すフローチャートである。
【図１６】本技術の第４の実施の形態における表示部１７２に表示される枠表示からＰｉｎＰ表示への遷移例を示す図である。
【図１７】本技術の第４の実施の形態における表示部１７２の表示領域において第２画像表示領域を配置する候補の一例を示す図である。
【図１８】本技術の第４の実施の形態における表示部１７２に表示される枠表示からＰｉｎＰ表示への遷移例を示す図である。
【図１９】本技術の第４の実施の形態における表示部１７２に表示される枠表示からＰｉｎＰ表示への遷移例を示す図である。
【図２０】本技術の第４の実施の形態における画像処理装置１００によるＰｉｎＰ表示処理の処理手順の一例を示すフローチャートである。
【図２１】本技術の第４の実施の形態における画像処理装置１００によるＰｉｎＰ表示処理の処理手順の一例を示すフローチャートである。
【図２２】本技術の第４の実施の形態における制御部２９０が第２画像表示領域の移動やサイズ変更を判断する際に用いられる主要被写体の一例を示す図である。
【図２３】本技術の実施の形態の変形例における表示部１７２に表示されるＰｉｎＰ表示の遷移例を示す図である。
【図２４】本技術の実施の形態の変形例における表示部１７２に表示される表示画面の遷移例を示す図である。
【図２５】本技術の実施の形態の変形例における画像処理装置８００の外観構成例を示す図である。
【図２６】本技術の実施の形態の変形例における画像処理装置１００および表示装置８５０の外観構成例を示す図である。
【発明を実施するための形態】
【００２９】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（表示モード設定制御：撮像動作中において、設定されている撮像モード、低消費電力モードの設定の有無、バッテリ残量に基づいて表示モードを設定する例）
２．第２の実施の形態（表示モード設定制御：撮像動作中において、動画記録動作の有無等に基づいて表示モードを設定する例）
３．第３の実施の形態（表示モード設定制御：撮像動作中において、ズーム倍率等に基づいて表示モードを設定する例）
４．第４の実施の形態（表示モード設定制御：撮像動作中において、表示モード切替時の画像の遷移をアニメーション表示する例）
５．変形例
６．変形例
７．変形例
【００３０】
＜１．第１の実施の形態＞
［画像処理装置の外観構成例］
図１は、本技術の第１の実施の形態における画像処理装置１００の外観を示す斜視図である。図１（ａ）は、画像処理装置１００の正面（すなわち、被写体に向けられるレンズが設けられている面）側の外観を示す斜視図である。また、図１（ｂ）は、画像処理装置１００の背面（すなわち、撮影者に向けられる表示部１７２が設けられている面）側の外観を示す斜視図である。
【００３１】
画像処理装置１００は、第１撮像部１１１と、第２撮像部１１２と、表示部１７２と、シャッターボタン１８５とを備える。画像処理装置１００は、被写体を撮像して画像（画像データ）を生成し、この生成された画像を画像コンテンツ（静止画コンテンツまたは動画コンテンツ）として記録媒体（図２に示すリムーバブルメディア１９２）に記録することが可能な撮像装置である。また、画像処理装置１００は、２系統の撮像素子（イメージャ）を備える立体視撮像対応の撮像装置（いわゆる、２眼カメラ）であり、立体視画像（３Ｄ画像）を表示させるための画像コンテンツを生成することができる。なお、立体視画像（３Ｄ画像）は、左右眼の視差を利用して立体的な視覚を得ることができる画像である。
【００３２】
例えば、第１撮像部１１１および第２撮像部１１２のそれぞれが被写体を撮像して２つの画像（立体視画像を表示するための左眼視用画像（左眼画像）および右眼視用画像（右眼画像））を生成する。そして、その生成された２つの画像に基づいて、立体視画像を表示させるための画像コンテンツが生成される。
【００３３】
また、画像処理装置１００は、立体視画像の撮像動作とは別に、第１撮像部１１１および第２撮像部１１２のそれぞれが独立して撮像動作を行い、設定が異なる２つの画像を生成することができる。例えば、画像処理装置１００は、一方の撮像部（例えば、第１撮像部１１１）のズームレンズをワイド端に固定した状態で、他方の撮像部（例えば、第２撮像部１１２）のズームレンズをユーザ操作に基づいて移動させながら撮像動作を行うことができる。すなわち、画像処理装置１００では、一度の撮像動作で、ワイド端の画像とズームされた画像との２つの画像を同時に生成することができる撮像モードを設定することが可能である。
【００３４】
なお、画像処理装置１００には、電源スイッチ、モード切替スイッチ、ズームボタン等の他の操作部材が備えられているが、ここでの図示および説明は省略する。
【００３５】
表示部１７２は、各種画像を表示する表示パネルである。表示部１７２として、例えば、表示部１７２における接触操作を検出することによりユーザからの操作入力を受け付けるタッチパネルを用いることができる。
【００３６】
シャッターボタン１８５は、被写体を撮像して生成された画像（画像データ）を画像コンテンツ（静止画コンテンツ）として記録する際にユーザにより押下されるボタンである。例えば、静止画を記録するための撮像モード（例えば、静止画＋静止画モード）が設定されている場合において、シャッターボタン１８５が半押しされた場合には、オートフォーカスを行うためのフォーカス制御が行われる。また、シャッターボタン１８５が全押しされた場合には、そのフォーカス制御が行われ、この全押しの際に第１撮像部１１１および第２撮像部１１２のそれぞれにより撮像された画像が関連付けて記録媒体に記録される。
【００３７】
なお、第１撮像部１１１および第２撮像部１１２については、図２を参照して詳細に説明する。
【００３８】
［画像処理装置の内部構成例］
図２は、本技術の第１の実施の形態における画像処理装置１００の内部構成例を示すブロック図である。
【００３９】
画像処理装置１００は、第１撮像部１１１と、第２撮像部１１２と、第１信号処理部１２１と、第２信号処理部１２２と、解像度変換部１３１と、画像圧縮伸張部１３２と、グラフィックエンジン１３３とを備える。また、画像処理装置１００は、ＲＯＭ（Read Only Memory）１４０と、ＲＡＭ（Random Access Memory）１５０と、ＣＰＵ（Central Processing Unit）１６０とを備える。また、画像処理装置１００は、表示部コントローラ１７１と、表示部１７２と、入力制御部１８１と、操作部１８２と、リムーバブルメディアコントローラ１９１と、リムーバブルメディア１９２と、外部インターフェース１９５とを備える。なお、画像処理装置１００を構成する各部の間で行われるやりとりは、バス１０１を介して行われる。
【００４０】
第１撮像部１１１および第２撮像部１１２は、ＣＰＵ１６０の制御に基づいて、被写体からの入射光を変換して画像（画像データ）を生成するものである。また、第１撮像部１１１および第２撮像部１１２は、立体視画像を表示するための左眼視用画像および右眼視用画像を生成するため、光学系、撮像素子のそれぞれが左右１組となるように構成されている。すなわち、第１撮像部１１１および第２撮像部１１２のそれぞれは、ズームレンズと、フォーカスレンズと、絞りと、これらの駆動部と、撮像素子とを備える。
【００４１】
なお、第１撮像部１１１および第２撮像部１１２の各構成（各レンズ、各撮像素子等）は、配置位置が異なる点以外は略同一である。このため、以下では、これらの左右の構成のうち何れかについては一部の説明を省略して説明する。
【００４２】
第１撮像部１１１は、ＣＰＵ１６０の制御に基づいて、被写体からの入射光を変換して画像データ（画像）を生成するものであり、生成された画像データを第１信号処理部１２１に供給する。
【００４３】
第１撮像部１１１の光学系を構成するズームレンズは、ＣＰＵ１６０の制御に基づいて、光軸方向に移動して焦点距離を調整するレンズである。すなわち、ズームレンズは、画像に含まれる被写体を拡大または縮小させるため、被写体に対して前後に駆動するレンズであり、ズーム機能を実現するためのレンズである。
【００４４】
第１撮像部１１１の光学系を構成するフォーカスレンズは、ＣＰＵ１６０の制御に基づいて、光軸方向に移動してフォーカス（焦点）を調整するレンズである。すなわち、フォーカスレンズは、画像に含まれる所望の対象物にフォーカスを合わせるために使用されるレンズであり、オートフォーカス機能を実現する。
【００４５】
このように、ズームレンズおよびフォーカスレンズは、被写体からの入射光を集光するレンズ群であり、これらのレンズ群により集光される光が、第１撮像部１１１の光学系を構成する絞りによりその量（光量）が調整されて撮像素子に入射される。
【００４６】
第１撮像部１１１の撮像素子は、ズームレンズ、フォーカスレンズおよび絞りを通過した入射光に光電変換処理を施し、光電変換された電気信号（画像信号）を第１信号処理部１２１に供給する撮像素子である。すなわち、撮像素子は、ズームレンズおよびフォーカスレンズを介して入射された被写体からの光を受光して光電変換を行うことにより、光の受光量に応じたアナログの画像信号を生成する。なお、撮像素子として、例えば、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等を用いることができる。
【００４７】
第１信号処理部１２１は、ＣＰＵ１６０の制御に基づいて、第１撮像部１１１から供給されたアナログの画像信号に対して各種の信号処理を施す信号処理部である。そして、第１信号処理部１２１は、各種の信号処理が施されて生成されたデジタルの画像信号（例えば、左眼視用画像）をＲＡＭ１５０に一時的に保持させる。
【００４８】
なお、第１信号処理部１２１および第２信号処理部１２２は、配置位置が異なる点以外は略同一である。このため、第２信号処理部１２２についての説明を省略する。
【００４９】
解像度変換部（Resolution Converter）１３１は、ＣＰＵ１６０からの制御信号に基づいて、入力された各種画像データを各画像処理に適した解像度に変換するものである。
【００５０】
画像圧縮伸張部１３２は、ＣＰＵ１６０からの制御信号に基づいて、入力された各種画像データを各画像処理に応じて圧縮または伸張するものである。画像圧縮伸張部１３２は、例えば、入力された各種画像データをＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）形式の画像データに圧縮または伸張する。画像圧縮伸張部１３２は、例えば、ＪＰＥＧ ＣｏｎｖｅｒｔｅｒやＣｏｄｅｃ Ｅｎｇｉｎｅに対応する。
【００５１】
グラフィックエンジン（Graphic Engine）１３３は、ＣＰＵ１６０の制御に基づいて、表示部１７２に表示させる各種画像を生成するものである。例えば、グラフィックエンジン１３３は、撮像動作中には、撮像動作に関する各種画像（例えば、図５、図６に示すアイコン表示領域３１５内のアイコン）を生成する。また、グラフィックエンジン１３３は、撮像動作中において、枠表示モードが設定されている場合には、モニタリング画像に重ねて表示される枠画像（例えば、図６に示す枠３２２、３２３）を生成する。また、グラフィックエンジン１３３は、撮像動作中において、ＰｉｎＰ（Picture in Picture）表示モードが設定されている場合には、モニタリング画像として表示される２つの画像を重畳するＭＩＸ処理を行う。例えば、図５（ａ）に示す第１画像表示領域３１１内の画像に、第２画像表示領域３１２内の画像が上書き合成される。ここで、モニタリング画像は、例えば、動画記録中または静止画の記録動作待機中に表示部１７２に表示される画像（第１撮像部１１１、第２撮像部１１２により生成される画像）である。
【００５２】
ＲＯＭ１４０は、読み出し専用のメモリであり、各種制御プログラム等を記憶するものである。
【００５３】
ＲＡＭ１５０は、ＣＰＵ１６０のメインメモリ（主記憶装置）に用いられるメモリであり、ＣＰＵ１６０において実行されるプログラムの作業領域等を備え、ＣＰＵ１６０が各種の処理を行う上で必要なプログラムやデータが一時的に保持される。また、ＲＡＭ１５０は、各種の画像処理のための画像保存領域を備える。
【００５４】
ＣＰＵ１６０は、ＲＯＭ１４０に記憶されている各種制御プログラムに基づいて、画像処理装置１００の各部を制御するものである。また、ＣＰＵ１６０は、操作部１８２により受け付けられた操作入力等に基づいて画像処理装置１００の各部を制御する。例えば、ＣＰＵ１６０は、ズーム制御、フォーカス制御、シャッター制御、画像記録処理、モード設定等の各制御を行う。例えば、ＣＰＵ１６０は、フォーカスレンズを移動させる制御信号を生成することにより、所定の被写体に対する合焦位置を検出するＡＦ（Auto Focus：オートフォーカス）制御を行う。具体的には、ＣＰＵ１６０は、第１信号処理部１２１および第２信号処理部１２２から出力された画像について、フォーカスレンズを移動させてオートフォーカス制御を行う。
【００５５】
表示部コントローラ１７１は、ＣＰＵ１６０の制御に基づいて、各種画像を表示部１７２に表示させるものである。例えば、表示部コントローラ１７１は、ＣＰＵ１６０の制御に基づいて、各種画面（例えば、図５および図６に示す各画面）を表示部１７２に表示させる。例えば、表示部コントローラ１７１は、撮像モードが設定されている場合には、第１撮像部１１１および第２撮像部１１２により生成された各画像をモニタリング画像（いわゆる、スルー画像）として表示部１７２に表示させる。
【００５６】
表示部１７２は、表示部コントローラ１７１から供給された各種画像を表示する表示部である。例えば、表示部１７２は、第１撮像部１１１および第２撮像部１１２により生成された各画像を順次表示する。表示部１７２として、例えば、有機ＥＬ（Electro Luminescence）、ＬＣＤ（Liquid Crystal Display）等の表示パネルを用いることができる。また、表示部１７２として、例えば、使用者がその指を表示面に接触または近接することにより操作入力を行うことが可能なタッチパネルを用いるようにしてもよい。
【００５７】
入力制御部１８１は、ＣＰＵ１６０からの指示に基づいて、操作部１８２により受け付けられる操作入力に関する制御を行うものである。
【００５８】
操作部１８２は、ユーザによる操作入力を受け付ける操作部であり、受け付けられた操作入力に応じた操作信号をＣＰＵ１６０に供給する。操作部１８２は、例えば、シャッターボタン１８５（図１に示す）、各種操作ボタン、各種操作ダイヤル、モード設定ボタン、ズームボタン等の操作部材に対応する。モード設定ボタンは、例えば、所望の撮像モードを設定する際（所望の撮像モードに切り替える際）に用いられる操作部材である。また、ズームボタン（Ｗ（ワイド）ボタンおよびＴ（テレ）ボタン）は、例えば、ユーザがズーム操作を行うための操作部材である。このズームボタンのＷボタンが押下されている状態では、ズームレンズがワイド端側（望遠側）に移動し、Ｔボタンが押下されている状態では、ズームレンズがテレ端側（広角側）に移動する。ここで、３Ｄ撮像モード以外の２眼撮像モードが設定されている場合において、ユーザによるズーム操作が受け付けられた場合には、２つの撮像部のうちの何れか一方（例えば、第２撮像部１１２）のズームレンズのみを移動させるものとする。また、上述したように、表示部１７２および操作部１８２については、タッチパネルにより一体で構成するようにしてもよい。
【００５９】
リムーバブルメディアコントローラ１９１は、リムーバブルメディア１９２と接続され、ＣＰＵ１６０の制御に基づいて、リムーバブルメディア１９２へのデータの読出しおよび書込みを行うものである。例えば、リムーバブルメディアコントローラ１９１は、第１撮像部１１１、第２撮像部１１２により生成された画像データ等の各種画像データを画像ファイル（画像コンテンツ）としてリムーバブルメディア１９２に記録させる。また、リムーバブルメディアコントローラ１９１は、リムーバブルメディア１９２から画像ファイル等のコンテンツを読み出してバス１０１を介してＲＡＭ１５０等に供給する。
【００６０】
リムーバブルメディア１９２は、リムーバブルメディアコントローラ１９１から供給された画像データを記録する記録デバイスである。リムーバブルメディア１９２には、例えば、ＪＰＥＧやＭＰＥＧ形式の画像データ等の各種データが記録される。
【００６１】
外部インターフェース１９５は、有線回線または無線回線を介して外部装置（例えば、表示装置８５０）と接続され、ＣＰＵ１６０からの指示に基づいて、外部装置との間で行われる通信制御を行うものである。例えば、外部インターフェース１９５は、装置間インターフェース８６０を介して表示装置８５０と接続され、ＣＰＵ１６０の制御に基づいて、表示装置８５０との間で行われる各種情報の入出力を行う。
【００６２】
ここで、第１撮像部１１１により生成された画像を静止画コンテンツとして記録する場合について説明する。例えば、第１撮像部１１１により生成され、第１信号処理部１２１により信号処理が施された画像データは、ＲＡＭ１５０に一時的に保存される。続いて、ＲＡＭ１５０に保存された画像データは、解像度変換部１３１により所定の解像度に変換され、画像圧縮伸張部１３２により圧縮（ＪＰＥＧ等）される。このように、解像度変換がされて圧縮された画像データは、リムーバブルメディアコントローラ１９１により静止画コンテンツ（静止画ファイル）として、リムーバブルメディア１９２に記録される。なお、第２撮像部１１２により生成された画像を静止画コンテンツとして記録する場合についても略同様である。
【００６３】
また、第１撮像部１１１により生成された画像を動画コンテンツとして記録する場合について説明する。例えば、第１撮像部１１１により生成され、第１信号処理部１２１により信号処理が施された画像データは、ＲＡＭ１５０に一時的に保存される。続いて、ＲＡＭ１５０に保存された画像データは、解像度変換部１３１により所定の解像度に変換され、画像圧縮伸張部１３２により圧縮（Ｈ．２６４、ＭＰＥＧ４等）される。このように、解像度変換がされて圧縮された画像データは、リムーバブルメディアコントローラ１９１により、音声データとともに動画ストリーム（動画コンテンツ）として、リムーバブルメディア１９２に記録される。なお、第２撮像部１１２により生成された画像を動画コンテンツとして記録する場合についても略同様である。
【００６４】
また、第１撮像部１１１および第２撮像部１１２を同期して動作させることにより、立体視画像（３Ｄ映像）を画像コンテンツ（立体視画像コンテンツ）として記録することができる。
【００６５】
また、第１撮像部１１１および第２撮像部１１２をそれぞれ別々に動作させることにより、ズーム倍率や露出等が異なる２つの画像コンテンツを同時に記録することができる。この２つの画像コンテンツは、例えば、ズーム倍率が異なる２つの静止画コンテンツ、ズーム倍率やフレームレートを変えた２つの動画コンテンツ、静止画コンテンツおよび動画コンテンツである。このように記録される２つの画像コンテンツについては、第１撮像部１１１および第２撮像部１１２のそれぞれにより生成される２つの画像の設定内容がそれぞれ異なる。このため、撮像動作中に２つの画像をユーザが容易に把握できることが好ましい。そこで、本技術の第１の実施の形態では、第１撮像部１１１および第２撮像部１１２のそれぞれにより生成される２つの画像を、撮像動作中にユーザが容易に把握することができる例を示す。
【００６６】
［画像処理装置の機能構成例］
図３は、本技術の第１の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。
【００６７】
画像処理装置１００は、第１画像生成部２１０と、第２画像生成部２２０と、顔検出部２３０と、操作受付部２４０と、バッテリ残量検出部２５０と、表示制御部２６０と、表示部１７２と、記録制御部２７０と、コンテンツ記憶部２８０と、制御部２９０とを備える。
【００６８】
第１画像生成部２１０および第２画像生成部２２０は、制御部２９０の制御に基づいて、被写体を撮像して画像を生成するものであり、生成された画像を、顔検出部２３０と、表示制御部２６０と、記録制御部２７０に出力する。例えば、第１画像生成部２１０および第２画像生成部２２０は、２眼撮像モードとして３Ｄ撮像モード（第１撮像モード）が設定されている場合には、立体視画像を表示するための２つの画像を生成する。また、例えば、第１画像生成部２１０および第２画像生成部２２０は、２眼撮像モードとして３Ｄ撮像モード以外の撮像モード（第２撮像モード）が設定されている場合には、立体視画像以外の画像を表示するための２つの画像（第１画像および第２画像）を生成する。この２つの画像（第１画像および第２画像）は、例えば、同一被写体に対して撮像範囲が異なるように、第１画像生成部２１０および第２画像生成部２２０によりそれぞれ生成された画像である。また、３Ｄ撮像モード以外の撮像モードは、例えば、図８等に示す静止画＋静止画モード、動画＋静止画モード、動画＋動画モードである。これらの各モードについては、図４を参照して詳細に説明する。なお、第１画像生成部２１０は、図２に示す第１撮像部１１１および第１信号処理部１２１に対応する。また、第２画像生成部２２０は、図２に示す第２撮像部１１２および第２信号処理部１２２に対応する。
【００６９】
顔検出部２３０は、第１画像生成部２１０および第２画像生成部２２０から出力された画像に含まれる人物の顔を検出するものであり、検出された顔に関する顔検出情報を制御部２９０に出力する。顔検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる顔検出方法（例えば、特開２００４−１３３６３７参照。）、画像データに含まれる肌色の部分や人間の顔の特徴量等に基づいた顔検出方法等を用いることができる。また、顔検出情報には、検出された顔の画像上における位置およびサイズが含まれる。この顔検出情報により、画像上における顔の少なくとも一部を含む顔画像（例えば、矩形状の画像）を特定することができる。なお、顔検出部２３０は、図２に示す第１信号処理部１２１、第２信号処理部１２２、または、ＣＰＵ１６０に対応する。
【００７０】
操作受付部２４０は、ユーザにより行われた操作を受け付ける操作受付部であり、受け付けられた操作内容に応じた制御信号（操作信号）を制御部２９０に出力する。操作受付部２４０は、例えば、所望の撮像モードを設定する撮像モード設定操作（撮像モード切替操作）を受け付ける。なお、操作受付部２４０は、図２に示す入力制御部１８１および操作部１８２に対応する。
【００７１】
バッテリ残量検出部２５０は、画像処理装置１００に内蔵または装着されているバッテリ（図示せず）の残量を検出するものであり、検出結果（バッテリ残量情報）を制御部２９０に出力する。なお、バッテリ残量検出部２５０は、図２に示すＣＰＵ１６０に対応する。
【００７２】
表示制御部２６０は、制御部２９０の指示に基づいて、第１画像生成部２１０および第２画像生成部２２０から出力された画像を表示部１７２に表示させるものである。例えば、表示制御部２６０は、撮像動作中において、制御部２９０により設定された表示モードに従って、モニタリング画像（例えば、図８に示す各画像）を表示部１７２に表示させる。ここで、制御部２９０により設定される表示モードは、例えば、ＰｉｎＰ表示モード（第１表示モード）または枠表示モード（第２表示モード）である。
【００７３】
ここで、ＰｉｎＰ表示モード（第１表示モード）は、第１画像生成部２１０および第２画像生成部２２０のそれぞれにより生成された２つの画像（第１画像および第２画像）を同時に表示する表示モードである。ＰｉｎＰ表示モードの設定時には、例えば、第１画像（第１画像生成部２１０により生成された画像）上における所定位置に第２画像（第２画像生成部２２０により生成された画像）が重ねて表示される。
【００７４】
また、枠表示モード（第２表示モード）は、第２画像（第２画像生成部２２０により生成された画像）の第１画像（第１画像生成部２１０により生成された画像）との関係を第１画像と同時に表示する表示モードである。例えば、第２画像の第１画像との関係として、被写体に対する第１撮像部１１１の撮像範囲と第２撮像部１１２の撮像範囲との関係が表示される。具体的には、その関係を表す画像として、第１画像上に第２撮像部１１２の撮像範囲を表す付加画像（例えば、図６に示す枠３２２、３２３）が表示される。
【００７５】
なお、表示制御部２６０は、図２に示すグラフィックエンジン１３３および表示部コントローラ１７１に対応する。また、表示部１７２は、図２に示す表示部１７２に対応するため同一の符号を付して、ここでの説明を省略する。
【００７６】
記録制御部２７０は、制御部２９０の指示に基づいて、コンテンツ記憶部２８０に対する記録制御を行うものである。例えば、記録制御部２７０は、第１画像生成部２１０および第２画像生成部２２０のそれぞれにより生成された２つの画像（画像データ）を画像コンテンツ（画像ファイル）としてコンテンツ記憶部２８０に記録させる。なお、記録制御部２７０は、図２に示すリムーバブルメディアコントローラ１９１に対応する。
【００７７】
コンテンツ記憶部２８０は、記録制御部２７０の制御に基づいて、各種情報（静止画コンテンツや動画コンテンツ）を記憶する記憶部である。なお、コンテンツ記憶部２８０は、図２に示すリムーバブルメディア１９２に対応する。
【００７８】
制御部２９０は、各種制御プログラムに基づいて、画像処理装置１００の各部を制御するものである。例えば、制御部２９０は、２眼撮像モードとして３Ｄ撮像モード以外の撮像モード（第２撮像モード）が設定されている場合において、第１画像（第１画像生成部２１０により生成された画像）を表示する際における表示モードを設定する制御を行う。すなわち、制御部２９０は、第１画像（第１画像生成部２１０により生成された画像）を表示する際に、所定条件に基づいて、ＰｉｎＰ表示モード（第１表示モード）と、枠表示モード（第２表示モード）との何れかを設定する制御を行う。
【００７９】
例えば、制御部２９０は、静止画＋静止画モードが設定されている場合（所定条件）には、ＰｉｎＰ表示モード（第１表示モード）を設定する制御を行う。
【００８０】
また、例えば、制御部２９０は、低消費電力モードが設定されている場合（所定条件）には、枠表示モード（第２表示モード）を設定する制御を行う。ここで、低消費電力モードは、画像処理装置１００において各処理が行われる場合でも、低消費電力状態を維持するためのモードである。
【００８１】
また、例えば、制御部２９０は、画像処理装置１００におけるバッテリ残量が所定値を基準として小さい場合（所定条件）には、枠表示モード（第２表示モード）を設定する制御を行う。この場合に、制御部２９０は、バッテリ残量検出部２５０から出力されたバッテリ残量情報に基づいて、画像処理装置１００におけるバッテリ残量が所定値を基準として小さいか否かを判断する。また、これらの所定条件の組み合わせに基づいて、ＰｉｎＰ表示モードおよび枠表示モードを設定するようにしてもよい。なお、制御部２９０は、図２に示すＣＰＵ１６０に対応する。
【００８２】
［２眼撮像モード設定時の表示例］
図４は、本技術の第１の実施の形態における画像処理装置１００において２眼撮像モードが設定されている場合における表示部１７２の表示例を示す図である。なお、図４では、２眼撮像モードとして、３Ｄ撮像モード以外の撮像モードが設定されている場合における表示例を示す。
【００８３】
ここで、３Ｄ撮像モード以外の撮像モードは、例えば、静止画＋静止画モード、動画＋静止画モード、動画＋動画モードである。静止画＋静止画モードは、２つの撮像部（第１撮像部１１１、第２撮像部１１２）により生成された２つの画像（１つの画像の撮像範囲（ズーム倍率）を変更可能）を静止画コンテンツとして記録するための撮像モードである。また、動画＋静止画モードは、一方の撮像部（例えば、第１撮像部１１１）により生成された画像を動画コンテンツとして記録し、他方の撮像部（例えば、第２撮像部１１２）により生成された画像を静止画コンテンツとして記録するための撮像モードである。なお、動画＋静止画モードでは、静止画コンテンツとして記録される画像の撮像範囲（ズーム倍率）を変更可能とすることができる。また、動画＋動画モードは、２つの撮像部（第１撮像部１１１、第２撮像部１１２）により生成された２つの画像（１つの画像の撮像範囲（ズーム倍率）を変更可能）を動画コンテンツとして記録するための撮像モードである。
【００８４】
図４（ａ）には、ＰｉｎＰ表示モードが設定されている場合における表示構成例を示す。ＰｉｎＰ表示モードは、第１撮像部１１１により生成された画像上に、第２撮像部１１２により生成された画像を重ねて表示させる表示モードである。例えば、表示部１７２における第１画像表示領域３０１には、ワイド端の画像（例えば、第１撮像部１１１により生成された画像）が表示される。一方、表示部１７２における第２画像表示領域３０２には、ズーム操作に応じた画像（例えば、第２撮像部１１２により生成された画像）が表示される。なお、図４（ａ）では、表示部１７２における全ての表示領域（すなわち、全画面）を第１画像表示領域３０１とし、表示部１７２における右下の領域を第２画像表示領域３０２とする例を示す。
【００８５】
ここで、第２撮像部１１２のズーム倍率が変更された場合には、第２画像表示領域３０２のサイズを変更するようにしてもよく、一定とするようにしてもよい。なお、ズーム倍率を変更するためのズーム操作は、操作部１８２における操作入力（例えば、ズームボタンの押下操作）により行われる。また、第２撮像部１１２のズーム倍率が変更された場合における表示遷移例については、図５に示す。
【００８６】
図４（ｂ）には、枠表示モードが設定されている場合における表示構成例を示す。枠表示モードは、第１撮像部１１１により生成された画像上に、第２撮像部１１２により生成された画像の撮像範囲を表す枠（付加画像）を重ねて表示させる表示モードである。例えば、表示部１７２における第１画像表示領域３０１には、第１撮像部１１１により生成された画像が表示され、この画像上には、第２撮像部１１２により生成された画像の撮像範囲を表す枠３０５が重ねて表示される。
【００８７】
ここで、第２撮像部１１２のズーム倍率が変更された場合には、第２撮像部１１２により生成される画像の撮像範囲が変更されるため、この変更に応じて枠３０５が拡大または縮小される。例えば、ズーム倍率を拡大するためのユーザ操作（例えば、Ｔボタンの押下操作）が行われた場合には、枠３０５が矢印３０８方向に縮小され、枠３０６（点線で示す）となる。一方、ズーム倍率を縮小するためのユーザ操作（例えば、Ｗボタンの押下操作）が行われた場合には、枠３０５が矢印３０９方向に拡大され、枠３０７（点線で示す）となる。なお、第２撮像部１１２のズーム倍率が、第１撮像部１１１のズーム倍率と同一となった場合には、表示部１７２における第１画像表示領域３０１の外枠と枠３０５とが一致する。なお、第２撮像部１１２のズーム倍率が変更された場合における表示遷移例については、図６に示す。
【００８８】
［ＰｉｎＰ表示モード設定時の表示遷移例］
図５は、本技術の第１の実施の形態における表示部１７２に表示されるＰｉｎＰ表示の遷移例を示す図である。なお、図５では、第１撮像部１１１により生成された画像（第１画像表示領域３１１内の画像）上には、撮像動作時に用いられるアイコンが表示されるアイコン表示領域３１５が設けられている例を示す。なお、これ以降で示す各図についても、アイコン表示領域３１５が設けられている例を示すため、これ以降では、同一の符号を付してアイコン表示領域３１５の説明を省略する。
【００８９】
図５（ａ）には、ワイド側へのズーム操作が行われた場合に表示部１７２に表示される画像（第１画像表示領域３１１内の画像）および画像（第２画像表示領域３１２内の画像）を示す。また、図５（ｂ）には、テレ側へのズーム操作が行われた場合に表示部１７２に表示される画像（第１画像表示領域３１１内の画像）および画像（第２画像表示領域３１３内の画像）を示す。なお、実際のズーム操作時において、第１画像表示領域３１１内の画像に含まれる被写体が移動することがあるが、図５では、説明の容易のため、ズーム操作の前後において、第１画像表示領域３１１内の画像には同一の被写体が含まれるものとして説明する。また、これ以降で示す画像についても、ズーム操作の前後において同一の被写体が含まれるものとして説明する。なお、図５では、第２撮像部１１２により生成された画像が表示される表示領域（第２画像表示領域３１２、３１３）のサイズを一定とする例を示す。
【００９０】
図４（ａ）で示したように、ＰｉｎＰ表示モードの設定時には、第１撮像部１１１により生成された画像（第１画像表示領域３１１内の画像）上に、第２撮像部１１２により生成された画像（第２画像表示領域３１２、３１３内の画像）を重ねて表示させる。また、第１撮像部１１１により生成された画像の撮像範囲は、一定（ワイド端に固定）である。これに対して、第２撮像部１１２により生成された画像の撮像範囲は、ユーザによりズーム操作が行われた場合には、そのズーム操作に応じて変更される。例えば、図５の矢印に示すように、ユーザにより行われたズーム操作に応じて、第２撮像部１１２により生成された画像（第２画像表示領域３１２、３１３内の画像）が表示される。
【００９１】
［枠表示モード設定時の表示遷移例］
図６は、本技術の第１の実施の形態における表示部１７２に表示される枠表示の遷移例を示す図である。
【００９２】
図６（ａ）には、ワイド側へのズーム操作が行われた場合に表示部１７２に表示される画像（第１画像表示領域３２１内の画像）および枠３２２を示す。また、図６（ｂ）には、テレ側へのズーム操作が行われた場合に表示部１７２に表示される画像（第１画像表示領域３２１内の画像）および枠３２３を示す。
【００９３】
図４（ｂ）で示したように、枠表示モードの設定時には、第１撮像部１１１により生成された画像（第１画像表示領域３２１内の画像）上に、第２撮像部１１２により生成された画像の撮像範囲を表す枠３２２、３２３を重ねて表示させる。また、図４（ｂ）と同様に、第１撮像部１１１により生成された画像の撮像範囲は、一定（ワイド端に固定）であるのに対し、第２撮像部１１２により生成された画像の撮像範囲は、ユーザによりズーム操作が行われた場合には、そのズーム操作に応じて変更される。例えば、図６の矢印に示すように、第２撮像部１１２により生成される画像の撮像範囲の変更に応じて枠３２２、３２３が表示される。
【００９４】
［撮像モード設定時におけるデータフロー例］
図７は、本技術の第１の実施の形態における画像処理装置１００の撮像モード設定時におけるデータの流れを模式的に示す図である。
【００９５】
図７では、画像処理装置１００において、３Ｄ撮像モード以外の２眼撮像モードが設定されている場合を想定する。この場合には、第１撮像部１１１では、ズームレンズがワイド端に固定された状態で撮像処理が行われるものとする。一方、第２撮像部１１２では、ユーザによるズーム操作に応じてズームレンズが移動しながら撮像処理が行われるものとする。
【００９６】
図７（ａ）には、撮像モードとして動画＋静止画モードが設定され、表示モードとしてＰｉｎＰ表示モードが設定されている場合におけるデータの流れの一例を示す。この場合には、第１撮像部１１１では、ズームレンズがワイド端に固定された状態で動画の撮像処理４０１が行われ、第２撮像部１１２では、ユーザによるズーム操作（ズーム処理４１１）に応じてズームレンズが移動しながら静止画の撮像処理４０４が行われる。
【００９７】
図７（ａ）に示す例では、第１撮像部１１１による撮像処理４０１により生成された画像データについて、第１信号処理部１２１により信号処理４０２が行われ、解像度変換部１３１により解像度変換処理４０３が行われる。また、第２撮像部１１２による撮像処理４０４により生成された画像データについて、第２信号処理部１２２により信号処理４０５が行われ、解像度変換部１３１により解像度変換処理４０６が行われる。このように生成された２つの画像データについて、ＭＩＸ処理４０７が行われ、このＭＸＩ処理４０７が施された画像データについて表示部コントローラ１７１により表示処理４０８が行われる。
【００９８】
ここで、ＭＩＸ処理４０７は、グラフィックエンジン１３３により行われる。また、解像度変換部１３１により解像度変換処理４０３が行われた画像データと、解像度変換部１３１により解像度変換処理４０６が行われた画像データとをＲＡＭ１５０に順次貼り付けることによりＭＩＸ処理４０７を行うようにしてもよい。
【００９９】
ここで、動画記録指示操作が行われた場合には、画像データ（動画データ）の記録処理４１０が行われる。すなわち、解像度変換部１３１により解像度変換処理４０３が行われた画像データについて画像圧縮伸張部１３２によりエンコード処理４０９が行われる。続いて、エンコード処理４０９が施された画像データについてリムーバブルメディアコントローラ１９１により記録処理４１０が行われる。
【０１００】
このように、動画＋静止画モードが設定され、ＰｉｎＰ表示モードが設定されている場合において、動画の記録処理４１０が行われている場合には、解像度変換処理４０６およびＭＩＸ処理４０７とともに、エンコード処理４０９が行われる。このため、システム負荷が高くなるため、消費電力が増加し、バッテリ容量が低下する。また、システム負荷が高くなるため、これを実現するためには、リッチなシステムとする必要があり、高コスト化に繋がるおそれがある。
【０１０１】
図７（ｂ）には、撮像モードとして静止画＋静止画モードが設定され、表示モードとして枠表示モードが設定されている場合におけるデータの流れの一例を示す。この場合についても、第１撮像部１１１では、ズームレンズがワイド端に固定された状態で動画の撮像処理４２１が行われる。また、第２撮像部１１２では、ユーザによるズーム操作（ズーム処理４３０）に応じてズームレンズが移動しながら静止画の撮像処理４２４が行われる。
【０１０２】
図７（ｂ）に示す例では、第１撮像部１１１による撮像処理４２１により生成された画像データについて、第１信号処理部１２１により信号処理４２２が行われ、解像度変換部１３１により解像度変換処理４２３が行われる。このように生成された画像データについて、ユーザによるズーム操作（ズーム処理４３０）に応じた枠付加処理４２６が行われ、この枠付加処理４２６が施された画像データについて表示部コントローラ１７１により表示処理４２７が行われる。なお、枠付加処理４２６は、グラフィックエンジン１３３により行われる。
【０１０３】
このように、枠表示モードの設定時には、表示部１７２に実際に表示される画像は、一方の画像（第１撮像部１１１により生成される画像）のみである。このため、例えば、枠表示モードの設定時には、第２撮像部１１２により生成された画像を表示させる必要がないため、第２撮像部１１２の撮像素子の動作（例えば、読出動作）を停止させることができる。これにより、システム負荷を低減させることができ、消費電力を削減することができる。また、システム負荷の低減により画像処理装置１００の温度上昇を抑制することができる。ただし、静止画撮像動作のためのＡＦ（Auto Focus）処理を行う必要があるため、定期的または不定期に、第２撮像部１１２による撮像処理４２４により生成された画像データについて、第２信号処理部１２２により信号処理４２５が行われる。また、ユーザによりシャッターボタン１８５が押下された場合（全押しまたは半押し）には、第２撮像部１１２の撮像素子を動作させる。
【０１０４】
また、枠表示モードの設定時には、各撮像部（第１撮像部１１１、第２撮像部１１２）の撮像範囲を迅速に把握し易い。ただし、ズーム倍率が上がった場合には、枠が狭くなるため、視認性が悪くなるおそれがある。また、立体視画像（３Ｄ画像）は、左右眼の視差を利用して立体的な視覚を得るための画像であるため、左眼視用画像および右眼視用画像において左右方向に多少のズレが生じる。このため、枠表示モードの設定時において、枠内に表示される画像と実際の画像との間で、左右方向に多少のズレが生じることも想定される。
【０１０５】
また、ＰｉｎＰ表示モードの設定時には、各撮像部（第１撮像部１１１、第２撮像部１１２）により生成される画像が表示されるため、各撮像部の撮像範囲を視認し易い。また、ＰｉｎＰ表示モードの設定時には、記録対象となる２つの画像が表示されるため、例えば、高倍率ズームとなった場合でも、記録対象となる画像を詳細に見ることができる。ただし、ＰｉｎＰ表示モードの設定時には、表示部１７２に両方の画像（第１撮像部１１１、第２撮像部１１２により生成される画像）を表示するための処理を行う必要が生じるため、システム負荷が高くなり、消費電力が増加するおそれがある。
【０１０６】
このように、枠表示モードは、視認性が低いが、システム負荷が低く、消費電力を低減させることができる。一方、ＰｉｎＰ表示モードは、システム負荷が高く、消費電力が増加するが、視認性を高くすることができる。このため、画像処理装置１００の使用状況に応じて、枠表示モードおよびＰｉｎＰ表示モードを適切に設定することが重要である。
【０１０７】
そこで、本技術の第１の実施の形態では、画像処理装置１００の使用状況に応じて、枠表示モードおよびＰｉｎＰ表示モードを適切に設定する例を示す。
【０１０８】
［枠表示モードおよびＰｉｎＰ表示モードの遷移例］
図８は、本技術の第１の実施の形態における表示部１７２に表示される枠表示およびＰｉｎＰ表示の遷移例を示す図である。
【０１０９】
図８では、２眼撮像モード（３Ｄ撮像モード以外）として、静止画＋静止画モードが設定されている場合にのみ、ＰｉｎＰ表示モードが設定され、その他のモードが設定されている場合には、枠表示モードが設定される例を示す。ただし、静止画＋静止画モードの設定時でも、低消費電力モードが設定されている場合には、枠表示モードが設定される。また、静止画＋静止画モードの設定時（低消費電力モードが未設定）でも、バッテリ残量が少なくなった場合には、枠表示モードが設定される。
【０１１０】
すなわち、図８では、ユーザ操作により撮像モードのモード切替が行われた場合と、バッテリ残量が所定値を基準として小さくなった場合とに、枠表示モードおよびＰｉｎＰ表示モードが切り替えられる例を示す。
【０１１１】
図８（ａ）には、枠表示モードが設定されている場合における遷移例を示す。この遷移例は、図６に示す遷移例に対応する。
【０１１２】
図８（ｂ）には、ＰｉｎＰ表示モードが設定されている場合における遷移例を示す。この遷移例は、図５に遷移例に対応する。
【０１１３】
例えば、枠表示モードの設定時（図８（ａ）に示す）において、静止画＋静止画モードへの切替操作が行われた場合には、矢印３４１に示すように、ＰｉｎＰ表示モード（図８（ｂ）に示す）に切り替えられる。
【０１１４】
また、例えば、ＰｉｎＰ表示モードの設定時（図８（ｂ）に示す）において、静止画＋静止画モード以外のモードへの切替操作が行われた場合には、矢印３４１に示すように、枠表示モード（図８（ａ）に示す）に切り替えられる。ここで、静止画＋静止画モード以外のモードは、例えば、動画＋静止画モードまたは動画＋動画モードである。また、低消費電力モードへの切替操作が行われた場合についても同様に、矢印３４１に示すように、枠表示モード（図８（ａ）に示す）に切り替えられる。
【０１１５】
また、例えば、ＰｉｎＰ表示モードの設定時（図８（ｂ）に示す）において、バッテリ残量が所定値を基準として小さくなった場合には、矢印３４２に示すように、枠表示モード（図８（ａ）に示す）に切り替えられる。
【０１１６】
［画像処理装置の動作例］
図９および図１０は、本技術の第１の実施の形態における画像処理装置１００による表示モード設定処理の処理手順の一例を示すフローチャートである。
【０１１７】
最初に、制御部２９０は、撮像モードを設定するための設定操作が行われたか否かを判断し（ステップＳ９０１）、撮像モードを設定するための設定操作が行われていない場合には、監視を継続して行う。撮像モードを設定するための設定操作が行われた場合には（ステップＳ９０１）、制御部２９０は、その設定された撮像モードは、２眼撮像モードであるか否かを判断する（ステップＳ９０２）。
【０１１８】
その設定された撮像モードが２眼撮像モードでない場合（すなわち、１眼撮像モードである場合）には（ステップＳ９０２）、１眼撮像処理が行われる（ステップＳ９０３）。そして、制御部２９０は、撮像モードのモード切替操作があったか否かを判断し（ステップＳ９０４）、撮像モードのモード切替操作があった場合には、ステップＳ９０２に戻る。撮像モードのモード切替操作がない場合には（ステップＳ９０４）、制御部２９０は、撮像モード終了操作があったか否かを判断し（ステップＳ９０５）、撮像モード終了操作がない場合には、ステップＳ９０３に戻る。一方、撮像モード終了操作があった場合には（ステップＳ９０５）、撮像モード終了処理が行われ（ステップＳ９２３）、表示モード設定処理の動作を終了する。
【０１１９】
また、設定された撮像モードが２眼撮像モードである場合には（ステップＳ９０２）、制御部２９０は、その設定された撮像モードは、３Ｄ撮像モードであるか否かを判断する（ステップＳ９０６）。その設定された撮像モードが３Ｄ撮像モードである場合には（ステップＳ９０６）、３Ｄ撮像処理が行われる（ステップＳ９０７）。そして、制御部２９０は、撮像モードのモード切替操作があったか否かを判断し（ステップＳ９０８）、撮像モードのモード切替操作があった場合には、ステップＳ９０２に戻る。撮像モードのモード切替操作がない場合には（ステップＳ９０８）、制御部２９０は、撮像モード終了操作があったか否かを判断し（ステップＳ９０９）、撮像モード終了操作がない場合には、ステップＳ９０７に戻る。一方、撮像モード終了操作があった場合には（ステップＳ９０９）、撮像モード終了処理が行われ（ステップＳ９２３）、表示モード設定処理の動作を終了する。
【０１２０】
また、設定された撮像モードが３Ｄ撮像モードでない場合には（ステップＳ９０６）、制御部２９０は、その設定された撮像モードは、静止画＋静止画モードであるか否かを判断する（ステップＳ９１０）。その設定された撮像モードが静止画＋静止画モードでない場合には（ステップＳ９１０）、制御部２９０は、その設定された撮像モードは、動画＋静止画モードであるか否かを判断する（ステップＳ９１１）。そして、その設定された撮像モードが動画＋静止画モードでない場合（すなわち、動画＋動画モードである場合）には（ステップＳ９１０）、制御部２９０は、動画＋動画モードを設定するための制御を行う（ステップＳ９１２）。続いて、枠表示モードが設定され、枠表示処理が行われる（ステップＳ９１６）。例えば、図６、図８（ａ）に示す枠表示処理が行われる。なお、ステップＳ９１６は、特許請求の範囲に記載の第２表示手順の一例である。
【０１２１】
また、その設定された撮像モードが動画＋静止画モードである場合には（ステップＳ９１０）、制御部２９０は、動画＋静止画モードを設定するための制御を行う（ステップＳ９１３）。続いて、枠表示モードが設定され、枠表示処理が行われる（ステップＳ９１６）。
【０１２２】
また、設定された撮像モードが静止画＋静止画モードである場合には（ステップＳ９１０）、制御部２９０は、静止画＋静止画モードを設定するための制御を行う（ステップＳ９１４）。続いて、制御部２９０は、低消費電力モードが設定されているか否かを判断し（ステップＳ９１５）、低消費電力モードが設定されている場合には（ステップＳ９１５）、枠表示モードが設定され、枠表示処理が行われる（ステップＳ９１６）。一方、低消費電力モードが設定されていない場合には（ステップＳ９１５）、ＰｉｎＰ表示モードが設定され、ＰｉｎＰ表示処理が行われる（ステップＳ９２４）。例えば、図５、図８（ｂ）に示すＰｉｎＰ表示処理が行われる。なお、ステップＳ９２４は、特許請求の範囲に記載の第１表示手順の一例である。
【０１２３】
また、制御部２９０は、ユーザ操作が行われたか否かを判断し（ステップＳ９１７）、ユーザ操作が行われていない場合には、ステップＳ９１６に戻る。一方、ユーザ操作が行われた場合には（ステップＳ９１７）、制御部２９０は、そのユーザ操作が、撮像モードのモード切替操作であるか否かを判断し（ステップＳ９１８）、撮像モードのモード切替操作である場合には、ステップＳ９０２に戻る。
【０１２４】
また、撮像モードのモード切替操作でない場合には（ステップＳ９１９）、制御部２９０は、そのユーザ操作が、ズーム操作であるか否かを判断する（ステップＳ９１９）。そして、ズーム操作である場合には（ステップＳ９１９）、制御部２９０は、そのズーム操作に応じて表示対象となる枠の位置を変更するための制御を行い（ステップＳ９２０）、ステップＳ９１６に戻る。一方、ズーム操作でない場合には（ステップＳ９１９）、制御部２９０は、そのユーザ操作が、撮像モード終了操作であるか否かを判断する（ステップＳ９２１）。そして、撮像モード終了操作でない場合には（ステップＳ９２１）、ユーザ操作に応じた処理が行われ（ステップＳ９２２）、ステップＳ９１６に戻る。一方、撮像モード終了操作である場合には（ステップＳ９２１）、撮像モード終了処理が行われ（ステップＳ９２３）、表示モード設定処理の動作を終了する。
【０１２５】
また、制御部２９０は、バッテリ残量は所定値以下であるか否かを判断し（ステップＳ９２５）、バッテリ残量が所定値以下である場合には、ステップＳ９１６に進む。一方、バッテリ残量が所定値以下でない場合には（ステップＳ９２５）、ユーザ操作が行われたか否かを判断し（ステップＳ９２６）、ユーザ操作が行われていない場合には、ステップＳ９２４に戻る。一方、ユーザ操作が行われた場合には（ステップＳ９２６）、制御部２９０は、そのユーザ操作が、撮像モードのモード切替操作であるか否かを判断し（ステップＳ９２７）、撮像モードのモード切替操作である場合には、ステップＳ９０２に戻る。
【０１２６】
また、撮像モードのモード切替操作でない場合には（ステップＳ９２７）、制御部２９０は、そのユーザ操作が、ズーム操作であるか否かを判断し（ステップＳ９２８）、ズーム操作である場合には、ステップＳ９２４に戻る。一方、ズーム操作でない場合には（ステップＳ９２８）、制御部２９０は、そのユーザ操作が、撮像モード終了操作であるか否かを判断する（ステップＳ９２９）。そして、撮像モード終了操作でない場合には（ステップＳ９２９）、ユーザ操作に応じた処理が行われ（ステップＳ９３０）、ステップＳ９２４に戻る。一方、撮像モード終了操作である場合には（ステップＳ９２９）、撮像モード終了処理が行われ（ステップＳ９２３）、表示モード設定処理の動作を終了する。なお、ステップＳ９０１、Ｓ９０２、Ｓ９０６、Ｓ９１０乃至Ｓ９１５、Ｓ９２５は、特許請求の範囲に記載に制御手順の一例である。
【０１２７】
このように、本技術の第１の実施の形態によれば、画像処理装置１００の使用状況に応じて、枠表示モードおよびＰｉｎＰ表示モードを適切に設定することができる。この場合に、ユーザは、表示モードの設定に関する操作等を行う必要がないため、撮像動作時におけるユーザの負荷を低減させることができる。また、ユーザが表示モードの設定に関する操作等を行わなくても最適なモニタリング表示を順次提供することができる。すなわち、複数の画像の視認性を維持することができ、画像表示時における処理の負荷（システム負荷）を低減し、消費電力を抑制することができる。また、システム負荷の低減により画像処理装置１００の温度上昇を抑制することができる。
【０１２８】
＜２．第２の実施の形態＞
本技術の第１の実施の形態では、動画モード（動画＋静止画モード、動画＋動画モード）の設定時には、枠表示モードを設定する例を示した。しかしながら、動画モード（動画＋静止画モード、動画＋動画モード）の設定時であっても、動画記録動作を行っていない場合（すなわち、動画記録指示操作が行われていない場合）には、システム負荷が少ないと想定される。
【０１２９】
そこで、本技術の第２の実施の形態では、動画モード（動画＋静止画モード、動画＋動画モード）の設定時であっても、動画記録動作を行っていない場合には、ＰｉｎＰ表示モードを設定する例を示す。なお、本技術の第２の実施の形態における画像処理装置の構成については、図１乃至図３等に示す例と略同様である。このため、本技術の第１の実施の形態と共通する部分については、その説明の一部を省略する。
【０１３０】
［枠表示モードおよびＰｉｎＰ表示モードの遷移例］
図１１は、本技術の第２の実施の形態における表示部１７２に表示される枠表示およびＰｉｎＰ表示の遷移例を示す図である。
【０１３１】
図１１では、低消費電力モードの設定時にのみ、枠表示モードが設定され、その他のモードの設定時には、ＰｉｎＰ表示モードが設定される例を示す。ただし、動画＋動画モードまたは動画＋静止画モードの設定時において、動画記録動作が開始された場合（すなわち、動画記録指示操作が行われた場合）には、枠表示モードが設定される。また、動画＋動画モードまたは動画＋静止画モードの設定時において、動画記録動作が終了した場合（すなわち、動画記録終了操作が行われた場合）には、ＰｉｎＰ表示モードが設定される。
【０１３２】
すなわち、図１１では、ユーザ操作により撮像モードのモード切替が行われた場合と、動画記録指示操作が行われた場合と、動画記録終了操作が行われた場合とに、枠表示モードおよびＰｉｎＰ表示モードが切り替えられる例を示す。
【０１３３】
図１１（ａ）には、枠表示モードが設定されている場合における遷移例を示す。この遷移例は、図６に示す遷移例に対応する。
【０１３４】
図１１（ｂ）には、ＰｉｎＰ表示モードが設定されている場合における遷移例を示す。この遷移例は、図５に遷移例に対応する。
【０１３５】
例えば、枠表示モードの設定時（図１１（ａ）に示す）において、低消費電力モードの解除操作が行われた場合には、矢印３５１に示すように、ＰｉｎＰ表示モード（図１１（ｂ）に示す）に切り替えられる。一方、ＰｉｎＰ表示モードの設定時（図１１（ｂ）に示す）において、低消費電力モードの設定操作が行われた場合には、矢印３５１に示すように、枠表示モード（図１１（ａ）に示す）に切り替えられる。
【０１３６】
また、例えば、ＰｉｎＰ表示モードの設定時（動画＋動画モードまたは動画＋静止画モードの設定時）（図１１（ｂ）に示す）において、動画記録指示操作が行われた場合には、矢印３５２に示すように、枠表示モード（図１１（ａ）に示す）に切り替えられる。一方、枠表示モードの設定時（動画＋動画モードまたは動画＋静止画モードの設定時）（図１１（ａ）に示す）において、動画記録終了操作が行われた場合には、矢印３５３に示すように、ＰｉｎＰ表示モード（図１１（ｂ）に示す）に切り替えられる。
【０１３７】
［画像処理装置の動作例］
図１２および図１３は、本技術の第２の実施の形態における画像処理装置１００による表示モード設定処理の処理手順の一例を示すフローチャートである。なお、図１２および図１３は、図９および図１０の変形例であるため、図９および図１０と共通する部分については、同一の符号を付して、その説明の一部を省略する。
【０１３８】
静止画＋静止画モードが設定された後に（ステップＳ９１４）、制御部２９０は、低消費電力モードが設定されているか否かを判断する（ステップＳ９３１）。そして、低消費電力モードが設定されている場合には（ステップＳ９３１）、枠表示モードが設定され、枠表示処理が行われる（ステップＳ９４０）。一方、低消費電力モードが設定されていない場合には（ステップＳ９３１）、ＰｉｎＰ表示モードが設定され、ＰｉｎＰ表示処理が行われる（ステップＳ９３２）。
【０１３９】
続いて、制御部２９０は、ユーザ操作が行われたか否かを判断し（ステップＳ９３３）、ユーザ操作が行われていない場合には、ステップＳ９３２に戻る。一方、ユーザ操作が行われた場合には（ステップＳ９３３）、制御部２９０は、そのユーザ操作が、撮像モードのモード切替操作であるか否かを判断し（ステップＳ９３４）、撮像モードのモード切替操作である場合には、ステップＳ９０２に戻る。
【０１４０】
また、撮像モードのモード切替操作でない場合には（ステップＳ９３４）、制御部２９０は、そのユーザ操作が、ズーム操作であるか否かを判断し（ステップＳ９３５）、ズーム操作である場合には、ステップＳ９３２に戻る。一方、ズーム操作でない場合には（ステップＳ９３５）、制御部２９０は、そのユーザ操作が、動画記録開始操作であるか否かを判断する（ステップＳ９３６）。そして、動画記録開始操作である場合には（ステップＳ９３６）、ステップＳ９４０に進む。一方、動画記録開始操作でない場合には（ステップＳ９３６）、制御部２９０は、そのユーザ操作が、撮像モード終了操作であるか否かを判断する（ステップＳ９３７）。そして、撮像モード終了操作でない場合には（ステップＳ９３７）、ユーザ操作に応じた処理が行われ（ステップＳ９３８）、ステップＳ９３２に戻る。一方、撮像モード終了操作である場合には（ステップＳ９３７）、撮像モード終了処理が行われ（ステップＳ９３９）、表示モード設定処理の動作を終了する。
【０１４１】
また、制御部２９０は、ユーザ操作が行われたか否かを判断し（ステップＳ９４１）、ユーザ操作が行われていない場合には、ステップＳ９４０に戻る。一方、ユーザ操作が行われた場合には（ステップＳ９４１）、制御部２９０は、そのユーザ操作が、動画記録終了操作であるか否かを判断する（ステップＳ９４２）。そして、動画記録終了操作である場合には（ステップＳ９４２）、ステップＳ９３２に進む。一方、動画記録終了操作でない場合には（ステップＳ９４２）、制御部２９０は、そのユーザ操作が、撮像モード終了操作であるか否かを判断し（ステップＳ９４３）、撮像モードのモード切替操作である場合には、ステップＳ９０２に戻る。
【０１４２】
また、撮像モードのモード切替操作でない場合には（ステップＳ９４３）、制御部２９０は、そのユーザ操作が、ズーム操作であるか否かを判断する（ステップＳ９４４）。そして、ズーム操作である場合には（ステップＳ９４４）、制御部２９０は、そのズーム操作に応じて表示対象となる枠の位置を変更するための制御を行い（ステップＳ９４５）、ステップＳ９４０に戻る。一方、ズーム操作でない場合には（ステップＳ９４４）、制御部２９０は、そのユーザ操作が、撮像モード終了操作であるか否かを判断する（ステップＳ９４６）。そして、撮像モード終了操作でない場合には（ステップＳ９４６）、ユーザ操作に応じた処理が行われ（ステップＳ９４７）、ステップＳ９４０に戻る。一方、撮像モード終了操作である場合には（ステップＳ９４６）、撮像モード終了処理が行われ（ステップＳ９３９）、表示モード設定処理の動作を終了する。
【０１４３】
このように、制御部２９０は、第１画像および第２画像のうちの少なくとも一方を動画コンテンツとして記録するための記録処理が行われている場合（所定条件）には、第２表示モードを設定する制御を行う。なお、第１画像は、第１画像生成部２１０により生成された画像であり、第２画像は、第２画像生成部２２０により生成された画像である。
【０１４４】
このように、本技術の第２の実施の形態では、低消費電力モードの設定時以外では、ＰｉｎＰ表示モードが設定されるが、動画記録処理が開始されると、システム負荷を下げるため、枠表示モードが設定される。これにより、複数の画像の視認性を維持することができ、画像表示時における処理の負荷を低減することができる。
【０１４５】
ここで、動画記録開始操作の直後、または、動画記録終了操作の直後には、ＰｉｎＰ表示モードおよび枠表示モードの急激な切り替えが行われる。このように、急激な切り替えが行われた場合には、その切替時においてユーザが被写体を見難くなることも想定される。そこで、ＰｉｎＰ表示モードおよび枠表示モードの切替時には、第２画像表示領域内および枠内の画像をアニメーションにより滑らかに移動させることにより、その切替時においてユーザに被写体を見易くさせることができる。このように、アニメーションを用いてＰｉｎＰ表示モードおよび枠表示モードの切り替えを行う例については、本技術の第４の実施の形態に示す。
【０１４６】
＜３．第３の実施の形態＞
本技術の第１の実施の形態では、静止画＋静止画モードの設定時には、ＰｉｎＰ表示モードが設定される例を示した。しかしながら、静止画＋静止画モードの設定時であっても、表示対象となる画像のズーム倍率が比較的低い場合等には、一定の視認性を確保することができると想定される。
【０１４７】
そこで、本技術の第３の実施の形態では、静止画＋静止画モードの設定時であっても、所定条件を満たす場合には、枠表示モードを設定する例を示す。なお、本技術の第３の実施の形態における画像処理装置の構成については、図１乃至図３等に示す例と略同様である。このため、本技術の第１の実施の形態と共通する部分については、その説明の一部を省略する。
【０１４８】
［枠表示モードおよびＰｉｎＰ表示モードの遷移例］
図１４は、本技術の第３の実施の形態における表示部１７２に表示される枠表示およびＰｉｎＰ表示の遷移例を示す図である。なお、図１４（ａ）は、図８（ａ）と同一であるため、ここでの詳細な説明を省略する。
【０１４９】
図１４では、静止画＋静止画モードの設定時であっても、所定条件を満たす場合には、枠表示モードが設定される例を示す。なお、これ以外の点については、図８に示す例と同様であるため、図８に示す例と共通する部分についての説明の一部を省略する。
【０１５０】
すなわち、図１４では、静止画＋静止画モードの設定時において、所定条件を満たすか否かに応じて、枠表示モードおよびＰｉｎＰ表示モードが切り替えられる例を示す。
【０１５１】
図１４（ｂ）には、ズーム倍率に応じて枠表示モードまたはＰｉｎＰ表示モードが設定される場合における遷移例を示す。
【０１５２】
例えば、枠表示モードの設定時（図１４（ａ）に示す）において、静止画＋静止画モードへの切替操作が行われた場合には、矢印３６１に示すように、ズーム倍率に応じた枠表示モードまたはＰｉｎＰ表示モード（図１４（ｂ）に示す）に切り替えられる。
【０１５３】
また、例えば、枠表示モードまたはＰｉｎＰ表示モードの設定時（図１４（ｂ）に示す）において、静止画＋静止画モード以外のモードへの切替操作が行われた場合には、矢印３６１に示すように、枠表示モード（図８（ａ）に示す）に切り替えられる。また、低消費電力モードへの切替操作が行われた場合についても同様に、矢印３６１に示すように、枠表示モード（図８（ａ）に示す）に切り替えられる。
【０１５４】
ここで、静止画＋静止画モードの設定時において枠表示モードおよびＰｉｎＰ表示モードの切替時の基準となる所定条件について説明する。例えば、所定条件は、ズーム倍率が所定値（例えば、３倍乃至４倍）を基準として高い場合とすることができる。また、所定条件は、枠表示モードの設定時におけるその枠内に主要被写体（例えば、人物の顔）が存在し、かつ、ＰｉｎＰ表示モードに切り替えることにより、その主要被写体の視認性を向上させることができる場合である。例えば、枠表示モードの設定時におけるその枠内に含まれる主要被写体（例えば、人物の顔）のサイズが、所定サイズよりも小さい場合には、ＰｉｎＰ表示モードに切り替えたほうが、その主要被写体の視認性が向上すると考えられる。ここで、所定サイズは、例えば、ＰｉｎＰ表示モードの設定時におけるその主要被写体のサイズ（例えば、顔の長さ）とすることができる。すなわち、枠表示モードの設定時におけるその主要被写体のサイズ（例えば、顔の長さ）が、ＰｉｎＰ表示モードの設定時におけるその主要被写体のサイズ（例えば、顔の長さ）よりも小さい場合には、ＰｉｎＰ表示モードに切り替えることができる。
【０１５５】
このように、図１４に示す例は、ズーム倍率が所定値を基準として低い場合には、何れの撮像モード設定時でも枠表示モードを設定するが、静止画＋静止画モードでは、所定条件を満たすか否かに応じて自動でＰｉｎＰ表示モードを設定する例である。
【０１５６】
［画像処理装置の動作例］
図１５は、本技術の第３の実施の形態における画像処理装置１００による表示モード設定処理の処理手順の一例を示すフローチャートである。なお、図１５は、図９および図１０の変形例であるため、図９および図１０と共通する部分については、同一の符号を付して、その説明の一部を省略する。
【０１５７】
ユーザ操作がズーム操作である場合には（ステップＳ９１９）、制御部２９０は、低消費電力モードが設定されているか否かを判断し（ステップＳ９５１）、低消費電力モードが設定されている場合には（ステップＳ９５１）、ステップＳ９２０に進む。一方、低消費電力モードが設定されていない場合には（ステップＳ９５１）、制御部２９０は、ズーム倍率が所定値以上であるか否かを判断し（ステップＳ９５２）、ズーム倍率が所定値以上である場合には、ステップＳ９２４に進む。
【０１５８】
また、ズーム倍率が所定値以上でない場合（すなわち、ズーム倍率が所定値未満である場合）には（ステップＳ９５２）、制御部２９０は、表示部１７２に表示されている枠内に主要被写体が存在するか否かを判断する（ステップＳ９５３）。表示部１７２に表示されている枠内に主要被写体が存在する場合には（ステップＳ９５３）、制御部２９０は、ＰｉｎＰ表示モードに切り替えることにより、その主要被写体の視認性を向上させることができるか否かを判断する（ステップＳ９５４）。すなわち、ＰｉｎＰ表示モードの設定時における第２画像表示領域内の主要被写体のサイズＳ１と、枠表示モードの設定時における枠内の主要被写体のサイズＳ２とが比較され、Ｓ１＞Ｓ２であるか否かが判断される（ステップＳ９５４）。そして、Ｓ１＞Ｓ２である場合には（ステップＳ９５４）、ステップＳ９２４に進み、Ｓ１＞Ｓ２でない場合（すなわち、Ｓ１≦Ｓ２である場合）には（ステップＳ９５４）、ステップＳ９２０に進む。
【０１５９】
また、ユーザ操作がズーム操作でない場合には（ステップＳ９２８）、制御部２９０は、ズーム倍率が所定値未満であるか否かを判断し（ステップＳ９５５）、ズーム倍率が所定値未満でない場合には、ステップＳ９２９に進む。
【０１６０】
また、ズーム倍率が所定値未満である場合には（ステップＳ９５５）、制御部２９０は、表示部１７２に表示されている第２画像表示領域内に主要被写体が存在するか否かを判断する（ステップＳ９５６）。第２画像表示領域内に主要被写体が存在する場合には（ステップＳ９５６）、制御部２９０は、Ｓ１がＳ２よりも大きいか否かを判断する（ステップＳ９５７）。すなわち、Ｓ１＞Ｓ２であるか否かが判断される（ステップＳ９５７）。Ｓ１＞Ｓ２である場合には（ステップＳ９５７）、ステップＳ９２９に進み、Ｓ１＞Ｓ２でない場合（すなわち、Ｓ１≦Ｓ２である場合）には（ステップＳ９５７）、ステップＳ９１６に進む。
【０１６１】
ここで、ステップＳ９５２およびＳ９５５における所定値（Ｎ）については、同一の値を用いるようにしてもよく、異なる値を用いるようにしてもよい。例えば、ズーム倍率が所定値（Ｎ）の境界付近にあるよう場合には、ＰｉｎＰ表示モードおよび枠表示モードが短時間で頻繁に切り替わることが想定される。そこで、表示モードが短時間で頻繁に切り替わることを防止するため、ステップＳ９５５における所定値を、ステップＳ９５２における所定値（Ｎ）よりも低い値（例えば、Ｎ−１）とするようにしてもよい。同様に、例えば、主要被写体のサイズが、切り替えの境界付近にあるような場合には、ＰｉｎＰ表示モードおよび枠表示モードが短時間で頻繁に切り替わることが想定される。そこで、表示モードが短時間で頻繁に切り替わることを防止するため、Ｓ１およびＳ２の判断基準を一定条件で緩和するようにしてもよい。
【０１６２】
このように、制御部２９０は、第２撮像部１１２に係る光学系のズーム倍率が一定値を基準として大きい場合（所定条件）場合には、ＰｉｎＰ表示モード（第１表示モード）を設定する制御を行う。また、制御部２９０は、第２撮像部１１２により生成される画像（第２画像）に主要被写体が含まれている場合（所定条件）には、ＰｉｎＰ表示モード（第１表示モード）を設定する制御を行う。
【０１６３】
また、制御部２９０は、第２画像に主要被写体が含まれる場合であって、その主要被写体の表示サイズが、第１画像に含まれるその主要被写体の表示サイズを基準として大きい場合（所定条件）には、ＰｉｎＰ表示モード（第１表示モード）を設定する制御を行う。なお、第１画像は、第１撮像部１１１により生成される画像である。
【０１６４】
このように、本技術の第３の実施の形態では、静止画＋静止画モードの設定時であっても、所定条件を満たす場合には、システム負荷を下げるため、枠表示モードが設定される。これにより、複数の画像の視認性を維持することができ、画像表示時における処理の負荷をさらに低減することができる。
【０１６５】
＜４．第４の実施の形態＞
本技術の第１乃至第３の実施の形態では、枠表示モードおよびＰｉｎＰ表示モードの切り替えを行う場合には瞬間的に切り替える例を示した。しかしながら、枠表示モードの設定時における枠の位置およびサイズと、ＰｉｎＰ表示モードの設定時における第２画像表示領域の位置およびサイズとが大きく異なる場合には、その切替の前後でユーザが見難くなることも想定される。
【０１６６】
そこで、本技術の第４の実施の形態では、枠表示モードおよびＰｉｎＰ表示モードの切り替えを行う場合には、その切替の前後における画像（枠内の画像、第２画像表示領域内の画像）をアニメーションにより移動させる例を示す。なお、本技術の第４の実施の形態における画像処理装置の構成については、図１乃至図３等に示す例と略同様である。このため、本技術の第１の実施の形態と共通する部分については、その説明の一部を省略する。
【０１６７】
［アニメーションによる表示遷移例］
図１６は、本技術の第４の実施の形態における表示部１７２に表示される枠表示からＰｉｎＰ表示への遷移例を示す図である。
【０１６８】
図１６（ａ）には、枠表示モードの設定時に表示される画像（第１画像表示領域３２１内の画像）および枠３２２を示す。なお、図１６（ａ）は、図６（ａ）に示す例と同様であるため、ここでの詳細な説明を省略する。
【０１６９】
図１６（ｂ）には、枠表示モードからＰｉｎＰ表示モードへの切替時に表示される画像５０１乃至５０４を示す。
【０１７０】
図１６（ａ）に示す画像（第１画像表示領域３２１内の画像）および枠３２２が表示部１７２に表示されている場合において、枠表示モードからＰｉｎＰ表示モードへの切替タイミングになった場合を想定する。この場合には、表示制御部２６０は、表示部１７２に表示されていた枠３２２の位置に、枠３２２のサイズと同一サイズの画像（第２撮像部１１２により生成された画像）を表示させる。この場合には、表示部１７２に表示されていた枠３２２内の被写体と、第２撮像部１１２により生成された画像に含まれる被写体とは、視差に基づく左右のズレ以外は略同一であると想定される。
【０１７１】
続いて、枠表示モードからＰｉｎＰ表示モードへの切替時に、表示制御部２６０は、第２撮像部１１２により生成された画像をアニメーションにより移動させながら表示させる。すなわち、表示制御部２６０は、図１６（ａ）に示す枠３２２から、図１６（ｂ）に示す第２画像表示領域（画像５０４の領域）までの間、第２撮像部１１２により生成された画像をアニメーションにより移動させながら表示させる。なお、図１６（ｂ）では、アニメーションにより順次移動する画像５０１乃至５０３を点線の矩形により模式的に示す。
【０１７２】
このように、制御部２９０は、ＰｉｎＰ表示モード（第１表示モード）および枠表示モード（第２表示モード）の切替時において、第２撮像部１１２により生成された画像（第２画像）を移動させながらアニメーション表示させるための制御を行う。すなわち、表示制御部２６０は、制御部２９０の制御に基づいて、そのアニメーション表示を行う。具体的には、表示制御部２６０は、ＰｉｎＰ表示モードの設定時に表示される第２画像の位置と、枠表示モードの設定時に第１画像上に表示される付加画像（枠）により特定される位置との間を、第２画像を移動させながらアニメーション表示させる。なお、第１画像は、第１撮像部１１１により生成された画像である。
【０１７３】
なお、図１６（ｂ）では、説明の容易のため、アニメーションの間隔を比較的広くして示すが、このアニメーションの間隔については、適宜変更可能である。また、図１６（ｂ）では、第２撮像部１１２により生成された画像を縮小させながら直線状に移動させる例を示すが、第２撮像部１１２により生成された画像を縮小させながら直線以外の軌跡（例えば、曲線状）により移動させるようにしてもよい。
【０１７４】
ここで、図１６（ａ）に示すように、表示部１７２に表示されている画像（第１画像表示領域３２１内の画像）には、複数の人物の顔が含まれる。例えば、第１画像表示領域３２１内の画像における右下部分には、運動会を応援する人物５０５が含まれている。ただし、図１６（ｂ）に示すように、第２撮像部１１２により生成された画像をアニメーションにより移動させて第２画像表示領域（画像５０４の領域）に表示させた場合には、画像５０４により人物５００の顔が隠れてしまう。一般に、人物の顔については、ユーザの関心が高いと考えられるため、撮像動作中に人物の顔を確認することは重要であると想定される。そこで、以下では、画像の移動先の被写体と、表示対象となる撮像範囲に含まれる被写体（主要被写体）とを考慮して、画像の移動先や画像のサイズを変更する例を示す。
【０１７５】
［第２画像表示領域の配置例］
図１７は、本技術の第４の実施の形態における表示部１７２の表示領域において第２画像表示領域を配置する候補の一例を示す図である。
【０１７６】
ここで、図１７では、表示部１７２の表示領域における左上隅に、撮像動作時に用いられるアイコンが表示されるアイコン表示領域５１４が設けられる例を示す。このため、図１７では、表示部１７２の表示領域において第２画像表示領域を配置する候補として、表示部１７２の表示領域における左下隅、右上隅、右下隅の第１候補領域５１１乃至第３候補領域５１３を示す。
【０１７７】
例えば、枠表示モードからＰｉｎＰ表示モードへの切替時には、制御部２９０は、最初に、第２画像表示領域の表示対象画像を第１候補領域５１１に移動させる決定をする。ただし、第１候補領域５１１内で人物の顔が検出された場合（第１候補領域５１１と顔の一部とが重複する場合も含む）には、制御部２９０は、第２画像表示領域の表示対象画像を第２候補領域５１２に移動させる決定をする。ただし、第２候補領域５１２内からも人物の顔が検出されることも想定される。このように、第２候補領域５１２内で人物の顔が検出された場合（第２候補領域５１２と顔の一部とが重複する場合も含む）には、制御部２９０は、第２画像表示領域の表示対象画像を第３候補領域５１３に移動させる決定をする。
【０１７８】
ここで、例えば、第１候補領域５１１乃至第３候補領域５１３の何れの領域内からも人物の顔が検出されることも想定される。この場合には、検出された顔の数が最も少ない候補を第２画像表示領域の配置領域として決定するようにしてもよい。または、第１候補領域５１１乃至第３候補領域５１３以外の他の領域を第２画像表示領域の配置領域として決定するようにしてもよい。例えば、第１候補領域５１１および第３候補領域５１３の中間領域、第１候補領域５１１および第２候補領域５１２の中間領域等を第２画像表示領域の配置領域として決定することができる。
【０１７９】
また、例えば、ＰｉｎＰ表示モード設定時の第２画像表示領域に表示される画像に含まれる人物の顔が、第１画像表示領域に表示されている画像に含まれるその人物の顔よりも小さい場合には、その人物の顔を見難くなることも想定される。そこで、第２画像表示領域に表示される人物の顔が、第１画像表示領域に表示されているその人物の顔よりも小さい場合には、第２画像表示領域のサイズを拡大して、その人物の顔を見易くすることができる。そこで、これらの例を図１８および図１９に示す。
【０１８０】
［アニメーションによる表示遷移例］
図１８および図１９は、本技術の第４の実施の形態における表示部１７２に表示される枠表示からＰｉｎＰ表示への遷移例を示す図である。
【０１８１】
図１８（ａ）には、枠表示モードからＰｉｎＰ表示モードへの切替時に表示される画像５２１および画像５２２を示す。図１８（ｂ）には、アニメーションにより第２画像表示領域が移動する場合における画像（画像５２４乃至５２６）の遷移例を示す。なお、図１８（ａ）および図１８（ｂ）に示す遷移例は、図１６に示す例と略同様であるため、ここでの詳細な説明を省略する。
【０１８２】
図１８（ｃ）には、第２画像表示領域の表示対象画像が第１候補領域５１１に移動する際に、第１候補領域５１１に人物の顔が含まれている状態を示す。図１８（ｃ）では、顔検出部２３０により検出された人物５０５の顔を矩形の枠５２９で示す。このように、顔検出部２３０により検出された人物５０５の顔の一部または全部と、第１候補領域５１１（画像５２８の移動先）とが重複する場合には、制御部２９０は、他の候補領域に第２画像表示領域を移動することを決定する。図１８（ｃ）では、人物５０５の顔と第１候補領域とが重複しているため、第２候補領域に決定される。
【０１８３】
図１９（ａ）には、第２候補領域５１２に画像５３１乃至５３３がアニメーションにより移動する場合における画像の遷移例を示す。図１８（ｃ）および図１９（ａ）では、第１候補領域５１１に向かって移動していた表示対象画像が、その途中で第２候補領域５１２に向かって移動する場合を想定する。また、図１９（ａ）では、アニメーションにより順次移動する画像５３１、５３２を点線の矩形により模式的に示す。
【０１８４】
このように、本技術の第４の実施の形態では、主要被写体（例えば、人物の顔）が存在しない領域を第２画像表示領域とすることができる。
【０１８５】
ここで、図１９（ａ）に示すように、第１画像表示領域内の画像における右上隅に第２画像表示領域（画像５３３）が設定されている状態で、ユーザによりズーム操作が行われた場合を想定する。このズーム操作後の表示例を図１９（ｂ）に示す。
【０１８６】
図１９（ｂ）には、第２候補領域５１２に設定された第２画像表示領域内の画像５３５の表示例を示す。図１９（ｂ）では、画像５３５から人物の顔（点線の枠５３６で囲んで示す）が検出されたものとする。このように、第２画像表示領域内の画像５３５から人物の顔が検出された場合において、所定条件を満たす場合には、第２画像表示領域を拡大して、その顔の視認性を向上させるようにする。ここで、所定条件は、例えば、第２画像表示領域内の画像における顔検出時のその顔のサイズが、所定サイズよりも小さい場合である。ここで、所定サイズは、例えば、その顔検出時における第１画像表示領域内のその顔のサイズ（例えば、顔の長さ）とすることができる。このサイズの変更例を図１９（ｃ）に示す。
【０１８７】
図１９（ｃ）には、第２候補領域５１２に設定された第２画像表示領域内の画像５３８のサイズをアニメーションにより変更する場合における遷移例を示す。なお、図１９（ｃ）では、アニメーションにより順次拡大される画像５３８、５３９を点線の矩形により模式的に示す。このように、第２画像表示領域をアニメーションにより順次拡大して画像５４０を表示させることにより、その顔の視認性を向上させることができる。
【０１８８】
このように、制御部２９０は、ＰｉｎＰ表示モード（第１表示モード）の設定時において、第１画像に主要被写体が含まれている場合には、その主要被写体と第２画像とが重複しないように第２画像の表示位置を変更する制御を行う。なお、第１画像は、第１撮像部１１１により生成された画像であり、第１画像表示領域に表示される画像である。また、第２画像は、第２撮像部１１２により生成された画像であり、第２画像表示領域に表示される画像である。
【０１８９】
また、制御部２９０は、ＰｉｎＰ表示モード（第１表示モード）の設定時において、第２画像に主要被写体が含まれている場合には、その主要被写体のサイズが所定サイズとなるように第２画像のサイズを変更する制御を行う。
【０１９０】
このように、本技術の第４の実施の形態では、枠表示モードおよびＰｉｎＰ表示モードの切替時には、アニメーションにより滑らかに切り替える。これにより、その切替の前後で被写体を見失うことを防止することができる。また、第２画像表示領域内の画像が上書きされ、主要被写体が第２画像表示領域に隠れてしまわないように、第２画像表示領域の移動先に主要被写体が存在する場合には、第２画像表示領域を変更する。さらに、第２画像表示領域内の画像から主要被写体が検出された場合には、第２画像表示領域のサイズを変更してその顔の視認性を向上させることができる。
【０１９１】
［画像処理装置の動作例］
図２０および図２１は、本技術の第４の実施の形態における画像処理装置１００によるＰｉｎＰ表示処理の処理手順の一例を示すフローチャートである。この処理手順は、図１０および図１５に示すＰｉｎＰ表示処理（ステップＳ９２４）、図１３に示すＰｉｎＰ表示処理（ステップＳ９３２）に対応する処理手順である。
【０１９２】
最初に、制御部２９０は、枠表示モードからＰｉｎＰ表示モードへの変更直後であるか否かを判断し（ステップＳ９６１）、枠表示モードからＰｉｎＰ表示モードへの変更直後でない場合には、所定位置および所定サイズでＰｉｎＰ表示される（ステップＳ９６２）。すなわち、直前まで表示されていた第２画像表示領域の位置およびサイズでＰｉｎＰ表示される（ステップＳ９６２）。
【０１９３】
また、枠表示モードからＰｉｎＰ表示モードへの変更直後である場合には（ステップＳ９６３）、第１画像表示領域内の画像に重ねて表示されている枠の位置およびサイズでＰｉｎＰ表示される（ステップＳ９６３）。すなわち、その切替直前に表示されていた枠の位置およびサイズを、第２画像表示領域の位置およびサイズとするＰｉｎＰ表示モードが設定される（ステップＳ９６３）。
【０１９４】
続いて、制御部２９０は、最初の候補領域（例えば、図１７に示す第１候補領域５１１）に向かって、第２画像表示領域の表示対象画像のアニメーションによる移動を開始させる（ステップＳ９６４）。
【０１９５】
続いて、制御部２９０は、第２画像表示領域の位置およびサイズが変更中であるか否かを判断する（ステップＳ９６５）。第２画像表示領域の位置およびサイズが変更中である場合には（ステップＳ９６５）、制御部２９０は、その変更後の第２画像表示領域の位置およびサイズを取得する（ステップＳ９６６）。続いて、制御部２９０は、その変更後の第２画像表示領域は、第１画像表示領域における主要被写体と重複するか否かを判断する（ステップＳ９６７）。
【０１９６】
その変更後の第２画像表示領域が、第１画像表示領域における主要被写体と重複する場合には（ステップＳ９６７）、制御部２９０は、次の候補領域の位置およびサイズを取得する（ステップＳ９６８）。続いて、制御部２９０は、その候補領域（例えば、図１７に示す第２候補領域５１２）に向かって、第２画像表示領域の表示対象画像のアニメーションによる移動を開始させる（ステップＳ９６９）。
【０１９７】
続いて、制御部２９０は、第２画像表示領域の変更（移動またはサイズ変更）が終了したか否かを判断し（ステップＳ９７０）、第２画像表示領域の変更が終了していない場合には、ＰｉｎＰ表示処理の動作を終了する。また、第２画像表示領域の変更が終了した場合には（ステップＳ９７０）、第２画像表示領域のアニメーション処理を終了し（ステップＳ９７１）、ＰｉｎＰ表示処理の動作を終了する。
【０１９８】
また、第２画像表示領域の位置およびサイズが変更中でない場合には（ステップＳ９６５）、現在の第２画像表示領域の位置およびサイズを取得する（ステップＳ９７２）。続いて、制御部２９０は、現在の第２画像表示領域は、第１画像表示領域における主要被写体と重複するか否かを判断する（ステップＳ９７３）。現在の第２画像表示領域が、第１画像表示領域における主要被写体と重複する場合には（ステップＳ９７３）、ステップＳ９６８に進む。
【０１９９】
現在の第２画像表示領域が、第１画像表示領域における主要被写体と重複しない場合には（ステップＳ９７３）、制御部２９０は、第２画像表示領域に主要被写体が含まれるか否かを判断する（ステップＳ９７４）。そして、第２画像表示領域に主要被写体が含まれない場合には（ステップＳ９７４）、ＰｉｎＰ表示処理の動作を終了する。
【０２００】
第２画像表示領域に主要被写体が含まれる場合には（ステップＳ９７４）、制御部２９０は、第２画像表示領域に含まれる主要被写体のサイズＳ３が、枠表示モードの設定時におけるその主要被写体のサイズＳ４よりも大きいか否かを判断する（ステップＳ９７５）。すなわち、ＰｉｎＰ表示モードの設定時における第２画像表示領域内の主要被写体のサイズＳ３と、枠表示モードの設定時における枠内のその主要被写体のサイズＳ４とが比較され、Ｓ３＞Ｓ４であるか否かが判断される（ステップＳ９７５）。Ｓ３＞Ｓ４である場合には（ステップＳ９７５）、ＰｉｎＰ表示処理の動作を終了する。
【０２０１】
また、Ｓ３＞Ｓ４でない場合には（ステップＳ９７５）、制御部２９０は、Ｓ３がＳ４よりも大きくなる第２画像表示領域のサイズを取得する（ステップＳ９７６）。例えば、予め設定されている拡大率（例えば、２．１倍）に基づいて第２画像表示領域のサイズを算出することができる。または、Ｓ３およびＳ４に基づいて、制御部２９０が、第２画像表示領域のサイズを算出するようにしてもよい。また、第２画像表示領域のサイズの上限値を設定しておき、この上限値を超えないように、第２画像表示領域のサイズを設定することができる。
【０２０２】
続いて、制御部２９０は、その取得されたサイズとなるように、第２画像表示領域内の画像のアニメーションによる変更を開始させる（ステップＳ９７７）。
【０２０３】
［第２画像表示領域の移動基準および拡大基準例］
以上では、人物の顔の存在やそのサイズを基準にして第２画像表示領域の移動やサイズ変更の要否を判断する例を示した。ただし、人物の顔以外の被写体を基準にして第２画像表示領域の移動やサイズ変更の要否を判断するようにしてもよい。そこで、以下では、第２画像表示領域の移動やサイズ変更の要否を判断する際に基準となる被写体（主要被写体）の例を示す。
【０２０４】
［主要被写体例］
図２２は、本技術の第４の実施の形態における制御部２９０が第２画像表示領域の移動やサイズ変更を判断する際に用いられる主要被写体の一例を示す図である。図２２では、主要被写体６０１と重要度６０２との関係を示す。
【０２０５】
主要被写体６０１は、第２画像表示領域の移動やサイズ変更の要否を判断する際に基準となる被写体である。例えば、人物の顔は、子供、成人女性、それ以外の人物に分類される。また、人物の顔以外に、動体、静物が主要被写体として用いられる。
【０２０６】
また、図３に示す顔検出部２３０の代わりに、主要被写体検出部を設け、この主要被写体検出部により主要被写体を検出する。なお、主要被写体の検出方法として、例えば、顔検出方法と同様に、主要被写体毎の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる検出方法を用いることができる。また、例えば、顔画像における２点間の輝度の差分値を用いた弱判別器により各属性（例えば、子供、成人女性、それ以外の人物）を検出する検出方法を用いることができる（例えば、特開２００９−１１８００９号参照。）。また、輝度の勾配強度および勾配方向を用いて、特定の物体（人体、動物、電車、車等）を検出する物体検出方法を用いることができる（例えば、特開２０１０−６７１０２号参照。）。また、合焦している物体（静物）については、ＡＦ処理の合焦結果に基づいて検出することができる。
【０２０７】
重要度６０２は、主要被写体の重要度を示すものであり、数値が高いほど重要度が高いことを意味する。
【０２０８】
例えば、図１７において、第１候補領域５１１には、二人の子供の顔が含まれ、第２候補領域５１２には、一人の成人女性の顔と一人の子供の顔とが含まれ、第３候補領域５１３には、２匹の動物の顔（例えば、犬と猫）が含まれている場合を想定する。このように、第１候補領域５１１乃至第３候補領域５１３の何れにも、主要被写体が含まれている場合には、各候補領域に含まれている主要被写体の重要度の合計値に基づいて、第２画像表示領域の移動先が決定される。
【０２０９】
例えば、第１候補領域５１１には二人の子供の顔が含まれているため、重要度の合計値は１０（＝５×２）である。また、第２候補領域５１２には一人の成人女性の顔と一人の子供の顔とが含まれているため、重要度の合計値は９（＝５＋４）である。また、第３候補領域５１３には、２匹の動物の顔（例えば、犬と猫）が含まれているため、重要度の合計値は４（＝２×２）である。
【０２１０】
このため、主要被写体の重要度の合計値が最も低い第３候補領域５１３が、第２画像表示領域の移動先として決定される。
【０２１１】
また、第１候補領域５１１乃至第３候補領域５１３において、主要被写体が含まれている場合であっても、主要被写体の重要度の合計値が一定値（例えば、３）未満となる候補領域については、第２画像表示領域の移動先として決定するようにしてもよい。
【０２１２】
＜５．変形例＞
本技術の第１乃至第４の実施の形態では、第１画像表示領域内に第２画像表示領域を設けて２つの画像を表示する例を示した。ただし、第１画像表示領域および第２画像表示領域をそれぞれ異なる領域として２つの画像を表示するようにしてもよい。
【０２１３】
そこで、この変形例では、それぞれを異なる領域とする第１画像表示領域および第２画像表示領域に２つの画像を表示する例を示す。なお、この変形例における画像処理装置の構成については、図１乃至図３等に示す例と略同様である。このため、本技術の第１の実施の形態と共通する部分については、その説明の一部を省略する。
【０２１４】
［第１画像表示領域および第２画像表示領域の配置例］
図２３は、本技術の実施の形態の変形例における表示部１７２に表示されるＰｉｎＰ表示の遷移例を示す図である。
【０２１５】
図２３（ａ）には、第１画像表示領域内に第２画像表示領域が設けられている場合における表示例を示す。なお、図２３（ａ）は、図５（ａ）に示す例と同様であるため、ここでの説明を省略する。
【０２１６】
図２３（ｂ）には、隣接して並べられている２つの領域（第１画像表示領域７０１および第２画像表示領域７０２）に２つの画像を表示する場合における表示例（表示画面７００）を示す。第１画像表示領域７０１内の画像は、図２３（ａ）に示す第１画像表示領域３１１内の画像に対応し、第２画像表示領域７０２内の画像は、図２３（ａ）に示す第２画像表示領域３１２内の画像に対応する。
【０２１７】
また、図２３（ａ）に示す表示画面および図２３（ｂ）に示す表示画面は、撮像動作中において、ユーザ操作により順次切り替えることができる。例えば、画像処理装置１００の外側面に設けられている操作部材やタッチパネル上における所定ボタンを表示切替ボタンとして用いる。そして、この表示切替ボタンが押下される毎に、図２３の矢印に示すように、図２３（ａ）および（ｂ）に示す各表示画面に切り替えられるようにする。
【０２１８】
なお、この変形例では、第１画像表示領域７０１および第２画像表示領域７０２を水平方向に隣接して並べる例を示すが、第１画像表示領域７０１および第２画像表示領域７０２の配置については、適宜変更するようにしてもよい。例えば、ユーザ操作に応じて、第１画像表示領域７０１および第２画像表示領域７０２の配置を変更可能とするようにしてもよい。
【０２１９】
＜６．変形例＞
本技術の第１乃至第４の実施の形態では、枠表示モードの設定時において１つの画像上に枠を表示して、この枠により他の画像の撮像範囲を表示する例を示した。ただし、枠以外の表示態様により他の画像の撮像範囲を表示するようにしてもよい。
【０２２０】
そこで、この変形例では、枠以外の表示態様により他の画像の撮像範囲を表示する例を示す。なお、この変形例における画像処理装置の構成については、図１乃至図３等に示す例と略同様である。このため、本技術の第１の実施の形態と共通する部分については、その説明の一部を省略する。
【０２２１】
［枠表示モード設定時における表示例］
図２４は、本技術の実施の形態の変形例における表示部１７２に表示される表示画面の遷移例を示す図である。
【０２２２】
図２４（ａ）には、本技術の第１乃至第４の実施の形態と同様に、第１画像表示領域７１０内の画像上に枠７１１を表示する例を示す。例えば、図２４（ａ）に示すように、枠表示モードの設定時において黒等のように濃い色により枠７１１を表示する場合には、背景の被写体を枠７１１が隠してしまうため、その背景の被写体が視認し難くなるおそれがある。特に、ズーム倍率が高くなった場合には、枠７１１のサイズが小さくなるため、枠７１１内における被写体が視認し難くなることが想定される。
【０２２３】
そこで、この変形例では、枠を表示する代わりに、半透明のオンスクリーンディスプレイ（ＯＳＤ）により撮像範囲を表現する。この表示例を図２４（ｂ）および（ｃ）に示す。
【０２２４】
図２４（ｂ）および（ｃ）には、半透明のオンスクリーンディスプレイにより撮像範囲（第２撮像部１１２により生成される画像の撮像範囲）を表示する例を示す。具体的には、図２４（ｂ）には、第１画像表示領域７２０において、撮像範囲（第２撮像部１１２により生成される画像の撮像範囲）に対応する領域７２２を透明とし、他の領域７２１を半透明のオンスクリーンディスプレイによりグレーとする例を示す。また、図２４（ｃ）には、撮像範囲（第２撮像部１１２により生成される画像の撮像範囲）に対応する領域７３２を半透明のオンスクリーンディスプレイによりグレーとし、他の領域７３１を透明とする例を示す。
【０２２５】
このように、枠表示モードでは、被写体に対する第１撮像部１１１の撮像範囲と第２撮像部１１２の撮像範囲との関係を表す表示態様として、第１画像において第２撮像部１１２の撮像範囲に対応する画像と他の画像とを異なる表示態様とすることができる。この第１画像は、第１撮像部１１１により生成される画像である。
【０２２６】
また、撮像範囲を表現することにより、被写体の視認性を確保することができる。また、被写体の視認性については、ユーザの好みがあるため、例えば、枠表示モードの設定時における半透明のオンスクリーンディスプレイによる表示をユーザ操作により切り替えるようにすることができる。例えば、画像処理装置１００の外側面に設けられている操作部材やタッチパネル上における所定ボタンを表示切替ボタンとして用いる。そして、この表示切替ボタンが押下される毎に、図２４の矢印に示すように、図２４（ａ）乃至（ｃ）に示す各表示方法に切り替えられるようにする。これにより、ユーザの好みに応じて視認性をさらに向上させることができる。
【０２２７】
＜７．変形例＞
本技術の第１乃至第４の実施の形態では、画像処理装置に１つの表示部を備える例を示した。ただし、１つの画像処理装置に複数の表示部が設けられている場合も想定される。また、画像処理装置により生成された画像を外部装置において表示することも想定される。そこで、この変形例では、複数の表示部や外部装置を用いて各画像を表示する例を示す。
【０２２８】
［複数の表示部を備える画像処理装置の一例］
図２５は、本技術の実施の形態の変形例における画像処理装置８００の外観構成例を示す図である。具体的には、１つの画像処理装置（画像処理装置８００）に２つの表示部（第１表示部８１１、第２表示部８１２）が設けられている例を示す。
【０２２９】
また、図２５（ａ）には、本技術の第１乃至第４の実施の形態における枠表示モードの設定時に対応する表示例を示し、図２５（ｂ）には、本技術の第１乃至第４の実施の形態におけるＰｉｎＰ表示モードの設定時に対応する表示例を示す。なお、画像処理装置８００は、２つの表示部（第１表示部８１１、第２表示部８１２）が設けられている点以外は、図１乃至図３に示す画像処理装置１００と略同様である。このため、以下では、画像処理装置８００における各部には、画像処理装置１００と同一の符号を付して説明する。
【０２３０】
第１表示部８１１は、表示制御部２６０の制御に基づいて、主にメイン画面を表示する表示部である。なお、メイン画面は、例えば、本技術の第１乃至第４の実施の形態に示した各画面である。
【０２３１】
第２表示部８１２は、表示制御部２６０の制御に基づいて、主にサブ画面を表示する表示部である。なお、サブ画面は、例えば、メイン画面の内容以外の内容を表示するための補助的な画面である。
【０２３２】
例えば、撮像動作中において、枠表示モードの設定時には、図２５（ａ）に示すように、第１表示部８１１にのみ画像（枠８１５も表示）を表示させることができる。
【０２３３】
また、例えば、撮像動作中において、ＰｉｎＰ表示モードの設定時には、図２５（ｂ）に示すように、第１画像表示領域の表示対象となる画像を第１表示部８１１に表示させ、第２画像表示領域の表示対象となる画像を第２表示部８１２に表示させることができる。
【０２３４】
［外部表示装置に画像を表示させる場合の表示例］
図２６は、本技術の実施の形態の変形例における画像処理装置１００および表示装置８５０の外観構成例を示す図である。具体的には、装置間インターフェース８６０を介して画像処理装置１００および表示装置８５０が接続されている例を示す。装置間インターフェース８６０は、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）ケーブルを用いることができる。なお、装置間インターフェース８６０として、画像処理装置１００および表示装置８５０を有線または無線により接続し、画像処理装置１００および表示装置８５０間で互いに通信を行うことが可能な他の装置間インターフェースを用いるようにしてもよい。
【０２３５】
また、図２６（ａ）には、本技術の第１乃至第４の実施の形態における枠表示モードの設定時に対応する表示例を示し、図２６（ｂ）には、本技術の第１乃至第４の実施の形態におけるＰｉｎＰ表示モードの設定時に対応する表示例を示す。なお、画像処理装置１００は、図１乃至図３に示す画像処理装置１００と略同様である。
【０２３６】
表示装置８５０は、装置間インターフェース８６０および接続端子（図示せず）を介して画像処理装置１００から入力された画像（画像データ）を表示部８５１に表示することが可能な表示装置である。
【０２３７】
また、外部インターフェース１９５（図２に示す）は、装置間インターフェース８６０を介して、第１撮像部１１１および第２撮像部１１２により生成された画像（画像データ）を表示装置８５０に出力し、この出力された画像を表示装置８５０に表示させる。この場合には、図２６（ａ）および（ｂ）に示すように、表示部１７２および表示装置８５０のそれぞれに異なる画像を表示させることができる。また、表示部１７２および表示装置８５０のそれぞれに同一の画像を表示させるようにしてもよい。なお、これらの表示方法については、ユーザ操作に基づいて切替可能とすることができる。
【０２３８】
例えば、撮像動作中において、枠表示モードの設定時には、図２６（ａ）に示すように、表示部１７２にのみ画像（枠８７０も表示）を表示させることができる。
【０２３９】
また、例えば、撮像動作中において、ＰｉｎＰ表示モードの設定時には、図２６（ｂ）に示すように、第１画像表示領域の表示対象となる画像を表示部１７２に表示させ、第２画像表示領域の表示対象となる画像を表示装置８５０に表示させることができる。
【０２４０】
なお、第２画像表示領域の表示対象となる画像を表示部１７２に表示させ、第１画像表示領域の表示対象となる画像を表示装置８５０に表示させるようにしてもよい。また、これらの表示方法については、ユーザ操作に基づいて切替可能とすることができる。
【０２４１】
図２５および図２６に示すように、複数の表示部が設けられている画像処理装置や他の表示装置に接続されている画像処理装置についても、本技術の第１乃至第４の実施の形態を適用することができる。また、第１画像表示領域と、第２画像表示領域とを異なる領域とすることにより、ＰｉｎＰ表示モードの設定時には、第１画像表示領域内の画像の全部を見ることができ、視認性をさらに向上させることができる。
【０２４２】
なお、本技術の実施の形態では、２つの撮像部を備える画像処理装置を示すが、３以上の撮像部を備える画像処理装置に本技術の実施の形態を適用するようにしてもよい。
【０２４３】
また、本技術の実施の形態では、２つの撮像部を備える画像処理装置を例にして説明したが、撮像部（１または複数）を着脱可能な画像処理装置に本技術の実施の形態を適用することができる。また、撮像機能付き携帯電話機や撮像機能付き携帯端末装置（例えば、スマートフォン）等の画像処理装置に本技術の実施の形態を適用することができる。
【０２４４】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０２４５】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【０２４６】
なお、本技術は以下のような構成もとることができる。
（１） 第１画像および第２画像を同時に表示する第１表示モードと、
前記第２画像の前記第１画像との関係を前記第１画像と同時に表示する第２表示モードと、
前記第１画像を表示する際に、所定条件に基づいて、前記第１表示モードと前記第２表示モードとの何れかを設定する制御を行う制御部と
を具備する画像処理装置。
（２） 前記第１画像は、第１撮像部が被写体を撮像して生成された画像であり、
前記第２画像は、第２撮像部が前記被写体を撮像して生成された画像であり、
前記第２表示モードは、前記第２画像の前記第１画像との関係として、前記被写体に対する前記第１撮像部の撮像範囲と前記第２撮像部の撮像範囲との関係を表示する表示モードである
前記（１）に記載の画像処理装置。
（３） 前記第２表示モードは、前記被写体に対する前記第１撮像部の撮像範囲と前記第２撮像部の撮像範囲との関係を表す画像として、前記第１画像上に前記第２撮像部の撮像範囲を表す付加画像を表示する表示モードである前記（２）に記載の画像処理装置。
（４） 前記制御部は、前記第１表示モードおよび前記第２表示モードの切替時において、前記第１表示モード設定時に表示される前記第２画像の位置と、前記第２表示モード設定時に前記第１画像上に表示される前記付加画像により特定される位置との間を、前記第２画像を移動させながらアニメーション表示させるための制御を行う前記（３）に記載の画像処理装置。
（５） 前記第２表示モードは、前記被写体に対する前記第１撮像部の撮像範囲と前記第２撮像部の撮像範囲との関係を表す表示態様として、前記第１画像において前記第２撮像部の撮像範囲に対応する画像と他の画像とを異なる表示態様とする表示モードである前記（２）に記載の画像処理装置。
（６） 前記制御部は、前記第１画像および前記第２画像のそれぞれを静止画コンテンツとして記録するための撮像モードが設定されていることを前記所定条件とし、前記所定条件を満たす場合には、前記第１表示モードを設定する制御を行う前記（２）から（５）のいずれかに記載の画像処理装置。
（７） 前記制御部は、前記第１画像および前記第２画像のうちの少なくとも一方を動画コンテンツとして記録するための記録処理が行われていることを前記所定条件とし、前記所定条件を満たす場合には、前記第２表示モードを設定する制御を行う前記（２）から（６）のいずれかに記載の画像処理装置。
（８） 前記制御部は、前記第２撮像部に係る光学系のズーム倍率が一定値を基準として大きいことを前記所定条件とし、前記所定条件を満たす場合には、前記第１表示モードを設定する制御を行う前記（１）から（７）のいずれかに記載の画像処理装置。
（９） 前記制御部は、前記第２画像に主要被写体が含まれていることを前記所定条件とし、前記所定条件を満たす場合には、前記第１表示モードを設定する制御を行う前記（１）から（８）のいずれかに記載の画像処理装置。
（１０） 前記制御部は、前記第２画像に主要被写体が含まれる場合であって当該主要被写体の表示サイズが前記第１画像に含まれる当該主要被写体の表示サイズを基準として大きいことを前記所定条件とし、前記所定条件を満たす場合には、前記第１表示モードを設定する制御を行う前記（１）から（９）のいずれかに記載の画像処理装置。
（１１） 前記制御部は、低消費電力モードが設定されていることを前記所定条件とし、前記所定条件を満たす場合には、前記第２表示モードを設定する制御を行う前記（１）から（１０）のいずれかに記載の画像処理装置。
（１２） 前記制御部は、前記画像処理装置におけるバッテリ残量が所定値を基準として小さいことを前記所定条件とし、前記所定条件を満たす場合には、前記第２表示モードを設定する制御を行う前記（１）から（１１）のいずれかに記載の画像処理装置。
（１３） 前記制御部は、前記第１表示モードが設定される場合において前記第１画像に主要被写体が含まれている場合には当該主要被写体と前記第２画像とが重複しないように当該第２画像の表示位置を変更する制御を行う前記（１）から（１２）のいずれかに記載の画像処理装置。
（１４） 前記制御部は、前記第１表示モードが設定される場合において前記第２画像に主要被写体が含まれている場合には当該主要被写体のサイズが所定サイズとなるように当該第２画像のサイズを変更する制御を行う前記（１）から（１３）のいずれかに記載の画像処理装置。
（１５） 前記第１画像および前記第２画像は、同一被写体に対して撮像範囲が異なるように複数の撮像部によりそれぞれ生成された画像であり、
前記第１表示モードは、前記第１画像上における所定位置に前記第２画像を重ねて表示する表示モードであり、
前記第２表示モードは、前記第２画像の前記第１画像との関係を表す画像として、前記第１画像上に前記第２撮像部の撮像範囲を表す付加画像を表示する表示モードである
前記（１）に記載の画像処理装置。
（１６） 前記制御部により設定された表示モードに従って各画像を表示する表示部をさらに具備する前記（１）から（１５）のいずれかに記載の画像処理装置。
（１７） 前記第１撮像部および前記第２撮像部をさらに具備する前記（２）に記載の画像処理装置。
（１８） 前記第１撮像部および前記第２撮像部は、第１撮像モードが設定されている場合には立体視画像を表示するための２つの画像を生成し、第２撮像モードが設定されている場合には立体視画像以外の画像を表示するための前記第１画像および前記第２画像を生成し、
前記制御部は、前記第２撮像モードが設定されている場合に前記第１表示モードと前記第２表示モードとの何れかを設定する制御を行う
前記（１７）に記載の画像処理装置。
（１９） 第１表示モードの設定時に第１画像および第２画像を同時に表示する第１表示手順と、
第２表示モードの設定時に前記第２画像の前記第１画像との関係を前記第１画像と同時に表示する第２表示手順と、
前記第１画像を表示する際に、所定条件に基づいて、前記第１表示モードと前記第２表示モードとの何れかを設定する制御を行う制御手順と
を具備する画像処理装置の制御方法。
（２０） 第１表示モードの設定時に第１画像および第２画像を同時に表示する第１表示手順と、
第２表示モードの設定時に前記第２画像の前記第１画像との関係を前記第１画像と同時に表示する第２表示手順と、
前記第１画像を表示する際に、所定条件に基づいて、前記第１表示モードと前記第２表示モードとの何れかを設定する制御を行う制御手順と
をコンピュータに実行させるプログラム。
【符号の説明】
【０２４７】
１００、８００ 画像処理装置
１０１ バス
１１１ 第１撮像部
１１２ 第２撮像部
１２１ 第１信号処理部
１２２ 第２信号処理部
１３１ 解像度変換部
１３２ 画像圧縮伸張部
１３３ グラフィックエンジン
１４０ ＲＯＭ
１５０ ＲＡＭ
１６０ ＣＰＵ
１７１ 表示部コントローラ
１７２、８５１ 表示部
１８１ 入力制御部
１８２ 操作部
１８５ シャッターボタン
１９１ リムーバブルメディアコントローラ
１９２ リムーバブルメディア
１９５ 外部インターフェース
２１０ 第１画像生成部
２２０ 第２画像生成部
２３０ 顔検出部
２４０ 操作受付部
２５０ バッテリ残量検出部
２６０ 表示制御部
２７０ 記録制御部
２８０ コンテンツ記憶部
２９０ 制御部
８１１ 第１表示部
８１２ 第２表示部
８５０ 表示装置
８６０ 装置間インターフェース
【特許請求の範囲】
【請求項１】
第１画像および第２画像を同時に表示する第１表示モードと、
前記第２画像の前記第１画像との関係を前記第１画像と同時に表示する第２表示モードと、
前記第１画像を表示する際に、所定条件に基づいて、前記第１表示モードと前記第２表示モードとの何れかを設定する制御を行う制御部と
を具備する画像処理装置。
【請求項２】
前記第１画像は、第１撮像部が被写体を撮像して生成された画像であり、
前記第２画像は、第２撮像部が前記被写体を撮像して生成された画像であり、
前記第２表示モードは、前記第２画像の前記第１画像との関係として、前記被写体に対する前記第１撮像部の撮像範囲と前記第２撮像部の撮像範囲との関係を表示する表示モードである
請求項１記載の画像処理装置。
【請求項３】
前記第２表示モードは、前記被写体に対する前記第１撮像部の撮像範囲と前記第２撮像部の撮像範囲との関係を表す画像として、前記第１画像上に前記第２撮像部の撮像範囲を表す付加画像を表示する表示モードである請求項２記載の画像処理装置。
【請求項４】
前記制御部は、前記第１表示モードおよび前記第２表示モードの切替時において、前記第１表示モード設定時に表示される前記第２画像の位置と、前記第２表示モード設定時に前記第１画像上に表示される前記付加画像により特定される位置との間を、前記第２画像を移動させながらアニメーション表示させるための制御を行う請求項３記載の画像処理装置。
【請求項５】
前記第２表示モードは、前記被写体に対する前記第１撮像部の撮像範囲と前記第２撮像部の撮像範囲との関係を表す表示態様として、前記第１画像において前記第２撮像部の撮像範囲に対応する画像と他の画像とを異なる表示態様とする表示モードである請求項２記載の画像処理装置。
【請求項６】
前記制御部は、前記第１画像および前記第２画像のそれぞれを静止画コンテンツとして記録するための撮像モードが設定されていることを前記所定条件とし、前記所定条件を満たす場合には、前記第１表示モードを設定する制御を行う請求項２記載の画像処理装置。
【請求項７】
前記制御部は、前記第１画像および前記第２画像のうちの少なくとも一方を動画コンテンツとして記録するための記録処理が行われていることを前記所定条件とし、前記所定条件を満たす場合には、前記第２表示モードを設定する制御を行う請求項２記載の画像処理装置。
【請求項８】
前記制御部は、前記第２撮像部に係る光学系のズーム倍率が一定値を基準として大きいことを前記所定条件とし、前記所定条件を満たす場合には、前記第１表示モードを設定する制御を行う請求項２記載の画像処理装置。
【請求項９】
前記制御部は、前記第２画像に主要被写体が含まれていることを前記所定条件とし、前記所定条件を満たす場合には、前記第１表示モードを設定する制御を行う請求項１記載の画像処理装置。
【請求項１０】
前記制御部は、前記第２画像に主要被写体が含まれる場合であって当該主要被写体の表示サイズが前記第１画像に含まれる当該主要被写体の表示サイズを基準として大きいことを前記所定条件とし、前記所定条件を満たす場合には、前記第１表示モードを設定する制御を行う請求項１記載の画像処理装置。
【請求項１１】
前記制御部は、低消費電力モードが設定されていることを前記所定条件とし、前記所定条件を満たす場合には、前記第２表示モードを設定する制御を行う請求項１記載の画像処理装置。
【請求項１２】
前記制御部は、前記画像処理装置におけるバッテリ残量が所定値を基準として小さいことを前記所定条件とし、前記所定条件を満たす場合には、前記第２表示モードを設定する制御を行う請求項１記載の画像処理装置。
【請求項１３】
前記制御部は、前記第１表示モードが設定される場合において前記第１画像に主要被写体が含まれている場合には当該主要被写体と前記第２画像とが重複しないように当該第２画像の表示位置を変更する制御を行う請求項１記載の画像処理装置。
【請求項１４】
前記制御部は、前記第１表示モードが設定される場合において前記第２画像に主要被写体が含まれている場合には当該主要被写体のサイズが所定サイズとなるように当該第２画像のサイズを変更する制御を行う請求項１記載の画像処理装置。
【請求項１５】
前記第１画像および前記第２画像は、同一被写体に対して撮像範囲が異なるように複数の撮像部によりそれぞれ生成された画像であり、
前記第１表示モードは、前記第１画像上における所定位置に前記第２画像を重ねて表示する表示モードであり、
前記第２表示モードは、前記第２画像の前記第１画像との関係を表す画像として、前記第１画像上に前記第２撮像部の撮像範囲を表す付加画像を表示する表示モードである
請求項１記載の画像処理装置。
【請求項１６】
前記制御部により設定された表示モードに従って各画像を表示する表示部をさらに具備する請求項１記載の画像処理装置。
【請求項１７】
前記第１撮像部および前記第２撮像部をさらに具備する請求項２記載の画像処理装置。
【請求項１８】
前記第１撮像部および前記第２撮像部は、第１撮像モードが設定されている場合には立体視画像を表示するための２つの画像を生成し、第２撮像モードが設定されている場合には立体視画像以外の画像を表示するための前記第１画像および前記第２画像を生成し、
前記制御部は、前記第２撮像モードが設定されている場合に前記第１表示モードと前記第２表示モードとの何れかを設定する制御を行う
請求項１７記載の画像処理装置。
【請求項１９】
第１表示モードの設定時に第１画像および第２画像を同時に表示する第１表示手順と、
第２表示モードの設定時に前記第２画像の前記第１画像との関係を前記第１画像と同時に表示する第２表示手順と、
前記第１画像を表示する際に、所定条件に基づいて、前記第１表示モードと前記第２表示モードとの何れかを設定する制御を行う制御手順と
を具備する画像処理装置の制御方法。
【請求項２０】
第１表示モードの設定時に第１画像および第２画像を同時に表示する第１表示手順と、
第２表示モードの設定時に前記第２画像の前記第１画像との関係を前記第１画像と同時に表示する第２表示手順と、
前記第１画像を表示する際に、所定条件に基づいて、前記第１表示モードと前記第２表示モードとの何れかを設定する制御を行う制御手順と
をコンピュータに実行させるプログラム。
【請求項１】
第１画像および第２画像を同時に表示する第１表示モードと、
前記第２画像の前記第１画像との関係を前記第１画像と同時に表示する第２表示モードと、
前記第１画像を表示する際に、所定条件に基づいて、前記第１表示モードと前記第２表示モードとの何れかを設定する制御を行う制御部と
を具備する画像処理装置。
【請求項２】
前記第１画像は、第１撮像部が被写体を撮像して生成された画像であり、
前記第２画像は、第２撮像部が前記被写体を撮像して生成された画像であり、
前記第２表示モードは、前記第２画像の前記第１画像との関係として、前記被写体に対する前記第１撮像部の撮像範囲と前記第２撮像部の撮像範囲との関係を表示する表示モードである
請求項１記載の画像処理装置。
【請求項３】
前記第２表示モードは、前記被写体に対する前記第１撮像部の撮像範囲と前記第２撮像部の撮像範囲との関係を表す画像として、前記第１画像上に前記第２撮像部の撮像範囲を表す付加画像を表示する表示モードである請求項２記載の画像処理装置。
【請求項４】
前記制御部は、前記第１表示モードおよび前記第２表示モードの切替時において、前記第１表示モード設定時に表示される前記第２画像の位置と、前記第２表示モード設定時に前記第１画像上に表示される前記付加画像により特定される位置との間を、前記第２画像を移動させながらアニメーション表示させるための制御を行う請求項３記載の画像処理装置。
【請求項５】
前記第２表示モードは、前記被写体に対する前記第１撮像部の撮像範囲と前記第２撮像部の撮像範囲との関係を表す表示態様として、前記第１画像において前記第２撮像部の撮像範囲に対応する画像と他の画像とを異なる表示態様とする表示モードである請求項２記載の画像処理装置。
【請求項６】
前記制御部は、前記第１画像および前記第２画像のそれぞれを静止画コンテンツとして記録するための撮像モードが設定されていることを前記所定条件とし、前記所定条件を満たす場合には、前記第１表示モードを設定する制御を行う請求項２記載の画像処理装置。
【請求項７】
前記制御部は、前記第１画像および前記第２画像のうちの少なくとも一方を動画コンテンツとして記録するための記録処理が行われていることを前記所定条件とし、前記所定条件を満たす場合には、前記第２表示モードを設定する制御を行う請求項２記載の画像処理装置。
【請求項８】
前記制御部は、前記第２撮像部に係る光学系のズーム倍率が一定値を基準として大きいことを前記所定条件とし、前記所定条件を満たす場合には、前記第１表示モードを設定する制御を行う請求項２記載の画像処理装置。
【請求項９】
前記制御部は、前記第２画像に主要被写体が含まれていることを前記所定条件とし、前記所定条件を満たす場合には、前記第１表示モードを設定する制御を行う請求項１記載の画像処理装置。
【請求項１０】
前記制御部は、前記第２画像に主要被写体が含まれる場合であって当該主要被写体の表示サイズが前記第１画像に含まれる当該主要被写体の表示サイズを基準として大きいことを前記所定条件とし、前記所定条件を満たす場合には、前記第１表示モードを設定する制御を行う請求項１記載の画像処理装置。
【請求項１１】
前記制御部は、低消費電力モードが設定されていることを前記所定条件とし、前記所定条件を満たす場合には、前記第２表示モードを設定する制御を行う請求項１記載の画像処理装置。
【請求項１２】
前記制御部は、前記画像処理装置におけるバッテリ残量が所定値を基準として小さいことを前記所定条件とし、前記所定条件を満たす場合には、前記第２表示モードを設定する制御を行う請求項１記載の画像処理装置。
【請求項１３】
前記制御部は、前記第１表示モードが設定される場合において前記第１画像に主要被写体が含まれている場合には当該主要被写体と前記第２画像とが重複しないように当該第２画像の表示位置を変更する制御を行う請求項１記載の画像処理装置。
【請求項１４】
前記制御部は、前記第１表示モードが設定される場合において前記第２画像に主要被写体が含まれている場合には当該主要被写体のサイズが所定サイズとなるように当該第２画像のサイズを変更する制御を行う請求項１記載の画像処理装置。
【請求項１５】
前記第１画像および前記第２画像は、同一被写体に対して撮像範囲が異なるように複数の撮像部によりそれぞれ生成された画像であり、
前記第１表示モードは、前記第１画像上における所定位置に前記第２画像を重ねて表示する表示モードであり、
前記第２表示モードは、前記第２画像の前記第１画像との関係を表す画像として、前記第１画像上に前記第２撮像部の撮像範囲を表す付加画像を表示する表示モードである
請求項１記載の画像処理装置。
【請求項１６】
前記制御部により設定された表示モードに従って各画像を表示する表示部をさらに具備する請求項１記載の画像処理装置。
【請求項１７】
前記第１撮像部および前記第２撮像部をさらに具備する請求項２記載の画像処理装置。
【請求項１８】
前記第１撮像部および前記第２撮像部は、第１撮像モードが設定されている場合には立体視画像を表示するための２つの画像を生成し、第２撮像モードが設定されている場合には立体視画像以外の画像を表示するための前記第１画像および前記第２画像を生成し、
前記制御部は、前記第２撮像モードが設定されている場合に前記第１表示モードと前記第２表示モードとの何れかを設定する制御を行う
請求項１７記載の画像処理装置。
【請求項１９】
第１表示モードの設定時に第１画像および第２画像を同時に表示する第１表示手順と、
第２表示モードの設定時に前記第２画像の前記第１画像との関係を前記第１画像と同時に表示する第２表示手順と、
前記第１画像を表示する際に、所定条件に基づいて、前記第１表示モードと前記第２表示モードとの何れかを設定する制御を行う制御手順と
を具備する画像処理装置の制御方法。
【請求項２０】
第１表示モードの設定時に第１画像および第２画像を同時に表示する第１表示手順と、
第２表示モードの設定時に前記第２画像の前記第１画像との関係を前記第１画像と同時に表示する第２表示手順と、
前記第１画像を表示する際に、所定条件に基づいて、前記第１表示モードと前記第２表示モードとの何れかを設定する制御を行う制御手順と
をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０１３−１０６１７０（Ｐ２０１３−１０６１７０Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４８２６４（Ｐ２０１１−２４８２６４）
【出願日】平成２３年１１月１４日（２０１１．１１．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１４日（２０１１．１１．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]