端末装置及びプログラム
【課題】ごく簡単な操作で立体撮影が可能となる端末装置を提供する。
【解決手段】携帯電話１００は、下側筐体と上側筐体とがヒンジを介して互いに開閉自在に連結されており、下側筐体には、メインカメラ１７が設けられ、上側筐体には、サブカメラ１８が設けられている。ＣＰＵ７は、メインカメラ１７からの出力画像と、サブカメラ１８からの出力画像とに基づいて立体視用画像を生成する。角度検出部２０は、下側筐体と上側筐体とが成す開角度を検出する。ＣＰＵ７は、角度検出部２０の検出結果に基づいて、立体視用画像を生成するか否かを決定する。
【解決手段】携帯電話１００は、下側筐体と上側筐体とがヒンジを介して互いに開閉自在に連結されており、下側筐体には、メインカメラ１７が設けられ、上側筐体には、サブカメラ１８が設けられている。ＣＰＵ７は、メインカメラ１７からの出力画像と、サブカメラ１８からの出力画像とに基づいて立体視用画像を生成する。角度検出部２０は、下側筐体と上側筐体とが成す開角度を検出する。ＣＰＵ７は、角度検出部２０の検出結果に基づいて、立体視用画像を生成するか否かを決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２台のカメラからの出力画像に基づいて、立体視用の画像を生成可能な端末装置に関する。
【背景技術】
【０００２】
近年、撮影機能を有する携帯電話等の携帯端末装置の普及は目覚ましく、広く一般ユーザに浸透している。また、携帯端末装置のメーカ側においても、撮影機能の充実性を重視し、新しい技術の開発に取り組んでいる。例えば、特許文献１には、長手方向の両端部にカメラを搭載することで、立体視用の画像の取得を可能とする携帯型通信装置が提案されている（例えば、段落［００１５］〜［００３７］、図５参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−５１８７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１には、立体視用の画像を取得するモード（立体撮影モード）への移行方法についての開示がされていない。例えば、携帯端末装置を立体撮影モードに移行させるために当該携帯端末装置に設けられたボタンを操作する等、所定操作が必要になると、直ちに被写体を撮影することができず、シャッターチャンスを逃す可能性がある。
【０００５】
また、ユーザに違和感なく良好な立体画像を提供するためには、２台のカメラから出力される画像の精度を等しくする必要があり、従来においては同一のカメラを２台搭載する必要があった。高精細なカメラはコストが高いため、これを２台搭載すると大幅なコストアップを招くことになる。また、たとえ、２台のカメラが同一仕様であっても、個体ばらつき等により、例えば、撮影画像のホワイトバランス、明るさ、色あいが異なる場合もある。そうすると、これらの差異により、良好な立体画像をユーザに提供できないおそれもある。
【０００６】
本発明は、上記問題に鑑みてなされたものであり、ごく簡単な操作で立体撮影が可能となる端末装置及びプログラムを提供することを目的とする。さらに、本発明は、２台のカメラから出力される画像の精度等の差異を吸収して、良好な立体視用画像を生成可能な端末装置及びプログラムも提供する。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の第１の観点に係る端末装置は、
第１の筐体と第２の筐体とがヒンジを介して互いに開閉自在に連結された端末装置であって、
前記第１の筐体に設けられた第１のカメラと、
前記第２の筐体に設けられた第２のカメラと、
前記第１のカメラ及び前記第２のカメラそれぞれの出力画像に基づいて、立体視用の画像を生成する立体視用画像生成手段と、
前記第１の筐体と前記第２の筐体とが成す開角度を検出する開角度検出手段と、
該開角度検出手段が検出した開角度に基づいて、前記立体視用画像生成手段が前記立体視用の画像を生成する必要の可否を判定する判定手段と、を備えることを特徴とする。
【０００８】
また、本発明の第２の観点に係る端末装置は、
第１のカメラと、
第２のカメラと、
前記第１のカメラ及び前記第２のカメラそれぞれの出力画像に基づいて、立体視用の画像を生成する立体視用画像生成手段と、
前記第１のカメラ及び前記第２のカメラそれぞれの光軸の角度を検出する光軸角度検出手段と、
該光軸角度検出手段が検出した双方の光軸角度に基づいて、前記立体視用画像生成手段が前記立体視用の画像を生成する必要の可否を判定する判定手段と、を備えることを特徴とする。
【０００９】
上記第１の観点に係る端末装置において、前記判定手段は、前記開角度が１８０度以上の場合に、前記立体視用画像生成手段が前記立体視用の画像を生成する必要があると判定してもよい。
【００１０】
また、上記第２の観点に係る端末装置において、前記判定手段は、前記第１のカメラ及び前記第２のカメラそれぞれの光軸の角度が略等しい場合に、前記立体視用画像生成手段が前記立体視用の画像を生成する必要があると判定してもよい。
【００１１】
上記第１及び第２の観点に係る端末装置において、前記第１のカメラと前記第２のカメラの内、一方のカメラは、他方のカメラに比べ、画角が狭く且つ画素数が少ない仕様であり、画角が広く且つ画素数が多い方のカメラの出力画像に対して、他方のカメラの出力画像に基づいて、縮小及び画像の切り出し処理を施すことで、当該他方のカメラの出力画像のサイズに一致させるスケーラをさらに備えてもよい。
【００１２】
また、前記第１のカメラと前記第２のカメラの内、少なくとも１台は、回転動作により撮影方向を変更可能な回転カメラであってもよい。
【００１３】
また、前記第１のカメラ及び前記第２のカメラそれぞれの出力画像の画質を一致させる画質補正手段をさらに備えてもよい。
【００１４】
上記の場合、前記画質補正手段は、ホワイトバランス、輝度、色の内の少なくとも何れか１つを一致させるようにするのが好ましい。
【００１５】
また、前記第１のカメラ及び前記第２のカメラのフレームレートは異なり、前記第１のカメラ及び前記第２のカメラのフレームレートを一致させるフレームレート変換手段をさらに備えてもよい。
【００１６】
また、前記第１のカメラ及び前記第２のカメラのフォーカス性能は異なり、フォーカス性能の劣る一方のカメラの出力画像の輪郭を補正することで、他方のカメラの出力画像における輪郭精度と一致させる輪郭補正手段をさらに備えてもよい。
【００１７】
また、前記第１のカメラ及び前記第２のカメラそれぞれの出力画像に共通する被写体像を取得し、該取得した被写体像に基づいて、少なくとも一方のカメラの出力画像の視点を補正する光軸補正手段をさらに備えてもよい。
【００１８】
また、本発明に係るプログラムは、
コンピュータを、
第１の筐体に設けられた第１のカメラ及び第２の筐体に設けられた第２のカメラそれぞれの出力画像に基づいて、立体視用の画像を生成する立体視用画像生成手段、
前記第１の筐体と前記第２の筐体とが成す開角度を検出する開角度検出手段が検出した前記開角度に基づいて、前記立体視用画像生成手段が前記立体視用の画像を生成する必要の可否を判定する判定手段、として機能させることを特徴とする。
【発明の効果】
【００１９】
以上の如く、本発明によれば、ごく簡単な操作で立体撮影が可能となる端末装置を提供できる。また、良好な立体視用画像を生成可能な端末装置を提供できる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１実施形態に係る携帯電話の内部構成を示すブロック図である。
【図２】第１実施形態に係る携帯電話の外観図である。
【図３】第１実施形態のメインカメラの内部構成を示すブロック図である。
【図４Ａ】第１実施形態のメインカメラの出力画像の画素構造を示す図である。
【図４Ｂ】第１実施形態のサブカメラの出力画像の画素構造を示す図である。
【図４Ｃ】第１実施形態において、保存画像の画素構造を示す図である。
【図５】第１実施形態のメインカメラ及びサブカメラの出力画像と、保存画像の画像イメージを示す図である。
【図６Ａ】第１実施形態の表示部で表示される画像の画素構造を示す図である。
【図６Ｂ】第１実施形態の表示部で表示される画像の画像イメージを示す図である。
【図７】第１実施形態の表示部、視差バリア及びユーザ視点のそれぞれの位置関係を示す図である。
【図８】第１実施形態において、立体視を説明するための図である。
【図９】第１実施形態において、携帯電話の開角度と角度検出部の動作状態との関係を説明するための図である。
【図１０】第１実施形態の角度検出部の機構を説明するための図である。
【図１１】第１実施形態の角度検出部の電気的動作を説明するための図である。
【図１２】第１実施形態の角度検出部の処理手順を示すフローチャートである。
【図１３】本発明の第２実施形態に係る携帯電話の内部構成を示すブロック図である。
【図１４】第２実施形態に係る携帯電話の外観図である。
【図１５】第２実施形態のメインカメラ及び回転カメラの出力画像イメージを示す図である。
【図１６】第２実施形態のスケーラの動作を説明するためのイメージ図である。
【図１７】本発明の第３実施形態に係る携帯電話の内部構成を示すブロック図である。
【図１８】第３実施形態の画質補正部の内部構成を示すブロック図である。
【図１９】第３実施形態のホワイトバランス補正部の内部構成を示すブロック図である。
【図２０】第３実施形態の輝度補正部の内部構成を示すブロック図である。
【図２１】第３実施形態の色差Ｕ補正部の内部構成を示すブロック図である。
【図２２】本発明の第４実施形態に係る携帯電話の内部構成を示すブロック図である。
【図２３】第４実施形態のフレームレート変換部の動作を説明するためのブロック図である。
【図２４】本発明の第５実施形態に係る携帯電話の内部構成を示すブロック図である。
【図２５】第５実施形態の輪郭補正部の動作を説明するためのブロック図である。
【図２６】本発明の第６実施形態に係る携帯電話の内部構成を示すブロック図である。
【図２７】第６実施形態の光軸補正部の動作を説明するためのイメージ図である。
【図２８】カメラ搭載位置の変形例を示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明に係る端末装置の実施形態を図面を用いて説明する。本発明は、映像表示が可能な端末装置全般、例えば、携帯電話、ＰＨＳ、ＰＤＡ、ＰＣ、ＴＶ、映像記録装置・再生装置等に適用可能であるが、以下の各実施形態では、本発明に係る端末装置を携帯電話に適用した例について説明する。
【００２２】
（第１実施形態）
本発明の第１実施形態について図面を用いて説明する。
図１は、第１実施形態に係る携帯電話１００の構成を示すブロック図である。携帯電話１００は、通信アンテナ１と、無線回路２と、符号復号処理回路３と、マイク４と、レシーバ５と、キー６と、ＣＰＵ７と、ＣＰＵバス８と、メモリ９と、ＤＡＣ１０と、スピーカ１１と、第１のビデオＩ／Ｆ１２と、ＬＣＤコントローラ１３と、第２のビデオＩ／Ｆ１４と、表示部１５と、視差バリア１６と、メインカメラ１７と、サブカメラ１８と、記憶装置１９と、角度検出部２０と、を備える。
【００２３】
通信アンテナ１は、空中を伝送されてきた電波を受信し、高周波電気信号に変換し、無線回路２に入力する。また、通信アンテナ１は、無線回路２から出力された高周波電気信号を電波に変換して発信する。無線回路２は、ＣＰＵ７の指示に基づき、通信アンテナ１で受信した高周波電気信号を復調し、符号復号処理回路３に入力する。また、無線回路２は、符号復号処理回路３の出力信号に変調処理を施し、高周波電気信号に変換して通信アンテナ１へ出力する。
【００２４】
符号復号処理回路３は、ＣＰＵ７の制御に従って、無線回路２の出力信号に復号処理を施し、通話用音声信号をレシーバ５に出力し、文字データや画像データ等をＣＰＵ７へ出力する。また、符号復号処理回路３は、マイク４を介して入力されたユーザ等の音声、または、ユーザがキー６を操作して編集した文字やメモリ９から読み取った画像データ等に符号化処理を施し、その結果得られた信号を無線回路２へ出力する。
【００２５】
メモリ９は、ＣＰＵバス８を介してＣＰＵ７と接続され、各種制御用のプログラム、データベース、電話帳、アドレス帳、着信メロディ、楽曲データ、動画や静止画などの画像データ、等を格納する。なお、画像データや楽曲データは、記憶装置１９に格納されていてもよい。記憶装置１９には、半導体メモリ、光ディスク、ハードディスク等が使用可能である。
【００２６】
ＤＡＣ１０は、ＣＰＵ７から出力される着信音や通話音声等のデジタル音声信号をアナログ信号に変換し、スピーカ１１へ供給する。スピーカ１１は、ＤＡＣ１０から供給されたアナログ信号に基づいて着信音や通話音声等を出力する。
【００２７】
ＣＰＵ７は、キー６の操作内容を検出する処理、音声通話処理、音楽や画像の再生処理、後述する立体撮影に係る制御、その他、携帯電話１００全般に関する制御を行う。例えば、ＣＰＵ７は、ＣＰＵバス８を介してメモリ９からプログラムを取得し、符号復号処理回路３、無線回路２を制御して、着信待ちに係る処理を行う。一方、着信時には、ＣＰＵ７は、メモリ９の電話帳から発信者の名前や着信メロディ、着信画像を読み出す。そして、ＣＰＵ７は、音声データについては、ＤＡＣ１０へ出力する一方、相手の電話番号や名前、画像データについては、第１のビデオＩ／Ｆ１２を介して、ＬＣＤコントローラ１３へ出力する。
【００２８】
第１のビデオＩ／Ｆ１２には、例えば、ＣＭＯＳのパラレルバスが使用可能であるが、本実施形態では、第１のビデオＩ／Ｆ１２として、信号線数の削減やノイズ低減の観点から、最近の主流である差動シリアルバスを使用する。ＬＣＤコントローラ１３は、１画面ないし２画面程度のビデオメモリを内蔵しており、ＣＰＵ７から間欠的に送られてくる画像データを６０Ｈｚ程度のフレーム周波数で連続的に読み出して、第２のビデオＩ／Ｆ１４を介して表示部１５へ出力する。第２のビデオＩ／Ｆ１４は、第１のビデオＩ／Ｆ１２と同様に差動シリアルでも構わないが、ここではＣＭＯＳのパラレルバスを用いるものとする。
【００２９】
表示部１５は、ＲＧＢの３ピクセルで１画素を構成するストライプ形式のものが使用可能であり、画素数は、ＱＶＧＡ(３２０×２４０)、ＶＧＡ（６４０×４８０）、（ワイドＶＧＡ（８００×４８０）、フルワイドＶＧＡ（８５４×４８０）など、多様な画素数のデバイスを使用することが可能である。本実施形態では、表示部１５が、ＶＧＡ（６４０×４８０）で表示を行う場合を例にして説明する。また、本実施形態では、表示部１５は、液晶ディスプレイで構成されるが、自発光型の有機ＥＬディスプレイで構成されてもよい。
【００３０】
視差バリア１６は、表示部１５に表示される立体視用画像（左眼用画像及び右眼用画像で構成される）において、左眼用画像については、ユーザの右眼からは見えないように、また、右眼用画像については、ユーザの左眼からは見えないように画像観視方向を制限するものである。視差バリア１６は、図２（ａ）に示すように、携帯電話１００を横に向けた時に、縦ストライプとなるよう配置される。立体画像表示の原理については後述する。
【００３１】
ここで、本実施形態の携帯電話１００の外観について説明する。図２（ａ）に示すように、携帯電話１００は、下側筐体１０１と上側筐体１０２とをヒンジ１０３で連結して開閉自在にした、いわゆる折り畳み式の携帯電話である。下側筐体１０１の一方の主面（以下、操作面という。）には、マイク４と、キー６とが設けられている。また、上側筐体１０２の一方の主面（以下、表示面という。）には、レシーバ５と、表示部１５と、上述した視差バリア１６と、が設けられている。携帯電話１００は、折り畳み状態時において、下側筐体１０１の操作面と上側筐体１０２の表示面とが互いに対向した状態となる。
【００３２】
また、図２（ｂ）に示すように、下側筐体１０１の背面側（操作面側の反対面側）には、長手方向の端部にメインカメラ１７が設けられ、上側筐体１０２の背面側（表示面側の反対面側）には、長手方向の端部にサブカメラ１８が設けられている。
【００３３】
メインカメラ１７は、被写体を撮影して、その結果得られた映像信号（画像）をＣＰＵ７に出力する。メインカメラ１７は、図３に示すように、レンズ１７１と、センサ１７２と、ＤＳＰ１７３と、から構成される。レンズ１７１は、周囲の光を集光してセンサ１７２に結像させる。センサ１７２は、イメージセンサ（例えば、ＣＭＯＳイメージセンサなど）であり、本実施形態では、ＶＧＡ（横：６４０×縦：４８０）に相当する数の画素を備える。センサ１７２は、光電変換により、入力された光を電気信号に変換する。この際、１画素を３つのピクセルに分割し、各ピクセルに赤（Ｒ）、緑（Ｇ）、青（Ｂ）のフィルタを設けることによりカラーの映像信号を得ることができる。ＤＳＰ（Digital Signal Processor）１７３は、センサ１７２から出力された映像信号にホワイトバランス補正やガンマ補正、色補正を施してＶＧＡ（横：６４０×縦：４８０）サイズのＹＵＶ形式の映像信号を生成し、ＣＰＵ７に出力する。
【００３４】
サブカメラ１８は、メインカメラ１７と同一のデバイスで構成され、同一の機能を有する。ＣＰＵ７は、メインカメラ１７及びサブカメラ１８の出力映像信号を合成し、符号化処理を施して記憶装置１９に保存する。また、これに同期して、ＣＰＵ７は、立体表示用画像データを生成して、第１のビデオＩ／Ｆ１２を介してＬＣＤコントローラ１３に出力する。
【００３５】
ＣＰＵ７によるカメラ（メインカメラ１７、サブカメラ１８）の出力映像信号の合成及び記憶装置１９への保存についてさらに詳細に説明する。図４Ａは、メインカメラ１７から出力される映像信号（出力画像）の構造を示す図であり、図４Ｂは、サブカメラ１８から出力される出力画像の構造を示す図である。図４Ａにおいて、各画素の座標に付された「Ｒ」は、メインカメラ１７の出力画像を右眼用画像として扱うことを示すものである。同様に、図４Ｂにおいて、「Ｌ」は、サブカメラ１８の出力画像を左眼用画像として扱うことを示す。
【００３６】
ＣＰＵ７は、メインカメラ１７及びサブカメラ１８からの出力画像を図４Ｃに示すように左右に並べて合成し、記憶装置１９に保存する。図５の（ａ）、（ｂ）は、メインカメラ１７、サブカメラ１８の出力画像のイメージを示す図である。メインカメラ１７の出力画像は、図５（ａ）に示すような右眼視点の映像となり、サブカメラ１８の出力画像は、図５（ｂ）に示すような左眼視点の映像となる。ＣＰＵ７は、図５（ｃ）に示すように、これら２つの出力画像を左右に並べたイメージで記憶装置１９に保存する。
【００３７】
次に、立体視の原理について説明する。ＣＰＵ７は、記憶装置１９に格納した合成画像（図４Ｃ参照）の右眼用画像及び左目用画像から奇数列の画像データを交互に読み出し、図６Ａのように表示部１４に出力する。この結果、１列毎に右眼用画像と左眼用画像が交互に表示されるため、図６Ｂに示すように左右視点の画像が両方表示される。
【００３８】
図７は、表示部１５、視差バリア１６及びユーザ視点のそれぞれの位置関係を示す平面図である。図７において、１５１はバックライト、１５２は液晶パネル、２１１はユーザの右眼，２１２は左眼である。視差バリア１６において、グレイ表示されている部分は、光を遮蔽する部分であり、白い部分は、光を透過する部分である。図７では、右眼用画像（１，１Ｒ）、（３，１Ｒ）、（５，１Ｒ）からの光線が、視差バリア１６を通過して右眼２１１に入射し、左眼用画像（１，１Ｌ）、（３，１Ｌ）、（５，１Ｌ）からの光線が、視差バリア１６を通過して左眼２１２に入射する様子が示されている。
【００３９】
この結果、ユーザは、右眼では、図８（ａ）のように右眼用画像のみが見え、左眼では、図８（ｂ）に示すように左眼用画像のみが見えるため、図８（ｃ）に示すように立体画像として認識することができる。
【００４０】
以上の説明では、メインカメラ１７及びサブカメラ１８により撮影され、ＣＰＵ７により記憶装置１９に保存された合成画像を立体視用のコンテンツとしていたが、立体視用のコンテンツは、撮影済みの画像以外であってもよい。即ち、立体撮影中（即ち、シャッター操作前）において、メインカメラ１７及びサブカメラ１８から出力され、ＣＰＵ７で合成された画像をビューファインダー用途で立体視表示させてもよい。
【００４１】
また、立体視用のコンテンツは、メインカメラ１７及びサブカメラ１８の出力画像に基づくもの以外であってもよく、例えば、アンテナ１から受信したコンテンツや、予めメモリ９または記憶装置１９に保存されているコンテンツであってもよい。
【００４２】
次に、角度検出部２０の動作について、図９から図１２を用いて説明する。図９の（ａ）〜（ｃ）は、携帯電話１００の開角度（下側筐体１０１の操作面と上側筐体１０２の表示面とでなされる角度）と角度検出部２０の動作状態との関係を説明するための図である。ユーザは、通話やメール等、立体撮影以外の用途で携帯電話１００を使用する場合は、図９（ａ）に示すように下側筐体１０１と上側筐体１０２をヒンジ１０３を介して約１７０度の角度に開いて使用する。矢印ａはメインカメラ１７の光軸、矢印ｂはサブカメラ１８の光軸を示している。
【００４３】
この状態のヒンジ１０３部分の拡大図を図１０（ａ）に示す。同図に示すように、ヒンジ１０３には、突起１０３１が設けられている。開角度が約１７０度の状態（図９（ａ）参照）では、図１０（ａ）に示すように角度検出スイッチ２０１（角度検出部２０が備え、下側筐体１０１のヒンジ１０３との連結部近傍に設けられている）が、突起１０３１によって押し上げられていない。この場合、角度検出スイッチ２０１は、開放状態となっている。電気的には、図１１（ａ）に示すように、角度検出スイッチ２０１が開放されている状態である。この場合、抵抗２０２に電流が流れないため電圧降下が発生しない。したがって、角度検出部２０は、ＣＰＵ７に対して、電源電圧Ｖｃｃ、即ち、Ｈ（High）レベルを出力する。
【００４４】
次に、図９（ｂ）に示すように、開角度が約１８０度、即ち、メインカメラ１７の光軸ａとサブカメラ１８の光軸ｂが平行になるように携帯電話１００を開いた場合には、図１０（ｂ）に示すように突起１０３１によって角度検出スイッチ２０１が矢印方向に押し上げられる。これにより図１１（ｂ）に示すように、角度検出スイッチ２０１が短絡状態となり、角度検出部２０の出力は、Ｌ（Low）レベルとなる。
【００４５】
ユーザは、接写時において、図９（ｃ）に示すように、携帯電話１００をさらに開いてメインカメラ１７及びサブカメラ１８両方の光軸を被写体に一致させることができる。この場合、図１０（ｃ）に示すように、突起１０３１によって角度検出スイッチ２０１が矢印方向に押し上げられた状態が継続されるため、角度検出部２０の出力は、Ｌレベルで継続される。
【００４６】
図１２は、以上の角度検出部２０の動作手順を示すフローチャートである。ユーザによって携帯電話１００の電源がＯＮにされると、角度検出部２０が起動し、以下の処理を一定時間毎に繰り返し行う。角度検出スイッチ２０１が突起１０３１によって押し上げられていない場合（ステップＳ１０１でＹＥＳ）、角度検出部２０は、ＣＰＵ７に対して、Ｈレベル信号を出力する（ステップＳ１０２）。例えば、携帯電話１００が、図９（ａ）のような状態で使用されている場合、角度検出部２０は、Ｈレベル信号を出力する。ＣＰＵ７は、角度検出部２０からＨレベル信号を受けると、現在のモードが、立体撮影モードの場合は、立体撮影モードを終了して通常モードに移行する。あるいは、現在のモードが、通常モードの場合は、何もせず、現在の状態を維持する。
【００４７】
一方、角度検出スイッチ２０１が、突起１０３１によって押し上げられている場合（ステップＳ１０１でＮＯ）、角度検出部２０は、ＣＰＵ７に対して、Ｌレベル信号を出力する（ステップＳ１０３）。例えば、携帯電話１００が、図９（ｂ）のような状態で使用されている場合、角度検出部２０は、Ｌレベル信号を出力する。ＣＰＵ７は、角度検出部２０からＬレベル信号を受けると、現在のモードが、通常モードの場合は、通常モードを終了して立体撮影モードに移行する。あるいは、現在のモードが、立体撮影モードの場合は、何もせず、現在の状態を維持する。
【００４８】
以上のように、角度検出部２０の出力がＬレベルであることをＣＰＵ７が検出した場合に、立体撮影モードに移行することで、自動的に立体撮影モードに移行することが可能となる。また、角度検出部２０の出力がＨレベルになったことをＣＰＵ７が検出し立体撮影モードを終了することにより、自動的に立体撮影モードを終了することが可能となる。
【００４９】
このように、本実施形態の携帯電話１００によれば、ユーザは、ボタン操作等の特別な操作をすることなく、容易に立体撮影モードに移行させることができる。したがって、即座に所望の被写体から左右眼用画像を取得し、立体視用画像を生成することができ、利便性が著しく向上する。
【００５０】
本実施形態では、角度検出部２０の出力結果、換言すれば、携帯電話１００の開角度に応じて、モード切り替え（通常モードから立体撮影モード、立体撮影モードから通常モード）を行っていたが、両カメラの光軸の角度を検出し、その結果に基づいて、モード切り替えを行ってもよい。この場合の制御例を説明すると、例えば、メインカメラ１７及びサブカメラ１８の光軸が略平行である場合（即ち、両者の光軸角度が略等しい場合）に、立体撮影モードに切り替え、あるいは立体撮影モードを維持する。一方、両カメラの光軸が略平行でない場合に、通常モードに切り替え、あるいは通常モードを維持する。
【００５１】
光軸が略平行であるか否かの検出は、上述した角度検出部２０の機構において、角度検出スイッチ２０１が突起１０３１によって押し上げられる範囲を調整することで実現可能である。この場合、開角度が略１８０度になる範囲で、角度検出スイッチ２０１が突起１０３１によって押し上げられるように、角度検出スイッチ２０１、突起１０３１の大きさ（接触面積等）、設置位置等を調整すればよい。
【００５２】
上記の他、メインカメラ１７及びサブカメラ１８の出力画像から、周知の方法により、両者の光軸が略平行であるか否かを検出してもよい。
【００５３】
（第２実施形態）
本発明の第２実施形態について説明する。図１３は、第２実施形態に係る携帯電話１００の構成を示すブロック図である。本実施形態の携帯電話１００は、画像の縮小や切り出しを行うスケーラ２２を新たに備える点、及びサブカメラ１８の替わりに、メインカメラ１７と画素数及び画角が異なる回転カメラ２３を備える点が、第１実施形態の携帯電話１００と異なる。なお、第１実施形態の携帯電話１００と同一部分については、同一符号を付し、説明を省略する。
【００５４】
図１４は、本実施形態の携帯電話１００の外観図である。同図において、回転カメラ２３は、上側筐体１０２の長手方向の端部（表示部１５の上方）に設けられ、軸ａを中心に回転可能となっている。回転カメラ２３は、その機構上の特徴から小型化が要求されるため、メインカメラ１７より画素数の少ないものを使用する。また、例えば、テレビ電話時にユーザの顔が画面いっぱいに表示されるように撮影する必要があるため、画角についてもメインカメラ１７より狭いものを使用している。
【００５５】
回転カメラ２３は、上記回転機構により、図１４（ａ）に示すようにユーザ側に回転させればテレビ電話時のユーザの撮影に使用でき、図１４（ｂ）に示すようにメインカメラ１７と同じ方向に回転させることにより立体撮影が可能となる。立体撮影モード時のカメラ（メインカメラ１７及び回転カメラ２３）の出力画像を図１５に示す。図１５（ａ）はメインカメラ１７の出力画像、図１５（ｂ）は回転カメラ２３の出力画像を示す。ここでは、メインカメラ１７の画素数は横６４０×縦４８０、回転カメラ２３の画素数は横３２０×縦２４０であるとする。このように、メインカメラ１７の画素数が多く、画角に関してもより広い範囲が撮影できるようになっている。
【００５６】
次にスケーラ２２の動作について説明する。スケーラ２２はメインカメラ１７及び回転カメラ２３の出力画像から主被写体の垂直方向のサイズ（垂直サイズ）とフレーム全体における主被写体の割合を求める。主被写体の垂直サイズを求めるのは、両カメラが、携帯電話１００の長手方向と水平になるように設けられていることから、主被写体の形状によって垂直方向のサイズが異なるためである。例えば、スケーラ２２は、回転カメラ２３の主被写体の垂直サイズが２００画素であるのに対して、メインカメラ１７の出力画像の主被写体の垂直サイズが３００画素であることを検出すると、図１５（ａ）に示すようなメインカメラ１７の出力画像を図１６（ａ）に示すように１．５倍縮小し、横４２７ドット、縦３２０の画像に変換する。
【００５７】
次に、スケーラ２２は、回転カメラ２３の出力画像のフレーム全体における主被写体の割合と同じになるように、メインカメラ１７の縮小画像から回転カメラ２３と同じ画角を切り取って右眼用画像とする。また、スケーラ２２は、回転カメラ２３の出力画像を左眼用画像として、そのままＣＰＵ７に出力する。ＣＰＵ７は、これらの画像を第１実施形態と同様に左右に並べて、図１６（ｂ）に示すような合成画像を生成し、記憶装置１９に保存する。また、ＣＰＵ７は、この合成画像を表示部１５の画素数（横６４０×縦４８０）に拡大し、第１のビデオＩ／Ｆ１２に出力することで、立体画像表示を行うことができる。
【００５８】
以上の例では、メインカメラ１７の出力画像を縮小する場合について説明したが、これに限られるものでなく、メインカメラ１７での主被写体の垂直サイズが回転カメラ２３より小さい場合はメインカメラ１７の出力画像を拡大しても良い。また本実施形態では、メインカメラ１７の縮小画像から回転カメラ２３と同じ画角を切り取って２つのカメラの画角を一致させる場合の例について説明したが、これに限られるものでなく、メインカメラ１７と回転カメラ２３のどちらか、または両方に光学ズーム機能が設けられている場合は、この光学ズーム機能を使用して画角を一致させてもよい。そして、画素数を一致させるためのリサイズは画素数の少ない方の画像を拡大して一致させてもよいし、これとは逆に画素数の多い方の画像を縮小して一致させてもよい。また、保存やメール添付可能な画素数が予め決まっている場合は、メインカメラ１７と回転カメラ２３の両方の出力画像に拡大または縮小を施して一致させてもよい。
【００５９】
以上のように、本実施形態の携帯電話１００によれば、メインカメラ１７と画素数及び画角等の面で精度が劣るカメラを使用しても、両カメラの出力画像の差異を吸収して、立体視用画像を生成することが可能であり、その結果、違和感のない良好な立体画像をユーザに提供することが可能となる。このため、２台のカメラを搭載してもコストの低減化が図れる。
【００６０】
（第３実施形態）
本発明の第３実施形態について説明する。上記の第２実施形態では、両カメラの出力画像の画素数及び画角を一致させて、立体視可能な画像を生成する場合の例であったが、本実施形態では、さらに、ホワイトバランス、ガンマ、色差についても一致させるものである。以下、図面を参照しながら説明する。尚、上述の第１及び第２実施形態と同一部分については、同一符号を付し、重複する説明は省略する。
【００６１】
図１７は、本発明の第３実施形態に係る携帯電話１００の構成を示すブロック図である。画質補正部２４は、スケーラ２２から出力された２つのカメラの出力画像におけるホワイトバランス、輝度、色差それぞれについて特徴情報を求め、２つのカメラの出力画像の画質が同じになるように補正する。ここでは、メインカメラ１７の出力画像に回転カメラ２３の画質を一致させる場合の例について説明する。図１８に画質補正部２４の概略ブロック図を示す。図１８に示すように、画質補正部２４は、ホワイトバランス補正部２４１と、輝度補正部２４２と、色差Ｕ補正部２４３と、色差Ｖ補正部２４４と、を備える。
【００６２】
ホワイトバランス補正部２４１は、スケーラ２２から出力されたＹＵＶ形式の映像信号にホワイトバランス補正を施して出力する。輝度補正部２４２は、ホワイトバランス補正部２４１から出力されたＹ信号に輝度補正を施して出力する。色差Ｕ補正部２４３は、ホワイトバランス補正部２４１から出力されたＵ色差信号を補正して出力する。色差Ｖ補正部２４４は、ホワイトバランス補正部２４１から出力されたＶ色差信号を補正して出力する。以下、各部毎に動作を説明する。
【００６３】
先ず、ホワイトバランス補正部２４１の動作について説明する。図１９は、ホワイトバランス補正部２４１の構成を示すブロック図である。図１９に示すように、ホワイトバランス補正部２４１は、ＲＧＢ比検出部２４１１，２４１２と、Ｒ，Ｂゲイン調整部２４１３と、ＹＵＶ変換部２４１４と、を備える。ＲＧＢ比検出部２４１１は、メインカメラ１７系のＹＵＶ形式の映像信号をＲＧＢ形式に変換し、Ｇに対するＲ及びＢの比（Ｒ／Ｇ，Ｂ／Ｇ）を求めてＲ，Ｂゲイン調整部２４１３に出力する。同様にＲＧＢ比検出部２４１２は、回転カメラ２３系のＹＵＶ形式の映像信号をＲＧＢ形式に変換し、Ｒ／Ｇ、Ｂ／Ｇの比率を求めてＲ，Ｂゲイン調整部２４１３に出力する。また、ＲＧＢ比検出部２４１２は、ＲＧＢ形式の映像信号もＲ，Ｂゲイン調整部２４１３に出力する。ＹＵＶからＲＧＢ形式への変換は下記式にて行う。
【００６４】
Ｒ＝Ｙ＋１．４０２×Ｖ
Ｇ＝Ｙ＋（−０．３４４１４）×Ｕ＋（−０．７１４１４）×Ｖ
Ｂ＝Ｙ＋１．７７２×Ｕ
【００６５】
Ｒ，Ｂゲイン調整部２４１３は、回転カメラ２３系のＲ／Ｇ、Ｂ／Ｇの比率がメインカメラ１７系と同じになるようにＲＧＢ比検出部２４１２から出力されたＲ及びＢの映像信号にゲインコントロールやレベルシフトを施して出力する。ＹＵＶ変換部２４１４は、Ｒ，Ｂゲイン調整部２４１３で補正されたＲＧＢ形式の映像信号を再度ＹＵＶ形式に変換して出力する。ＲＧＢからＹＵＶ形式への変換は下記式にて行う。
【００６６】
Ｙ＝０．２９０×Ｒ＋０．５８７０×Ｇ＋０．１１４０×Ｂ
Ｕ＝（−０．１６８７）×Ｒ＋（−０．３３１３）×Ｇ＋０．５０００×Ｂ
Ｖ＝０．５０００×Ｒ＋（−０．４１８７）×Ｇ＋（−０．０８１３）×Ｂ
【００６７】
以上の各部の動作により、回転カメラ２３とメインカメラ１７の出力画像のホワイトバランスを一致させることができる。
【００６８】
次に、輝度補正部２４２の動作について説明する。図２０は、輝度補正部２４２の構成を示すブロック図である。図２０に示すように、輝度補正部２４２は、輝度特徴情報検出部２４２１，２４２２と、輝度処理部２４２３と、を備える。輝度特徴情報検出部２４２１は、メインカメラ１７系のＹ信号の最大値、最小値、平均値を求めて輝度処理部２４２３に出力する。同様に輝度特徴情報検出部２４２２は、回転カメラ２３系のＹ信号の最大値、最小値、平均値を求めて輝度処理部２４２３に出力する。また、輝度特徴情報検出部２４２２は、Ｙ信号も輝度処理部２４２３に出力する。
【００６９】
輝度処理部２４２３は、回転カメラ２３系のＹ信号の最大値、最小値、平均値がメインカメラ１７系のそれと同じになるように輝度特徴情報検出部２４２２から出力されたＹ信号にゲインコントロールやレベルシフトを施して出力する。以上の動作により、回転カメラ２３とメインカメラ１７の出力画像の輝度を一致させることができる。
【００７０】
次に、色差Ｕ補正部２４３の動作について説明する。なお、Ｕ信号とＶ信号の処理は同じであるため、Ｕ信号の色差Ｕ補正部２４３についてのみ説明し、色差Ｖ補正部２４４の説明は省略する。図２１は、色差Ｕ補正部２４３の構成を示すブロック図である。図２１に示すように、色差Ｕ補正部２４３は、色差特徴情報検出部２４３１，２４３２と、色差補正部２４３３と、を備える。色差特徴情報検出部２４３１は、メインカメラ１７系のＵ信号の最大値、最小値、平均値を求めて色差補正部２４３３に出力する。同様に色差特徴情報検出部２４３２は、回転カメラ２３系のＵ信号の最大値、最小値、平均値を求めて色差補正部２４３３に出力する。また、色差特徴情報検出部２４３２は、Ｕ信号も色差補正部２４３３に出力する。
【００７１】
色差補正部２４３３は、回転カメラ２３系のＵ信号の最大値、最小値、平均値がメインカメラ１７系のそれと同じになるように色差特徴情報検出部２４３２から出力されたＵ信号にゲインコントロールやレベルシフトを施して出力する。以上の各部の動作により、回転カメラ２３とメインカメラ１７の出力画像の色差を一致させることができる。
【００７２】
以上説明したように画質補正部２４の各部が動作することにより、２台のカメラ（メインカメラ１７、回転カメラ２３）で取得された画像において、画質（輝度や色の特性）が異なっていても、両画像の差異を吸収して、良好な立体視用画像を生成することが可能となる。その結果、違和感のない良好な立体画像をユーザに提供することが可能となる。
【００７３】
なお、特徴情報の検出は、画面全体で行う場合に限られず、画面の中央部付近や主被写体に限るなど、画面の一部で行ってもよい。
【００７４】
（第４実施形態）
本発明の第４実施形態について説明する。本実施形態に係る携帯電話１００は、上述した第１実施形態に係る携帯電話１００に、メインカメラ１７及びサブカメラ１８のフレームレートが異なる場合でも対応できる機能をさらに追加したものである。以下、メインカメラ１７のフレームレートが３０ｆｐｓ、サブカメラ１８のフレームレートが１５ｆｐｓであると仮定し、図面を参照しながら本実施形態に係る携帯電話１００の機能を説明する。なお、第１実施形態の携帯電話１００と同一部分については、同一符号を付し、説明を省略する。
【００７５】
図２２は、本実施形態に係る携帯電話１００の構成を示すブロック図である。フレームレート変換部２５は、サブカメラ１８の出力画像をメインカメラ１７と等しい３０ｆｐｓに変換して出力する。以下、図２３を用いてフレームレート変換の原理を説明する。図２３において（ａ）、（ｂ）、（ｃ）はメインカメラ１７の出力画像であり、画面左から右に走る自動車を撮影した場合の連続する３コマを示している。図２３の（ｄ）、（ｆ）はサブカメラ１８の出力画像である。
【００７６】
メインカメラ１７の出力画像において、時刻「ｔ」のとき、画面左端に存在した自動車（画像（ａ）参照）が、１／３０秒経過後、画面中央部に移動し（画像（ｂ）参照）、さらに、１／３０秒経過後には、画面右端に移動する（画像（ｃ）参照）ものとする。
【００７７】
一方、サブカメラ１８の出力画像において、時刻「ｔ」のとき、メインカメラ１７と同じ画角の画像（画像（ｄ）参照）となるが、フレームレートが１／２のため、次のコマは、自動車が画面右端に移動した画像（画像（ｆ）参照）となる。そこで、フレームレート変換部２５は、画像（ｄ）と画像（ｆ）から画像（ｅ）のような画面の中央部に自動車を移動させた画像を生成する。そして、生成した画像（ｅ）を画像（ｄ）と画像（ｆ）の間に挿入することにより、サブカメラ１８のフレームレートを２倍化し、メインカメラ１７のフレームレートと一致させる。
【００７８】
画像（ｅ）の生成には、周知の中間画像作成方法が使用可能であるが、ここでは画像（ｄ）と画像（ｆ）を細かなブロックに分けてブロック毎に動きベクトルを求め、この動きベクトルの１／２のベクトルが指し示す座標に自動車を移動させた画像を作成するブロックマッチング方式を使用するものとする。
【００７９】
以上説明したようにフレームレート変換部２５が動作することにより、メインカメラ１７とサブカメラ１８のフレームレートが異なる場合でも、その差異を吸収して、良好な立体視用画像を生成することが可能となる。その結果、違和感のない良好な立体画像をユーザに提供することが可能となる。
【００８０】
なお、本実施形態では、サブカメラ１８のフレームレートをメインカメラ１７のフレームレートに合わせてアップさせる例について説明したが、これに限られるものでなく、メインカメラ１７のフレームレートを３０ｆｐｓから１５ｆｐｓに低減させて、サブカメラ１８のフレームレートに一致させるようにしてもよい。さらに、メインカメラ１７とサブカメラ１８のフレームレートは、それぞれ、３０ｆｐｓ、１５ｆｐｓである場合の例について説明したが、これに限られるものでなく、如何なるフレームレートであったとしても本発明を逸脱するものではない。
【００８１】
（第５実施形態）
本発明の第４実施形態について説明する。本実施形態に係る携帯電話１００は、上述した第１実施形態に係る携帯電話１００に、サブカメラ１８のフォーカス性能がメインカメラ１７より低い場合でも対応できる機能をさらに追加したものである。以下、図面を参照して本実施形態に係る携帯電話１００の機能を説明する。なお、第１実施形態の携帯電話１００と同一部分については、同一符号を付し、説明を省略する。
【００８２】
図２４は、本実施形態に係る携帯電話１００の構成を示すブロック図である。本実施形態の携帯電話１００は、サブカメラ１８の出力画像の輪郭を補正することにより、メインカメラ１７の出力画像の輪郭と一致させる輪郭補正部２６を設けている。図２５を用いて輪郭補正部２６の動作を説明する。図２５において、（ａ）はメインカメラ１７の出力画像、（ｂ）はサブカメラ１８の出力画像であり、サブカメラ１８の方がメインカメラ１７に比べ、フォーカス性能が低いことを、画像（ｂ）における自動車の輪郭を太く、かつ、淡くすることで表現している。
【００８３】
輪郭補正部２６は、画像（ｂ）において、輪郭部分にコントラスト改善処理やオーバーシュート、アンダーシュートを付加することで、画像（ａ）と同等のコントラスト、線の太さとなるように補正して、画像（ｃ）を生成する。このように輪郭補正部２６が、両カメラの出力画像の輪郭精度を一致させることによって、両カメラの性能の差異を吸収して、良好な立体視用画像を生成することが可能となる。その結果、違和感のない良好な立体画像をユーザに提供することが可能となる。
【００８４】
なお、本実施形態では、フォーカス性能が低い方のカメラの出力画像をシャープにして他方のカメラの出力画像との輪郭精度の差異を吸収させる例について述べたが、これに限られるものでなく、フォーカス性能が高い方のカメラの出力画像をソフトにすることで、他方のカメラの出力画像と輪郭精度の差異を吸収させてもよい。
【００８５】
（第６実施形態）
本発明の第６実施形態について説明する。図２６は、本実施形態に係る携帯電話１００の構成を示すブロック図である。本実施形態に係る携帯電話１００は、上述した第１実施形態に係る携帯電話１００に、メインカメラ１７とサブカメラ１８の光軸がずれた状態でも、光軸補正部２７により両カメラから出力された画像の画角、輻輳等を補正することで、良好な立体視用画像の生成を可能にする機能をさらに追加したものである。なお、第１実施形態の携帯電話１００と同一部分については、同一符号を付し、説明を省略する。
【００８６】
光軸補正部２７の動作を図２７を用いて説明する。図２７において、（ａ）はメインカメラ１７の出力画像、（ｂ）はサブカメラ１８の出力画像である。光軸補正部２７は、２台のカメラの出力画像から主被写体を中心に画角が等しいエリアを切り出す。例えば、メインカメラの出力画像（ａ）の人物の顔を主被写体と認識し、サブカメラ１８の出力画像（ｂ）から主被写体である人物の顔を検出し、その周辺を等しい画角で切り出す。これによって、メインカメラ１７の出力画像から画面中央付近の画角を切り出し、画像（ｃ）のような画像を得る。また、サブカメラ１８の出力画像からは画面右側の画角を切り出し、画像（ｄ）のような画像を得る。以上の動作により、２台のカメラの画角を一致させることができる。ここではメインカメラ１７の出力画像を右眼視点の画像とする。
【００８７】
次に、光軸補正部２７は、サブカメラ１８の出力画像における主被写体を移動させた距離から視点の移動角度を求め、この移動角度に応じて主被写体を回転させて視点を補正することで、左眼視点画像（ｅ）を生成する。この画像の生成方法は、周知の様々な方法が使用可能であるが、例えば、主被写体の物体を検出することにより各画素の奥行きを計算し、左眼から見た場合に見えるであろう角度に回転させた画像を生成することにより、所望の視点の画像を得ることができる。
【００８８】
以上説明したように光軸補正部２７が動作することにより、たとえ、メインカメラ１７とサブカメラ１８の光軸が一致していなくても、その差異を吸収して、良好な立体視用画像を生成することが可能となる。その結果、違和感のない良好な立体画像をユーザに提供することが可能となる。
【００８９】
なお、本実施形態では、サブカメラ１８の出力画像のみに視点補正を適用する例について述べたが、これに限られるものでなく、メインカメラ１７の出力画像のみに適用してもよいし、メインカメラ１７とサブカメラ１８の両方の出力画像に適用したとしても本発明を逸脱するものではない。
【００９０】
なお、本発明は、上記何れの実施形態にも限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。
【００９１】
例えば、上記各実施形態では、２台のカメラをそれぞれ携帯電話１００の長手方向の端部に配置したが、これに限定されず、例えば、図２８の（ａ）、（ｂ）に示すように、回転カメラ２３をヒンジ１０３に設けてもよいし、図２８の（ｃ）に示すように、メインカメラ１７をヒンジ１０３に設けてもよい。メインカメラ１７をヒンジ１０３に設けると、撮影時にメインカメラ１７を手で覆ってしまう不都合が減少し、使い勝手が向上する。
【００９２】
また、上記の第１〜第６実施形態に係る携帯電話１００の機能は、如何様にも組み合わせることが可能である。また、ＰＤＡ、ＰＣ、ＴＶ、映像記録装置・再生装置等に適用する場合等、筐体が大きく、２台のカメラの距離を十分取ることができる場合は、同一筐体に２台のカメラを実装してもよい。
【符号の説明】
【００９３】
１…通信アンテナ、２…無線回路、３…符号復号処理回路、４…マイク、５…レシーバ、６…キー、７…ＣＰＵ、８…ＣＰＵバス、９…メモリ、１０…ＤＡＣ、１１…スピーカ、１２…第１のビデオＩ／Ｆ、１３…ＬＣＤコントローラ、１４…第２のビデオＩ／Ｆ、１５…表示部、１６…視差バリア、１７…メインカメラ、１８…サブカメラ、１９…記憶装置、２０…角度検出部、２２…スケーラ、２３…回転カメラ、２４…画質補正部、２５…フレームレート変換部、２６…輪郭補正部、２７…光軸補正部、２４１…ホワイトバランス補正部、２４２…輝度補正部、２４３…色差Ｕ補正部、２４４…色差Ｖ補正部、１０３１…突起、２４１１，２４１２…ＲＧＢ比検出部、２４１３…Ｒ，Ｂゲイン調整部、２４１４…ＹＵＶ変換部、２４２１，２４２２…輝度特徴情報検出部、２４２３…輝度処理部、２４３１，２４３２…色差特徴情報検出部、２４３３…色差補正部
【技術分野】
【０００１】
本発明は、２台のカメラからの出力画像に基づいて、立体視用の画像を生成可能な端末装置に関する。
【背景技術】
【０００２】
近年、撮影機能を有する携帯電話等の携帯端末装置の普及は目覚ましく、広く一般ユーザに浸透している。また、携帯端末装置のメーカ側においても、撮影機能の充実性を重視し、新しい技術の開発に取り組んでいる。例えば、特許文献１には、長手方向の両端部にカメラを搭載することで、立体視用の画像の取得を可能とする携帯型通信装置が提案されている（例えば、段落［００１５］〜［００３７］、図５参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−５１８７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１には、立体視用の画像を取得するモード（立体撮影モード）への移行方法についての開示がされていない。例えば、携帯端末装置を立体撮影モードに移行させるために当該携帯端末装置に設けられたボタンを操作する等、所定操作が必要になると、直ちに被写体を撮影することができず、シャッターチャンスを逃す可能性がある。
【０００５】
また、ユーザに違和感なく良好な立体画像を提供するためには、２台のカメラから出力される画像の精度を等しくする必要があり、従来においては同一のカメラを２台搭載する必要があった。高精細なカメラはコストが高いため、これを２台搭載すると大幅なコストアップを招くことになる。また、たとえ、２台のカメラが同一仕様であっても、個体ばらつき等により、例えば、撮影画像のホワイトバランス、明るさ、色あいが異なる場合もある。そうすると、これらの差異により、良好な立体画像をユーザに提供できないおそれもある。
【０００６】
本発明は、上記問題に鑑みてなされたものであり、ごく簡単な操作で立体撮影が可能となる端末装置及びプログラムを提供することを目的とする。さらに、本発明は、２台のカメラから出力される画像の精度等の差異を吸収して、良好な立体視用画像を生成可能な端末装置及びプログラムも提供する。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の第１の観点に係る端末装置は、
第１の筐体と第２の筐体とがヒンジを介して互いに開閉自在に連結された端末装置であって、
前記第１の筐体に設けられた第１のカメラと、
前記第２の筐体に設けられた第２のカメラと、
前記第１のカメラ及び前記第２のカメラそれぞれの出力画像に基づいて、立体視用の画像を生成する立体視用画像生成手段と、
前記第１の筐体と前記第２の筐体とが成す開角度を検出する開角度検出手段と、
該開角度検出手段が検出した開角度に基づいて、前記立体視用画像生成手段が前記立体視用の画像を生成する必要の可否を判定する判定手段と、を備えることを特徴とする。
【０００８】
また、本発明の第２の観点に係る端末装置は、
第１のカメラと、
第２のカメラと、
前記第１のカメラ及び前記第２のカメラそれぞれの出力画像に基づいて、立体視用の画像を生成する立体視用画像生成手段と、
前記第１のカメラ及び前記第２のカメラそれぞれの光軸の角度を検出する光軸角度検出手段と、
該光軸角度検出手段が検出した双方の光軸角度に基づいて、前記立体視用画像生成手段が前記立体視用の画像を生成する必要の可否を判定する判定手段と、を備えることを特徴とする。
【０００９】
上記第１の観点に係る端末装置において、前記判定手段は、前記開角度が１８０度以上の場合に、前記立体視用画像生成手段が前記立体視用の画像を生成する必要があると判定してもよい。
【００１０】
また、上記第２の観点に係る端末装置において、前記判定手段は、前記第１のカメラ及び前記第２のカメラそれぞれの光軸の角度が略等しい場合に、前記立体視用画像生成手段が前記立体視用の画像を生成する必要があると判定してもよい。
【００１１】
上記第１及び第２の観点に係る端末装置において、前記第１のカメラと前記第２のカメラの内、一方のカメラは、他方のカメラに比べ、画角が狭く且つ画素数が少ない仕様であり、画角が広く且つ画素数が多い方のカメラの出力画像に対して、他方のカメラの出力画像に基づいて、縮小及び画像の切り出し処理を施すことで、当該他方のカメラの出力画像のサイズに一致させるスケーラをさらに備えてもよい。
【００１２】
また、前記第１のカメラと前記第２のカメラの内、少なくとも１台は、回転動作により撮影方向を変更可能な回転カメラであってもよい。
【００１３】
また、前記第１のカメラ及び前記第２のカメラそれぞれの出力画像の画質を一致させる画質補正手段をさらに備えてもよい。
【００１４】
上記の場合、前記画質補正手段は、ホワイトバランス、輝度、色の内の少なくとも何れか１つを一致させるようにするのが好ましい。
【００１５】
また、前記第１のカメラ及び前記第２のカメラのフレームレートは異なり、前記第１のカメラ及び前記第２のカメラのフレームレートを一致させるフレームレート変換手段をさらに備えてもよい。
【００１６】
また、前記第１のカメラ及び前記第２のカメラのフォーカス性能は異なり、フォーカス性能の劣る一方のカメラの出力画像の輪郭を補正することで、他方のカメラの出力画像における輪郭精度と一致させる輪郭補正手段をさらに備えてもよい。
【００１７】
また、前記第１のカメラ及び前記第２のカメラそれぞれの出力画像に共通する被写体像を取得し、該取得した被写体像に基づいて、少なくとも一方のカメラの出力画像の視点を補正する光軸補正手段をさらに備えてもよい。
【００１８】
また、本発明に係るプログラムは、
コンピュータを、
第１の筐体に設けられた第１のカメラ及び第２の筐体に設けられた第２のカメラそれぞれの出力画像に基づいて、立体視用の画像を生成する立体視用画像生成手段、
前記第１の筐体と前記第２の筐体とが成す開角度を検出する開角度検出手段が検出した前記開角度に基づいて、前記立体視用画像生成手段が前記立体視用の画像を生成する必要の可否を判定する判定手段、として機能させることを特徴とする。
【発明の効果】
【００１９】
以上の如く、本発明によれば、ごく簡単な操作で立体撮影が可能となる端末装置を提供できる。また、良好な立体視用画像を生成可能な端末装置を提供できる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１実施形態に係る携帯電話の内部構成を示すブロック図である。
【図２】第１実施形態に係る携帯電話の外観図である。
【図３】第１実施形態のメインカメラの内部構成を示すブロック図である。
【図４Ａ】第１実施形態のメインカメラの出力画像の画素構造を示す図である。
【図４Ｂ】第１実施形態のサブカメラの出力画像の画素構造を示す図である。
【図４Ｃ】第１実施形態において、保存画像の画素構造を示す図である。
【図５】第１実施形態のメインカメラ及びサブカメラの出力画像と、保存画像の画像イメージを示す図である。
【図６Ａ】第１実施形態の表示部で表示される画像の画素構造を示す図である。
【図６Ｂ】第１実施形態の表示部で表示される画像の画像イメージを示す図である。
【図７】第１実施形態の表示部、視差バリア及びユーザ視点のそれぞれの位置関係を示す図である。
【図８】第１実施形態において、立体視を説明するための図である。
【図９】第１実施形態において、携帯電話の開角度と角度検出部の動作状態との関係を説明するための図である。
【図１０】第１実施形態の角度検出部の機構を説明するための図である。
【図１１】第１実施形態の角度検出部の電気的動作を説明するための図である。
【図１２】第１実施形態の角度検出部の処理手順を示すフローチャートである。
【図１３】本発明の第２実施形態に係る携帯電話の内部構成を示すブロック図である。
【図１４】第２実施形態に係る携帯電話の外観図である。
【図１５】第２実施形態のメインカメラ及び回転カメラの出力画像イメージを示す図である。
【図１６】第２実施形態のスケーラの動作を説明するためのイメージ図である。
【図１７】本発明の第３実施形態に係る携帯電話の内部構成を示すブロック図である。
【図１８】第３実施形態の画質補正部の内部構成を示すブロック図である。
【図１９】第３実施形態のホワイトバランス補正部の内部構成を示すブロック図である。
【図２０】第３実施形態の輝度補正部の内部構成を示すブロック図である。
【図２１】第３実施形態の色差Ｕ補正部の内部構成を示すブロック図である。
【図２２】本発明の第４実施形態に係る携帯電話の内部構成を示すブロック図である。
【図２３】第４実施形態のフレームレート変換部の動作を説明するためのブロック図である。
【図２４】本発明の第５実施形態に係る携帯電話の内部構成を示すブロック図である。
【図２５】第５実施形態の輪郭補正部の動作を説明するためのブロック図である。
【図２６】本発明の第６実施形態に係る携帯電話の内部構成を示すブロック図である。
【図２７】第６実施形態の光軸補正部の動作を説明するためのイメージ図である。
【図２８】カメラ搭載位置の変形例を示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明に係る端末装置の実施形態を図面を用いて説明する。本発明は、映像表示が可能な端末装置全般、例えば、携帯電話、ＰＨＳ、ＰＤＡ、ＰＣ、ＴＶ、映像記録装置・再生装置等に適用可能であるが、以下の各実施形態では、本発明に係る端末装置を携帯電話に適用した例について説明する。
【００２２】
（第１実施形態）
本発明の第１実施形態について図面を用いて説明する。
図１は、第１実施形態に係る携帯電話１００の構成を示すブロック図である。携帯電話１００は、通信アンテナ１と、無線回路２と、符号復号処理回路３と、マイク４と、レシーバ５と、キー６と、ＣＰＵ７と、ＣＰＵバス８と、メモリ９と、ＤＡＣ１０と、スピーカ１１と、第１のビデオＩ／Ｆ１２と、ＬＣＤコントローラ１３と、第２のビデオＩ／Ｆ１４と、表示部１５と、視差バリア１６と、メインカメラ１７と、サブカメラ１８と、記憶装置１９と、角度検出部２０と、を備える。
【００２３】
通信アンテナ１は、空中を伝送されてきた電波を受信し、高周波電気信号に変換し、無線回路２に入力する。また、通信アンテナ１は、無線回路２から出力された高周波電気信号を電波に変換して発信する。無線回路２は、ＣＰＵ７の指示に基づき、通信アンテナ１で受信した高周波電気信号を復調し、符号復号処理回路３に入力する。また、無線回路２は、符号復号処理回路３の出力信号に変調処理を施し、高周波電気信号に変換して通信アンテナ１へ出力する。
【００２４】
符号復号処理回路３は、ＣＰＵ７の制御に従って、無線回路２の出力信号に復号処理を施し、通話用音声信号をレシーバ５に出力し、文字データや画像データ等をＣＰＵ７へ出力する。また、符号復号処理回路３は、マイク４を介して入力されたユーザ等の音声、または、ユーザがキー６を操作して編集した文字やメモリ９から読み取った画像データ等に符号化処理を施し、その結果得られた信号を無線回路２へ出力する。
【００２５】
メモリ９は、ＣＰＵバス８を介してＣＰＵ７と接続され、各種制御用のプログラム、データベース、電話帳、アドレス帳、着信メロディ、楽曲データ、動画や静止画などの画像データ、等を格納する。なお、画像データや楽曲データは、記憶装置１９に格納されていてもよい。記憶装置１９には、半導体メモリ、光ディスク、ハードディスク等が使用可能である。
【００２６】
ＤＡＣ１０は、ＣＰＵ７から出力される着信音や通話音声等のデジタル音声信号をアナログ信号に変換し、スピーカ１１へ供給する。スピーカ１１は、ＤＡＣ１０から供給されたアナログ信号に基づいて着信音や通話音声等を出力する。
【００２７】
ＣＰＵ７は、キー６の操作内容を検出する処理、音声通話処理、音楽や画像の再生処理、後述する立体撮影に係る制御、その他、携帯電話１００全般に関する制御を行う。例えば、ＣＰＵ７は、ＣＰＵバス８を介してメモリ９からプログラムを取得し、符号復号処理回路３、無線回路２を制御して、着信待ちに係る処理を行う。一方、着信時には、ＣＰＵ７は、メモリ９の電話帳から発信者の名前や着信メロディ、着信画像を読み出す。そして、ＣＰＵ７は、音声データについては、ＤＡＣ１０へ出力する一方、相手の電話番号や名前、画像データについては、第１のビデオＩ／Ｆ１２を介して、ＬＣＤコントローラ１３へ出力する。
【００２８】
第１のビデオＩ／Ｆ１２には、例えば、ＣＭＯＳのパラレルバスが使用可能であるが、本実施形態では、第１のビデオＩ／Ｆ１２として、信号線数の削減やノイズ低減の観点から、最近の主流である差動シリアルバスを使用する。ＬＣＤコントローラ１３は、１画面ないし２画面程度のビデオメモリを内蔵しており、ＣＰＵ７から間欠的に送られてくる画像データを６０Ｈｚ程度のフレーム周波数で連続的に読み出して、第２のビデオＩ／Ｆ１４を介して表示部１５へ出力する。第２のビデオＩ／Ｆ１４は、第１のビデオＩ／Ｆ１２と同様に差動シリアルでも構わないが、ここではＣＭＯＳのパラレルバスを用いるものとする。
【００２９】
表示部１５は、ＲＧＢの３ピクセルで１画素を構成するストライプ形式のものが使用可能であり、画素数は、ＱＶＧＡ(３２０×２４０)、ＶＧＡ（６４０×４８０）、（ワイドＶＧＡ（８００×４８０）、フルワイドＶＧＡ（８５４×４８０）など、多様な画素数のデバイスを使用することが可能である。本実施形態では、表示部１５が、ＶＧＡ（６４０×４８０）で表示を行う場合を例にして説明する。また、本実施形態では、表示部１５は、液晶ディスプレイで構成されるが、自発光型の有機ＥＬディスプレイで構成されてもよい。
【００３０】
視差バリア１６は、表示部１５に表示される立体視用画像（左眼用画像及び右眼用画像で構成される）において、左眼用画像については、ユーザの右眼からは見えないように、また、右眼用画像については、ユーザの左眼からは見えないように画像観視方向を制限するものである。視差バリア１６は、図２（ａ）に示すように、携帯電話１００を横に向けた時に、縦ストライプとなるよう配置される。立体画像表示の原理については後述する。
【００３１】
ここで、本実施形態の携帯電話１００の外観について説明する。図２（ａ）に示すように、携帯電話１００は、下側筐体１０１と上側筐体１０２とをヒンジ１０３で連結して開閉自在にした、いわゆる折り畳み式の携帯電話である。下側筐体１０１の一方の主面（以下、操作面という。）には、マイク４と、キー６とが設けられている。また、上側筐体１０２の一方の主面（以下、表示面という。）には、レシーバ５と、表示部１５と、上述した視差バリア１６と、が設けられている。携帯電話１００は、折り畳み状態時において、下側筐体１０１の操作面と上側筐体１０２の表示面とが互いに対向した状態となる。
【００３２】
また、図２（ｂ）に示すように、下側筐体１０１の背面側（操作面側の反対面側）には、長手方向の端部にメインカメラ１７が設けられ、上側筐体１０２の背面側（表示面側の反対面側）には、長手方向の端部にサブカメラ１８が設けられている。
【００３３】
メインカメラ１７は、被写体を撮影して、その結果得られた映像信号（画像）をＣＰＵ７に出力する。メインカメラ１７は、図３に示すように、レンズ１７１と、センサ１７２と、ＤＳＰ１７３と、から構成される。レンズ１７１は、周囲の光を集光してセンサ１７２に結像させる。センサ１７２は、イメージセンサ（例えば、ＣＭＯＳイメージセンサなど）であり、本実施形態では、ＶＧＡ（横：６４０×縦：４８０）に相当する数の画素を備える。センサ１７２は、光電変換により、入力された光を電気信号に変換する。この際、１画素を３つのピクセルに分割し、各ピクセルに赤（Ｒ）、緑（Ｇ）、青（Ｂ）のフィルタを設けることによりカラーの映像信号を得ることができる。ＤＳＰ（Digital Signal Processor）１７３は、センサ１７２から出力された映像信号にホワイトバランス補正やガンマ補正、色補正を施してＶＧＡ（横：６４０×縦：４８０）サイズのＹＵＶ形式の映像信号を生成し、ＣＰＵ７に出力する。
【００３４】
サブカメラ１８は、メインカメラ１７と同一のデバイスで構成され、同一の機能を有する。ＣＰＵ７は、メインカメラ１７及びサブカメラ１８の出力映像信号を合成し、符号化処理を施して記憶装置１９に保存する。また、これに同期して、ＣＰＵ７は、立体表示用画像データを生成して、第１のビデオＩ／Ｆ１２を介してＬＣＤコントローラ１３に出力する。
【００３５】
ＣＰＵ７によるカメラ（メインカメラ１７、サブカメラ１８）の出力映像信号の合成及び記憶装置１９への保存についてさらに詳細に説明する。図４Ａは、メインカメラ１７から出力される映像信号（出力画像）の構造を示す図であり、図４Ｂは、サブカメラ１８から出力される出力画像の構造を示す図である。図４Ａにおいて、各画素の座標に付された「Ｒ」は、メインカメラ１７の出力画像を右眼用画像として扱うことを示すものである。同様に、図４Ｂにおいて、「Ｌ」は、サブカメラ１８の出力画像を左眼用画像として扱うことを示す。
【００３６】
ＣＰＵ７は、メインカメラ１７及びサブカメラ１８からの出力画像を図４Ｃに示すように左右に並べて合成し、記憶装置１９に保存する。図５の（ａ）、（ｂ）は、メインカメラ１７、サブカメラ１８の出力画像のイメージを示す図である。メインカメラ１７の出力画像は、図５（ａ）に示すような右眼視点の映像となり、サブカメラ１８の出力画像は、図５（ｂ）に示すような左眼視点の映像となる。ＣＰＵ７は、図５（ｃ）に示すように、これら２つの出力画像を左右に並べたイメージで記憶装置１９に保存する。
【００３７】
次に、立体視の原理について説明する。ＣＰＵ７は、記憶装置１９に格納した合成画像（図４Ｃ参照）の右眼用画像及び左目用画像から奇数列の画像データを交互に読み出し、図６Ａのように表示部１４に出力する。この結果、１列毎に右眼用画像と左眼用画像が交互に表示されるため、図６Ｂに示すように左右視点の画像が両方表示される。
【００３８】
図７は、表示部１５、視差バリア１６及びユーザ視点のそれぞれの位置関係を示す平面図である。図７において、１５１はバックライト、１５２は液晶パネル、２１１はユーザの右眼，２１２は左眼である。視差バリア１６において、グレイ表示されている部分は、光を遮蔽する部分であり、白い部分は、光を透過する部分である。図７では、右眼用画像（１，１Ｒ）、（３，１Ｒ）、（５，１Ｒ）からの光線が、視差バリア１６を通過して右眼２１１に入射し、左眼用画像（１，１Ｌ）、（３，１Ｌ）、（５，１Ｌ）からの光線が、視差バリア１６を通過して左眼２１２に入射する様子が示されている。
【００３９】
この結果、ユーザは、右眼では、図８（ａ）のように右眼用画像のみが見え、左眼では、図８（ｂ）に示すように左眼用画像のみが見えるため、図８（ｃ）に示すように立体画像として認識することができる。
【００４０】
以上の説明では、メインカメラ１７及びサブカメラ１８により撮影され、ＣＰＵ７により記憶装置１９に保存された合成画像を立体視用のコンテンツとしていたが、立体視用のコンテンツは、撮影済みの画像以外であってもよい。即ち、立体撮影中（即ち、シャッター操作前）において、メインカメラ１７及びサブカメラ１８から出力され、ＣＰＵ７で合成された画像をビューファインダー用途で立体視表示させてもよい。
【００４１】
また、立体視用のコンテンツは、メインカメラ１７及びサブカメラ１８の出力画像に基づくもの以外であってもよく、例えば、アンテナ１から受信したコンテンツや、予めメモリ９または記憶装置１９に保存されているコンテンツであってもよい。
【００４２】
次に、角度検出部２０の動作について、図９から図１２を用いて説明する。図９の（ａ）〜（ｃ）は、携帯電話１００の開角度（下側筐体１０１の操作面と上側筐体１０２の表示面とでなされる角度）と角度検出部２０の動作状態との関係を説明するための図である。ユーザは、通話やメール等、立体撮影以外の用途で携帯電話１００を使用する場合は、図９（ａ）に示すように下側筐体１０１と上側筐体１０２をヒンジ１０３を介して約１７０度の角度に開いて使用する。矢印ａはメインカメラ１７の光軸、矢印ｂはサブカメラ１８の光軸を示している。
【００４３】
この状態のヒンジ１０３部分の拡大図を図１０（ａ）に示す。同図に示すように、ヒンジ１０３には、突起１０３１が設けられている。開角度が約１７０度の状態（図９（ａ）参照）では、図１０（ａ）に示すように角度検出スイッチ２０１（角度検出部２０が備え、下側筐体１０１のヒンジ１０３との連結部近傍に設けられている）が、突起１０３１によって押し上げられていない。この場合、角度検出スイッチ２０１は、開放状態となっている。電気的には、図１１（ａ）に示すように、角度検出スイッチ２０１が開放されている状態である。この場合、抵抗２０２に電流が流れないため電圧降下が発生しない。したがって、角度検出部２０は、ＣＰＵ７に対して、電源電圧Ｖｃｃ、即ち、Ｈ（High）レベルを出力する。
【００４４】
次に、図９（ｂ）に示すように、開角度が約１８０度、即ち、メインカメラ１７の光軸ａとサブカメラ１８の光軸ｂが平行になるように携帯電話１００を開いた場合には、図１０（ｂ）に示すように突起１０３１によって角度検出スイッチ２０１が矢印方向に押し上げられる。これにより図１１（ｂ）に示すように、角度検出スイッチ２０１が短絡状態となり、角度検出部２０の出力は、Ｌ（Low）レベルとなる。
【００４５】
ユーザは、接写時において、図９（ｃ）に示すように、携帯電話１００をさらに開いてメインカメラ１７及びサブカメラ１８両方の光軸を被写体に一致させることができる。この場合、図１０（ｃ）に示すように、突起１０３１によって角度検出スイッチ２０１が矢印方向に押し上げられた状態が継続されるため、角度検出部２０の出力は、Ｌレベルで継続される。
【００４６】
図１２は、以上の角度検出部２０の動作手順を示すフローチャートである。ユーザによって携帯電話１００の電源がＯＮにされると、角度検出部２０が起動し、以下の処理を一定時間毎に繰り返し行う。角度検出スイッチ２０１が突起１０３１によって押し上げられていない場合（ステップＳ１０１でＹＥＳ）、角度検出部２０は、ＣＰＵ７に対して、Ｈレベル信号を出力する（ステップＳ１０２）。例えば、携帯電話１００が、図９（ａ）のような状態で使用されている場合、角度検出部２０は、Ｈレベル信号を出力する。ＣＰＵ７は、角度検出部２０からＨレベル信号を受けると、現在のモードが、立体撮影モードの場合は、立体撮影モードを終了して通常モードに移行する。あるいは、現在のモードが、通常モードの場合は、何もせず、現在の状態を維持する。
【００４７】
一方、角度検出スイッチ２０１が、突起１０３１によって押し上げられている場合（ステップＳ１０１でＮＯ）、角度検出部２０は、ＣＰＵ７に対して、Ｌレベル信号を出力する（ステップＳ１０３）。例えば、携帯電話１００が、図９（ｂ）のような状態で使用されている場合、角度検出部２０は、Ｌレベル信号を出力する。ＣＰＵ７は、角度検出部２０からＬレベル信号を受けると、現在のモードが、通常モードの場合は、通常モードを終了して立体撮影モードに移行する。あるいは、現在のモードが、立体撮影モードの場合は、何もせず、現在の状態を維持する。
【００４８】
以上のように、角度検出部２０の出力がＬレベルであることをＣＰＵ７が検出した場合に、立体撮影モードに移行することで、自動的に立体撮影モードに移行することが可能となる。また、角度検出部２０の出力がＨレベルになったことをＣＰＵ７が検出し立体撮影モードを終了することにより、自動的に立体撮影モードを終了することが可能となる。
【００４９】
このように、本実施形態の携帯電話１００によれば、ユーザは、ボタン操作等の特別な操作をすることなく、容易に立体撮影モードに移行させることができる。したがって、即座に所望の被写体から左右眼用画像を取得し、立体視用画像を生成することができ、利便性が著しく向上する。
【００５０】
本実施形態では、角度検出部２０の出力結果、換言すれば、携帯電話１００の開角度に応じて、モード切り替え（通常モードから立体撮影モード、立体撮影モードから通常モード）を行っていたが、両カメラの光軸の角度を検出し、その結果に基づいて、モード切り替えを行ってもよい。この場合の制御例を説明すると、例えば、メインカメラ１７及びサブカメラ１８の光軸が略平行である場合（即ち、両者の光軸角度が略等しい場合）に、立体撮影モードに切り替え、あるいは立体撮影モードを維持する。一方、両カメラの光軸が略平行でない場合に、通常モードに切り替え、あるいは通常モードを維持する。
【００５１】
光軸が略平行であるか否かの検出は、上述した角度検出部２０の機構において、角度検出スイッチ２０１が突起１０３１によって押し上げられる範囲を調整することで実現可能である。この場合、開角度が略１８０度になる範囲で、角度検出スイッチ２０１が突起１０３１によって押し上げられるように、角度検出スイッチ２０１、突起１０３１の大きさ（接触面積等）、設置位置等を調整すればよい。
【００５２】
上記の他、メインカメラ１７及びサブカメラ１８の出力画像から、周知の方法により、両者の光軸が略平行であるか否かを検出してもよい。
【００５３】
（第２実施形態）
本発明の第２実施形態について説明する。図１３は、第２実施形態に係る携帯電話１００の構成を示すブロック図である。本実施形態の携帯電話１００は、画像の縮小や切り出しを行うスケーラ２２を新たに備える点、及びサブカメラ１８の替わりに、メインカメラ１７と画素数及び画角が異なる回転カメラ２３を備える点が、第１実施形態の携帯電話１００と異なる。なお、第１実施形態の携帯電話１００と同一部分については、同一符号を付し、説明を省略する。
【００５４】
図１４は、本実施形態の携帯電話１００の外観図である。同図において、回転カメラ２３は、上側筐体１０２の長手方向の端部（表示部１５の上方）に設けられ、軸ａを中心に回転可能となっている。回転カメラ２３は、その機構上の特徴から小型化が要求されるため、メインカメラ１７より画素数の少ないものを使用する。また、例えば、テレビ電話時にユーザの顔が画面いっぱいに表示されるように撮影する必要があるため、画角についてもメインカメラ１７より狭いものを使用している。
【００５５】
回転カメラ２３は、上記回転機構により、図１４（ａ）に示すようにユーザ側に回転させればテレビ電話時のユーザの撮影に使用でき、図１４（ｂ）に示すようにメインカメラ１７と同じ方向に回転させることにより立体撮影が可能となる。立体撮影モード時のカメラ（メインカメラ１７及び回転カメラ２３）の出力画像を図１５に示す。図１５（ａ）はメインカメラ１７の出力画像、図１５（ｂ）は回転カメラ２３の出力画像を示す。ここでは、メインカメラ１７の画素数は横６４０×縦４８０、回転カメラ２３の画素数は横３２０×縦２４０であるとする。このように、メインカメラ１７の画素数が多く、画角に関してもより広い範囲が撮影できるようになっている。
【００５６】
次にスケーラ２２の動作について説明する。スケーラ２２はメインカメラ１７及び回転カメラ２３の出力画像から主被写体の垂直方向のサイズ（垂直サイズ）とフレーム全体における主被写体の割合を求める。主被写体の垂直サイズを求めるのは、両カメラが、携帯電話１００の長手方向と水平になるように設けられていることから、主被写体の形状によって垂直方向のサイズが異なるためである。例えば、スケーラ２２は、回転カメラ２３の主被写体の垂直サイズが２００画素であるのに対して、メインカメラ１７の出力画像の主被写体の垂直サイズが３００画素であることを検出すると、図１５（ａ）に示すようなメインカメラ１７の出力画像を図１６（ａ）に示すように１．５倍縮小し、横４２７ドット、縦３２０の画像に変換する。
【００５７】
次に、スケーラ２２は、回転カメラ２３の出力画像のフレーム全体における主被写体の割合と同じになるように、メインカメラ１７の縮小画像から回転カメラ２３と同じ画角を切り取って右眼用画像とする。また、スケーラ２２は、回転カメラ２３の出力画像を左眼用画像として、そのままＣＰＵ７に出力する。ＣＰＵ７は、これらの画像を第１実施形態と同様に左右に並べて、図１６（ｂ）に示すような合成画像を生成し、記憶装置１９に保存する。また、ＣＰＵ７は、この合成画像を表示部１５の画素数（横６４０×縦４８０）に拡大し、第１のビデオＩ／Ｆ１２に出力することで、立体画像表示を行うことができる。
【００５８】
以上の例では、メインカメラ１７の出力画像を縮小する場合について説明したが、これに限られるものでなく、メインカメラ１７での主被写体の垂直サイズが回転カメラ２３より小さい場合はメインカメラ１７の出力画像を拡大しても良い。また本実施形態では、メインカメラ１７の縮小画像から回転カメラ２３と同じ画角を切り取って２つのカメラの画角を一致させる場合の例について説明したが、これに限られるものでなく、メインカメラ１７と回転カメラ２３のどちらか、または両方に光学ズーム機能が設けられている場合は、この光学ズーム機能を使用して画角を一致させてもよい。そして、画素数を一致させるためのリサイズは画素数の少ない方の画像を拡大して一致させてもよいし、これとは逆に画素数の多い方の画像を縮小して一致させてもよい。また、保存やメール添付可能な画素数が予め決まっている場合は、メインカメラ１７と回転カメラ２３の両方の出力画像に拡大または縮小を施して一致させてもよい。
【００５９】
以上のように、本実施形態の携帯電話１００によれば、メインカメラ１７と画素数及び画角等の面で精度が劣るカメラを使用しても、両カメラの出力画像の差異を吸収して、立体視用画像を生成することが可能であり、その結果、違和感のない良好な立体画像をユーザに提供することが可能となる。このため、２台のカメラを搭載してもコストの低減化が図れる。
【００６０】
（第３実施形態）
本発明の第３実施形態について説明する。上記の第２実施形態では、両カメラの出力画像の画素数及び画角を一致させて、立体視可能な画像を生成する場合の例であったが、本実施形態では、さらに、ホワイトバランス、ガンマ、色差についても一致させるものである。以下、図面を参照しながら説明する。尚、上述の第１及び第２実施形態と同一部分については、同一符号を付し、重複する説明は省略する。
【００６１】
図１７は、本発明の第３実施形態に係る携帯電話１００の構成を示すブロック図である。画質補正部２４は、スケーラ２２から出力された２つのカメラの出力画像におけるホワイトバランス、輝度、色差それぞれについて特徴情報を求め、２つのカメラの出力画像の画質が同じになるように補正する。ここでは、メインカメラ１７の出力画像に回転カメラ２３の画質を一致させる場合の例について説明する。図１８に画質補正部２４の概略ブロック図を示す。図１８に示すように、画質補正部２４は、ホワイトバランス補正部２４１と、輝度補正部２４２と、色差Ｕ補正部２４３と、色差Ｖ補正部２４４と、を備える。
【００６２】
ホワイトバランス補正部２４１は、スケーラ２２から出力されたＹＵＶ形式の映像信号にホワイトバランス補正を施して出力する。輝度補正部２４２は、ホワイトバランス補正部２４１から出力されたＹ信号に輝度補正を施して出力する。色差Ｕ補正部２４３は、ホワイトバランス補正部２４１から出力されたＵ色差信号を補正して出力する。色差Ｖ補正部２４４は、ホワイトバランス補正部２４１から出力されたＶ色差信号を補正して出力する。以下、各部毎に動作を説明する。
【００６３】
先ず、ホワイトバランス補正部２４１の動作について説明する。図１９は、ホワイトバランス補正部２４１の構成を示すブロック図である。図１９に示すように、ホワイトバランス補正部２４１は、ＲＧＢ比検出部２４１１，２４１２と、Ｒ，Ｂゲイン調整部２４１３と、ＹＵＶ変換部２４１４と、を備える。ＲＧＢ比検出部２４１１は、メインカメラ１７系のＹＵＶ形式の映像信号をＲＧＢ形式に変換し、Ｇに対するＲ及びＢの比（Ｒ／Ｇ，Ｂ／Ｇ）を求めてＲ，Ｂゲイン調整部２４１３に出力する。同様にＲＧＢ比検出部２４１２は、回転カメラ２３系のＹＵＶ形式の映像信号をＲＧＢ形式に変換し、Ｒ／Ｇ、Ｂ／Ｇの比率を求めてＲ，Ｂゲイン調整部２４１３に出力する。また、ＲＧＢ比検出部２４１２は、ＲＧＢ形式の映像信号もＲ，Ｂゲイン調整部２４１３に出力する。ＹＵＶからＲＧＢ形式への変換は下記式にて行う。
【００６４】
Ｒ＝Ｙ＋１．４０２×Ｖ
Ｇ＝Ｙ＋（−０．３４４１４）×Ｕ＋（−０．７１４１４）×Ｖ
Ｂ＝Ｙ＋１．７７２×Ｕ
【００６５】
Ｒ，Ｂゲイン調整部２４１３は、回転カメラ２３系のＲ／Ｇ、Ｂ／Ｇの比率がメインカメラ１７系と同じになるようにＲＧＢ比検出部２４１２から出力されたＲ及びＢの映像信号にゲインコントロールやレベルシフトを施して出力する。ＹＵＶ変換部２４１４は、Ｒ，Ｂゲイン調整部２４１３で補正されたＲＧＢ形式の映像信号を再度ＹＵＶ形式に変換して出力する。ＲＧＢからＹＵＶ形式への変換は下記式にて行う。
【００６６】
Ｙ＝０．２９０×Ｒ＋０．５８７０×Ｇ＋０．１１４０×Ｂ
Ｕ＝（−０．１６８７）×Ｒ＋（−０．３３１３）×Ｇ＋０．５０００×Ｂ
Ｖ＝０．５０００×Ｒ＋（−０．４１８７）×Ｇ＋（−０．０８１３）×Ｂ
【００６７】
以上の各部の動作により、回転カメラ２３とメインカメラ１７の出力画像のホワイトバランスを一致させることができる。
【００６８】
次に、輝度補正部２４２の動作について説明する。図２０は、輝度補正部２４２の構成を示すブロック図である。図２０に示すように、輝度補正部２４２は、輝度特徴情報検出部２４２１，２４２２と、輝度処理部２４２３と、を備える。輝度特徴情報検出部２４２１は、メインカメラ１７系のＹ信号の最大値、最小値、平均値を求めて輝度処理部２４２３に出力する。同様に輝度特徴情報検出部２４２２は、回転カメラ２３系のＹ信号の最大値、最小値、平均値を求めて輝度処理部２４２３に出力する。また、輝度特徴情報検出部２４２２は、Ｙ信号も輝度処理部２４２３に出力する。
【００６９】
輝度処理部２４２３は、回転カメラ２３系のＹ信号の最大値、最小値、平均値がメインカメラ１７系のそれと同じになるように輝度特徴情報検出部２４２２から出力されたＹ信号にゲインコントロールやレベルシフトを施して出力する。以上の動作により、回転カメラ２３とメインカメラ１７の出力画像の輝度を一致させることができる。
【００７０】
次に、色差Ｕ補正部２４３の動作について説明する。なお、Ｕ信号とＶ信号の処理は同じであるため、Ｕ信号の色差Ｕ補正部２４３についてのみ説明し、色差Ｖ補正部２４４の説明は省略する。図２１は、色差Ｕ補正部２４３の構成を示すブロック図である。図２１に示すように、色差Ｕ補正部２４３は、色差特徴情報検出部２４３１，２４３２と、色差補正部２４３３と、を備える。色差特徴情報検出部２４３１は、メインカメラ１７系のＵ信号の最大値、最小値、平均値を求めて色差補正部２４３３に出力する。同様に色差特徴情報検出部２４３２は、回転カメラ２３系のＵ信号の最大値、最小値、平均値を求めて色差補正部２４３３に出力する。また、色差特徴情報検出部２４３２は、Ｕ信号も色差補正部２４３３に出力する。
【００７１】
色差補正部２４３３は、回転カメラ２３系のＵ信号の最大値、最小値、平均値がメインカメラ１７系のそれと同じになるように色差特徴情報検出部２４３２から出力されたＵ信号にゲインコントロールやレベルシフトを施して出力する。以上の各部の動作により、回転カメラ２３とメインカメラ１７の出力画像の色差を一致させることができる。
【００７２】
以上説明したように画質補正部２４の各部が動作することにより、２台のカメラ（メインカメラ１７、回転カメラ２３）で取得された画像において、画質（輝度や色の特性）が異なっていても、両画像の差異を吸収して、良好な立体視用画像を生成することが可能となる。その結果、違和感のない良好な立体画像をユーザに提供することが可能となる。
【００７３】
なお、特徴情報の検出は、画面全体で行う場合に限られず、画面の中央部付近や主被写体に限るなど、画面の一部で行ってもよい。
【００７４】
（第４実施形態）
本発明の第４実施形態について説明する。本実施形態に係る携帯電話１００は、上述した第１実施形態に係る携帯電話１００に、メインカメラ１７及びサブカメラ１８のフレームレートが異なる場合でも対応できる機能をさらに追加したものである。以下、メインカメラ１７のフレームレートが３０ｆｐｓ、サブカメラ１８のフレームレートが１５ｆｐｓであると仮定し、図面を参照しながら本実施形態に係る携帯電話１００の機能を説明する。なお、第１実施形態の携帯電話１００と同一部分については、同一符号を付し、説明を省略する。
【００７５】
図２２は、本実施形態に係る携帯電話１００の構成を示すブロック図である。フレームレート変換部２５は、サブカメラ１８の出力画像をメインカメラ１７と等しい３０ｆｐｓに変換して出力する。以下、図２３を用いてフレームレート変換の原理を説明する。図２３において（ａ）、（ｂ）、（ｃ）はメインカメラ１７の出力画像であり、画面左から右に走る自動車を撮影した場合の連続する３コマを示している。図２３の（ｄ）、（ｆ）はサブカメラ１８の出力画像である。
【００７６】
メインカメラ１７の出力画像において、時刻「ｔ」のとき、画面左端に存在した自動車（画像（ａ）参照）が、１／３０秒経過後、画面中央部に移動し（画像（ｂ）参照）、さらに、１／３０秒経過後には、画面右端に移動する（画像（ｃ）参照）ものとする。
【００７７】
一方、サブカメラ１８の出力画像において、時刻「ｔ」のとき、メインカメラ１７と同じ画角の画像（画像（ｄ）参照）となるが、フレームレートが１／２のため、次のコマは、自動車が画面右端に移動した画像（画像（ｆ）参照）となる。そこで、フレームレート変換部２５は、画像（ｄ）と画像（ｆ）から画像（ｅ）のような画面の中央部に自動車を移動させた画像を生成する。そして、生成した画像（ｅ）を画像（ｄ）と画像（ｆ）の間に挿入することにより、サブカメラ１８のフレームレートを２倍化し、メインカメラ１７のフレームレートと一致させる。
【００７８】
画像（ｅ）の生成には、周知の中間画像作成方法が使用可能であるが、ここでは画像（ｄ）と画像（ｆ）を細かなブロックに分けてブロック毎に動きベクトルを求め、この動きベクトルの１／２のベクトルが指し示す座標に自動車を移動させた画像を作成するブロックマッチング方式を使用するものとする。
【００７９】
以上説明したようにフレームレート変換部２５が動作することにより、メインカメラ１７とサブカメラ１８のフレームレートが異なる場合でも、その差異を吸収して、良好な立体視用画像を生成することが可能となる。その結果、違和感のない良好な立体画像をユーザに提供することが可能となる。
【００８０】
なお、本実施形態では、サブカメラ１８のフレームレートをメインカメラ１７のフレームレートに合わせてアップさせる例について説明したが、これに限られるものでなく、メインカメラ１７のフレームレートを３０ｆｐｓから１５ｆｐｓに低減させて、サブカメラ１８のフレームレートに一致させるようにしてもよい。さらに、メインカメラ１７とサブカメラ１８のフレームレートは、それぞれ、３０ｆｐｓ、１５ｆｐｓである場合の例について説明したが、これに限られるものでなく、如何なるフレームレートであったとしても本発明を逸脱するものではない。
【００８１】
（第５実施形態）
本発明の第４実施形態について説明する。本実施形態に係る携帯電話１００は、上述した第１実施形態に係る携帯電話１００に、サブカメラ１８のフォーカス性能がメインカメラ１７より低い場合でも対応できる機能をさらに追加したものである。以下、図面を参照して本実施形態に係る携帯電話１００の機能を説明する。なお、第１実施形態の携帯電話１００と同一部分については、同一符号を付し、説明を省略する。
【００８２】
図２４は、本実施形態に係る携帯電話１００の構成を示すブロック図である。本実施形態の携帯電話１００は、サブカメラ１８の出力画像の輪郭を補正することにより、メインカメラ１７の出力画像の輪郭と一致させる輪郭補正部２６を設けている。図２５を用いて輪郭補正部２６の動作を説明する。図２５において、（ａ）はメインカメラ１７の出力画像、（ｂ）はサブカメラ１８の出力画像であり、サブカメラ１８の方がメインカメラ１７に比べ、フォーカス性能が低いことを、画像（ｂ）における自動車の輪郭を太く、かつ、淡くすることで表現している。
【００８３】
輪郭補正部２６は、画像（ｂ）において、輪郭部分にコントラスト改善処理やオーバーシュート、アンダーシュートを付加することで、画像（ａ）と同等のコントラスト、線の太さとなるように補正して、画像（ｃ）を生成する。このように輪郭補正部２６が、両カメラの出力画像の輪郭精度を一致させることによって、両カメラの性能の差異を吸収して、良好な立体視用画像を生成することが可能となる。その結果、違和感のない良好な立体画像をユーザに提供することが可能となる。
【００８４】
なお、本実施形態では、フォーカス性能が低い方のカメラの出力画像をシャープにして他方のカメラの出力画像との輪郭精度の差異を吸収させる例について述べたが、これに限られるものでなく、フォーカス性能が高い方のカメラの出力画像をソフトにすることで、他方のカメラの出力画像と輪郭精度の差異を吸収させてもよい。
【００８５】
（第６実施形態）
本発明の第６実施形態について説明する。図２６は、本実施形態に係る携帯電話１００の構成を示すブロック図である。本実施形態に係る携帯電話１００は、上述した第１実施形態に係る携帯電話１００に、メインカメラ１７とサブカメラ１８の光軸がずれた状態でも、光軸補正部２７により両カメラから出力された画像の画角、輻輳等を補正することで、良好な立体視用画像の生成を可能にする機能をさらに追加したものである。なお、第１実施形態の携帯電話１００と同一部分については、同一符号を付し、説明を省略する。
【００８６】
光軸補正部２７の動作を図２７を用いて説明する。図２７において、（ａ）はメインカメラ１７の出力画像、（ｂ）はサブカメラ１８の出力画像である。光軸補正部２７は、２台のカメラの出力画像から主被写体を中心に画角が等しいエリアを切り出す。例えば、メインカメラの出力画像（ａ）の人物の顔を主被写体と認識し、サブカメラ１８の出力画像（ｂ）から主被写体である人物の顔を検出し、その周辺を等しい画角で切り出す。これによって、メインカメラ１７の出力画像から画面中央付近の画角を切り出し、画像（ｃ）のような画像を得る。また、サブカメラ１８の出力画像からは画面右側の画角を切り出し、画像（ｄ）のような画像を得る。以上の動作により、２台のカメラの画角を一致させることができる。ここではメインカメラ１７の出力画像を右眼視点の画像とする。
【００８７】
次に、光軸補正部２７は、サブカメラ１８の出力画像における主被写体を移動させた距離から視点の移動角度を求め、この移動角度に応じて主被写体を回転させて視点を補正することで、左眼視点画像（ｅ）を生成する。この画像の生成方法は、周知の様々な方法が使用可能であるが、例えば、主被写体の物体を検出することにより各画素の奥行きを計算し、左眼から見た場合に見えるであろう角度に回転させた画像を生成することにより、所望の視点の画像を得ることができる。
【００８８】
以上説明したように光軸補正部２７が動作することにより、たとえ、メインカメラ１７とサブカメラ１８の光軸が一致していなくても、その差異を吸収して、良好な立体視用画像を生成することが可能となる。その結果、違和感のない良好な立体画像をユーザに提供することが可能となる。
【００８９】
なお、本実施形態では、サブカメラ１８の出力画像のみに視点補正を適用する例について述べたが、これに限られるものでなく、メインカメラ１７の出力画像のみに適用してもよいし、メインカメラ１７とサブカメラ１８の両方の出力画像に適用したとしても本発明を逸脱するものではない。
【００９０】
なお、本発明は、上記何れの実施形態にも限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。
【００９１】
例えば、上記各実施形態では、２台のカメラをそれぞれ携帯電話１００の長手方向の端部に配置したが、これに限定されず、例えば、図２８の（ａ）、（ｂ）に示すように、回転カメラ２３をヒンジ１０３に設けてもよいし、図２８の（ｃ）に示すように、メインカメラ１７をヒンジ１０３に設けてもよい。メインカメラ１７をヒンジ１０３に設けると、撮影時にメインカメラ１７を手で覆ってしまう不都合が減少し、使い勝手が向上する。
【００９２】
また、上記の第１〜第６実施形態に係る携帯電話１００の機能は、如何様にも組み合わせることが可能である。また、ＰＤＡ、ＰＣ、ＴＶ、映像記録装置・再生装置等に適用する場合等、筐体が大きく、２台のカメラの距離を十分取ることができる場合は、同一筐体に２台のカメラを実装してもよい。
【符号の説明】
【００９３】
１…通信アンテナ、２…無線回路、３…符号復号処理回路、４…マイク、５…レシーバ、６…キー、７…ＣＰＵ、８…ＣＰＵバス、９…メモリ、１０…ＤＡＣ、１１…スピーカ、１２…第１のビデオＩ／Ｆ、１３…ＬＣＤコントローラ、１４…第２のビデオＩ／Ｆ、１５…表示部、１６…視差バリア、１７…メインカメラ、１８…サブカメラ、１９…記憶装置、２０…角度検出部、２２…スケーラ、２３…回転カメラ、２４…画質補正部、２５…フレームレート変換部、２６…輪郭補正部、２７…光軸補正部、２４１…ホワイトバランス補正部、２４２…輝度補正部、２４３…色差Ｕ補正部、２４４…色差Ｖ補正部、１０３１…突起、２４１１，２４１２…ＲＧＢ比検出部、２４１３…Ｒ，Ｂゲイン調整部、２４１４…ＹＵＶ変換部、２４２１，２４２２…輝度特徴情報検出部、２４２３…輝度処理部、２４３１，２４３２…色差特徴情報検出部、２４３３…色差補正部
【特許請求の範囲】
【請求項１】
第１の筐体と第２の筐体とがヒンジを介して互いに開閉自在に連結された端末装置であって、
前記第１の筐体に設けられた第１のカメラと、
前記第２の筐体に設けられた第２のカメラと、
前記第１のカメラ及び前記第２のカメラそれぞれの出力画像に基づいて、立体視用の画像を生成する立体視用画像生成手段と、
前記第１の筐体と前記第２の筐体とが成す開角度を検出する開角度検出手段と、
該開角度検出手段が検出した開角度に基づいて、前記立体視用画像生成手段が前記立体視用の画像を生成する必要の可否を判定する判定手段と、を備える、
ことを特徴とする端末装置。
【請求項２】
第１のカメラと、
第２のカメラと、
前記第１のカメラ及び前記第２のカメラそれぞれの出力画像に基づいて、立体視用の画像を生成する立体視用画像生成手段と、
前記第１のカメラ及び前記第２のカメラそれぞれの光軸の角度を検出する光軸角度検出手段と、
該光軸角度検出手段が検出した双方の光軸角度に基づいて、前記立体視用画像生成手段が前記立体視用の画像を生成する必要の可否を判定する判定手段と、を備える、
ことを特徴とする端末装置。
【請求項３】
前記判定手段は、前記開角度が１８０度以上の場合に、前記立体視用画像生成手段が前記立体視用の画像を生成する必要があると判定する、
ことを特徴とする請求項１に記載の端末装置。
【請求項４】
前記判定手段は、前記第１のカメラ及び前記第２のカメラそれぞれの光軸の角度が略等しい場合に、前記立体視用画像生成手段が前記立体視用の画像を生成する必要があると判定する、
ことを特徴とする請求項２に記載の端末装置。
【請求項５】
前記第１のカメラと前記第２のカメラの内、一方のカメラは、他方のカメラに比べ、画角が狭く且つ画素数が少ない仕様であり、
画角が広く且つ画素数が多い方のカメラの出力画像に対して、他方のカメラの出力画像に基づいて、縮小及び画像の切り出し処理を施すことで、当該他方のカメラの出力画像のサイズに一致させるスケーラをさらに備える、
ことを特徴とする請求項１乃至４の何れか１項に記載の端末装置。
【請求項６】
前記第１のカメラと前記第２のカメラの内、少なくとも１台は、回転動作により撮影方向を変更可能な回転カメラである、
ことを特徴とする請求項１乃至５の何れか１項に記載の端末装置。
【請求項７】
前記第１のカメラ及び前記第２のカメラそれぞれの出力画像の画質を一致させる画質補正手段をさらに備える、
ことを特徴とする請求項１乃至６の何れか１項に記載の端末装置。
【請求項８】
前記画質補正手段は、ホワイトバランス、輝度、色の内の少なくとも何れか１つを一致させる、
ことを特徴とする請求項７に記載の端末装置。
【請求項９】
前記第１のカメラ及び前記第２のカメラのフレームレートは異なり、
前記第１のカメラ及び前記第２のカメラのフレームレートを一致させるフレームレート変換手段をさらに備える、
ことを特徴とする請求項１乃至８の何れか１項に記載の端末装置。
【請求項１０】
前記第１のカメラ及び前記第２のカメラのフォーカス性能は異なり、
フォーカス性能の劣る一方のカメラの出力画像の輪郭を補正することで、他方のカメラの出力画像における輪郭精度と一致させる輪郭補正手段をさらに備える、
ことを特徴とする請求項１乃至９の何れか１項に記載の端末装置。
【請求項１１】
前記第１のカメラ及び前記第２のカメラそれぞれの出力画像に共通する被写体像を取得し、該取得した被写体像に基づいて、少なくとも一方のカメラの出力画像の視点を補正する光軸補正手段をさらに備える、
ことを特徴とする請求項１乃至１０の何れか１項に記載の端末装置。
【請求項１２】
コンピュータを、
第１の筐体に設けられた第１のカメラ及び第２の筐体に設けられた第２のカメラそれぞれの出力画像に基づいて、立体視用の画像を生成する立体視用画像生成手段、
前記第１の筐体と前記第２の筐体とが成す開角度を検出する開角度検出手段が検出した前記開角度に基づいて、前記立体視用画像生成手段が前記立体視用の画像を生成する必要の可否を判定する判定手段、として機能させる、
ことを特徴とするプログラム。
【請求項１】
第１の筐体と第２の筐体とがヒンジを介して互いに開閉自在に連結された端末装置であって、
前記第１の筐体に設けられた第１のカメラと、
前記第２の筐体に設けられた第２のカメラと、
前記第１のカメラ及び前記第２のカメラそれぞれの出力画像に基づいて、立体視用の画像を生成する立体視用画像生成手段と、
前記第１の筐体と前記第２の筐体とが成す開角度を検出する開角度検出手段と、
該開角度検出手段が検出した開角度に基づいて、前記立体視用画像生成手段が前記立体視用の画像を生成する必要の可否を判定する判定手段と、を備える、
ことを特徴とする端末装置。
【請求項２】
第１のカメラと、
第２のカメラと、
前記第１のカメラ及び前記第２のカメラそれぞれの出力画像に基づいて、立体視用の画像を生成する立体視用画像生成手段と、
前記第１のカメラ及び前記第２のカメラそれぞれの光軸の角度を検出する光軸角度検出手段と、
該光軸角度検出手段が検出した双方の光軸角度に基づいて、前記立体視用画像生成手段が前記立体視用の画像を生成する必要の可否を判定する判定手段と、を備える、
ことを特徴とする端末装置。
【請求項３】
前記判定手段は、前記開角度が１８０度以上の場合に、前記立体視用画像生成手段が前記立体視用の画像を生成する必要があると判定する、
ことを特徴とする請求項１に記載の端末装置。
【請求項４】
前記判定手段は、前記第１のカメラ及び前記第２のカメラそれぞれの光軸の角度が略等しい場合に、前記立体視用画像生成手段が前記立体視用の画像を生成する必要があると判定する、
ことを特徴とする請求項２に記載の端末装置。
【請求項５】
前記第１のカメラと前記第２のカメラの内、一方のカメラは、他方のカメラに比べ、画角が狭く且つ画素数が少ない仕様であり、
画角が広く且つ画素数が多い方のカメラの出力画像に対して、他方のカメラの出力画像に基づいて、縮小及び画像の切り出し処理を施すことで、当該他方のカメラの出力画像のサイズに一致させるスケーラをさらに備える、
ことを特徴とする請求項１乃至４の何れか１項に記載の端末装置。
【請求項６】
前記第１のカメラと前記第２のカメラの内、少なくとも１台は、回転動作により撮影方向を変更可能な回転カメラである、
ことを特徴とする請求項１乃至５の何れか１項に記載の端末装置。
【請求項７】
前記第１のカメラ及び前記第２のカメラそれぞれの出力画像の画質を一致させる画質補正手段をさらに備える、
ことを特徴とする請求項１乃至６の何れか１項に記載の端末装置。
【請求項８】
前記画質補正手段は、ホワイトバランス、輝度、色の内の少なくとも何れか１つを一致させる、
ことを特徴とする請求項７に記載の端末装置。
【請求項９】
前記第１のカメラ及び前記第２のカメラのフレームレートは異なり、
前記第１のカメラ及び前記第２のカメラのフレームレートを一致させるフレームレート変換手段をさらに備える、
ことを特徴とする請求項１乃至８の何れか１項に記載の端末装置。
【請求項１０】
前記第１のカメラ及び前記第２のカメラのフォーカス性能は異なり、
フォーカス性能の劣る一方のカメラの出力画像の輪郭を補正することで、他方のカメラの出力画像における輪郭精度と一致させる輪郭補正手段をさらに備える、
ことを特徴とする請求項１乃至９の何れか１項に記載の端末装置。
【請求項１１】
前記第１のカメラ及び前記第２のカメラそれぞれの出力画像に共通する被写体像を取得し、該取得した被写体像に基づいて、少なくとも一方のカメラの出力画像の視点を補正する光軸補正手段をさらに備える、
ことを特徴とする請求項１乃至１０の何れか１項に記載の端末装置。
【請求項１２】
コンピュータを、
第１の筐体に設けられた第１のカメラ及び第２の筐体に設けられた第２のカメラそれぞれの出力画像に基づいて、立体視用の画像を生成する立体視用画像生成手段、
前記第１の筐体と前記第２の筐体とが成す開角度を検出する開角度検出手段が検出した前記開角度に基づいて、前記立体視用画像生成手段が前記立体視用の画像を生成する必要の可否を判定する判定手段、として機能させる、
ことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【公開番号】特開２０１０−２５２１８６（Ｐ２０１０−２５２１８６Ａ）
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願番号】特願２００９−１０１２５７（Ｐ２００９−１０１２５７）
【出願日】平成２１年４月１７日（２００９．４．１７）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願日】平成２１年４月１７日（２００９．４．１７）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
[ Back to top ]