立体撮影装置およびそれを用いた携帯端末装置
【課題】正面撮影を行うメインカメラと，自分撮影用のサブカメラを利用して静止画像や動画像の立体画像撮影が可能な立体撮影装置およびそれを用いた携帯端末装置を提供する。
【解決手段】上筐体１１には、メイン画面１３、サブ画面１４が表裏に配置されている。上筐体１１は、回転ヒンジ１５により、携帯端末１０の開閉時に下筐体１２に対して１８０度回転することが出来る。さらに、上筐体１１は、回転ヒンジ１６により、３Ｄ撮影時には携帯端末１０を開いた状態で、下筐体１２の表面に対して１８０度回転して裏返しにすることができる。メインカメラ１７とサブカメラ１８が同一方向に向けて配置されることになる。このときメインカメラ１７とサブカメラ１８の距離は、視差距離に該当する程度である。３Ｄ撮影時には、利用者は、サブ画面１４をファインダーとして撮影する。
【解決手段】上筐体１１には、メイン画面１３、サブ画面１４が表裏に配置されている。上筐体１１は、回転ヒンジ１５により、携帯端末１０の開閉時に下筐体１２に対して１８０度回転することが出来る。さらに、上筐体１１は、回転ヒンジ１６により、３Ｄ撮影時には携帯端末１０を開いた状態で、下筐体１２の表面に対して１８０度回転して裏返しにすることができる。メインカメラ１７とサブカメラ１８が同一方向に向けて配置されることになる。このときメインカメラ１７とサブカメラ１８の距離は、視差距離に該当する程度である。３Ｄ撮影時には、利用者は、サブ画面１４をファインダーとして撮影する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラを搭載して立体画像が撮影可能な立体撮影装置およびそれを用いた携帯端末装置に関する。
【背景技術】
【０００２】
近年、ＣＣＤなどの固体撮像素子を搭載したカメラ機能を有する携帯電話が登場してきており、静止画及び動画が撮影可能となっている。さらには、立体画像の撮影も可能とするものも登場してきている。
【０００３】
次に画像が３Ｄ（３Ｄｉｍｅｎｓｉｏｎ：３次元）に見える原理を図に示す。
図１１のような風景を例にする。図１２に人間が左目から見える風景と右目から見える風景を示す。図１２のように左目と右目には距離があるため、その左右に見える風景に差（視差）を感じることにより立体感が生じる。
【０００４】
２Ｄ（２Ｄｉｍｅｎｓｉｏｎ：２次元）の写真や動画像を、３Ｄに見せるには図１２のように左目から見える背景（画像）と右目から見える背景（画像）をそれぞれ用意する必要がある。そして左目用の背景（画像）には左目だけで見えるようにし、そして右目用の背景（画像）には右目だけで見えるようにすると立体的に見える。３Ｄ化のための左目用画像と右目用画像を得るための技術としては次のような手法がある。
【０００５】
次の（１）〜（３）はハードウェアによる３Ｄ撮影の従来技術の例である。（４）はソフトウェアによる３Ｄ化の従来技術の例である。
【０００６】
（１）撮像装置に２つの同一の撮像部を平行に実装する方法（特許文献１，２参照）
図１３のように、撮像装置に２つの同一の撮像部を視差の距離だけ離し、平行に実装することで左目、右目両方の画像を得ることができる。静止画像、動画像の両方を得ることができることが特徴である。
【０００７】
（２）レンズ部を２つ持ち、１つの撮像部に２つの画像を撮影する方法
図１４のように、撮像装置に２つのレンズを視差の距離だけ離し、平行に実装することで左目、右目両方の画像を１つのセンサに入力する。静止画像、動画像の両方を得ることができることが特徴である。
【０００８】
（３）１つの撮像部のみを有する撮像装置にて、その撮像装置を平行移動させて連続して撮影する方法
図１５のように、撮像装置を左目位置で撮影し画像を得る。次に手動で移動させて右目位置で撮影し、画像を得る。左目位置の画像と右目位置の画像を利用して３Ｄ画像を得る。
【０００９】
（４）ソフトウェアによる３Ｄ化
画像を３Ｄ化するには元画像から左目から見える画像に基づいて右目から見える画像に変換する処理を行うことである。概略の流れを図１６に示す。図は構造物が２つあり、その構造物を立体的に見せるための処理である。
（ａ）構図を識別し、画角と奥行きの情報を得る。
（ｂ）各奥行きにある構造物Ａ，Ｂを識別し、切り出す。
（ｃ）（ａ）の奥行き情報に基づき構造物を、左目視点の画像と右目視点の画像に、視差分移動を行う。
（ｄ）左目視点の画像と右目視点の画像に対し、構造物を移動して欠けている背景、構造物の隠れていた部分を補完する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００５−２５０３９６号公報
【特許文献２】特開２００６−３４５２４６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記従来技術では次のような問題点がある。
（１）撮像装置に２つの同一の撮像部を平行に実装する方法
２つの同一の撮像部を装備する必要があり、高価であり、装置が大型化するという欠点がある。
（２）レンズ部を２つ持ち、１つの撮像部に２つの画像を撮影する方法
１つのセンサに両目の画像を得るため、それぞれの画像を分離する必要がある。またセンサのもつ縦方向の解像度（画素数）が半分以下になる。一般的にレンズが小さくなるため、感度が低くなるという欠点がある。
【００１２】
（３）１つの撮像部のみを有する撮像装置にて、その撮像装置を平行移動させて連続して撮影する方法
左目位置の画像と右目位置の画像の撮影時間の差が生じるため、移動対象物を撮影すると正しい３Ｄ用の画像を得られない。また動画像を得ることができないという欠点がある。
【００１３】
（４）ソフトウェアによる３Ｄ化
（ａ）の構図の識別に間違いがあると、正しく３Ｄ画像が生成されない。また同様に（ｂ）の構造物の識別を誤ると正しく３Ｄ画像が生成されない。
また、ソフトウェアにより（ａ）〜（ｄ）の処理を実行するため非常に時間がかかり、リアルタイムに３Ｄ用の動画像データを作成するには処理装置に高い処理能力が必要である。
【００１４】
さらに動画像を含めた画像の３Ｄ撮影をするためには（１）のように２つの同一の撮像部を用意するか１つの撮像素子に左目、右目、２つの画像が入力するように構成する必要がある。
【００１５】
一般の携帯端末装置では背面に撮影用に大型のイメージセンサをもつ撮像部と、ＴＶ電話などの用途に使用する小型のイメージセンサをもつ撮像部２つを備えているものが多く、同一の撮像部を２つ配置するとなると３つの撮像部が必要となり、現実的ではなかった。
【００１６】
本発明は、斯かる実情に鑑み、正面撮影を行うメインカメラと，自分撮影用のサブカメラを利用して静止画像や動画像の立体画像撮影が可能な立体撮影装置およびそれを用いた携帯端末装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明は、筐体に正面撮影用の主撮像部と自分撮影用の副撮像部とを備えた立体撮影装置において、
前記主撮像部と前記副撮像部を同一方向に配置して前記撮像部間の距離を視差とする同方向配置構造を有し、前記主撮像部による撮影画像と、前記副撮像部による撮影画像とを立体画像とすることを特徴とする。
【００１８】
また、本発明の立体撮影装置において、前記筐体が二つからなり、それぞれに前記主撮像部と前記副撮像部のいずれかを備え、前記同方向配置構造は、前記筐体の少なくともいずれかに、前記主撮像部と前記副撮像部とを同一方向に配置する回転機構を備える構造であることを特徴とする。
【００１９】
また、本発明の立体撮影装置において、前記同方向配置構造は、前記主撮像部と前記副撮像部の少なくともいずれかに、同一方向に配置できる回転機構を備える構造であることを特徴とする。
【００２０】
また、本発明の立体撮影装置において、前記主撮像部と前記副撮像部が同一方向を向いていることを検出する同一方向検出部を備え、前記主撮像部と前記副撮像部が同一方向を向いたことを検出したときにのみ、立体撮影モードとすることを特徴とする。
【００２１】
また、本発明の立体撮影装置において、主画面を備えた主表示部と、副画面を備えた副表示部を筐体の表裏に備え、立体撮影モードの時は、いずれかの表示部をファインダーとして使用することを特徴とする。
【００２２】
また、本発明の立体撮影装置において、立体撮影モードのときに主撮像部と副撮像部が立体撮影に適する水平状態にあることを検出する水平検出部を備え、立体撮影可能な水平状態になければ、立体撮影を禁止することを特徴とする。
【００２３】
また、本発明の立体撮影装置において、前記主撮像部で撮影した画像を、前記副撮像部で撮影した画像の特性に合わせる画像処理手段を備えたことを特徴とする。
【００２４】
本発明は、前記立体撮影装置を備えたことを特徴とする携帯端末装置である。
【発明の効果】
【００２５】
本発明によれば、主撮像部と副撮像部を同一方向に配置して前記撮像部間の距離を視差とする構造を有するので、特に撮像部を追加することもなく、視差を有する立体画像を撮影することができる。
【００２６】
また、同一方向検出部により主撮像部と副撮像部が同一方向を向いたことを検出したときにのみ、立体撮影モードとするので、立体撮影モードでは無いときに誤って撮影することがない。
【００２７】
また、立体撮影モードの時は、筐体表裏の主画面と副画面のいずれかの表示部をファインダーとして使用することにより、いずれかの画面を利用できるので、主撮像部と副撮像部が同一方向を向く立体撮影においても、利用者は必ずファインダーを利用できる。
【００２８】
また、水平検出部の検出により主撮像部と副撮像部が立体撮影可能な水平状態になければ、立体撮影を禁止するので、立体撮影できない状態にときに誤って撮影することがない。
【００２９】
また、主撮影部で撮影した画像を、前記副撮影部で撮影した画像の特性に合わせるので、特性が異なる画像を使用することがなく、違和感のない立体画像を取得することができる。
【図面の簡単な説明】
【００３０】
【図１】折りたたみ型の携帯端末での第１の実施例を示す図である。
【図２】第１の実施例に加速度センサを実装して水平状態を検出する図である。
【図３】折りたたみ型の携帯端末での第２の実施例を示す図である。
【図４】折りたたみ型の携帯端末での第３の実施例を示す図である。
【図５】メインカメラとサブカメラを有して立体撮影を可能とする携帯端末の機能構成を示すブロック図である。
【図６】解像度の補正の例を示す図である。
【図７】色補正の例を示す図である。
【図８】センサを利用した３Ｄ撮影モードへの移行の動作を示すフローチャートである。
【図９】メインカメラによる画面データの１画面分の画像データの解像度補正を示すフローチャートである。
【図１０】メインカメラ１１０による画面データの１画面分の画像データの色補正を示すフローチャートである。
【図１１】撮影対象である風景を示す図である。
【図１２】左目から見える風景と右目から見える風景を示す図である。
【図１３】２つの同一の撮像部を平行に実装して立体画像を得る従来の撮影装置を示す図である。
【図１４】２つのレンズを視差の距離だけ離し平行に実装して立体画像を得る従来の撮影装置を示す図である。
【図１５】１つの撮像部のみを実装して立体画像を得る従来の撮影装置を示す図である。
【図１６】元画像から左目から見える画像に基づいて右目から見える画像に変換処理する従来の３Ｄ化方式を示す図である。
【発明を実施するための形態】
【００３１】
以下、本発明の実施の形態を添付図面を参照して説明する。
【００３２】
［発明の概要］
本発明は、同一でない２つの撮像素子を用いて静止画像、動画像問わず精度の高い３Ｄ画像を得ることにある。したがって従来技術の「（３）１つの撮像部のみを有する撮像装置にて、その撮像装置を平行移動させて連続して撮影する方法」は本発明とは関連しない。また、従来技術の「（１）撮像装置に２つの同一の撮像部を平行に実装する方法」については同一の撮像部を持つため、それぞれの撮像部に対して同一の処理で３Ｄ画像を得ることができるが、同一の撮像部を２つ持たせることはメインの撮像素子とサブの撮像素子に同一の撮像部を持たせると端末のサイズ、形状デザインに制限が生じてしまう。またメインの撮像素子に同一の撮像部を持たせ、サブの撮像部と分けると、３つの撮像部を持たせることになり、コスト面で現実的ではない。
【００３３】
本発明は、正面撮影用のメインカメラと、自分撮影用のサブカメラとの２つの撮像部を持つ撮影装置にて３Ｄ画像を得ることを実現することである。従来技術「（２）レンズ部に２つの視差をもたせるためのコンバージョンレンズを使用し１つの撮像部に２つの画像を撮影する方法」については、専用の構造を持たせることが必要であり、本発明とは関連しない。
【００３４】
［撮像部の配置と端末構造］
本発明の立体撮影装置を用いた実施形態として携帯端末を例に説明する。２つの撮像素子を使用して３Ｄ撮影する場合においては、メインカメラとサブカメラの撮像部を水平に並べて視差を設ける必要がある。その実現例として図１、図３、図４のような構造がある。以下順に説明する。
【００３５】
＜第１の実施例＞
図１は、折りたたみ型の携帯端末での第１の実施例を示す図である。
携帯端末１０は、上筐体１１と下筐体１２から構成される。上筐体１１には、メイン画面１３、サブ画面１４が表裏に配置されている。上筐体１１は、回転ヒンジ１５により、携帯端末１０の開閉時に下筐体１２に対して１８０度回転することが出来る（図１（ｂ）（ｆ）参照）。さらに、上筐体１１は、回転ヒンジ１６により、３Ｄ撮影時には携帯端末１１を開いた状態で、下筐体１２の表面に対して１８０度回転して裏返しにすることができる（図１（ｃ）〜（ｅ）参照）。
【００３６】
メインカメラ（主撮像部）１７は、下筐体１２の裏面に有し、一般の被写体に向けて撮影するものである。メインカメラ１７での撮影では、図１の（ｂ）もしくは（ｆ）の状態で、利用者がメイン画面１３をファインダーとして撮影する。
サブカメラ１８は、上筐体１１の上部に有し、ＴＶ電話等の主に利用者本人を撮影するために使用するカメラであり、メインカメラ１７よりも解像度等の特性は劣る。
【００３７】
図１（ｅ）は、携帯端末１０の開状態で、下筐体１２に対して１８０度回転した状態で有り、メインカメラ１７とサブカメラ１８が同一方向に向けて配置されることになる。このときメインカメラ１７とサブカメラ１８の距離は、視差距離に該当する程度である。３Ｄ撮影時には、利用者は、図１（ｅ）のような状態でサブ画面１４をファインダーとして撮影する。図１はカメラ１６，１７が垂直方向に配置されているが、携帯端末１０を水平にし、カメラ１６，１７を水平になるよう配置する。回転ヒンジ１５による回転により、図１（ａ）の状態でメイン画面１３を保護でき、図１（ｂ）及び（ｆ）のような状態で携帯端末１０を使用可能状態とする。図１（ｅ）の状態は、３Ｄ撮影の時にのみに使用する状態である。
【００３８】
回転ヒンジ１６部分に、メインカメラ１７とサブカメラ１８が同一方向を向く３Ｄ撮影モードになっているかを検出する同一方向検出部１９を設ける。例えば、回転ヒンジ１６の下筐体１２側に磁石１９ａ、上筐体１１側に磁気センサ１９ｂを設ける。そして。図１（ｅ）の状態で、磁石１９ａと磁気センサ１９ｂが近接して対向する位置になり、３Ｄ撮影モードを検出できる。この検出結果に基づいて、ファインダーとなっているサブ画面１４に、「３Ｄカメラ撮影モードになったことを報知する表示」、もしくは「３Ｄカメラ撮影モードに入るかをどうかを問う表示」を行う機能を実装することが出来る。図１（ｅ）以外の状態の時は、３Ｄ撮影モードにしないようにする。
【００３９】
さらに図２（ａ）に示すように、加速度センサ（水平検出部）２０を実装することで、メインカメラ１７とサブカメラ１８が水平位置になっているかを検出する。ファインダーとなっているサブ画面１４に検出角度を表示する機能を実装することが出来る。図２（ａ）のように、水平度が３Ｄ撮影に適していれば、３Ｄ撮影可能であることをサブ画面１４に表示してもよい。
【００４０】
また、図２（ｂ）のように、３Ｄカメラ撮影モード中に３Ｄ撮影が難しくなる角度に達すると「水平になるよう促す警告メッセージ」を、サブ画面１４に表示することも出来る。また、同一方向検出部１９の検出結果により、３Ｄカメラ撮影モード中に図１（ｅ）の状態以外になった場合には、３Ｄ撮影が不可能なため、自動で３Ｄカメラ撮影モードを解除する機能を実装することが出来る。
【００４１】
＜第２の実施例＞
図３は、折りたたみ型の携帯端末での第２の実施例を示す図である。
携帯端末３０は、上筐体３１と下筐体３２から構成される。上筐体３１は、さらに第１の上筐体３１ａと第２の上筐体３１ｂとから構成され、第１の上筐体３１ａには表面側にサブ画面３４が配置され、第２の上筐体３１ｂの表面側（第１の上筐体３１ａの表面とは反対側の面）にメイン画面３３が配置されている。上筐体３１は回転ヒンジ３５を有し、携帯端末３０の開閉時に下筐体３２に対して１８０度回転することが出来る（図３（ｂ）参照）。さらに第１の上筐体３１ａと第２の上筐体３１ｂとの間にサイクロイド回転構造を有し、９０度回転することが出来る（図３（ｃ）〜（ｅ）参照）。メインカメラ３６は下筐体３２の裏面に有し、メインカメラ３６での撮影では図３の（ｃ）もしくは（ｅ）の状態でメイン画面３３をファインダーとして撮影する。
【００４２】
サブカメラ３７は第２の上筐体３１ｂの上部に配置され、ＴＶ電話等の主に利用者本人を撮影するために使用するカメラである。３Ｄ撮影時には、図３（ｇ）のような状態で、サブ画面３４をファインダーとして撮影する。図３（ｇ）の状態では、カメラ３６，３７は水平方向に配置され、３Ｄ撮影モードとして撮影が可能となる。
【００４３】
同一方向検出部として磁石３９ａと磁気センサ３９ｂを設け、磁石３９ａは下筐体３２、磁気センサ３９ｂは第２の上筐体３１ｂに設ける。その機能は、第１の実施例と同じなので詳しい説明は省略する。
また、水平方向検出部として加速度センサを設けるのも第１の実施例と同じなので詳しい説明は省略する。
【００４４】
＜第３の実施例＞
図４は、折りたたみ型の携帯端末での第３の実施例を示す図である。
携帯端末５０は、上筐体５１と下筐体５２から構成される。上筐体５１には、メイン画面５３、サブ画面５４が表裏に配置されている。上筐体５１は、回転ヒンジ５５により、携帯端末５０の開閉時に下筐体５２に対して１８０度回転することが出来る。
メインカメラ（主撮像部）５７は、下筐体５２の裏面に有し、一般の被写体に向けて撮影するものである。メインカメラ１７での撮影では、利用者がメイン画面５３をファインダーとして撮影する。
【００４５】
サブカメラ１８は、上筐体１１の上部に有し、ＴＶ電話等の主に利用者本人を撮影するために使用するカメラであり、メインカメラ１７よりも解像度等の特性は劣る。
【００４６】
サブカメラ５８は上筐体５１の上部に有し、ＴＶ電話等の主に本人を撮影するために使用するカメラである。本人撮影には（ａ）の状態で、３Ｄ撮影時には（ｃ）のような状態でサブ画面５４をファインダーとして撮影する。
【００４７】
本実施例は３Ｄ撮影のためにサブカメラ５８に回転機構を実装しており、１８０度の回転が可能である。従って、向きを上筐体５１の表面から裏面へと向きを変えることができる（（ａ）〜（ｃ））。サブカメラ５８の向きをセンサで検知し、（ｃ）の方向にカメラが向いたとき、自動的に３Ｄ撮影のモードに入ることも可能である。
【００４８】
実施例では折りたたみ型の携帯端末であるが、とくに折りたたみ型である必要性はない。また、サブカメラ５８に回転機構を実施しているため、図１、図３と異なり、メイン画面をファインダーとして使用できるためより快適な撮影が可能である。
【００４９】
メイン画面をファインダーとして使用せず、サブ画面をファインダーとして使用する場合にはメインカメラに回転機構を有してもよい。本構造においても図２（ｂ）のように３Ｄカメラ撮影モード中に３Ｄ撮影が難しくなる角度に達すると水平になるよう促す警告メッセージを出すことも出来る。また３Ｄカメラ撮影モード中に図４（ｃ）の状態以外になった場合には３Ｄ撮影が不可能なため自動で３Ｄカメラ撮影前のモードに戻るようにすることが出来る。
【００５０】
［携帯端末の機能構成］
上記に説明した携帯端末の機能構成について説明する。
図５は、メインカメラとサブカメラを有して立体撮影を可能とする携帯端末の機能構成を示すブロック図である。この携帯端末１００は、メインカメラ（主撮像部）１１０、サブカメラ（副撮像部）１１１、同一方向検出部１２０、水平検出部１２１、処理部１３０、表示部１５０，１５１、ＲＡＭ１６０、ＲＯＭ１６１、補助記憶装置１６２の各機能ブロックから構成される。メインカメラ１１０にはイメージセンサ１１２、サブカメラ１１１にはイメージセンサ１１３が備えられている。処理部１３０には、ビデオＩ／Ｆ１３１，１３２、センサＩ／Ｆ１３３、画像データ処理部１３５、ＣＰＵ１３６、ディスプレイＩ／Ｆ１３７，１３８が備えられている。
以下に各部の説明をする。
【００５１】
・カメラ１１０，１１１
上述したように、メインカメラ１１０は、正面撮影用の撮像部である。一方、サブカメラ１１１は、利用者自身を撮影する撮像部である。
メインカメラ１１０とサブカメラ１１１にはイメージセンサ１１２と１１３がそれぞれ備えられている。イメージセンサ１１２，１１３は、レンズから入射した光を取り込み、その光を電気信号に変換する半導体素子である。
図５のように素子をマトリックス状（ＲＯＷ−ＣＯＬＭＮ）に配置し、被写体をセンサの受光面に結像させ、結像した像の光の明暗を電気信号に変換して、変換した信号を順次読み出すことで、画像データとして得ることができる。
一般的に素子の受光面積が広いほど受光感度が上がり、素子数が多くなればなるほど画像の解像度が高くなる。携帯端末のような背面と表面の両方に撮像部を持つ端末は目的別に背面側には大面積、高解像度の撮像部が使用され、表面側には背面と比較し、小面積で低解像度の撮像部が使用されることが多い。
【００５２】
・同一方向検出部１２０、水平検出部１２１
同一方向検出部１２０は、メインカメラ１１０とサブカメラ１１１が同一方向を向いて配置されているかを検出するセンサであり、図１に示す磁石と磁気センサに該当する。同一方向検出部１２０により携帯端末１１０が３Ｄ撮影モードにできるかを検出する。
水平検出部１２１は、図１に示す加速度センサに該当するものであり、メインカメラ１１０とサブカメラ１１１が３Ｄ撮影に適する水平位置にあるかを検出するものである。
【００５３】
・処理部
ビデオＩ／Ｆ１３１，１３２は、メインカメラ１１０とサブカメラ１１１から検出された画像データが入力され、画像データ処理部１３５に送る。
センサＩ／Ｆ１３３は、同一方向検出部１２０と水平検出部１２１から検出結果が入力され、ＣＰＵ１３６に送る。
画像データ処理部１３５は、ＣＰＵ１３６から与えられたパラメータや命令に従い、イメージセンサ１１２，１１３からの画像データを取得しＲＡＭ１６０やＣＰＵ１３６に出力する。表示を行うためにイメージセンサ１１２，１１３からの取得したデータやＣＰＵ１３６／ＲＡＭ１６０からの画像データを表示部（メイン画面１５０、サブ画面１５１）への出力を行う。また、画像のデータの入出力時に色情報や解像度の変換を行う。
ＣＰＵ１３６は、ＲＯＭ１６１に格納されたプログラムを処理、実行し、携帯端末１００の３Ｄ撮像システムを起動する。そして、補助記憶装置１６２に格納されたプログラムをＲＡＭ１６０に転送し、ＲＡＭ１６０に一時格納されたプログラムを処理、実行する。
ディスプレイＩ／Ｆ１３７，１３８は、画像データ処理部１３５の処理データを表示部１５０，１５１に送る。
【００５４】
・ＲＯＭ（Read Only Memory）１６１
コンピュータを動作させるための基本プログラム（ＩＰＬ：Initial Program Loader／ＯＳ：Operating System）や固定データが格納されている。
【００５５】
・ＲＡＭ（Random Access Memory）１６０
プログラムを実行するための作業領域やイメージセンサ１１２，１１３から得られた画像データを一時的に格納するための記憶装置である。補助記憶装置１６２より本発明に使用されるプログラムを高速に実行するために一時的に読み出し、格納する。処理部１３０はそのプログラムをＲＡＭ１６０から読み出し、実行する。
【００５６】
・補助記憶装置１６２
一般的には磁気記録装置ＨＤＤ（Hard Disk Drive）、半導体記録装置ＳＳＤ（Solid State Drive）、光学式記録装置（ＣＤ，ＤＶＤ，ＢＬＵ−ＲＡＹ Ｄｉｓｋ）等を指す。プログラムや、画像データ、動画像データを格納する。従って、本発明に使用される３Ｄ処理用プログラムも格納されている。またイメージセンサ１１２，１１３の色や解像度の変換のための情報が格納されている。
【００５７】
・表示部（メイン画面１５０、サブ画面１５１）
処理部１３０より表示用のデータを受け取り、表示する。例えばイメージセンサ１１２，１１３から得たＲＡＭ１６０に格納されたデータを表示部１５０に出力し、表示する。
【００５８】
［３Ｄ画像データ処理］
一般に３Ｄ画像を容易に得るには撮像装置に２つの同一の撮像部を平行に実装する方法がある。同一の撮像部を使用するため、同じ特性の画像が得られるためである。異なる特性をもつ２つの撮像部を使用する場合には一方の撮像部で得られる画像の特性にもう一方の撮像部で得られる画像の特性を修正する必要がある。
【００５９】
一般的な特性の違いには、「解像度の違い」と「色特性の違い」がある。
そこで、サブカメラ１１１の方が、特性的に低いレベルのものが使用されており、（１）解像度の補正、（２）色特性の補正をメインカメラの画像に施すことにより、サブカメラと同様の特性を持つ画像を得るようにする。
以下に、上記補正の画像処理について説明する。
【００６０】
（１）解像度の補正
解像度は撮像素子（イメージセンサ１１２，１１３）の画素数の違いであり、低い解像度を高い解像度にするのは困難なことから、低い解像度の撮像素子（イメージセンサ１１３）を使用している撮像部（サブカメラ１１１）に特性を合わせる。
【００６１】
図６に解像度の補正の例を示す。
（ａ）は撮影対象である。簡単のために白黒２値の対象物としている。
（ｂ）はサブカメラ１１１の解像度である。Ｃｏｌｍｎ１５＊Ｒａｗ１０＝１５０画素の解像度を持つ。現実的に撮像部は自然な画像を得るために数万画素以上の画素数、解像度を持つ。
（ｃ）はサブカメラ１１１から得られた画像（データ）である。
（ｄ）はメインカメラ１１０の解像度である。Ｃｏｌｍｎ３０＊Ｒａｗ２０＝６００画素の解像度を持つ。サブカメラ１１１の４倍の解像度である。
（ｅ）はメインカメラ１１０から得られた画像（データ）である。
（ｆ）はメインカメラ１１０から得られた画像データから、処理部１３０によりサブカメラ１１１と同じ解像度へ画像データの変換を行って得られた画像データである。この画像変換処理については、後述する。
【００６２】
本例は撮影対象が平面上の×字画像であるため、サブカメラ１１１から得られた画像データ（図５（ｃ））とメインカメラ１１０の解像度変換処理後の画像データ（図５（ｆ））は同じになる。
【００６３】
（２）色特性の補正
色特性の違いは主に撮像素子１１２，１１３の特性違いによるものである。図６にメインカメラ１１０側の画像データに色補正した例を示す。撮像部の特性の違いは撮像部で一意に決まっており、差分は図５で記載されているＲＯＭ１６１もしくは補助記憶装置１６２に特性データを格納しておく。
【００６４】
図７は単純な色補正の例を示す。
（ａ）はサブカメラ１１１から得られた画像である。
（ｂ）はメインカメラ１１０から得られた画像である。
サブカメラ１１１から得られる画像がメインカメラ１１２から得られる画像に対して、全体に均一に赤色と青色成分が多くなる画像となることがあらかじめわかっている。処理部１３０にて（ｂ）の画像を赤色になる方向に色補正する。（ｃ）は（ｂ）の画像から赤色になる方向に色補正した画像である。
さらに処理部１３０にて（ｃ）の画像を青色になる方向に色補正する。（ｄ）は（ｃ）の画像から青色になる方向に補正した画像である。この画像処理については、後述する。
【００６５】
この実施例は画面全体に一様に補正をしているが、実際には色の特性カーブがあり、サブカメラ１１１の画素単位に各色に応じて補正を行う。
【００６６】
このように（１）解像度の補正、（２）色特性の補正をメインカメラ１１０の画像に施すことにより、サブカメラ１１１と同様の特性を持つ画像を得て、左目用画像（サブカメラ画像）、右目用画像（メインカメラ補正画像）の画像を用い、３Ｄ画像にすることが出来る。
【００６７】
［３Ｄ撮影における動作］
図８は、センサを利用した３Ｄ撮影モードへの移行の動作を示すフローチャートである。機能ブロックが図５、端末構造が図１、図２であるとして、説明する。
【００６８】
ＣＰＵ１３６が同一方向検出部１２０である磁気センサ１９ｂのＯＮ／ＯＦＦを検出する（ステップＳ１）。ステップＳ２において、磁気センサ１９ｂがＯＮしていれば（磁気センサ１９ｂが磁石１９ａに近接していれば）、ＣＰＵ１３６は水平検出部１２１である加速度センサ２０による携帯端末１００（図１では携帯端末１０）の傾きを検出する（ステップＳ３）。ステップＳ４において、携帯端末１００が水平位置になっていれば（３Ｄ撮影可能な角度の範囲内になっていれば）、ステップＳ５に進む。ステップＳ２，Ｓ４において、ＮＯであれば、ステップＳ１に戻る。
【００６９】
ステップＳ５において、ＣＰＵ１３６は、３Ｄ撮影モードへ自動的に移行させる。もしくは、ＣＰＵ１３６は３Ｄ撮影モードへ移行するかどうかのメッセージを画像データ処理部１３５に生成させ、表示部１５０，１５１のいずれかに表示させる。
【００７０】
再び、ＣＰＵ１３６が同一方向検出部１２０である磁気センサ１９ｂのＯＮ／ＯＦＦを検出する（ステップＳ６）。ステップＳ７において、磁気センサ１９ｂがＯＮしていれば（磁気センサ１９ｂが磁石１９ａに近接していれば）、ＣＰＵ１３６は水平検出部１２１である加速度センサ２０による携帯端末１００（図１では携帯端末１０）の傾きを検出する（ステップＳ８）。ステップＳ９において、携帯端末１００が水平位置になっていれば（３Ｄ撮影可能な角度の範囲内になっていれば）、ステップＳ１０に進み、ＣＰＵ１３６は、３Ｄ撮影モードを維持する。ステップＳ９において、ＮＯであれば、ステップＳ６に戻る。
【００７１】
ステップＳ７において、ＮＯであれば、ステップＳ１１において、ＣＰＵ１３６は、３Ｄ撮影モードから、元のモードへ自動で戻す。若しくは、ＣＰＵ１３６は、元の撮影モードへ移行するかどうかのメッセージを画像データ処理部１３５に生成させ、表示部１５０，１５１のいずれかに表示させる。
【００７２】
図９は、メインカメラ１１０による画面データの１画面分の画像データの解像度補正を示すフローチャートである。図６を参照しながら説明を行う。
【００７３】
解像度の変換（拡大、縮小）方式はその補間方式によって、NearestNeighbor（最近傍補間）／Bilinear（双一次補間）／Bicubic（双三次補間）などがある。後述ほど、補間のために参照するデータが多くなり、時間を要するがより精度の高い画像が得ることができる。縮小したメインカメラの画像データが、サブカメラの画像データに近いことが理想であるが本発明に拡大縮小方式とその補間方式には依存しないため、単純に関数とその返り値として記載する。
【００７４】
図６に示すように、メインカメラ１１０とサブカメラ１１１のＸ方向の画像サイズをＷＸ、Ｙ方向の画像サイズをＷＹとする。サブカメラ１１１の画素座標を（ＳＸ，ＳＹ）とする。便宜上ピクセルサイズは１とする。サブカメラ１１１の各画素の色情報をＳＵＢ＿ＲＧＢ（ＳＸ，ＳＹ）とする。メインカメラ１１０の画像を縮小した画像のサブカメラと同じ座標に位置する色情報をＳＵＢ２＿ＲＧＢ（ＳＸ，ＳＹ）とする。関数Ｆ（）は解像度の変換（補間）方式の関数である。
【００７５】
画像データ処理部１３５は、メインカメラ１１０からの画像に対し、ＳＹ＝０とし（ステップＳ２１）、ＳＸ＝０として（ステップＳ２２）、左上端の画素を指定する（図６（ｄ）参照）。ステップＳ２３において、この画素の色情報は、ＳＵＢ２＿ＲＧＢ（ＳＸ，ＳＹ）であるから、この画素を縮小変換する。
SUB2_RGB(SX,SY)=F(SUB_RGB(SX,SY))
により、縮小変換される
【００７６】
次の画素の処理に進む。
ＳＸ＝ＳＸ＋１として（ステップＳ２４）、Ｘ方向の画素の処理を終了したか、すなわちＳＸ＝ＷＸかどうかを確認し（ステップＳ２５）、ＮＯであれば、ステップＳ２３に戻る。ＹＥＳであれば、ステップＳ２６に進む。
【００７７】
同様に、ＳＹ＝ＳＹ＋１として（ステップＳ２６）、Ｙ方向の画素の処理を終了したか、すなわちＳＹ＝ＷＹかどうかを確認し（ステップＳ２７）、ＮＯであれば、ステップＳ２３に戻る。ＹＥＳであれば、処理を終了する。
【００７８】
図１０は、メインカメラ１１０による画面データの１画面分の画像データの色補正を示すフローチャートである。図７を参照しながら説明を行う。画像サイズ、座標については、図６に基づく上記説明を踏襲する。
【００７９】
図７では色の３原色である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の内、赤と青を補正必要対象としているが、図１０のフローチャートでは３原色の補正全て含めている。色補正がかからない場合、戻り値は代入値と同じになる。通常色のデータはＲＧＢ（赤緑青）やＹＵＶ（輝度、色相）といった色々なデータ形式やサイズにて格納されているが、ここではＲＧＢのデータで格納されているものとする。
【００８０】
ＳＵＢ＿ＲＧＢ２（ＳＸ，ＳＹ）の赤色、緑色、青色の各成分をＳＵＢ２＿Ｒ（ＳＸ，ＳＹ）、ＳＵＢ２＿Ｇ（ＳＸ，ＳＹ）ＳＵＢ２＿Ｂ（ＳＸ，ＳＹ）とする。
色補正により得られた画像の色データをＳＵＢ３＿ＲＧＢ（ＳＸ，ＳＹ）とする。ＳＵＢ＿ＲＧＢ３（ＳＸ，ＳＹ）の赤色、緑色、青色の各成分をＳＵＢ３＿Ｒ（ＳＸ，ＳＹ）、ＳＵＢ３＿Ｇ（ＳＸ，ＳＹ）ＳＵＢ３＿Ｂ（ＳＸ，ＳＹ）とする。
各色成分の補正値は各ＲＨ（Ｒ）、ＧＨ（Ｇ）、ＢＨ（Ｂ）の関数より得ることが出来ることとする。Ｒ，Ｇ，Ｂは赤色、緑色、青色各成分の濃度である。各濃度により、補正値が異なるため関数で表している。
【００８１】
各色の要素が８ｂｉｔのデータで構成されている場合、
SUB3_RGB(SX,SY)=SUB3_R(SX,SY)*2^16+SUB3_G(SX,SY)*2^8+SUB3_B(SX,SY)
で表すことができる。
【００８２】
画像データ処理部１３５は、メインカメラ１１０からの画像に対し、ＳＹ＝０とし（ステップＳ３１）、ＳＸ＝０として（ステップＳ３２）、左上端の画素を指定する（図６（ｄ）参照）。ステップＳ３３において、この画素の色情報は、ＳＵＢ２＿ＲＧＢ（ＳＸ，ＳＹ）であるから、この画素を飼う色成分に分ける。２４ｂｉｔデータの場合、
SUB2_R(SX,SY)= SUB2_RGB(SX,SY) /2~16
SUB2_G(SX,SY)= (SUB2_RGB(SX,SY) / 2^8) AND 0x0000FF
SUB2_B(SX,SY) = SUB2_RGB(SX,SY) AND 0x0000FF
となる。
【００８３】
次にステップＳ３４において、補正後の座標色データ（各色成分）を得る。補正値を求め、元データに加算する処理を行い、次のようになる。
SUB3_R(SX,SY)= SUB2_R(SX,SY) + RH(SUB2_R(SX,SY))
SUB3_G(SX,SY)= SUB2_G(SX,SY) + GH(SUB2_G(SX,SY))
SUB3_B(SX,SY)= SUB2_B(SX,SY) + BH(SUB2_B(SX,SY))
【００８４】
ステップＳ３５において、補正後の座標の色データを得る処理を行い、次のようになる。
SUB3_RGB(SX,SY)=SUB2_R(SX,SY)*2^16 + SUB2_G(SX,SY)*2^8 + SUB2_B(SX,SY)
【００８５】
ＳＸ＝ＳＸ＋１として（ステップＳ３６）、Ｘ方向の画素の処理を終了したか、すなわちＳＸ＝ＷＸかどうかを確認し（ステップＳ３７）、ＮＯであれば、ステップＳ３３に戻る。ＹＥＳであれば、ステップＳ３８に進む。
【００８６】
同様に、ＳＹ＝ＳＹ＋１として（ステップＳ３８）、Ｙ方向の画素の処理を終了したか、すなわちＳＹ＝ＷＹかどうかを確認し（ステップＳ３９）、ＮＯであれば、ステップＳ３２に戻る。ＹＥＳであれば、処理を終了する。
【００８７】
このように、メインカメラとサブカメラを回転などして同一方向に配置し、前記カメラ間の距離を視差とする構造を有するので、特に新たなカメラを追加することもなく、もともと携帯端末に備わっているカメラで視差を有する立体画像を撮影することができる。
【００８８】
また、同一方向検出部によりメインカメラとサブカメラが同一方向を向いたことを検出したときにのみ、立体撮影モードとする、あるいは利用者に表示部により報知するので、利用者が立体撮影モードでは無いときに誤って撮影することを防ぐことができる。
【００８９】
また、立体撮影モードの時は、筐体表裏のメイン画面とサブ画面のいずれかの表示部をファインダーとして使用することにより、いずれかの画面を利用できるので、メインカメラとサブカメラが同一方向を向く立体撮影においても、利用者は必ずファインダーを利用できる。
【００９０】
また、水平検出部の検出によりメインカメラとサブカメラが立体撮影可能な水平状態になければ、立体撮影を禁止する、あるいは立体撮影できないことを利用者に報知するので、立体撮影できない状態にときに、利用者が誤って撮影することがない。
【００９１】
また、メインカメラで撮影した画像を、サブカメラで撮影した画像の特性に合わせるので、特性が異なる画像を使用することがなく、違和感のない立体画像を取得することができる。
【００９２】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。
【符号の説明】
【００９３】
１０，３０，５０，１００ 携帯端末
１１，３１，５１ 上筐体
１２，３２，５２ 下筐体
１３，３３，５３，１５０ 表示部（メイン画面）
１４，３４，５４，１５１ 表示部（サブ画面）
１５，１６，３５ 回転ヒンジ
１７，３６，５７，１１０ メインカメラ（主撮像部）
１８，３７，５８，１１１ サブカメラ（副撮像部）
１９ａ 磁石
１９ｂ 磁気センサ
２０ 加速度センサ
１１２，１１３ イメージセンサ
１２０ 同一方向検出部
１２１ 水平検出部
１３０ 処理部
１３５ 画像データ処理部
１３６ ＣＰＵ
【技術分野】
【０００１】
本発明は、カメラを搭載して立体画像が撮影可能な立体撮影装置およびそれを用いた携帯端末装置に関する。
【背景技術】
【０００２】
近年、ＣＣＤなどの固体撮像素子を搭載したカメラ機能を有する携帯電話が登場してきており、静止画及び動画が撮影可能となっている。さらには、立体画像の撮影も可能とするものも登場してきている。
【０００３】
次に画像が３Ｄ（３Ｄｉｍｅｎｓｉｏｎ：３次元）に見える原理を図に示す。
図１１のような風景を例にする。図１２に人間が左目から見える風景と右目から見える風景を示す。図１２のように左目と右目には距離があるため、その左右に見える風景に差（視差）を感じることにより立体感が生じる。
【０００４】
２Ｄ（２Ｄｉｍｅｎｓｉｏｎ：２次元）の写真や動画像を、３Ｄに見せるには図１２のように左目から見える背景（画像）と右目から見える背景（画像）をそれぞれ用意する必要がある。そして左目用の背景（画像）には左目だけで見えるようにし、そして右目用の背景（画像）には右目だけで見えるようにすると立体的に見える。３Ｄ化のための左目用画像と右目用画像を得るための技術としては次のような手法がある。
【０００５】
次の（１）〜（３）はハードウェアによる３Ｄ撮影の従来技術の例である。（４）はソフトウェアによる３Ｄ化の従来技術の例である。
【０００６】
（１）撮像装置に２つの同一の撮像部を平行に実装する方法（特許文献１，２参照）
図１３のように、撮像装置に２つの同一の撮像部を視差の距離だけ離し、平行に実装することで左目、右目両方の画像を得ることができる。静止画像、動画像の両方を得ることができることが特徴である。
【０００７】
（２）レンズ部を２つ持ち、１つの撮像部に２つの画像を撮影する方法
図１４のように、撮像装置に２つのレンズを視差の距離だけ離し、平行に実装することで左目、右目両方の画像を１つのセンサに入力する。静止画像、動画像の両方を得ることができることが特徴である。
【０００８】
（３）１つの撮像部のみを有する撮像装置にて、その撮像装置を平行移動させて連続して撮影する方法
図１５のように、撮像装置を左目位置で撮影し画像を得る。次に手動で移動させて右目位置で撮影し、画像を得る。左目位置の画像と右目位置の画像を利用して３Ｄ画像を得る。
【０００９】
（４）ソフトウェアによる３Ｄ化
画像を３Ｄ化するには元画像から左目から見える画像に基づいて右目から見える画像に変換する処理を行うことである。概略の流れを図１６に示す。図は構造物が２つあり、その構造物を立体的に見せるための処理である。
（ａ）構図を識別し、画角と奥行きの情報を得る。
（ｂ）各奥行きにある構造物Ａ，Ｂを識別し、切り出す。
（ｃ）（ａ）の奥行き情報に基づき構造物を、左目視点の画像と右目視点の画像に、視差分移動を行う。
（ｄ）左目視点の画像と右目視点の画像に対し、構造物を移動して欠けている背景、構造物の隠れていた部分を補完する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００５−２５０３９６号公報
【特許文献２】特開２００６−３４５２４６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記従来技術では次のような問題点がある。
（１）撮像装置に２つの同一の撮像部を平行に実装する方法
２つの同一の撮像部を装備する必要があり、高価であり、装置が大型化するという欠点がある。
（２）レンズ部を２つ持ち、１つの撮像部に２つの画像を撮影する方法
１つのセンサに両目の画像を得るため、それぞれの画像を分離する必要がある。またセンサのもつ縦方向の解像度（画素数）が半分以下になる。一般的にレンズが小さくなるため、感度が低くなるという欠点がある。
【００１２】
（３）１つの撮像部のみを有する撮像装置にて、その撮像装置を平行移動させて連続して撮影する方法
左目位置の画像と右目位置の画像の撮影時間の差が生じるため、移動対象物を撮影すると正しい３Ｄ用の画像を得られない。また動画像を得ることができないという欠点がある。
【００１３】
（４）ソフトウェアによる３Ｄ化
（ａ）の構図の識別に間違いがあると、正しく３Ｄ画像が生成されない。また同様に（ｂ）の構造物の識別を誤ると正しく３Ｄ画像が生成されない。
また、ソフトウェアにより（ａ）〜（ｄ）の処理を実行するため非常に時間がかかり、リアルタイムに３Ｄ用の動画像データを作成するには処理装置に高い処理能力が必要である。
【００１４】
さらに動画像を含めた画像の３Ｄ撮影をするためには（１）のように２つの同一の撮像部を用意するか１つの撮像素子に左目、右目、２つの画像が入力するように構成する必要がある。
【００１５】
一般の携帯端末装置では背面に撮影用に大型のイメージセンサをもつ撮像部と、ＴＶ電話などの用途に使用する小型のイメージセンサをもつ撮像部２つを備えているものが多く、同一の撮像部を２つ配置するとなると３つの撮像部が必要となり、現実的ではなかった。
【００１６】
本発明は、斯かる実情に鑑み、正面撮影を行うメインカメラと，自分撮影用のサブカメラを利用して静止画像や動画像の立体画像撮影が可能な立体撮影装置およびそれを用いた携帯端末装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明は、筐体に正面撮影用の主撮像部と自分撮影用の副撮像部とを備えた立体撮影装置において、
前記主撮像部と前記副撮像部を同一方向に配置して前記撮像部間の距離を視差とする同方向配置構造を有し、前記主撮像部による撮影画像と、前記副撮像部による撮影画像とを立体画像とすることを特徴とする。
【００１８】
また、本発明の立体撮影装置において、前記筐体が二つからなり、それぞれに前記主撮像部と前記副撮像部のいずれかを備え、前記同方向配置構造は、前記筐体の少なくともいずれかに、前記主撮像部と前記副撮像部とを同一方向に配置する回転機構を備える構造であることを特徴とする。
【００１９】
また、本発明の立体撮影装置において、前記同方向配置構造は、前記主撮像部と前記副撮像部の少なくともいずれかに、同一方向に配置できる回転機構を備える構造であることを特徴とする。
【００２０】
また、本発明の立体撮影装置において、前記主撮像部と前記副撮像部が同一方向を向いていることを検出する同一方向検出部を備え、前記主撮像部と前記副撮像部が同一方向を向いたことを検出したときにのみ、立体撮影モードとすることを特徴とする。
【００２１】
また、本発明の立体撮影装置において、主画面を備えた主表示部と、副画面を備えた副表示部を筐体の表裏に備え、立体撮影モードの時は、いずれかの表示部をファインダーとして使用することを特徴とする。
【００２２】
また、本発明の立体撮影装置において、立体撮影モードのときに主撮像部と副撮像部が立体撮影に適する水平状態にあることを検出する水平検出部を備え、立体撮影可能な水平状態になければ、立体撮影を禁止することを特徴とする。
【００２３】
また、本発明の立体撮影装置において、前記主撮像部で撮影した画像を、前記副撮像部で撮影した画像の特性に合わせる画像処理手段を備えたことを特徴とする。
【００２４】
本発明は、前記立体撮影装置を備えたことを特徴とする携帯端末装置である。
【発明の効果】
【００２５】
本発明によれば、主撮像部と副撮像部を同一方向に配置して前記撮像部間の距離を視差とする構造を有するので、特に撮像部を追加することもなく、視差を有する立体画像を撮影することができる。
【００２６】
また、同一方向検出部により主撮像部と副撮像部が同一方向を向いたことを検出したときにのみ、立体撮影モードとするので、立体撮影モードでは無いときに誤って撮影することがない。
【００２７】
また、立体撮影モードの時は、筐体表裏の主画面と副画面のいずれかの表示部をファインダーとして使用することにより、いずれかの画面を利用できるので、主撮像部と副撮像部が同一方向を向く立体撮影においても、利用者は必ずファインダーを利用できる。
【００２８】
また、水平検出部の検出により主撮像部と副撮像部が立体撮影可能な水平状態になければ、立体撮影を禁止するので、立体撮影できない状態にときに誤って撮影することがない。
【００２９】
また、主撮影部で撮影した画像を、前記副撮影部で撮影した画像の特性に合わせるので、特性が異なる画像を使用することがなく、違和感のない立体画像を取得することができる。
【図面の簡単な説明】
【００３０】
【図１】折りたたみ型の携帯端末での第１の実施例を示す図である。
【図２】第１の実施例に加速度センサを実装して水平状態を検出する図である。
【図３】折りたたみ型の携帯端末での第２の実施例を示す図である。
【図４】折りたたみ型の携帯端末での第３の実施例を示す図である。
【図５】メインカメラとサブカメラを有して立体撮影を可能とする携帯端末の機能構成を示すブロック図である。
【図６】解像度の補正の例を示す図である。
【図７】色補正の例を示す図である。
【図８】センサを利用した３Ｄ撮影モードへの移行の動作を示すフローチャートである。
【図９】メインカメラによる画面データの１画面分の画像データの解像度補正を示すフローチャートである。
【図１０】メインカメラ１１０による画面データの１画面分の画像データの色補正を示すフローチャートである。
【図１１】撮影対象である風景を示す図である。
【図１２】左目から見える風景と右目から見える風景を示す図である。
【図１３】２つの同一の撮像部を平行に実装して立体画像を得る従来の撮影装置を示す図である。
【図１４】２つのレンズを視差の距離だけ離し平行に実装して立体画像を得る従来の撮影装置を示す図である。
【図１５】１つの撮像部のみを実装して立体画像を得る従来の撮影装置を示す図である。
【図１６】元画像から左目から見える画像に基づいて右目から見える画像に変換処理する従来の３Ｄ化方式を示す図である。
【発明を実施するための形態】
【００３１】
以下、本発明の実施の形態を添付図面を参照して説明する。
【００３２】
［発明の概要］
本発明は、同一でない２つの撮像素子を用いて静止画像、動画像問わず精度の高い３Ｄ画像を得ることにある。したがって従来技術の「（３）１つの撮像部のみを有する撮像装置にて、その撮像装置を平行移動させて連続して撮影する方法」は本発明とは関連しない。また、従来技術の「（１）撮像装置に２つの同一の撮像部を平行に実装する方法」については同一の撮像部を持つため、それぞれの撮像部に対して同一の処理で３Ｄ画像を得ることができるが、同一の撮像部を２つ持たせることはメインの撮像素子とサブの撮像素子に同一の撮像部を持たせると端末のサイズ、形状デザインに制限が生じてしまう。またメインの撮像素子に同一の撮像部を持たせ、サブの撮像部と分けると、３つの撮像部を持たせることになり、コスト面で現実的ではない。
【００３３】
本発明は、正面撮影用のメインカメラと、自分撮影用のサブカメラとの２つの撮像部を持つ撮影装置にて３Ｄ画像を得ることを実現することである。従来技術「（２）レンズ部に２つの視差をもたせるためのコンバージョンレンズを使用し１つの撮像部に２つの画像を撮影する方法」については、専用の構造を持たせることが必要であり、本発明とは関連しない。
【００３４】
［撮像部の配置と端末構造］
本発明の立体撮影装置を用いた実施形態として携帯端末を例に説明する。２つの撮像素子を使用して３Ｄ撮影する場合においては、メインカメラとサブカメラの撮像部を水平に並べて視差を設ける必要がある。その実現例として図１、図３、図４のような構造がある。以下順に説明する。
【００３５】
＜第１の実施例＞
図１は、折りたたみ型の携帯端末での第１の実施例を示す図である。
携帯端末１０は、上筐体１１と下筐体１２から構成される。上筐体１１には、メイン画面１３、サブ画面１４が表裏に配置されている。上筐体１１は、回転ヒンジ１５により、携帯端末１０の開閉時に下筐体１２に対して１８０度回転することが出来る（図１（ｂ）（ｆ）参照）。さらに、上筐体１１は、回転ヒンジ１６により、３Ｄ撮影時には携帯端末１１を開いた状態で、下筐体１２の表面に対して１８０度回転して裏返しにすることができる（図１（ｃ）〜（ｅ）参照）。
【００３６】
メインカメラ（主撮像部）１７は、下筐体１２の裏面に有し、一般の被写体に向けて撮影するものである。メインカメラ１７での撮影では、図１の（ｂ）もしくは（ｆ）の状態で、利用者がメイン画面１３をファインダーとして撮影する。
サブカメラ１８は、上筐体１１の上部に有し、ＴＶ電話等の主に利用者本人を撮影するために使用するカメラであり、メインカメラ１７よりも解像度等の特性は劣る。
【００３７】
図１（ｅ）は、携帯端末１０の開状態で、下筐体１２に対して１８０度回転した状態で有り、メインカメラ１７とサブカメラ１８が同一方向に向けて配置されることになる。このときメインカメラ１７とサブカメラ１８の距離は、視差距離に該当する程度である。３Ｄ撮影時には、利用者は、図１（ｅ）のような状態でサブ画面１４をファインダーとして撮影する。図１はカメラ１６，１７が垂直方向に配置されているが、携帯端末１０を水平にし、カメラ１６，１７を水平になるよう配置する。回転ヒンジ１５による回転により、図１（ａ）の状態でメイン画面１３を保護でき、図１（ｂ）及び（ｆ）のような状態で携帯端末１０を使用可能状態とする。図１（ｅ）の状態は、３Ｄ撮影の時にのみに使用する状態である。
【００３８】
回転ヒンジ１６部分に、メインカメラ１７とサブカメラ１８が同一方向を向く３Ｄ撮影モードになっているかを検出する同一方向検出部１９を設ける。例えば、回転ヒンジ１６の下筐体１２側に磁石１９ａ、上筐体１１側に磁気センサ１９ｂを設ける。そして。図１（ｅ）の状態で、磁石１９ａと磁気センサ１９ｂが近接して対向する位置になり、３Ｄ撮影モードを検出できる。この検出結果に基づいて、ファインダーとなっているサブ画面１４に、「３Ｄカメラ撮影モードになったことを報知する表示」、もしくは「３Ｄカメラ撮影モードに入るかをどうかを問う表示」を行う機能を実装することが出来る。図１（ｅ）以外の状態の時は、３Ｄ撮影モードにしないようにする。
【００３９】
さらに図２（ａ）に示すように、加速度センサ（水平検出部）２０を実装することで、メインカメラ１７とサブカメラ１８が水平位置になっているかを検出する。ファインダーとなっているサブ画面１４に検出角度を表示する機能を実装することが出来る。図２（ａ）のように、水平度が３Ｄ撮影に適していれば、３Ｄ撮影可能であることをサブ画面１４に表示してもよい。
【００４０】
また、図２（ｂ）のように、３Ｄカメラ撮影モード中に３Ｄ撮影が難しくなる角度に達すると「水平になるよう促す警告メッセージ」を、サブ画面１４に表示することも出来る。また、同一方向検出部１９の検出結果により、３Ｄカメラ撮影モード中に図１（ｅ）の状態以外になった場合には、３Ｄ撮影が不可能なため、自動で３Ｄカメラ撮影モードを解除する機能を実装することが出来る。
【００４１】
＜第２の実施例＞
図３は、折りたたみ型の携帯端末での第２の実施例を示す図である。
携帯端末３０は、上筐体３１と下筐体３２から構成される。上筐体３１は、さらに第１の上筐体３１ａと第２の上筐体３１ｂとから構成され、第１の上筐体３１ａには表面側にサブ画面３４が配置され、第２の上筐体３１ｂの表面側（第１の上筐体３１ａの表面とは反対側の面）にメイン画面３３が配置されている。上筐体３１は回転ヒンジ３５を有し、携帯端末３０の開閉時に下筐体３２に対して１８０度回転することが出来る（図３（ｂ）参照）。さらに第１の上筐体３１ａと第２の上筐体３１ｂとの間にサイクロイド回転構造を有し、９０度回転することが出来る（図３（ｃ）〜（ｅ）参照）。メインカメラ３６は下筐体３２の裏面に有し、メインカメラ３６での撮影では図３の（ｃ）もしくは（ｅ）の状態でメイン画面３３をファインダーとして撮影する。
【００４２】
サブカメラ３７は第２の上筐体３１ｂの上部に配置され、ＴＶ電話等の主に利用者本人を撮影するために使用するカメラである。３Ｄ撮影時には、図３（ｇ）のような状態で、サブ画面３４をファインダーとして撮影する。図３（ｇ）の状態では、カメラ３６，３７は水平方向に配置され、３Ｄ撮影モードとして撮影が可能となる。
【００４３】
同一方向検出部として磁石３９ａと磁気センサ３９ｂを設け、磁石３９ａは下筐体３２、磁気センサ３９ｂは第２の上筐体３１ｂに設ける。その機能は、第１の実施例と同じなので詳しい説明は省略する。
また、水平方向検出部として加速度センサを設けるのも第１の実施例と同じなので詳しい説明は省略する。
【００４４】
＜第３の実施例＞
図４は、折りたたみ型の携帯端末での第３の実施例を示す図である。
携帯端末５０は、上筐体５１と下筐体５２から構成される。上筐体５１には、メイン画面５３、サブ画面５４が表裏に配置されている。上筐体５１は、回転ヒンジ５５により、携帯端末５０の開閉時に下筐体５２に対して１８０度回転することが出来る。
メインカメラ（主撮像部）５７は、下筐体５２の裏面に有し、一般の被写体に向けて撮影するものである。メインカメラ１７での撮影では、利用者がメイン画面５３をファインダーとして撮影する。
【００４５】
サブカメラ１８は、上筐体１１の上部に有し、ＴＶ電話等の主に利用者本人を撮影するために使用するカメラであり、メインカメラ１７よりも解像度等の特性は劣る。
【００４６】
サブカメラ５８は上筐体５１の上部に有し、ＴＶ電話等の主に本人を撮影するために使用するカメラである。本人撮影には（ａ）の状態で、３Ｄ撮影時には（ｃ）のような状態でサブ画面５４をファインダーとして撮影する。
【００４７】
本実施例は３Ｄ撮影のためにサブカメラ５８に回転機構を実装しており、１８０度の回転が可能である。従って、向きを上筐体５１の表面から裏面へと向きを変えることができる（（ａ）〜（ｃ））。サブカメラ５８の向きをセンサで検知し、（ｃ）の方向にカメラが向いたとき、自動的に３Ｄ撮影のモードに入ることも可能である。
【００４８】
実施例では折りたたみ型の携帯端末であるが、とくに折りたたみ型である必要性はない。また、サブカメラ５８に回転機構を実施しているため、図１、図３と異なり、メイン画面をファインダーとして使用できるためより快適な撮影が可能である。
【００４９】
メイン画面をファインダーとして使用せず、サブ画面をファインダーとして使用する場合にはメインカメラに回転機構を有してもよい。本構造においても図２（ｂ）のように３Ｄカメラ撮影モード中に３Ｄ撮影が難しくなる角度に達すると水平になるよう促す警告メッセージを出すことも出来る。また３Ｄカメラ撮影モード中に図４（ｃ）の状態以外になった場合には３Ｄ撮影が不可能なため自動で３Ｄカメラ撮影前のモードに戻るようにすることが出来る。
【００５０】
［携帯端末の機能構成］
上記に説明した携帯端末の機能構成について説明する。
図５は、メインカメラとサブカメラを有して立体撮影を可能とする携帯端末の機能構成を示すブロック図である。この携帯端末１００は、メインカメラ（主撮像部）１１０、サブカメラ（副撮像部）１１１、同一方向検出部１２０、水平検出部１２１、処理部１３０、表示部１５０，１５１、ＲＡＭ１６０、ＲＯＭ１６１、補助記憶装置１６２の各機能ブロックから構成される。メインカメラ１１０にはイメージセンサ１１２、サブカメラ１１１にはイメージセンサ１１３が備えられている。処理部１３０には、ビデオＩ／Ｆ１３１，１３２、センサＩ／Ｆ１３３、画像データ処理部１３５、ＣＰＵ１３６、ディスプレイＩ／Ｆ１３７，１３８が備えられている。
以下に各部の説明をする。
【００５１】
・カメラ１１０，１１１
上述したように、メインカメラ１１０は、正面撮影用の撮像部である。一方、サブカメラ１１１は、利用者自身を撮影する撮像部である。
メインカメラ１１０とサブカメラ１１１にはイメージセンサ１１２と１１３がそれぞれ備えられている。イメージセンサ１１２，１１３は、レンズから入射した光を取り込み、その光を電気信号に変換する半導体素子である。
図５のように素子をマトリックス状（ＲＯＷ−ＣＯＬＭＮ）に配置し、被写体をセンサの受光面に結像させ、結像した像の光の明暗を電気信号に変換して、変換した信号を順次読み出すことで、画像データとして得ることができる。
一般的に素子の受光面積が広いほど受光感度が上がり、素子数が多くなればなるほど画像の解像度が高くなる。携帯端末のような背面と表面の両方に撮像部を持つ端末は目的別に背面側には大面積、高解像度の撮像部が使用され、表面側には背面と比較し、小面積で低解像度の撮像部が使用されることが多い。
【００５２】
・同一方向検出部１２０、水平検出部１２１
同一方向検出部１２０は、メインカメラ１１０とサブカメラ１１１が同一方向を向いて配置されているかを検出するセンサであり、図１に示す磁石と磁気センサに該当する。同一方向検出部１２０により携帯端末１１０が３Ｄ撮影モードにできるかを検出する。
水平検出部１２１は、図１に示す加速度センサに該当するものであり、メインカメラ１１０とサブカメラ１１１が３Ｄ撮影に適する水平位置にあるかを検出するものである。
【００５３】
・処理部
ビデオＩ／Ｆ１３１，１３２は、メインカメラ１１０とサブカメラ１１１から検出された画像データが入力され、画像データ処理部１３５に送る。
センサＩ／Ｆ１３３は、同一方向検出部１２０と水平検出部１２１から検出結果が入力され、ＣＰＵ１３６に送る。
画像データ処理部１３５は、ＣＰＵ１３６から与えられたパラメータや命令に従い、イメージセンサ１１２，１１３からの画像データを取得しＲＡＭ１６０やＣＰＵ１３６に出力する。表示を行うためにイメージセンサ１１２，１１３からの取得したデータやＣＰＵ１３６／ＲＡＭ１６０からの画像データを表示部（メイン画面１５０、サブ画面１５１）への出力を行う。また、画像のデータの入出力時に色情報や解像度の変換を行う。
ＣＰＵ１３６は、ＲＯＭ１６１に格納されたプログラムを処理、実行し、携帯端末１００の３Ｄ撮像システムを起動する。そして、補助記憶装置１６２に格納されたプログラムをＲＡＭ１６０に転送し、ＲＡＭ１６０に一時格納されたプログラムを処理、実行する。
ディスプレイＩ／Ｆ１３７，１３８は、画像データ処理部１３５の処理データを表示部１５０，１５１に送る。
【００５４】
・ＲＯＭ（Read Only Memory）１６１
コンピュータを動作させるための基本プログラム（ＩＰＬ：Initial Program Loader／ＯＳ：Operating System）や固定データが格納されている。
【００５５】
・ＲＡＭ（Random Access Memory）１６０
プログラムを実行するための作業領域やイメージセンサ１１２，１１３から得られた画像データを一時的に格納するための記憶装置である。補助記憶装置１６２より本発明に使用されるプログラムを高速に実行するために一時的に読み出し、格納する。処理部１３０はそのプログラムをＲＡＭ１６０から読み出し、実行する。
【００５６】
・補助記憶装置１６２
一般的には磁気記録装置ＨＤＤ（Hard Disk Drive）、半導体記録装置ＳＳＤ（Solid State Drive）、光学式記録装置（ＣＤ，ＤＶＤ，ＢＬＵ−ＲＡＹ Ｄｉｓｋ）等を指す。プログラムや、画像データ、動画像データを格納する。従って、本発明に使用される３Ｄ処理用プログラムも格納されている。またイメージセンサ１１２，１１３の色や解像度の変換のための情報が格納されている。
【００５７】
・表示部（メイン画面１５０、サブ画面１５１）
処理部１３０より表示用のデータを受け取り、表示する。例えばイメージセンサ１１２，１１３から得たＲＡＭ１６０に格納されたデータを表示部１５０に出力し、表示する。
【００５８】
［３Ｄ画像データ処理］
一般に３Ｄ画像を容易に得るには撮像装置に２つの同一の撮像部を平行に実装する方法がある。同一の撮像部を使用するため、同じ特性の画像が得られるためである。異なる特性をもつ２つの撮像部を使用する場合には一方の撮像部で得られる画像の特性にもう一方の撮像部で得られる画像の特性を修正する必要がある。
【００５９】
一般的な特性の違いには、「解像度の違い」と「色特性の違い」がある。
そこで、サブカメラ１１１の方が、特性的に低いレベルのものが使用されており、（１）解像度の補正、（２）色特性の補正をメインカメラの画像に施すことにより、サブカメラと同様の特性を持つ画像を得るようにする。
以下に、上記補正の画像処理について説明する。
【００６０】
（１）解像度の補正
解像度は撮像素子（イメージセンサ１１２，１１３）の画素数の違いであり、低い解像度を高い解像度にするのは困難なことから、低い解像度の撮像素子（イメージセンサ１１３）を使用している撮像部（サブカメラ１１１）に特性を合わせる。
【００６１】
図６に解像度の補正の例を示す。
（ａ）は撮影対象である。簡単のために白黒２値の対象物としている。
（ｂ）はサブカメラ１１１の解像度である。Ｃｏｌｍｎ１５＊Ｒａｗ１０＝１５０画素の解像度を持つ。現実的に撮像部は自然な画像を得るために数万画素以上の画素数、解像度を持つ。
（ｃ）はサブカメラ１１１から得られた画像（データ）である。
（ｄ）はメインカメラ１１０の解像度である。Ｃｏｌｍｎ３０＊Ｒａｗ２０＝６００画素の解像度を持つ。サブカメラ１１１の４倍の解像度である。
（ｅ）はメインカメラ１１０から得られた画像（データ）である。
（ｆ）はメインカメラ１１０から得られた画像データから、処理部１３０によりサブカメラ１１１と同じ解像度へ画像データの変換を行って得られた画像データである。この画像変換処理については、後述する。
【００６２】
本例は撮影対象が平面上の×字画像であるため、サブカメラ１１１から得られた画像データ（図５（ｃ））とメインカメラ１１０の解像度変換処理後の画像データ（図５（ｆ））は同じになる。
【００６３】
（２）色特性の補正
色特性の違いは主に撮像素子１１２，１１３の特性違いによるものである。図６にメインカメラ１１０側の画像データに色補正した例を示す。撮像部の特性の違いは撮像部で一意に決まっており、差分は図５で記載されているＲＯＭ１６１もしくは補助記憶装置１６２に特性データを格納しておく。
【００６４】
図７は単純な色補正の例を示す。
（ａ）はサブカメラ１１１から得られた画像である。
（ｂ）はメインカメラ１１０から得られた画像である。
サブカメラ１１１から得られる画像がメインカメラ１１２から得られる画像に対して、全体に均一に赤色と青色成分が多くなる画像となることがあらかじめわかっている。処理部１３０にて（ｂ）の画像を赤色になる方向に色補正する。（ｃ）は（ｂ）の画像から赤色になる方向に色補正した画像である。
さらに処理部１３０にて（ｃ）の画像を青色になる方向に色補正する。（ｄ）は（ｃ）の画像から青色になる方向に補正した画像である。この画像処理については、後述する。
【００６５】
この実施例は画面全体に一様に補正をしているが、実際には色の特性カーブがあり、サブカメラ１１１の画素単位に各色に応じて補正を行う。
【００６６】
このように（１）解像度の補正、（２）色特性の補正をメインカメラ１１０の画像に施すことにより、サブカメラ１１１と同様の特性を持つ画像を得て、左目用画像（サブカメラ画像）、右目用画像（メインカメラ補正画像）の画像を用い、３Ｄ画像にすることが出来る。
【００６７】
［３Ｄ撮影における動作］
図８は、センサを利用した３Ｄ撮影モードへの移行の動作を示すフローチャートである。機能ブロックが図５、端末構造が図１、図２であるとして、説明する。
【００６８】
ＣＰＵ１３６が同一方向検出部１２０である磁気センサ１９ｂのＯＮ／ＯＦＦを検出する（ステップＳ１）。ステップＳ２において、磁気センサ１９ｂがＯＮしていれば（磁気センサ１９ｂが磁石１９ａに近接していれば）、ＣＰＵ１３６は水平検出部１２１である加速度センサ２０による携帯端末１００（図１では携帯端末１０）の傾きを検出する（ステップＳ３）。ステップＳ４において、携帯端末１００が水平位置になっていれば（３Ｄ撮影可能な角度の範囲内になっていれば）、ステップＳ５に進む。ステップＳ２，Ｓ４において、ＮＯであれば、ステップＳ１に戻る。
【００６９】
ステップＳ５において、ＣＰＵ１３６は、３Ｄ撮影モードへ自動的に移行させる。もしくは、ＣＰＵ１３６は３Ｄ撮影モードへ移行するかどうかのメッセージを画像データ処理部１３５に生成させ、表示部１５０，１５１のいずれかに表示させる。
【００７０】
再び、ＣＰＵ１３６が同一方向検出部１２０である磁気センサ１９ｂのＯＮ／ＯＦＦを検出する（ステップＳ６）。ステップＳ７において、磁気センサ１９ｂがＯＮしていれば（磁気センサ１９ｂが磁石１９ａに近接していれば）、ＣＰＵ１３６は水平検出部１２１である加速度センサ２０による携帯端末１００（図１では携帯端末１０）の傾きを検出する（ステップＳ８）。ステップＳ９において、携帯端末１００が水平位置になっていれば（３Ｄ撮影可能な角度の範囲内になっていれば）、ステップＳ１０に進み、ＣＰＵ１３６は、３Ｄ撮影モードを維持する。ステップＳ９において、ＮＯであれば、ステップＳ６に戻る。
【００７１】
ステップＳ７において、ＮＯであれば、ステップＳ１１において、ＣＰＵ１３６は、３Ｄ撮影モードから、元のモードへ自動で戻す。若しくは、ＣＰＵ１３６は、元の撮影モードへ移行するかどうかのメッセージを画像データ処理部１３５に生成させ、表示部１５０，１５１のいずれかに表示させる。
【００７２】
図９は、メインカメラ１１０による画面データの１画面分の画像データの解像度補正を示すフローチャートである。図６を参照しながら説明を行う。
【００７３】
解像度の変換（拡大、縮小）方式はその補間方式によって、NearestNeighbor（最近傍補間）／Bilinear（双一次補間）／Bicubic（双三次補間）などがある。後述ほど、補間のために参照するデータが多くなり、時間を要するがより精度の高い画像が得ることができる。縮小したメインカメラの画像データが、サブカメラの画像データに近いことが理想であるが本発明に拡大縮小方式とその補間方式には依存しないため、単純に関数とその返り値として記載する。
【００７４】
図６に示すように、メインカメラ１１０とサブカメラ１１１のＸ方向の画像サイズをＷＸ、Ｙ方向の画像サイズをＷＹとする。サブカメラ１１１の画素座標を（ＳＸ，ＳＹ）とする。便宜上ピクセルサイズは１とする。サブカメラ１１１の各画素の色情報をＳＵＢ＿ＲＧＢ（ＳＸ，ＳＹ）とする。メインカメラ１１０の画像を縮小した画像のサブカメラと同じ座標に位置する色情報をＳＵＢ２＿ＲＧＢ（ＳＸ，ＳＹ）とする。関数Ｆ（）は解像度の変換（補間）方式の関数である。
【００７５】
画像データ処理部１３５は、メインカメラ１１０からの画像に対し、ＳＹ＝０とし（ステップＳ２１）、ＳＸ＝０として（ステップＳ２２）、左上端の画素を指定する（図６（ｄ）参照）。ステップＳ２３において、この画素の色情報は、ＳＵＢ２＿ＲＧＢ（ＳＸ，ＳＹ）であるから、この画素を縮小変換する。
SUB2_RGB(SX,SY)=F(SUB_RGB(SX,SY))
により、縮小変換される
【００７６】
次の画素の処理に進む。
ＳＸ＝ＳＸ＋１として（ステップＳ２４）、Ｘ方向の画素の処理を終了したか、すなわちＳＸ＝ＷＸかどうかを確認し（ステップＳ２５）、ＮＯであれば、ステップＳ２３に戻る。ＹＥＳであれば、ステップＳ２６に進む。
【００７７】
同様に、ＳＹ＝ＳＹ＋１として（ステップＳ２６）、Ｙ方向の画素の処理を終了したか、すなわちＳＹ＝ＷＹかどうかを確認し（ステップＳ２７）、ＮＯであれば、ステップＳ２３に戻る。ＹＥＳであれば、処理を終了する。
【００７８】
図１０は、メインカメラ１１０による画面データの１画面分の画像データの色補正を示すフローチャートである。図７を参照しながら説明を行う。画像サイズ、座標については、図６に基づく上記説明を踏襲する。
【００７９】
図７では色の３原色である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の内、赤と青を補正必要対象としているが、図１０のフローチャートでは３原色の補正全て含めている。色補正がかからない場合、戻り値は代入値と同じになる。通常色のデータはＲＧＢ（赤緑青）やＹＵＶ（輝度、色相）といった色々なデータ形式やサイズにて格納されているが、ここではＲＧＢのデータで格納されているものとする。
【００８０】
ＳＵＢ＿ＲＧＢ２（ＳＸ，ＳＹ）の赤色、緑色、青色の各成分をＳＵＢ２＿Ｒ（ＳＸ，ＳＹ）、ＳＵＢ２＿Ｇ（ＳＸ，ＳＹ）ＳＵＢ２＿Ｂ（ＳＸ，ＳＹ）とする。
色補正により得られた画像の色データをＳＵＢ３＿ＲＧＢ（ＳＸ，ＳＹ）とする。ＳＵＢ＿ＲＧＢ３（ＳＸ，ＳＹ）の赤色、緑色、青色の各成分をＳＵＢ３＿Ｒ（ＳＸ，ＳＹ）、ＳＵＢ３＿Ｇ（ＳＸ，ＳＹ）ＳＵＢ３＿Ｂ（ＳＸ，ＳＹ）とする。
各色成分の補正値は各ＲＨ（Ｒ）、ＧＨ（Ｇ）、ＢＨ（Ｂ）の関数より得ることが出来ることとする。Ｒ，Ｇ，Ｂは赤色、緑色、青色各成分の濃度である。各濃度により、補正値が異なるため関数で表している。
【００８１】
各色の要素が８ｂｉｔのデータで構成されている場合、
SUB3_RGB(SX,SY)=SUB3_R(SX,SY)*2^16+SUB3_G(SX,SY)*2^8+SUB3_B(SX,SY)
で表すことができる。
【００８２】
画像データ処理部１３５は、メインカメラ１１０からの画像に対し、ＳＹ＝０とし（ステップＳ３１）、ＳＸ＝０として（ステップＳ３２）、左上端の画素を指定する（図６（ｄ）参照）。ステップＳ３３において、この画素の色情報は、ＳＵＢ２＿ＲＧＢ（ＳＸ，ＳＹ）であるから、この画素を飼う色成分に分ける。２４ｂｉｔデータの場合、
SUB2_R(SX,SY)= SUB2_RGB(SX,SY) /2~16
SUB2_G(SX,SY)= (SUB2_RGB(SX,SY) / 2^8) AND 0x0000FF
SUB2_B(SX,SY) = SUB2_RGB(SX,SY) AND 0x0000FF
となる。
【００８３】
次にステップＳ３４において、補正後の座標色データ（各色成分）を得る。補正値を求め、元データに加算する処理を行い、次のようになる。
SUB3_R(SX,SY)= SUB2_R(SX,SY) + RH(SUB2_R(SX,SY))
SUB3_G(SX,SY)= SUB2_G(SX,SY) + GH(SUB2_G(SX,SY))
SUB3_B(SX,SY)= SUB2_B(SX,SY) + BH(SUB2_B(SX,SY))
【００８４】
ステップＳ３５において、補正後の座標の色データを得る処理を行い、次のようになる。
SUB3_RGB(SX,SY)=SUB2_R(SX,SY)*2^16 + SUB2_G(SX,SY)*2^8 + SUB2_B(SX,SY)
【００８５】
ＳＸ＝ＳＸ＋１として（ステップＳ３６）、Ｘ方向の画素の処理を終了したか、すなわちＳＸ＝ＷＸかどうかを確認し（ステップＳ３７）、ＮＯであれば、ステップＳ３３に戻る。ＹＥＳであれば、ステップＳ３８に進む。
【００８６】
同様に、ＳＹ＝ＳＹ＋１として（ステップＳ３８）、Ｙ方向の画素の処理を終了したか、すなわちＳＹ＝ＷＹかどうかを確認し（ステップＳ３９）、ＮＯであれば、ステップＳ３２に戻る。ＹＥＳであれば、処理を終了する。
【００８７】
このように、メインカメラとサブカメラを回転などして同一方向に配置し、前記カメラ間の距離を視差とする構造を有するので、特に新たなカメラを追加することもなく、もともと携帯端末に備わっているカメラで視差を有する立体画像を撮影することができる。
【００８８】
また、同一方向検出部によりメインカメラとサブカメラが同一方向を向いたことを検出したときにのみ、立体撮影モードとする、あるいは利用者に表示部により報知するので、利用者が立体撮影モードでは無いときに誤って撮影することを防ぐことができる。
【００８９】
また、立体撮影モードの時は、筐体表裏のメイン画面とサブ画面のいずれかの表示部をファインダーとして使用することにより、いずれかの画面を利用できるので、メインカメラとサブカメラが同一方向を向く立体撮影においても、利用者は必ずファインダーを利用できる。
【００９０】
また、水平検出部の検出によりメインカメラとサブカメラが立体撮影可能な水平状態になければ、立体撮影を禁止する、あるいは立体撮影できないことを利用者に報知するので、立体撮影できない状態にときに、利用者が誤って撮影することがない。
【００９１】
また、メインカメラで撮影した画像を、サブカメラで撮影した画像の特性に合わせるので、特性が異なる画像を使用することがなく、違和感のない立体画像を取得することができる。
【００９２】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。
【符号の説明】
【００９３】
１０，３０，５０，１００ 携帯端末
１１，３１，５１ 上筐体
１２，３２，５２ 下筐体
１３，３３，５３，１５０ 表示部（メイン画面）
１４，３４，５４，１５１ 表示部（サブ画面）
１５，１６，３５ 回転ヒンジ
１７，３６，５７，１１０ メインカメラ（主撮像部）
１８，３７，５８，１１１ サブカメラ（副撮像部）
１９ａ 磁石
１９ｂ 磁気センサ
２０ 加速度センサ
１１２，１１３ イメージセンサ
１２０ 同一方向検出部
１２１ 水平検出部
１３０ 処理部
１３５ 画像データ処理部
１３６ ＣＰＵ
【特許請求の範囲】
【請求項１】
筐体に正面撮影用の主撮像部と自分撮影用の副撮像部とを備えた立体撮影装置において、
前記主撮像部と前記副撮像部を同一方向に配置して前記撮像部間の距離を視差とする同方向配置構造を有し、
前記主撮像部による撮影画像と、前記副撮像部による撮影画像とを立体画像とすることを特徴とする立体撮影装置。
【請求項２】
前記筐体が二つからなり、それぞれに前記主撮像部と前記副撮像部のいずれかを備え、
前記同方向配置構造は、前記筐体の少なくともいずれかに、前記主撮像部と前記副撮像部とを同一方向に配置する回転機構を備える構造であることを特徴とする請求項１に記載の立体撮影装置。
【請求項３】
前記同方向配置構造は、前記主撮像部と前記副撮像部の少なくともいずれかに、同一方向に配置できる回転機構を備える構造であることを特徴とする請求項１に記載の立体撮影装置。
【請求項４】
前記主撮像部と前記副撮像部が同一方向を向いていることを検出する同一方向検出部を備え、
前記主撮像部と前記副撮像部が同一方向を向いたことを検出したときにのみ、立体撮影モードとすることを特徴とする請求項１から３のいずれか一項に記載の立体撮影装置。
【請求項５】
主画面を備えた主表示部と、副画面を備えた副表示部を筐体の表裏に備え、
立体撮影モードの時は、いずれかの表示部をファインダーとして使用することを特徴とする請求項４に記載の立体撮影装置。
【請求項６】
立体撮影モードのときに主撮像部と副撮像部が立体撮影に適する水平状態にあることを検出する水平検出部を備え、
立体撮影可能な水平状態になければ、立体撮影を禁止することを特徴とする請求項４または５に記載の立体撮影装置。
【請求項７】
前記主撮影部で撮影した画像を、前記副撮影部で撮影した画像の特性に合わせる画像処理手段を備えたことを特徴とする請求項１から６のいずれか一項に記載の立体撮影装置立体撮影装置。
【請求項８】
請求項１から７のいずれか一項に記載の立体撮影装置を備えたことを特徴とする携帯端末装置。
【請求項１】
筐体に正面撮影用の主撮像部と自分撮影用の副撮像部とを備えた立体撮影装置において、
前記主撮像部と前記副撮像部を同一方向に配置して前記撮像部間の距離を視差とする同方向配置構造を有し、
前記主撮像部による撮影画像と、前記副撮像部による撮影画像とを立体画像とすることを特徴とする立体撮影装置。
【請求項２】
前記筐体が二つからなり、それぞれに前記主撮像部と前記副撮像部のいずれかを備え、
前記同方向配置構造は、前記筐体の少なくともいずれかに、前記主撮像部と前記副撮像部とを同一方向に配置する回転機構を備える構造であることを特徴とする請求項１に記載の立体撮影装置。
【請求項３】
前記同方向配置構造は、前記主撮像部と前記副撮像部の少なくともいずれかに、同一方向に配置できる回転機構を備える構造であることを特徴とする請求項１に記載の立体撮影装置。
【請求項４】
前記主撮像部と前記副撮像部が同一方向を向いていることを検出する同一方向検出部を備え、
前記主撮像部と前記副撮像部が同一方向を向いたことを検出したときにのみ、立体撮影モードとすることを特徴とする請求項１から３のいずれか一項に記載の立体撮影装置。
【請求項５】
主画面を備えた主表示部と、副画面を備えた副表示部を筐体の表裏に備え、
立体撮影モードの時は、いずれかの表示部をファインダーとして使用することを特徴とする請求項４に記載の立体撮影装置。
【請求項６】
立体撮影モードのときに主撮像部と副撮像部が立体撮影に適する水平状態にあることを検出する水平検出部を備え、
立体撮影可能な水平状態になければ、立体撮影を禁止することを特徴とする請求項４または５に記載の立体撮影装置。
【請求項７】
前記主撮影部で撮影した画像を、前記副撮影部で撮影した画像の特性に合わせる画像処理手段を備えたことを特徴とする請求項１から６のいずれか一項に記載の立体撮影装置立体撮影装置。
【請求項８】
請求項１から７のいずれか一項に記載の立体撮影装置を備えたことを特徴とする携帯端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１３−１１３８７７（Ｐ２０１３−１１３８７７Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２５７２７３（Ｐ２０１１−２５７２７３）
【出願日】平成２３年１１月２５日（２０１１．１１．２５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２５日（２０１１．１１．２５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]