画像処理装置
【課題】 ディスプレイと使用者との距離に応じて、ディスプレイへ表示する撮像画像の範囲を変化させることのできる画像処理装置を提供する。
【解決手段】 実施形態の画像処理装置は、ディスプレイ１と、ディスプレイ１の背面中央に設置され、ディスプレイ１の後方を撮影する背面カメラ２とを備える。使用者距離測定部３が、ディスプレイ１と使用者との距離を測定し、被写体距離測定部４が、背面カメラ２と被写体との距離を測定し、ディスプレイ投影範囲算出部５が、使用者距離測定部３および被写体距離測定部４の測定結果にもとづいて、使用者から見て被写体上に投影されるディスプレイ１の外形範囲をディスプレイ投影範囲として算出する。画像データ抽出部６が、背面カメラ２の撮像データからディスプレイ投影範囲の画像データを抽出し、表示部７が、画像データ抽出部６により抽出された画像データをディスプレイ１へ表示する。
【解決手段】 実施形態の画像処理装置は、ディスプレイ１と、ディスプレイ１の背面中央に設置され、ディスプレイ１の後方を撮影する背面カメラ２とを備える。使用者距離測定部３が、ディスプレイ１と使用者との距離を測定し、被写体距離測定部４が、背面カメラ２と被写体との距離を測定し、ディスプレイ投影範囲算出部５が、使用者距離測定部３および被写体距離測定部４の測定結果にもとづいて、使用者から見て被写体上に投影されるディスプレイ１の外形範囲をディスプレイ投影範囲として算出する。画像データ抽出部６が、背面カメラ２の撮像データからディスプレイ投影範囲の画像データを抽出し、表示部７が、画像データ抽出部６により抽出された画像データをディスプレイ１へ表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置に関する。
【背景技術】
【０００２】
近年、スマートフォンなどの高機能な携帯電話には、ＧＰＳに加えて、３軸磁気センサおよび３軸加速度センサが搭載されるようになり、自端末の位置のみならず、自端末の向きも検出できるようになっている。
【０００３】
そこで、これらの機能を利用した拡張現実（Augmented Reality：ＡＲ）への応用が実用化されてきている。拡張現実とは、カメラで撮影した現実の画像に、テキストや画像などの電子情報を重ね合わせて表示する技術である。
【０００４】
拡張現実への応用の例としては、例えば街頭で携帯端末のカメラをかざすと、カメラの撮影位置および撮影方向が判別され、撮影範囲内の建築物などに関する情報が情報センターから通信回線経由で自端末へ送られ、その情報が、撮影画像に重ね合わせて自端末のディスプレイ上に表示される例、などがある。
【０００５】
ところで、このような例の場合、ディスプレイと使用者との距離により、使用者の視野に占めるディスプレイの見かけの大きさが変わる。すなわち、ディスプレイと使用者との間が近い場合は使用者の視野に占めるディスプレイの面積は大きく、ディスプレイと使用者との間が遠い場合は使用者の視野に占めるディスプレイの面積は小さくなる。
【０００６】
したがって、ディスプレイを仮想的な透過型ディスプレイと使用者に体感させるためには、ディスプレイと使用者との距離に応じて、ディスプレイに表示される画像の範囲を変化させる必要がある。
【０００７】
しかし、従来の画像処理装置では、カメラで撮像している映像をそのまま表示するだけで、ディスプレイと使用者との距離に応じて表示画像の範囲を変化させることは行われていない。また、拡張現実の表示において、拡張現実の大きさを決定するのにも、ディスプレイと使用者との距離情報は必須である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−２３８０９６号公報
【特許文献２】特開２０００−２７６６１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
そこで、本発明が解決しようとする課題は、ディスプレイと使用者との距離に応じて、ディスプレイへ表示する撮像画像の範囲を変化させることのできる画像処理装置を提供することにある。
【課題を解決するための手段】
【００１０】
実施形態の画像処理装置は、ディスプレイと、前記ディスプレイの背面中央に設置され、前記ディスプレイの後方の被写体を撮影する背面カメラとを備える。この画像処理装置は、使用者距離測定部が、前記ディスプレイと使用者との距離を測定し、被写体距離測定部が、前記背面カメラと前記被写体との距離を測定し、ディスプレイ投影範囲算出部が、前記使用者距離測定部および前記被写体距離測定部の測定結果にもとづいて、前記使用者が前記ディスプレイを見たときに前記被写体上に投影される前記ディスプレイの外形範囲をディスプレイ投影範囲として算出する。この画像処理装置は、画像データ抽出部が、前記背面カメラによる前記被写体の撮像データから前記ディスプレイ投影範囲の画像データを抽出し、表示部が、前記画像データ抽出部により抽出された画像データを前記ディスプレイへ表示する。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態に係る画像処理装置の構成の例を示すブロック図。
【図２】本発明の第１の実施形態に係る画像処理装置を搭載する携帯機器の模式的外観図。
【図３】使用者との距離によって変化するディスプレイの見かけの大きさの違いを示す図。
【図４】第１の実施形態の画像処理装置における、被写体上のディスプレイの投影範囲と背面カメラの撮影範囲の関係を示す図。
【図５】第１の実施形態の画像処理装置における、背面カメラの撮像データと画像データ抽出部により抽出される画像データの領域の関係を示す図。
【図６】画像データ抽出部により抽出された画像データの表示例を示す図。
【図７】拡張現実に応用されたときの表示例を示す図。
【図８】本発明の第２の実施形態に係る画像処理装置の構成の例を示すブロック図。
【図９】第２の実施形態の画像処理装置における、被写体上のディスプレイの投影範囲と背面カメラの撮影範囲の関係を示す図。
【図１０】第２の実施形態の画像処理装置における、背面カメラの撮像データと画像データ抽出部により抽出される画像データの領域の関係を示す図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について図面を参照して説明する。なお、図中、同一または相当部分には同一の符号を付して、その説明は繰り返さない。
【００１３】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置の構成の例を示すブロック図である。
【００１４】
本実施形態の画像処理装置は、ディスプレイ１と、ディスプレイ１の背面中央に設置され、ディスプレイ１の後方の被写体を撮影する背面カメラ２と、ディスプレイ１と使用者との距離を測定する使用者距離測定部３と、背面カメラ２と被写体との距離を測定する被写体距離測定部４と、使用者距離測定部３および被写体距離測定部４の測定結果にもとづいて、使用者がディスプレイ１を見たときに被写体上に投影されるディスプレイ１の外形範囲をディスプレイ投影範囲として算出するディスプレイ投影範囲算出部５と、背面カメラ２による被写体の撮像データからディスプレイ投影範囲の画像データを抽出する画像データ抽出部６と、画像データ抽出部６により抽出された画像データをディスプレイ１へ表示する表示部７と、を備える。
【００１５】
使用者距離測定部３は、ディスプレイ１の表示面側に設置された前面カメラ３１と、前面カメラ３１の撮影範囲に対する使用者の顔画像面積の比率にもとづいてディスプレイ１と使用者との距離を算出する距離算出部３２と、を有する。
【００１６】
図２に、本実施形態の画像処理装置を搭載する携帯機器の模式的外観図を示す。図２（ａ）は、その表示面１１側の外観であり、図２（ｂ）は、表示面１１の背面側の外観である。
【００１７】
図２（ａ）に示すように、前面カメラ３１は表示面１１と同じ側に配置される。また、図２（ｂ）に示すように、背面カメラ２はディスプレイ１の背面中央に設置される。
【００１８】
図２に示すような外形の携帯機器をかざして現実空間を見た場合、使用者に見えるディスプレイ１の見かけの大きさは、ディスプレイ１と使用者との距離によって変化する。
【００１９】
図３に、使用者との距離によって変化するディスプレイの見かけの大きさの違いを示す。１Ａは使用者との距離が近いときのディスプレイ１の見かけの大きさであり、１Ｂは使用者との距離が近いときのディスプレイ１の見かけの大きさである。使用者との距離が近いと、ディスプレイ１の見かけの大きさは大きくなり、使用者との距離が遠いほど、ディスプレイ１の見かけの大きさは小さくなる。
【００２０】
本実施形態の画像処理装置は、このディスプレイ１の見かけの大きさにより隠される現実空間の画像をディスプレイ１へ表示し、あたかもディスプレイ１を透過して現実空間が見えているようにすることを実現するものである。
【００２１】
ここで、ディスプレイ１の見かけの大きさは、被写体に投影されるディスプレイ１の外形像とみることができる。被写体に投影されるディスプレイ１の投影範囲は、使用者から被写体までの距離と使用者からディスプレイ１までの距離との比によって表される。
【００２２】
すなわち、ディスプレイ１の外形寸法をＨ、使用者から被写体までの距離をＤ、使用者からディスプレイ１までの距離をｄ１と表すと、被写体に投影されるディスプレイ１の投影範囲ｈは、
ｈ＝Ｄ／ｄ１・Ｈ ・・・（１）
と表される。
【００２３】
ここで、本実施形態では、ディスプレイ１と背面カメラ２が一体に形成されているため、背面カメラ２から被写体までのｄ２と表すと、距離を使用者から被写体までの距離Ｄは、
Ｄ＝ｄ１＋ｄ２
と表される。したがって、式（１）は、
ｈ＝（ｄ１＋ｄ２）／ｄ１・Ｈ ・・・（２）
と表される。
【００２４】
そこで、ディスプレイ投影範囲算出部５は、使用者距離測定部３により測定されたｄ１と、被写体距離測定部４により測定されたｄ２を用いて、式（２）により、被写体に投影されるディスプレイ１の投影範囲ｈを求める。
【００２５】
図４に、使用者とディスプレイ１との距離ｄ１の違いによるディスプレイ１の投影範囲ｈの違いを示す。
【００２６】
図４（ａ）は、使用者とディスプレイ１との距離がｄ１１であるときの投影範囲ｈ１を示す。このとき、背面カメラ２から被写体までの距離をｄ２１とすると、
ｈ１＝（ｄ１１＋ｄ２１）／ｄ１１・Ｈ ・・・（３）
と表される。
【００２７】
一方、図４（ｂ）は、使用者とディスプレイ１との距離がｄ１２（ｄ１２＞ｄ１１）であるときの投影範囲ｈ２を示す。このとき、背面カメラ２から被写体までの距離をｄ２２とすると、
ｈ２＝（ｄ１２＋ｄ２２）／ｄ１２・Ｈ ・・・（４）
と表される。
【００２８】
ここで、使用者から被写体までの距離Ｄは変わらず、
ｄ１１＋ｄ２１＝ｄ１２＋ｄ２２であるので、ディスプレイ１の投影範囲は、
ｈ１＞ｈ２
となる。
【００２９】
また、図４には、背面カメラ２から被写体までの距離の違いによる背面カメラ２の撮影範囲の違いも、併せて示す。
【００３０】
背面カメラ２の撮影範囲ｐは、背面カメラ２の画角をθとすると、背面カメラ２と被写体との距離ｄ２により、
ｐ＝２・ｔａｎ（θ／２）・ｄ２ ・・・（５）
と表される。
【００３１】
したがって、図４（ａ）に示す、背面カメラ２と被写体との距離がｄ２１の場合、背面カメラ２の撮影範囲ｐ１は、
ｐ１＝２・ｔａｎ（θ／２）・ｄ２１ ・・・（６）
と求められる。
【００３２】
また、図４（ｂ）に示す、背面カメラ２と被写体との距離がｄ２２の場合、背面カメラ２の撮影範囲ｐ２は、
ｐ２＝２・ｔａｎ（θ／２）・ｄ２２ ・・・（７）
と求められる。
【００３３】
標準的な画角の場合、背面カメラ２の撮影範囲ｐは、ディスプレイ１の投影範囲ｈよりも広い。すなわち、ｐ１＞ｈ１であり、ｐ２＞ｈ２である。
【００３４】
また、背面カメラ２がディスプレイ１の背面中央に設置されているため、背面カメラ２の撮影範囲ｐの中心位置とディスプレイ１の投影範囲ｈの中心位置は一致する。
【００３５】
この撮影範囲ｐの被写体の画像が、背面カメラ２の撮像データとなる。そこで、画像データ抽出部６は、背面カメラ２の撮像データから、撮影範囲ｐとディスプレイ１の投影範囲ｈの比率に応じて、画像データを抽出する。この抽出された画像が、ディスプレイ１の投影範囲の画像データとなる。
【００３６】
図５に、背面カメラ２の撮像データＰＤと画像データ抽出部６により抽出される画像データ領域の関係を示す。
【００３７】
図５（ａ）は、図４（ａ）に示したディスプレイ１の位置における、撮像データＰＤと抽出領域Ｒ１の関係を示す。この場合、ｈ１とｐ１の比に応じて、撮像データＰＤの中央部分の領域が抽出され、抽出領域Ｒ１となる。
【００３８】
図５（ｂ）は、図４（ｂ）に示したディスプレイ１の位置における、撮像データＰＤと抽出領域Ｒ２の関係を示す。この場合、ｈ２とｐ２の比に応じて、撮像データＰＤの中央部分の領域が抽出され、抽出領域Ｒ２となる。
【００３９】
表示部７は、画像データ抽出部６により抽出された画像データをディスプレイ１の表示面１１へ表示する。
【００４０】
図６に、表示面１１に表示される画像の例を示す。図６では、ディスプレイ１と使用者との距離が、図３に示す見かけの大きさとなる距離であるときの、表示画像の例を示す。
【００４１】
図６（ａ）は、ディスプレイ１の見かけの大きさが１Ａとなる距離における表示画像の例である。また、図６（ｂ）は、ディスプレイ１の見かけの大きさが１Ｂとなる距離における表示画像の例である。
【００４２】
図７は、本実施形態の画像処理装置を搭載する携帯機器が拡張現実に応用されたときの表示例を示す。
【００４３】
図７（ａ）は、図６（ａ）に示した表示に対する拡張現実の表示例である。この場合、表示される対象物が、あたかもディスプレイ１を透過したかのように見えるとともに、表示された対象物に対する電子情報ｃ１、ｃ２、ｃ３が、それぞれの対象物の近くに表示される。
【００４４】
また、図７（ｂ）は、図６（ｂ）に示した表示に対する拡張現実の表示例である。この場合、図７（ａ）に比較して、ディスプレイ１に表示される対象物が限定されるので、その限定された対象物に対する電子情報ｃ４のみが表示される。これにより、使用者は、この携帯機器を、あたかもポインティング・デバイスのように使用することができる。すなわち、情報を得たい対象物に向けて、この携帯機器を指し伸ばすだけで、その対象物に関する電子情報を得ることができる。
【００４５】
このような本実施形態によれば、ディスプレイと使用者との距離に応じて変化するディスプレイの見かけの大きさに応じて、背面カメラの撮像データから抽出する画像データの領域を変化させるので、ディスプレイと使用者との距離が変化しても、常に、現実空間との一体感がある撮像画像をディスプレイに表示することができる。
【００４６】
（第２の実施形態）
第１の実施形態では、画像データ抽出部６により抽出された画像が拡大されて、表示部１１に表示される。この拡大処理のため、表示部１１に表示される画像の画質は低下する。そこで、本実施形態では、表示画像の画質低下を防止することのできる画像処理装置の例を示す。
【００４７】
図８は、本発明の第２の実施形態に係る画像処理装置の構成の例を示すブロック図である。
【００４８】
本実施形態の画像処理装置は、図１に示した第１の実施形態の画像処理装置に、画角調整部８を追加したものである。
【００４９】
画角調整部８は、被写体に投影されるディスプレイ１の投影範囲が、背面カメラ２の撮影範囲となるように、背面カメラ２の画角を調整する。この画角の調整は、例えば背面カメラ２に搭載されるズーム機構を利用して実行される。すなわち、ズーム機構でレンズの焦点距離を変化させることにより、背面カメラ２の画角は調整される。
【００５０】
図９に、画角調整部８による背面カメラ２の画角の調整の例を示す。
【００５１】
図９（ａ）に示すように、背面カメラ２から被写体までの距離がｄ２１で、ディスプレイ１の投影範囲がｈ１であるときは、画角調整部８は、投影範囲ｈ１が背面カメラ２の撮影範囲ｐ１１となるよう、背面カメラ２の画角をθ１に調整する。
【００５２】
このときの画角θ１は、
θ１＝２・ｔａｎ−１（（ｈ１／２）／ｄ２１） ・・・（８）
と調整される。
【００５３】
また、図９（ｂ）に示すように、背面カメラ２から被写体までの距離がｄ２２で、ディスプレイ１の投影範囲がｈ２であるときは、画角調整部８は、投影範囲ｈ２が背面カメラ２の撮影範囲ｐ２１となるよう、背面カメラ２の画角をθ２に調整する。
【００５４】
このときの画角θ２は、
θ２＝２・ｔａｎ−１（（ｈ２／２）／ｄ２２） ・・・（９）
と調整される。
【００５５】
図１０に、本実施形態における、背面カメラ２の撮像データＰＤと画像データ抽出部６により抽出される画像データ領域の関係を示す。本実施形態では、背面カメラ２の撮像データＰＤが、背面カメラ２の撮影範囲の画像データとなる。
【００５６】
すなわち、図１０（ａ）に示す、撮影範囲がＰ１１の場合に画像データ抽出部６により抽出される画像データの抽出領域Ｒ１も、図１０（ｂ）に示す、撮影範囲がＰ２１の場合に画像データ抽出部６により抽出される画像データの抽出領域Ｒ２も、抽出領域はどちらも撮像データＰＤの全領域となる。
【００５７】
したがって、本実施形態では、表示部７により表示面１１へ表示される画像は、いつも背面カメラ２の撮像データＰＤそのものとなる。
【００５８】
すなわち、このような本実施形態では、表示部７への表示の際に画像データの拡大処理が行われないため、表示画像の画質の低下を防止することができる。
【００５９】
なお、上述の各実施形態では、使用者距離測定部３として、前面カメラ３１および距離測定部３２を用いる例を示したが、使用者距離測定部３を、赤外線あるいは超音波の反射を利用して距離を測定する距離センサとするようにしてもよい。また、ステレオ視差画像を使って距離センサとするようにしてもよい。
【００６０】
同様に、被写体距離測定部４として、距離センサを用いるようにしてもよい。
【００６１】
以上説明した少なくとも１つの実施形態の画像処理装置によれば、ディスプレイと使用者との距離に応じて、ディスプレイへ表示する撮像画像の範囲を変化させることができる。
【００６２】
また、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６３】
１ ディスプレイ
２ 背面カメラ
３ 使用者距離測定部
４ 被写体距離測定部
５ ディスプレイ投影範囲算出部
６ 画像データ抽出部
７ 表示部
８ 画角調整部
１１ 表示面
３１ 前面カメラ
３２ 距離算出部
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置に関する。
【背景技術】
【０００２】
近年、スマートフォンなどの高機能な携帯電話には、ＧＰＳに加えて、３軸磁気センサおよび３軸加速度センサが搭載されるようになり、自端末の位置のみならず、自端末の向きも検出できるようになっている。
【０００３】
そこで、これらの機能を利用した拡張現実（Augmented Reality：ＡＲ）への応用が実用化されてきている。拡張現実とは、カメラで撮影した現実の画像に、テキストや画像などの電子情報を重ね合わせて表示する技術である。
【０００４】
拡張現実への応用の例としては、例えば街頭で携帯端末のカメラをかざすと、カメラの撮影位置および撮影方向が判別され、撮影範囲内の建築物などに関する情報が情報センターから通信回線経由で自端末へ送られ、その情報が、撮影画像に重ね合わせて自端末のディスプレイ上に表示される例、などがある。
【０００５】
ところで、このような例の場合、ディスプレイと使用者との距離により、使用者の視野に占めるディスプレイの見かけの大きさが変わる。すなわち、ディスプレイと使用者との間が近い場合は使用者の視野に占めるディスプレイの面積は大きく、ディスプレイと使用者との間が遠い場合は使用者の視野に占めるディスプレイの面積は小さくなる。
【０００６】
したがって、ディスプレイを仮想的な透過型ディスプレイと使用者に体感させるためには、ディスプレイと使用者との距離に応じて、ディスプレイに表示される画像の範囲を変化させる必要がある。
【０００７】
しかし、従来の画像処理装置では、カメラで撮像している映像をそのまま表示するだけで、ディスプレイと使用者との距離に応じて表示画像の範囲を変化させることは行われていない。また、拡張現実の表示において、拡張現実の大きさを決定するのにも、ディスプレイと使用者との距離情報は必須である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−２３８０９６号公報
【特許文献２】特開２０００−２７６６１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
そこで、本発明が解決しようとする課題は、ディスプレイと使用者との距離に応じて、ディスプレイへ表示する撮像画像の範囲を変化させることのできる画像処理装置を提供することにある。
【課題を解決するための手段】
【００１０】
実施形態の画像処理装置は、ディスプレイと、前記ディスプレイの背面中央に設置され、前記ディスプレイの後方の被写体を撮影する背面カメラとを備える。この画像処理装置は、使用者距離測定部が、前記ディスプレイと使用者との距離を測定し、被写体距離測定部が、前記背面カメラと前記被写体との距離を測定し、ディスプレイ投影範囲算出部が、前記使用者距離測定部および前記被写体距離測定部の測定結果にもとづいて、前記使用者が前記ディスプレイを見たときに前記被写体上に投影される前記ディスプレイの外形範囲をディスプレイ投影範囲として算出する。この画像処理装置は、画像データ抽出部が、前記背面カメラによる前記被写体の撮像データから前記ディスプレイ投影範囲の画像データを抽出し、表示部が、前記画像データ抽出部により抽出された画像データを前記ディスプレイへ表示する。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態に係る画像処理装置の構成の例を示すブロック図。
【図２】本発明の第１の実施形態に係る画像処理装置を搭載する携帯機器の模式的外観図。
【図３】使用者との距離によって変化するディスプレイの見かけの大きさの違いを示す図。
【図４】第１の実施形態の画像処理装置における、被写体上のディスプレイの投影範囲と背面カメラの撮影範囲の関係を示す図。
【図５】第１の実施形態の画像処理装置における、背面カメラの撮像データと画像データ抽出部により抽出される画像データの領域の関係を示す図。
【図６】画像データ抽出部により抽出された画像データの表示例を示す図。
【図７】拡張現実に応用されたときの表示例を示す図。
【図８】本発明の第２の実施形態に係る画像処理装置の構成の例を示すブロック図。
【図９】第２の実施形態の画像処理装置における、被写体上のディスプレイの投影範囲と背面カメラの撮影範囲の関係を示す図。
【図１０】第２の実施形態の画像処理装置における、背面カメラの撮像データと画像データ抽出部により抽出される画像データの領域の関係を示す図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について図面を参照して説明する。なお、図中、同一または相当部分には同一の符号を付して、その説明は繰り返さない。
【００１３】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置の構成の例を示すブロック図である。
【００１４】
本実施形態の画像処理装置は、ディスプレイ１と、ディスプレイ１の背面中央に設置され、ディスプレイ１の後方の被写体を撮影する背面カメラ２と、ディスプレイ１と使用者との距離を測定する使用者距離測定部３と、背面カメラ２と被写体との距離を測定する被写体距離測定部４と、使用者距離測定部３および被写体距離測定部４の測定結果にもとづいて、使用者がディスプレイ１を見たときに被写体上に投影されるディスプレイ１の外形範囲をディスプレイ投影範囲として算出するディスプレイ投影範囲算出部５と、背面カメラ２による被写体の撮像データからディスプレイ投影範囲の画像データを抽出する画像データ抽出部６と、画像データ抽出部６により抽出された画像データをディスプレイ１へ表示する表示部７と、を備える。
【００１５】
使用者距離測定部３は、ディスプレイ１の表示面側に設置された前面カメラ３１と、前面カメラ３１の撮影範囲に対する使用者の顔画像面積の比率にもとづいてディスプレイ１と使用者との距離を算出する距離算出部３２と、を有する。
【００１６】
図２に、本実施形態の画像処理装置を搭載する携帯機器の模式的外観図を示す。図２（ａ）は、その表示面１１側の外観であり、図２（ｂ）は、表示面１１の背面側の外観である。
【００１７】
図２（ａ）に示すように、前面カメラ３１は表示面１１と同じ側に配置される。また、図２（ｂ）に示すように、背面カメラ２はディスプレイ１の背面中央に設置される。
【００１８】
図２に示すような外形の携帯機器をかざして現実空間を見た場合、使用者に見えるディスプレイ１の見かけの大きさは、ディスプレイ１と使用者との距離によって変化する。
【００１９】
図３に、使用者との距離によって変化するディスプレイの見かけの大きさの違いを示す。１Ａは使用者との距離が近いときのディスプレイ１の見かけの大きさであり、１Ｂは使用者との距離が近いときのディスプレイ１の見かけの大きさである。使用者との距離が近いと、ディスプレイ１の見かけの大きさは大きくなり、使用者との距離が遠いほど、ディスプレイ１の見かけの大きさは小さくなる。
【００２０】
本実施形態の画像処理装置は、このディスプレイ１の見かけの大きさにより隠される現実空間の画像をディスプレイ１へ表示し、あたかもディスプレイ１を透過して現実空間が見えているようにすることを実現するものである。
【００２１】
ここで、ディスプレイ１の見かけの大きさは、被写体に投影されるディスプレイ１の外形像とみることができる。被写体に投影されるディスプレイ１の投影範囲は、使用者から被写体までの距離と使用者からディスプレイ１までの距離との比によって表される。
【００２２】
すなわち、ディスプレイ１の外形寸法をＨ、使用者から被写体までの距離をＤ、使用者からディスプレイ１までの距離をｄ１と表すと、被写体に投影されるディスプレイ１の投影範囲ｈは、
ｈ＝Ｄ／ｄ１・Ｈ ・・・（１）
と表される。
【００２３】
ここで、本実施形態では、ディスプレイ１と背面カメラ２が一体に形成されているため、背面カメラ２から被写体までのｄ２と表すと、距離を使用者から被写体までの距離Ｄは、
Ｄ＝ｄ１＋ｄ２
と表される。したがって、式（１）は、
ｈ＝（ｄ１＋ｄ２）／ｄ１・Ｈ ・・・（２）
と表される。
【００２４】
そこで、ディスプレイ投影範囲算出部５は、使用者距離測定部３により測定されたｄ１と、被写体距離測定部４により測定されたｄ２を用いて、式（２）により、被写体に投影されるディスプレイ１の投影範囲ｈを求める。
【００２５】
図４に、使用者とディスプレイ１との距離ｄ１の違いによるディスプレイ１の投影範囲ｈの違いを示す。
【００２６】
図４（ａ）は、使用者とディスプレイ１との距離がｄ１１であるときの投影範囲ｈ１を示す。このとき、背面カメラ２から被写体までの距離をｄ２１とすると、
ｈ１＝（ｄ１１＋ｄ２１）／ｄ１１・Ｈ ・・・（３）
と表される。
【００２７】
一方、図４（ｂ）は、使用者とディスプレイ１との距離がｄ１２（ｄ１２＞ｄ１１）であるときの投影範囲ｈ２を示す。このとき、背面カメラ２から被写体までの距離をｄ２２とすると、
ｈ２＝（ｄ１２＋ｄ２２）／ｄ１２・Ｈ ・・・（４）
と表される。
【００２８】
ここで、使用者から被写体までの距離Ｄは変わらず、
ｄ１１＋ｄ２１＝ｄ１２＋ｄ２２であるので、ディスプレイ１の投影範囲は、
ｈ１＞ｈ２
となる。
【００２９】
また、図４には、背面カメラ２から被写体までの距離の違いによる背面カメラ２の撮影範囲の違いも、併せて示す。
【００３０】
背面カメラ２の撮影範囲ｐは、背面カメラ２の画角をθとすると、背面カメラ２と被写体との距離ｄ２により、
ｐ＝２・ｔａｎ（θ／２）・ｄ２ ・・・（５）
と表される。
【００３１】
したがって、図４（ａ）に示す、背面カメラ２と被写体との距離がｄ２１の場合、背面カメラ２の撮影範囲ｐ１は、
ｐ１＝２・ｔａｎ（θ／２）・ｄ２１ ・・・（６）
と求められる。
【００３２】
また、図４（ｂ）に示す、背面カメラ２と被写体との距離がｄ２２の場合、背面カメラ２の撮影範囲ｐ２は、
ｐ２＝２・ｔａｎ（θ／２）・ｄ２２ ・・・（７）
と求められる。
【００３３】
標準的な画角の場合、背面カメラ２の撮影範囲ｐは、ディスプレイ１の投影範囲ｈよりも広い。すなわち、ｐ１＞ｈ１であり、ｐ２＞ｈ２である。
【００３４】
また、背面カメラ２がディスプレイ１の背面中央に設置されているため、背面カメラ２の撮影範囲ｐの中心位置とディスプレイ１の投影範囲ｈの中心位置は一致する。
【００３５】
この撮影範囲ｐの被写体の画像が、背面カメラ２の撮像データとなる。そこで、画像データ抽出部６は、背面カメラ２の撮像データから、撮影範囲ｐとディスプレイ１の投影範囲ｈの比率に応じて、画像データを抽出する。この抽出された画像が、ディスプレイ１の投影範囲の画像データとなる。
【００３６】
図５に、背面カメラ２の撮像データＰＤと画像データ抽出部６により抽出される画像データ領域の関係を示す。
【００３７】
図５（ａ）は、図４（ａ）に示したディスプレイ１の位置における、撮像データＰＤと抽出領域Ｒ１の関係を示す。この場合、ｈ１とｐ１の比に応じて、撮像データＰＤの中央部分の領域が抽出され、抽出領域Ｒ１となる。
【００３８】
図５（ｂ）は、図４（ｂ）に示したディスプレイ１の位置における、撮像データＰＤと抽出領域Ｒ２の関係を示す。この場合、ｈ２とｐ２の比に応じて、撮像データＰＤの中央部分の領域が抽出され、抽出領域Ｒ２となる。
【００３９】
表示部７は、画像データ抽出部６により抽出された画像データをディスプレイ１の表示面１１へ表示する。
【００４０】
図６に、表示面１１に表示される画像の例を示す。図６では、ディスプレイ１と使用者との距離が、図３に示す見かけの大きさとなる距離であるときの、表示画像の例を示す。
【００４１】
図６（ａ）は、ディスプレイ１の見かけの大きさが１Ａとなる距離における表示画像の例である。また、図６（ｂ）は、ディスプレイ１の見かけの大きさが１Ｂとなる距離における表示画像の例である。
【００４２】
図７は、本実施形態の画像処理装置を搭載する携帯機器が拡張現実に応用されたときの表示例を示す。
【００４３】
図７（ａ）は、図６（ａ）に示した表示に対する拡張現実の表示例である。この場合、表示される対象物が、あたかもディスプレイ１を透過したかのように見えるとともに、表示された対象物に対する電子情報ｃ１、ｃ２、ｃ３が、それぞれの対象物の近くに表示される。
【００４４】
また、図７（ｂ）は、図６（ｂ）に示した表示に対する拡張現実の表示例である。この場合、図７（ａ）に比較して、ディスプレイ１に表示される対象物が限定されるので、その限定された対象物に対する電子情報ｃ４のみが表示される。これにより、使用者は、この携帯機器を、あたかもポインティング・デバイスのように使用することができる。すなわち、情報を得たい対象物に向けて、この携帯機器を指し伸ばすだけで、その対象物に関する電子情報を得ることができる。
【００４５】
このような本実施形態によれば、ディスプレイと使用者との距離に応じて変化するディスプレイの見かけの大きさに応じて、背面カメラの撮像データから抽出する画像データの領域を変化させるので、ディスプレイと使用者との距離が変化しても、常に、現実空間との一体感がある撮像画像をディスプレイに表示することができる。
【００４６】
（第２の実施形態）
第１の実施形態では、画像データ抽出部６により抽出された画像が拡大されて、表示部１１に表示される。この拡大処理のため、表示部１１に表示される画像の画質は低下する。そこで、本実施形態では、表示画像の画質低下を防止することのできる画像処理装置の例を示す。
【００４７】
図８は、本発明の第２の実施形態に係る画像処理装置の構成の例を示すブロック図である。
【００４８】
本実施形態の画像処理装置は、図１に示した第１の実施形態の画像処理装置に、画角調整部８を追加したものである。
【００４９】
画角調整部８は、被写体に投影されるディスプレイ１の投影範囲が、背面カメラ２の撮影範囲となるように、背面カメラ２の画角を調整する。この画角の調整は、例えば背面カメラ２に搭載されるズーム機構を利用して実行される。すなわち、ズーム機構でレンズの焦点距離を変化させることにより、背面カメラ２の画角は調整される。
【００５０】
図９に、画角調整部８による背面カメラ２の画角の調整の例を示す。
【００５１】
図９（ａ）に示すように、背面カメラ２から被写体までの距離がｄ２１で、ディスプレイ１の投影範囲がｈ１であるときは、画角調整部８は、投影範囲ｈ１が背面カメラ２の撮影範囲ｐ１１となるよう、背面カメラ２の画角をθ１に調整する。
【００５２】
このときの画角θ１は、
θ１＝２・ｔａｎ−１（（ｈ１／２）／ｄ２１） ・・・（８）
と調整される。
【００５３】
また、図９（ｂ）に示すように、背面カメラ２から被写体までの距離がｄ２２で、ディスプレイ１の投影範囲がｈ２であるときは、画角調整部８は、投影範囲ｈ２が背面カメラ２の撮影範囲ｐ２１となるよう、背面カメラ２の画角をθ２に調整する。
【００５４】
このときの画角θ２は、
θ２＝２・ｔａｎ−１（（ｈ２／２）／ｄ２２） ・・・（９）
と調整される。
【００５５】
図１０に、本実施形態における、背面カメラ２の撮像データＰＤと画像データ抽出部６により抽出される画像データ領域の関係を示す。本実施形態では、背面カメラ２の撮像データＰＤが、背面カメラ２の撮影範囲の画像データとなる。
【００５６】
すなわち、図１０（ａ）に示す、撮影範囲がＰ１１の場合に画像データ抽出部６により抽出される画像データの抽出領域Ｒ１も、図１０（ｂ）に示す、撮影範囲がＰ２１の場合に画像データ抽出部６により抽出される画像データの抽出領域Ｒ２も、抽出領域はどちらも撮像データＰＤの全領域となる。
【００５７】
したがって、本実施形態では、表示部７により表示面１１へ表示される画像は、いつも背面カメラ２の撮像データＰＤそのものとなる。
【００５８】
すなわち、このような本実施形態では、表示部７への表示の際に画像データの拡大処理が行われないため、表示画像の画質の低下を防止することができる。
【００５９】
なお、上述の各実施形態では、使用者距離測定部３として、前面カメラ３１および距離測定部３２を用いる例を示したが、使用者距離測定部３を、赤外線あるいは超音波の反射を利用して距離を測定する距離センサとするようにしてもよい。また、ステレオ視差画像を使って距離センサとするようにしてもよい。
【００６０】
同様に、被写体距離測定部４として、距離センサを用いるようにしてもよい。
【００６１】
以上説明した少なくとも１つの実施形態の画像処理装置によれば、ディスプレイと使用者との距離に応じて、ディスプレイへ表示する撮像画像の範囲を変化させることができる。
【００６２】
また、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６３】
１ ディスプレイ
２ 背面カメラ
３ 使用者距離測定部
４ 被写体距離測定部
５ ディスプレイ投影範囲算出部
６ 画像データ抽出部
７ 表示部
８ 画角調整部
１１ 表示面
３１ 前面カメラ
３２ 距離算出部
【特許請求の範囲】
【請求項１】
ディスプレイと、
前記ディスプレイの背面中央に設置され、前記ディスプレイの後方の被写体を撮影する背面カメラと、
前記ディスプレイと使用者との距離を測定する使用者距離測定部と、
前記背面カメラと前記被写体との距離を測定する被写体距離測定部と、
前記使用者距離測定部および前記被写体距離測定部の測定結果にもとづいて、前記使用者が前記ディスプレイを見たときに前記被写体上に投影される前記ディスプレイの外形範囲をディスプレイ投影範囲として算出するディスプレイ投影範囲算出部と、
前記背面カメラによる前記被写体の撮像データから前記ディスプレイ投影範囲の画像データを抽出する画像データ抽出部と、
前記画像データ抽出部により抽出された画像データを前記ディスプレイへ表示する表示部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像データ抽出部が、
前記被写体距離測定部の測定結果および前記背面カメラの画角にもとづいて前記背面カメラの撮影範囲を算出し、前記撮影範囲内における前記ディスプレイ投影範囲の位置にもとづいて、前記抽出する画像データの領域を決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ディスプレイ投影範囲が撮影範囲となるように前記背面カメラの画角を調整する画角調整部をさらに有し、
前記画像データ抽出部が、
前記画角調整部により調整された画角で撮影された撮像データを総て抽出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１の使用者距離測定部が、
前記ディスプレイの表示面側に設置された前面カメラを有し、前記前面カメラの撮影範囲に対する前記使用者の顔画像面積の比率にもとづいて、前記ディスプレイと前記使用者との距離を算出する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記使用者距離測定部が、距離センサを有する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項６】
前記被写体距離測定部が、
前記カメラに搭載されたオートフォーカス手段のピント合わせ情報を利用して、前記カメラと前記被写体との距離を算出する
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記被写体距離測定部が、距離センサを有する
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項１】
ディスプレイと、
前記ディスプレイの背面中央に設置され、前記ディスプレイの後方の被写体を撮影する背面カメラと、
前記ディスプレイと使用者との距離を測定する使用者距離測定部と、
前記背面カメラと前記被写体との距離を測定する被写体距離測定部と、
前記使用者距離測定部および前記被写体距離測定部の測定結果にもとづいて、前記使用者が前記ディスプレイを見たときに前記被写体上に投影される前記ディスプレイの外形範囲をディスプレイ投影範囲として算出するディスプレイ投影範囲算出部と、
前記背面カメラによる前記被写体の撮像データから前記ディスプレイ投影範囲の画像データを抽出する画像データ抽出部と、
前記画像データ抽出部により抽出された画像データを前記ディスプレイへ表示する表示部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像データ抽出部が、
前記被写体距離測定部の測定結果および前記背面カメラの画角にもとづいて前記背面カメラの撮影範囲を算出し、前記撮影範囲内における前記ディスプレイ投影範囲の位置にもとづいて、前記抽出する画像データの領域を決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ディスプレイ投影範囲が撮影範囲となるように前記背面カメラの画角を調整する画角調整部をさらに有し、
前記画像データ抽出部が、
前記画角調整部により調整された画角で撮影された撮像データを総て抽出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１の使用者距離測定部が、
前記ディスプレイの表示面側に設置された前面カメラを有し、前記前面カメラの撮影範囲に対する前記使用者の顔画像面積の比率にもとづいて、前記ディスプレイと前記使用者との距離を算出する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記使用者距離測定部が、距離センサを有する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項６】
前記被写体距離測定部が、
前記カメラに搭載されたオートフォーカス手段のピント合わせ情報を利用して、前記カメラと前記被写体との距離を算出する
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記被写体距離測定部が、距離センサを有する
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−２０５６９（Ｐ２０１３−２０５６９Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１１−１５５４５２（Ｐ２０１１−１５５４５２）
【出願日】平成２３年７月１４日（２０１１．７．１４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２３年７月１４日（２０１１．７．１４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]