表示装置、表示制御方法、プログラム及び電子機器
【課題】 ハンドミラー利用時の被写体の目線ずれの修正をより違和感なく行う。
【解決手段】 表示部（２７）の表示画面の対向二辺に接近して配置され且ついずれも表示画面を見ている人物の顔を撮影可能な第一のカメラ（２９）と第二のカメラ（３０）を備えた表示装置（２０）において、第一のカメラで撮影したカメラ目線画像を登録する登録手段（３６ａ）と、第一のカメラ及び第二のカメラで撮影した非カメラ目線画像と登録済みのカメラ目線画像とに基づいて目線ずれ量を割り出す割り出し手段（３６ａ）と、割り出された目線ずれ量に基づいて非カメラ目線画像の目線を修正する修正手段（３６ａ）と、目線が修正された目線修正済み画像を表示部（２７）に表示する表示制御手段（３６ａ）とを備える。
【解決手段】 表示部（２７）の表示画面の対向二辺に接近して配置され且ついずれも表示画面を見ている人物の顔を撮影可能な第一のカメラ（２９）と第二のカメラ（３０）を備えた表示装置（２０）において、第一のカメラで撮影したカメラ目線画像を登録する登録手段（３６ａ）と、第一のカメラ及び第二のカメラで撮影した非カメラ目線画像と登録済みのカメラ目線画像とに基づいて目線ずれ量を割り出す割り出し手段（３６ａ）と、割り出された目線ずれ量に基づいて非カメラ目線画像の目線を修正する修正手段（３６ａ）と、目線が修正された目線修正済み画像を表示部（２７）に表示する表示制御手段（３６ａ）とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、表示制御方法、プログラム及び電子機器に関し、詳細には、画面を見ている人の顔を表示することができる表示装置、表示制御方法、プログラム及び電子機器に関する。
【背景技術】
【０００２】
カメラ付の電子機器、たとえば、カメラ付携帯電話機におけるカメラの位置は、一般的にデジタルカメラの構成に倣って表示装置の背面側とされている。すなわち、被写体にカメラを向けた状態で、その被写体の構図等を表示装置で確認できるようにされているが、昨今では、表示装置の表示面側にもカメラを搭載したタイプも一部で出回っている。本明細書におけるカメラは、表示装置の表示面側に設けられたものを指すこととし、さらに明確を期すために、このカメラを一般的な呼称に即して「内側カメラ」ということにする。
【０００３】
さて、内側カメラを備えた携帯電話機等の電子機器は、その内側カメラを使用して画面（表示装置の表示画面）を見ている人の顔を撮像し、その画像を表示装置に映し出すことができることから、たとえば、当該電子機器をハンドミラー（手鏡）の代わりに使用することができ、便利である。
【０００４】
しかしながら、実際のハンドミラー使用時の感覚とは違いがある。第一の違いは、画面の中央に顔が位置しないことにある。これは、内側カメラの位置が表示装置の画面外側に寄っているため、表示装置の画面に顔を正対させたとしても、内側カメラで撮影された顔の位置が構図の中央に寄らず、偏って映し出されてしまうからである。
【０００５】
図９は、内側カメラの位置とその内側カメラで撮影された画像との対応関係を示す図である。この図において、表示装置１は額縁状の筐体２に収められており、その筐体２の額縁内・・・・図では表示装置１の左側であるが、これは一例である。上下左右のいずれの位置であってもよい。・・・・にカメラ３が設けられている。このカメラ３の撮影方向は、表示装置１の表示画面の前面側鉛直方向と平行な方向であり、且つ、その撮影画角（撮影範囲）は、表示装置１の表示画面を見ている人の顔を映し出すことができる適度な画角（たとえば、５０度乃至それ以上の広角）である。したがって、このカメラ３は、表示装置の表示画面を見ている人の顔を撮像することができるから、前記の「内側カメラ」に相当する。
【０００６】
今、表示装置１の画面前面に、被写体としての人物４が正対したと仮定すると、カメラ３に映し出される人物４の位置は、カメラ３の撮影構図の左寄りになる。これは、カメラ３の位置が（図示の例の場合）表示装置１の図面に向かって左側にずれているからであり、そのため、カメラ３の撮影画角の図面に向かって右側（カメラ３の側から見た場合は左側）にずれて人物４が映し出されてしまうからである。したがって、カメラ３の画像を表示装置１に表示した場合に、図示のように、人物４が画面の左に偏って表示されるという不都合（第一の違い）を生じる。
【０００７】
かかる表示位置の偏りを修正する技術としては、たとえば、二つのカメラを用いた、いわゆるステレオ視の技術を応用するものが知られている（たとえば、下記の特許文献１、２参照）。
【０００８】
図１０は、ステレオ視の概念説明図である。この図において、互いの撮影画角内に被写体５を含むように適切に配置された一対のカメラ（以下、左カメラ６、右カメラ７）が示されており、これら一対のカメラの撮影画像（以下、左カメラ画像８、右カメラ画像９）に写し込まれた被写体５の位置は、先の図９に示した不都合と同様の理由で、それぞれ右方向と左方向に偏っている。
【０００９】
ステレオ視の技術は、要するに、人間の視覚認識処理を応用したものであって、左目の視覚情報に相当する左カメラ画像８と、右目の視覚情報に相当する右カメラ画像９とを所定のエリア（画素単位または所定の画素群単位）ごとに比較して、類似度の高いエリア同士を合成することにより、被写体５の位置を構図の中央にずらして再生した左再生画像１０と右再生画像１１とを作り出すというものである。
【００１０】
ちなみに、ここまでのステレオ視の技術は下記の特許文献１、２に記載されている。下記の特許文献２は、このようなステレオ視の技術に加えて、さらに、専用メガネを必要としない三次元表示デバイス（３Ｄ表示デバイス）との併用を開示する。すなわち、図示のように、三次元表示デバイス１２は、上述のステレオ視の技術で作り出された左再生画像１０と右再生画像１１とを入力信号とし、左再生画像１０が表示画面の斜め左方向から見えるように表示するとともに、右再生画像１１が表示画面の斜め右方向から見えるように表示することにより、人物１３の左目１４に左再生画像１０を視認させ、人物１３の右目１５に右再生画像１１を視認させるようにしている。
【００１１】
以上のとおり、特許文献１、２の技術を応用すれば、ハンドミラー動作時の先の不都合、つまり、表示装置の画面に顔を正対させたとしても、内側カメラで撮影された顔の位置が構図の中央に寄らず、偏って映し出されてしまうという不都合（第一の違い）を解消できる。
【００１２】
しかしながら、特許文献１、２の技術は、単なるステレオ視の技術であるから、目線のずれを修正できないという欠点がある。たとえば、図１０の例において、被写体５を人物の顔と仮定するとともに、その顔の目線が表示装置からずれているケースを考える。このようなケースの場合、ステレオ視の技術によって再生された左再生画像１０と右再生画像１１は、ともに、目線がずれたままの顔画像を含むこととなり、結局、ハンドミラー動作時の目線ずれの違和感（以下、第二の違い）を否めない。
【００１３】
目線のずれを修正する技術は、たとえば、下記の特許文献３に記載のものが知られている。
図１１は、目線のずれを修正する従来技術を示す図である。この図において、（ａ）はカメラ目線の顔画像１６から目部分１７を切り出す概念図、（ｂ）はカメラ目線でない顔画像１８を示す図、（ｃ）は（ｂ）の顔画像１８からカメラ目線でない目部分１９を消去する図、（ｄ）は（ｃ）のカメラ目線でない目部分１９に（ａ）で切り出したカメラ目線の目部分１７を貼り付けた図である。このように、あらかじめ切り出しておいたカメラ目線の目部分１７を、カメラ目線でない顔画像１８の目部分１９に貼り付けることにより、目線のずれを修正した顔画像１８を得ることができる。
【００１４】
なお、カメラ目線であるか否かの判定技術としては、たとえば、下記の特許文献４、５などの技術を利用することができる。ちなみに、下記の特許文献４は白目内の黒目の位置から目線方向を判定し、または、下記の特許文献５は視線方向検出部によって運転者の視線方向を検出する。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２００４−１５９０６１号公報
【特許文献２】特開２００４−０４８６４４号公報
【特許文献３】特開２００５−１１７１０６号公報
【特許文献４】特開２００７−０９６４４０号公報
【特許文献５】特開２０１０−１３４６０８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
以上のとおり、たとえば、特許文献１〜５に記載の技術を組み合わせることにより、ハンドミラー動作時の被写体の位置ずれ修正と目線ずれ修正とを行うことが一応可能であると認められるものの、特許文献３の技術（図１１参照）は、単なる画像貼り付け（いわゆるコラージュ）に過ぎないため、たとえば、貼り付けられた画像（図１１（ｄ）の目部分１７）の貼り付け境界に微妙な段差が生じたり、水平方向への微細な位置ずれが生じたりするという問題点がある。
【００１７】
そこで、本発明の目的は、ハンドミラー利用時の被写体の目線ずれの修正をより違和感なく行うことにある。
【課題を解決するための手段】
【００１８】
本発明の表示装置は、表示部の表示画面の対向二辺に接近して配置され且ついずれも前記表示画面を見ている人物の顔を撮影可能な第一のカメラと第二のカメラを備えた表示装置において、前記第一のカメラで撮影したカメラ目線画像を登録する登録手段と、前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像と前記登録手段に登録済みのカメラ目線画像とに基づいて目線ずれ量を割り出す割り出し手段と、前記割り出し手段によって割り出された目線ずれ量に基づいて前記非カメラ目線画像の目線を修正する修正手段と、前記修正手段によって目線が修正された目線修正済み画像を前記表示部に表示する表示制御手段とを備えたことを特徴とする。
【発明の効果】
【００１９】
本発明によれば、ハンドミラー利用時の被写体の目線ずれの修正をより違和感なく行うことができる。
【図面の簡単な説明】
【００２０】
【図１】携帯電話機の外観図である。
【図２】携帯電話機２０の構成図である。
【図３】制御プログラムの要部の動作フローを示す図である。
【図４】ハンドミラー画面を示す図及びハンドミラー画面の表示内容更新を示す図である。
【図５】カメラ目線画像登録処理（ステップＳ８）の動作フローを示す図である。
【図６】ハンドミラー表示処理（ステップＳ１）の動作フローを示す図である。
【図７】カメラ目線と非カメラ目線の説明図である。
【図８】目線修正画像生成の概念図である。
【図９】内側カメラの位置とその内側カメラで撮影された画像との対応関係を示す図である。
【図１０】ステレオ視の概念説明図である。
【図１１】目線のずれを修正する従来技術を示す図である。
【発明を実施するための形態】
【００２１】
本発明の実施形態を、携帯電話機への適用を例にして図面を参照しながら説明する。
図１は、携帯電話機の外観図である。この図において、携帯電話機２０は、手持ちに適した厚みと大きさを有する縦長箱型形状の本体部２１と、その本体部２１の上部一短辺端にヒンジ機構２２を介して連結された、本体部２１と略同型状かつ薄厚の蓋部２３とを備えた、いわゆる「折り畳み式」の筐体２４を有している。
【００２２】
本体部２１の一方面（蓋部２３との対向面）には、多数の操作ボタンからなる操作ボタン群２５や送話孔２６が設けられ、また、蓋部２３の一方面（本体部２１との対向面）には、表示部２７や、この表示部２７の周囲を覆う額縁部２８、二つのカメラ２９、３０及び受話孔３１が設けられている。
【００２３】
表示部２７は、長方形状の所定サイズの表示面を有する二次元表示デバイス、典型的には、液晶ディスプレイパネルであり、表示部２７の表示面には透明なタッチパネル３７が貼り付けられている。なお、図では表示部２７とタッチパネル３７を面方向にずらして描いているが、これは説明上の便宜である。実際には、表示部２７の表示面全体を覆うようにして、この表示面とほぼ同じ平面サイズのタッチパネル３７が配置されている。
また、表示部２７の両短辺（図では上短辺と下短辺）の各々に接近させて二つのカメラ２９、３０が配置されている。以下、表示部２７の上短辺に接近させて配置されたカメラ２９を「上カメラ」、表示部２７の下短辺に接近させて配置されたカメラ３０を「下カメラ」ということにする。
【００２４】
上カメラ２９と下カメラ３０の撮影方向は、いずれも、表示部２７の表示面の鉛直方向と平行な方向であり、且つ、その撮影画角（撮影範囲）は、表示部２７の表示面を見ている人の顔を映し出すことができる適度な画角（たとえば、５０度乃至それ以上の広角）である。したがって、これら二つのカメラ２９、３０は、どちらも、表示部２７の表示面を見ている人の顔を撮像することができるから、冒頭で説明した「内側カメラ」に相当する。
【００２５】
なお、図示の携帯電話機２０は「折り畳み式」であるが、これに限定されない。非折り畳み式やスライド式などであってもよい。要は、表示部２７の表示面を見ている人の顔を撮像することができる「内側カメラ」を少なくとも二つ備えたものであればよい。また、図示の「内側カメラ」は、表示部２７の上下短辺側に各々設けられた上カメラ２９と下カメラ３０であるが、これにも限定されない。表示部２７の対向する二辺の各々に接近して設けられていればよく、たとえば、左右辺側に各々接近して設けられていてもよい。この場合は、左カメラ２９と右カメラ３０と読み替えればよい。
【００２６】
図２は、携帯電話機２０の構成図である。この図において、携帯電話機２０は、通信部３２、撮像部３３、送受話部３４、操作部３５、制御部３６、表示部２７、タッチパネル３７、並びに、この携帯電話機２０の動作に必要な電源を供給するためのバッテリ（一次電池または充電可能な二次電池）を含む電源部３８などを備えている。
【００２７】
通信部３２は、制御部３６からの制御により、アンテナ３２ａを介して最寄りの基地局（図示略）との間で無線によるアナログもしくはデジタルデータの送受信を行い、このデータには、電話の着呼や発呼の情報および音声通話の情報が含まれるほか、必要であれば、インターネット上のコンテンツを利用（ダウンロード）する際などのコンテンツ情報や電子メールの送受信情報などが含まれる。
【００２８】
撮像部３３は、上カメラ２９と下カメラ３０とを含み、制御部３６からの制御により、これら二つのカメラ（上カメラ２９と下カメラ３０）で各々撮影した上カメラ画像と下カメラ画像を制御部３６に出力する。
【００２９】
送受話部３４は、本体部２１の送話孔２６の下に配置されたマイク３４ａや蓋部２３の受話孔３１の下に配置されたスピーカ３４ｂを含み、この送受話部３４は、制御部３６からの制御により、マイク３４ａからの音声信号をデジタルデータに変換して制御部３６に出力したり、制御部３６から出力されたデジタルの音声信号をアナログ信号に変換してスピーカ３４ｂから出力したりする。
【００３０】
操作部３５は、制御部３６に対して所要のユーザ入力を行うための各種操作ボタン（図１の操作ボタン群２５）を備え、この操作ボタン群２５には、特に、携帯電話機２０をハンドミラーとして利用する際に押し下げ操作されるハンドミラーモードボタン３５ａが含まれている。
【００３１】
制御部３６は、マイクロコンピュータまたは単にコンピュータ（以下、ＣＰＵ）３６ａ、書き換え可能不揮発性半導体メモリ（以下、ＰＲＯＭ）３６ｂおよび高速半導体メモリ（以下、ＲＡＭ）３６ｃならびに不図示の周辺回路を含むプログラム制御方式の制御要素であり、この制御部３６は、携帯電話機２０の全体動作を統括制御するために、あらかじめＰＲＯＭ３６ｂに格納されている制御プログラムをＲＡＭ３６ｃにロードしてＣＰＵ３６ａで実行する。
【００３２】
制御プログラムは、グラフィカルユーザインターフェース対応の、いわゆるオペレーティングシステム（ＯＳ）と称される基本プログラムを含むとともに、所要のドライバプログラム、詳細には、特定のハードウェアの動作に必要な専用プログラムであって、たとえば、タッチパネル３７のドライバプログラムを含み、さらに、それらの基本プログラムやドライバプログラムなどとともに、特定の機能（図示の例では携帯電話機能）を実現するための専用アプリケーションプログラム（応用プログラム）を含む。
【００３３】
図３は、制御プログラムの要部の動作フローを示す図である。この図において、図示の制御プログラムは所定のイベントが発生したとき、具体的には、操作部３５のハンドミラーモードボタン３５ａが押し下げ操作されたときに実行されるイベント起動型のプロセスであり、この制御プログラムを起動すると、まず、ハンドミラー表示処理を実行する（ステップＳ１）。
【００３４】
ハンドミラー表示処理の詳細は後で説明するが、端的に言えば、表示部２７に所要の画面（ハンドミラー画面：図４（ａ）参照）を表示しつつ、二つの内側カメラ（上カメラ２９と下カメラ３０）でそのハンドミラー画面を見ている人物の顔を撮影して所要の画像処理を行い、処理後の画像をハンドミラー画面の所定エリアに表示するというものであり、要するに、携帯電話機２０の表示部２７をハンドミラーの代わりに使用できるようにするための一連の処理のことをいう。
【００３５】
図４（ａ）は、ハンドミラー画面を示す図である。ハンドミラー画面３９は、その画面のほとんどを占める表示エリア４０と、画面の残余部分（この図では下端部分）に設けられた操作エリア４１とを備えるとともに、操作エリア４１にカメラ目線画像登録ボタン４２と終了ボタン４３とを配置して構成されている。
【００３６】
再び図３に戻り、ハンドミラー表示処理を実行（ステップＳ１）すると、次に、ハンドミラー画面３９のカメラ目線画像登録ボタン４２が操作されたか否かを判定し（ステップＳ２）、操作されていなければ、ハンドミラー画面３９の終了ボタン４３が操作されたか否かを判定する（ステップＳ３）。そして、終了ボタン４３が操作された場合にはハンドミラー画面３９を閉じて（ステップＳ４）、プログラムを終了する一方、終了ボタン４３が操作されていない場合には、再度、ハンドミラー表示処理を実行（ステップＳ１）する。
【００３７】
他方、ステップＳ２の判定結果がＹＥＳの場合、すなわち、ハンドミラー画面３９のカメラ目線画像登録ボタン４２が操作された場合には、まず、ハンドミラー画面３９の操作エリア４１の表示内容を更新する（ステップＳ５）。
【００３８】
図４（ｂ）は、ハンドミラー画面の表示内容更新を示す図である。この図に示すように、ステップＳ２の判定結果がＹＥＳの場合、すなわち、ハンドミラー画面３９のカメラ目線画像登録ボタン４２が操作された場合には、ハンドミラー画面３９の操作エリア４１に、所要の案内文字列（たとえば、“上部カメラに目線を向けてください”）を有するテキストオブジェクト４４と、ＯＫボタン４５と、キャンセルボタン４６とを表示する。
【００３９】
再び図３に戻り、ハンドミラー画面３９の操作エリア４１の表示内容を更新（ステップＳ５）すると、次に、ハンドミラー画面３９のＯＫボタン４５が操作されたか否かを判定し（ステップＳ６）、操作されていなければ、ハンドミラー画面３９のキャンセルボタン４６が操作されたか否かを判定する（ステップＳ７）。そして、いずれのボタンも操作されていなければ、それらのステップＳ６とステップＳ７をループする一方、キャンセルボタン４６が操作された場合は、再度、ハンドミラー表示処理を実行（ステップＳ１）し、また、ＯＫボタン４５が操作された場合は、カメラ目線画像登録処理（ステップＳ８）を実行した後、再度、ハンドミラー表示処理を実行（ステップＳ１）する。
【００４０】
＜カメラ目線画像登録処理＞
図５は、カメラ目線画像登録処理（ステップＳ８）の動作フローを示す図である。このカメラ目線画像登録処理では、まず、二つの内側カメラ（上カメラ２９と下カメラ３０）のいずれか一方で撮影した画像を取り込み、その画像から人物の顔を抽出し、さらに、その顔から目の部分を切り出す（ステップＳ８ａ）。ここで、「二つの内側カメラのいずれか一方」とは、図４（ｂ）のテキストオブジェクト４４で指定されている方のカメラを指す。すなわち、図４（ｂ）の例では、“上部カメラに目線を向けてください”となっているので、この場合の「二つの内側カメラのいずれか一方」は上カメラ２９になる。
【００４１】
ステップＳ８ａで、顔から目の部分を切り出すと、その切り出し画像を「カメラ目線画像」としてシステム内に登録（ステップＳ８ｂ）した後、再び、図３のステップＳ１を実行する。登録先は、たとえば、制御部３６のＰＲＯＭ３６ｂのユーザエリアとすることができる。なお、ステップＳ８ａで、上カメラ２９の画像から人物の顔が認識されなかった場合、または、上カメラ２９の画像から人物の顔が認識された場合で且つその顔から目の部分を切り出せなかった場合は、カメラ目線画像の登録処理を完了できないので、この場合には、たとえば、ハンドミラー画面３９の操作エリア４１のテキストオブジェクト４４に、所要の警告メッセージ（“登録を失敗しました。もう一度、上部カメラに目線を向けてください”など）を表示するとともに、再び、図３のステップＳ６、ステップＳ７をループさせることが望ましい。
【００４２】
＜ハンドミラー表示処理＞
図６は、ハンドミラー表示処理（ステップＳ１）の動作フローを示す図である。このハンドミラー表示処理では、まず、表示部２７に、図４（ａ）のハンドミラー画面３９を表示し（ステップＳ１ａ）、次いで、カメラ目線画像が登録済みであるか否かを判定する（ステップＳ１ｂ）。カメラ目線画像とは、先のカメラ目線画像登録処理（ステップＳ８）でシステム内（たとえば、制御部３６のＰＲＯＭ３６ｂのユーザエリア）に登録されている画像のことをいう。未登録であればそのまま、図３のステップＳ２に進む一方、登録済みであれば目線ずれ量の割り出し（ステップＳ１ｃ）を行い、次いで、その目線ずれ量を基に、二つの内側カメラ（上カメラ２９と下カメラ３０）の撮影画像を投影・合成して目線を修正した画像（目線修正画像）を生成し、その目線修正画像を、図４（ａ）のハンドミラー画面３９の表示エリア４０に表示（ステップＳ１ｄ）した後、図３のステップＳ２に進む。
【００４３】
図７は、カメラ目線と非カメラ目線の説明図である。この図において、（ａ）に示すように、人物４７の面前に透明な板４８を立て、その板４８の上に二つの点Ｐ１、Ｐ２をマークする。第一の点Ｐ１は人物４７の目４９よりも若干高い位置にあり、第二の点は人物４７の目４９とほぼ同じ高さに位置している。
【００４４】
今、人物４７が第一の点Ｐ１を直視したとすると、この第一の点Ｐ１からカメラ（上カメラ２９）で人物４７の目４９を撮影した場合、その撮影画像は（ｂ）のようになる。すなわち、（ｂ）に示すように、白目５０の中に上下バランスよく黒目（虹彩と瞳孔）５１が位置した目画像５２が得られる。一方、目線を下げて第二の点Ｐ２を直視した場合の撮影画像は（ｃ）のようになる。すなわち、（ｃ）に示すように、白目５０の下寄りに黒目５１が位置した目画像５３が得られる。
【００４５】
ここで、第一の点Ｐ１を直視したときと第二の点Ｐ２を直視したときのそれぞれの黒目５１の高さ方向の中心位置を比較してみる。白目５０の高さ方向幅をＨとすると、第一の点Ｐ１を直視したときの黒目５１の中心位置は白目５０の高さ方向幅Ｈのほぼ１／２相当になるから、第一の点Ｐ１を直視したときの黒目５１の中心位置は、白目５０の上端から下方向にＨ１ａだけ離れ且つ下端から上方向にＨ１ｂだけ離れた位置になり、結局、Ｈ１ａとＨ１ｂはほぼ等しい関係（Ｈ１ａ≒Ｈ１ｂ）になる。これに対して、第二の点Ｐ２を直視したときの黒目５１の中心位置は白目５０の高さ方向幅Ｈの１／２よりも下側になるから、第二の点Ｐ２を直視したときの黒目５１の中心位置は、白目５０の上端から下方向にＨ２ａだけ離れ且つ下端から上方向にＨ２ｂだけ離れた位置になり、結局、Ｈ２ａとＨ２ｂは前者が大きい関係（Ｈ２ａ＞Ｈ２ｂ）になる。
【００４６】
したがって、第一の点Ｐ１を直視したときと第二の点Ｐ２を直視したときのそれぞれの目画像５２、５３から「Ｈ１ａ＜Ｈ２ａ」の関係が得られる。そして、これら二つの値（Ｈ１ａとＨ２ａ）の差は、（ａ）における二つの点Ｐ１、Ｐ２の距離Ｌに比例するから、結局のところ、上記二つの値（Ｈ１ａとＨ２ａ）の差は、第一の点Ｐ１を直視したとき（カメラ目線のとき）と第二の点Ｐ２を直視したとき（非カメラ目線のとき）の目線ずれ量、つまり、目線のずれ角度θを表すことになる。
【００４７】
先のカメラ目線画像登録処理（ステップＳ８）におけるカメラ目線画像は、第一の点Ｐ１を直視したときの目画像５２のことであり、その登録処理とは、この目画像５２をシステムに登録することをいう。また、先のハンドミラー表示処理（ステップＳ１）における目線修正画像の生成は、前記の目線ずれ量（目線のずれ角度θ）を基に、二つの内側カメラ（上カメラ２９と下カメラ３０）の撮影画像を投影・合成して目線を修正した画像を生成することをいう。
【００４８】
図８は、目線修正画像生成の概念図である。この図において、上カメラ２９と下カメラ３０の撮影画角内に人物４７の顔が位置しており、この人物４７の視線は、上カメラ２９と下カメラ３０の間に位置する不図示の画面（表示部２７の表示画面）に向いており、非カメラ目線になっている。この視線状態（非カメラ目線）のとき、上カメラ２９で撮影された上カメラ画像５４には目線を下に向けた人物の顔５５が写っており、且つ、その顔５５の位置は画像の下に偏っている。また、下カメラ３０で撮影された下カメラ画像５６には目線を上に向けた人物の顔５７が写っており、且つ、その顔５７の位置は画像の上に偏っている。
【００４９】
先のハンドミラー表示処理（ステップＳ１）では、まず、これら二つの画像（上カメラ画像５４と下カメラ画像５６）から被写体の偏りを修正した画像を生成する。つまり、上カメラ画像５４の被写体は画像の下に偏り、且つ、下カメラ画像５６の被写体は画像の上に偏っているので、たとえば、冒頭で説明したステレオ視の技術（たとえば、特許文献１、２など）を用い、表示位置の偏りを修正した画像（顔の位置がほぼ中央に位置するように修正した画像）を生成する。
【００５０】
さて、冒頭の従来技術でも説明したとおり、ステレオ視の技術を適用しただけでは目線のずれを修正できないという不都合がある。このため、上記のように、表示位置の偏りを修正した画像を生成しただけでは、上カメラ画像５４の下向き目線と下カメラ画像５６の上向き目線の単純な合成となってしまう結果、違和感のある画像になる。これは、ステレオ視の技術においては、三角測量の原理で被写体各部の奥行きを認識し、同一撮影距離に位置する部分で且つ類似内容の部分同士を合成するという処理を行うからであり、単にステレオ視の技術を適用しただけでは、上カメラ画像５４と下カメラ画像５６に含まれる被写体の目の部分が単純合成されてしまうだけであるからである。
【００５１】
そこで、本実施形態では、図８の下段に示すように、表示位置の偏りを修正した画像５８に対して、さらに、前記の目線ずれ量（目線のずれ角度θ）を基にした目線の修正処理を行う。具体的には、登録済みカメラ目線画像の黒目の中心と、表示位置の偏りを修正した画像５８の黒目の中心とから、目線ずれ量（目線のずれ角度θ）を割り出し、その目線ずれ量に基づいて、カメラ目線相当となるように目線を修正した画像を生成し、その画像を表示部２７に表示する。
【００５２】
このように、目線ずれ量（目線のずれ角度θ）を基にした目線の修正処理を行うことにより、単にステレオ視の技術を適用しただけの場合の不都合（目線の違和感）をなくすことができる。その結果、非カメラ目線であっても、あたかもカメラ目線のように目線を修正した画像を表示部２７に表示でき、携帯電話機２０の表示部２７をハンドミラーの代わりに不都合なく使用できるようになる。
【００５３】
なお、以上の実施形態は携帯電話機への適用を例にしたが、これに限定されない。表示部と、その表示部の表示画面を見ている人の顔を撮影して当該表示部に表示できるカメラ（内側カメラ）とを備えた電子機器であればよく、たとえば、内側カメラ付のディスプレイを備えたパーソナルコンピュータ、または、内側カメラ付の携帯情報端末、携帯ゲーム機、電子辞書、電子ブック表示端末など多種多様なものに適用することができる。
【００５４】
以下、本発明の諸態様を付記としてまとめて記載する。
（付記１）
表示部の表示画面の対向二辺に接近して配置され且ついずれも前記表示画面を見ている人物の顔を撮影可能な第一のカメラと第二のカメラを備えた表示装置において、
前記第一のカメラで撮影したカメラ目線画像を登録する登録手段と、
前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像と前記登録手段に登録済みのカメラ目線画像とに基づいて目線ずれ量を割り出す割り出し手段と、
前記割り出し手段によって割り出された目線ずれ量に基づいて前記非カメラ目線画像の目線を修正する修正手段と、
前記修正手段によって目線が修正された目線修正済み画像を前記表示部に表示する表示制御手段と
を備えたことを特徴とする表示装置。
付記１によれば、ハンドミラー利用時の被写体の目線ずれの修正をより違和感なく行うことができる。
【００５５】
（付記２）
さらに、前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像に含まれる被写体の位置をステレオ視の原理で構図の中央方向にずらして修正する被写体位置修正手段を備えたことを特徴とする付記１に記載の表示装置。
付記２によれば、ハンドミラー利用時の被写体の位置ずれ修正も行うことができる。
【００５６】
（付記３）
さらに、前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像に含まれる被写体の位置をステレオ視の原理で構図の中央方向にずらして修正する被写体位置修正手段を備えるとともに、
前記修正手段は、前記カメラ目線画像に含まれる人物の黒目の中心と、当該被写体位置修正手段によって位置が修正された画像に含まれる人物の黒目の中心とから目線ずれ量を割り出し、その目線ずれ量に基づいて、カメラ目線相当となるように目線を修正した画像を生成することを特徴とする付記１に記載の表示装置。
付記３によれば、ハンドミラー利用時の被写体の目線ずれの修正をより違和感なく行うとともに、被写体の位置ずれ修正も同時に行うことができる。
【００５７】
（付記４）
表示部の表示画面の対向二辺に接近して配置され且ついずれも前記表示画面を見ている人物の顔を撮影可能な第一のカメラと第二のカメラを備えた表示装置の制御方法において、
前記第一のカメラで撮影したカメラ目線画像を登録する登録工程と、
前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像と前記登録工程で登録済みのカメラ目線画像とに基づいて目線ずれ量を割り出す割り出し工程と、
前記割り出し工程によって割り出された目線ずれ量に基づいて前記非カメラ目線画像の目線を修正する修正工程と、
前記修正工程によって目線が修正された目線修正済み画像を前記表示部に表示する表示制御工程と
を含むことを特徴とする表示制御方法。
付記４によれば、付記１と同様に、ハンドミラー利用時の被写体の目線ずれの修正をより違和感なく行うことができる表示制御方法を提供することができる。
【００５８】
（付記５）
表示部の表示画面の対向二辺に接近して配置され且ついずれも前記表示画面を見ている人物の顔を撮影可能な第一のカメラと第二のカメラを備えた表示装置のコンピュータを、
前記第一のカメラで撮影したカメラ目線画像を登録する登録手段、
前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像と前記登録手段に登録済みのカメラ目線画像とに基づいて目線ずれ量を割り出す割り出し手段、
前記割り出し手段によって割り出された目線ずれ量に基づいて前記非カメラ目線画像の目線を修正する修正手段、及び、
前記修正手段によって目線が修正された目線修正済み画像を前記表示部に表示する表示制御手段
として機能させるためのプログラム。
付記５によれば、付記１の機能をソフトウェア（プログラム）の形で提供することができる。
【００５９】
（付記６）
付記１に記載の表示装置を備えたことを特徴とする電子機器。
付記６によれば、内側カメラ付のディスプレイを備えたパーソナルコンピュータ、または、内側カメラ付の携帯電話機、携帯情報端末、携帯ゲーム機、電子辞書、電子ブック表示端末など多種多様な電子機器において、付記１と同様に、ハンドミラー利用時の被写体の目線ずれの修正をより違和感なく行うことができる
【符号の説明】
【００６０】
２０ 携帯電話機（表示装置、電子機器）
２７ 表示部
２９ 上カメラ（第一のカメラ）
３０ 下カメラ（第二のカメラ）
３６ａ ＣＰＵ（登録手段、割り出し手段、修正手段、表示制御手段、被写体位置修正手段）
５２ 目画像（カメラ目線画像）
５３ 目画像（非カメラ目線画像）
【技術分野】
【０００１】
本発明は、表示装置、表示制御方法、プログラム及び電子機器に関し、詳細には、画面を見ている人の顔を表示することができる表示装置、表示制御方法、プログラム及び電子機器に関する。
【背景技術】
【０００２】
カメラ付の電子機器、たとえば、カメラ付携帯電話機におけるカメラの位置は、一般的にデジタルカメラの構成に倣って表示装置の背面側とされている。すなわち、被写体にカメラを向けた状態で、その被写体の構図等を表示装置で確認できるようにされているが、昨今では、表示装置の表示面側にもカメラを搭載したタイプも一部で出回っている。本明細書におけるカメラは、表示装置の表示面側に設けられたものを指すこととし、さらに明確を期すために、このカメラを一般的な呼称に即して「内側カメラ」ということにする。
【０００３】
さて、内側カメラを備えた携帯電話機等の電子機器は、その内側カメラを使用して画面（表示装置の表示画面）を見ている人の顔を撮像し、その画像を表示装置に映し出すことができることから、たとえば、当該電子機器をハンドミラー（手鏡）の代わりに使用することができ、便利である。
【０００４】
しかしながら、実際のハンドミラー使用時の感覚とは違いがある。第一の違いは、画面の中央に顔が位置しないことにある。これは、内側カメラの位置が表示装置の画面外側に寄っているため、表示装置の画面に顔を正対させたとしても、内側カメラで撮影された顔の位置が構図の中央に寄らず、偏って映し出されてしまうからである。
【０００５】
図９は、内側カメラの位置とその内側カメラで撮影された画像との対応関係を示す図である。この図において、表示装置１は額縁状の筐体２に収められており、その筐体２の額縁内・・・・図では表示装置１の左側であるが、これは一例である。上下左右のいずれの位置であってもよい。・・・・にカメラ３が設けられている。このカメラ３の撮影方向は、表示装置１の表示画面の前面側鉛直方向と平行な方向であり、且つ、その撮影画角（撮影範囲）は、表示装置１の表示画面を見ている人の顔を映し出すことができる適度な画角（たとえば、５０度乃至それ以上の広角）である。したがって、このカメラ３は、表示装置の表示画面を見ている人の顔を撮像することができるから、前記の「内側カメラ」に相当する。
【０００６】
今、表示装置１の画面前面に、被写体としての人物４が正対したと仮定すると、カメラ３に映し出される人物４の位置は、カメラ３の撮影構図の左寄りになる。これは、カメラ３の位置が（図示の例の場合）表示装置１の図面に向かって左側にずれているからであり、そのため、カメラ３の撮影画角の図面に向かって右側（カメラ３の側から見た場合は左側）にずれて人物４が映し出されてしまうからである。したがって、カメラ３の画像を表示装置１に表示した場合に、図示のように、人物４が画面の左に偏って表示されるという不都合（第一の違い）を生じる。
【０００７】
かかる表示位置の偏りを修正する技術としては、たとえば、二つのカメラを用いた、いわゆるステレオ視の技術を応用するものが知られている（たとえば、下記の特許文献１、２参照）。
【０００８】
図１０は、ステレオ視の概念説明図である。この図において、互いの撮影画角内に被写体５を含むように適切に配置された一対のカメラ（以下、左カメラ６、右カメラ７）が示されており、これら一対のカメラの撮影画像（以下、左カメラ画像８、右カメラ画像９）に写し込まれた被写体５の位置は、先の図９に示した不都合と同様の理由で、それぞれ右方向と左方向に偏っている。
【０００９】
ステレオ視の技術は、要するに、人間の視覚認識処理を応用したものであって、左目の視覚情報に相当する左カメラ画像８と、右目の視覚情報に相当する右カメラ画像９とを所定のエリア（画素単位または所定の画素群単位）ごとに比較して、類似度の高いエリア同士を合成することにより、被写体５の位置を構図の中央にずらして再生した左再生画像１０と右再生画像１１とを作り出すというものである。
【００１０】
ちなみに、ここまでのステレオ視の技術は下記の特許文献１、２に記載されている。下記の特許文献２は、このようなステレオ視の技術に加えて、さらに、専用メガネを必要としない三次元表示デバイス（３Ｄ表示デバイス）との併用を開示する。すなわち、図示のように、三次元表示デバイス１２は、上述のステレオ視の技術で作り出された左再生画像１０と右再生画像１１とを入力信号とし、左再生画像１０が表示画面の斜め左方向から見えるように表示するとともに、右再生画像１１が表示画面の斜め右方向から見えるように表示することにより、人物１３の左目１４に左再生画像１０を視認させ、人物１３の右目１５に右再生画像１１を視認させるようにしている。
【００１１】
以上のとおり、特許文献１、２の技術を応用すれば、ハンドミラー動作時の先の不都合、つまり、表示装置の画面に顔を正対させたとしても、内側カメラで撮影された顔の位置が構図の中央に寄らず、偏って映し出されてしまうという不都合（第一の違い）を解消できる。
【００１２】
しかしながら、特許文献１、２の技術は、単なるステレオ視の技術であるから、目線のずれを修正できないという欠点がある。たとえば、図１０の例において、被写体５を人物の顔と仮定するとともに、その顔の目線が表示装置からずれているケースを考える。このようなケースの場合、ステレオ視の技術によって再生された左再生画像１０と右再生画像１１は、ともに、目線がずれたままの顔画像を含むこととなり、結局、ハンドミラー動作時の目線ずれの違和感（以下、第二の違い）を否めない。
【００１３】
目線のずれを修正する技術は、たとえば、下記の特許文献３に記載のものが知られている。
図１１は、目線のずれを修正する従来技術を示す図である。この図において、（ａ）はカメラ目線の顔画像１６から目部分１７を切り出す概念図、（ｂ）はカメラ目線でない顔画像１８を示す図、（ｃ）は（ｂ）の顔画像１８からカメラ目線でない目部分１９を消去する図、（ｄ）は（ｃ）のカメラ目線でない目部分１９に（ａ）で切り出したカメラ目線の目部分１７を貼り付けた図である。このように、あらかじめ切り出しておいたカメラ目線の目部分１７を、カメラ目線でない顔画像１８の目部分１９に貼り付けることにより、目線のずれを修正した顔画像１８を得ることができる。
【００１４】
なお、カメラ目線であるか否かの判定技術としては、たとえば、下記の特許文献４、５などの技術を利用することができる。ちなみに、下記の特許文献４は白目内の黒目の位置から目線方向を判定し、または、下記の特許文献５は視線方向検出部によって運転者の視線方向を検出する。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２００４−１５９０６１号公報
【特許文献２】特開２００４−０４８６４４号公報
【特許文献３】特開２００５−１１７１０６号公報
【特許文献４】特開２００７−０９６４４０号公報
【特許文献５】特開２０１０−１３４６０８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
以上のとおり、たとえば、特許文献１〜５に記載の技術を組み合わせることにより、ハンドミラー動作時の被写体の位置ずれ修正と目線ずれ修正とを行うことが一応可能であると認められるものの、特許文献３の技術（図１１参照）は、単なる画像貼り付け（いわゆるコラージュ）に過ぎないため、たとえば、貼り付けられた画像（図１１（ｄ）の目部分１７）の貼り付け境界に微妙な段差が生じたり、水平方向への微細な位置ずれが生じたりするという問題点がある。
【００１７】
そこで、本発明の目的は、ハンドミラー利用時の被写体の目線ずれの修正をより違和感なく行うことにある。
【課題を解決するための手段】
【００１８】
本発明の表示装置は、表示部の表示画面の対向二辺に接近して配置され且ついずれも前記表示画面を見ている人物の顔を撮影可能な第一のカメラと第二のカメラを備えた表示装置において、前記第一のカメラで撮影したカメラ目線画像を登録する登録手段と、前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像と前記登録手段に登録済みのカメラ目線画像とに基づいて目線ずれ量を割り出す割り出し手段と、前記割り出し手段によって割り出された目線ずれ量に基づいて前記非カメラ目線画像の目線を修正する修正手段と、前記修正手段によって目線が修正された目線修正済み画像を前記表示部に表示する表示制御手段とを備えたことを特徴とする。
【発明の効果】
【００１９】
本発明によれば、ハンドミラー利用時の被写体の目線ずれの修正をより違和感なく行うことができる。
【図面の簡単な説明】
【００２０】
【図１】携帯電話機の外観図である。
【図２】携帯電話機２０の構成図である。
【図３】制御プログラムの要部の動作フローを示す図である。
【図４】ハンドミラー画面を示す図及びハンドミラー画面の表示内容更新を示す図である。
【図５】カメラ目線画像登録処理（ステップＳ８）の動作フローを示す図である。
【図６】ハンドミラー表示処理（ステップＳ１）の動作フローを示す図である。
【図７】カメラ目線と非カメラ目線の説明図である。
【図８】目線修正画像生成の概念図である。
【図９】内側カメラの位置とその内側カメラで撮影された画像との対応関係を示す図である。
【図１０】ステレオ視の概念説明図である。
【図１１】目線のずれを修正する従来技術を示す図である。
【発明を実施するための形態】
【００２１】
本発明の実施形態を、携帯電話機への適用を例にして図面を参照しながら説明する。
図１は、携帯電話機の外観図である。この図において、携帯電話機２０は、手持ちに適した厚みと大きさを有する縦長箱型形状の本体部２１と、その本体部２１の上部一短辺端にヒンジ機構２２を介して連結された、本体部２１と略同型状かつ薄厚の蓋部２３とを備えた、いわゆる「折り畳み式」の筐体２４を有している。
【００２２】
本体部２１の一方面（蓋部２３との対向面）には、多数の操作ボタンからなる操作ボタン群２５や送話孔２６が設けられ、また、蓋部２３の一方面（本体部２１との対向面）には、表示部２７や、この表示部２７の周囲を覆う額縁部２８、二つのカメラ２９、３０及び受話孔３１が設けられている。
【００２３】
表示部２７は、長方形状の所定サイズの表示面を有する二次元表示デバイス、典型的には、液晶ディスプレイパネルであり、表示部２７の表示面には透明なタッチパネル３７が貼り付けられている。なお、図では表示部２７とタッチパネル３７を面方向にずらして描いているが、これは説明上の便宜である。実際には、表示部２７の表示面全体を覆うようにして、この表示面とほぼ同じ平面サイズのタッチパネル３７が配置されている。
また、表示部２７の両短辺（図では上短辺と下短辺）の各々に接近させて二つのカメラ２９、３０が配置されている。以下、表示部２７の上短辺に接近させて配置されたカメラ２９を「上カメラ」、表示部２７の下短辺に接近させて配置されたカメラ３０を「下カメラ」ということにする。
【００２４】
上カメラ２９と下カメラ３０の撮影方向は、いずれも、表示部２７の表示面の鉛直方向と平行な方向であり、且つ、その撮影画角（撮影範囲）は、表示部２７の表示面を見ている人の顔を映し出すことができる適度な画角（たとえば、５０度乃至それ以上の広角）である。したがって、これら二つのカメラ２９、３０は、どちらも、表示部２７の表示面を見ている人の顔を撮像することができるから、冒頭で説明した「内側カメラ」に相当する。
【００２５】
なお、図示の携帯電話機２０は「折り畳み式」であるが、これに限定されない。非折り畳み式やスライド式などであってもよい。要は、表示部２７の表示面を見ている人の顔を撮像することができる「内側カメラ」を少なくとも二つ備えたものであればよい。また、図示の「内側カメラ」は、表示部２７の上下短辺側に各々設けられた上カメラ２９と下カメラ３０であるが、これにも限定されない。表示部２７の対向する二辺の各々に接近して設けられていればよく、たとえば、左右辺側に各々接近して設けられていてもよい。この場合は、左カメラ２９と右カメラ３０と読み替えればよい。
【００２６】
図２は、携帯電話機２０の構成図である。この図において、携帯電話機２０は、通信部３２、撮像部３３、送受話部３４、操作部３５、制御部３６、表示部２７、タッチパネル３７、並びに、この携帯電話機２０の動作に必要な電源を供給するためのバッテリ（一次電池または充電可能な二次電池）を含む電源部３８などを備えている。
【００２７】
通信部３２は、制御部３６からの制御により、アンテナ３２ａを介して最寄りの基地局（図示略）との間で無線によるアナログもしくはデジタルデータの送受信を行い、このデータには、電話の着呼や発呼の情報および音声通話の情報が含まれるほか、必要であれば、インターネット上のコンテンツを利用（ダウンロード）する際などのコンテンツ情報や電子メールの送受信情報などが含まれる。
【００２８】
撮像部３３は、上カメラ２９と下カメラ３０とを含み、制御部３６からの制御により、これら二つのカメラ（上カメラ２９と下カメラ３０）で各々撮影した上カメラ画像と下カメラ画像を制御部３６に出力する。
【００２９】
送受話部３４は、本体部２１の送話孔２６の下に配置されたマイク３４ａや蓋部２３の受話孔３１の下に配置されたスピーカ３４ｂを含み、この送受話部３４は、制御部３６からの制御により、マイク３４ａからの音声信号をデジタルデータに変換して制御部３６に出力したり、制御部３６から出力されたデジタルの音声信号をアナログ信号に変換してスピーカ３４ｂから出力したりする。
【００３０】
操作部３５は、制御部３６に対して所要のユーザ入力を行うための各種操作ボタン（図１の操作ボタン群２５）を備え、この操作ボタン群２５には、特に、携帯電話機２０をハンドミラーとして利用する際に押し下げ操作されるハンドミラーモードボタン３５ａが含まれている。
【００３１】
制御部３６は、マイクロコンピュータまたは単にコンピュータ（以下、ＣＰＵ）３６ａ、書き換え可能不揮発性半導体メモリ（以下、ＰＲＯＭ）３６ｂおよび高速半導体メモリ（以下、ＲＡＭ）３６ｃならびに不図示の周辺回路を含むプログラム制御方式の制御要素であり、この制御部３６は、携帯電話機２０の全体動作を統括制御するために、あらかじめＰＲＯＭ３６ｂに格納されている制御プログラムをＲＡＭ３６ｃにロードしてＣＰＵ３６ａで実行する。
【００３２】
制御プログラムは、グラフィカルユーザインターフェース対応の、いわゆるオペレーティングシステム（ＯＳ）と称される基本プログラムを含むとともに、所要のドライバプログラム、詳細には、特定のハードウェアの動作に必要な専用プログラムであって、たとえば、タッチパネル３７のドライバプログラムを含み、さらに、それらの基本プログラムやドライバプログラムなどとともに、特定の機能（図示の例では携帯電話機能）を実現するための専用アプリケーションプログラム（応用プログラム）を含む。
【００３３】
図３は、制御プログラムの要部の動作フローを示す図である。この図において、図示の制御プログラムは所定のイベントが発生したとき、具体的には、操作部３５のハンドミラーモードボタン３５ａが押し下げ操作されたときに実行されるイベント起動型のプロセスであり、この制御プログラムを起動すると、まず、ハンドミラー表示処理を実行する（ステップＳ１）。
【００３４】
ハンドミラー表示処理の詳細は後で説明するが、端的に言えば、表示部２７に所要の画面（ハンドミラー画面：図４（ａ）参照）を表示しつつ、二つの内側カメラ（上カメラ２９と下カメラ３０）でそのハンドミラー画面を見ている人物の顔を撮影して所要の画像処理を行い、処理後の画像をハンドミラー画面の所定エリアに表示するというものであり、要するに、携帯電話機２０の表示部２７をハンドミラーの代わりに使用できるようにするための一連の処理のことをいう。
【００３５】
図４（ａ）は、ハンドミラー画面を示す図である。ハンドミラー画面３９は、その画面のほとんどを占める表示エリア４０と、画面の残余部分（この図では下端部分）に設けられた操作エリア４１とを備えるとともに、操作エリア４１にカメラ目線画像登録ボタン４２と終了ボタン４３とを配置して構成されている。
【００３６】
再び図３に戻り、ハンドミラー表示処理を実行（ステップＳ１）すると、次に、ハンドミラー画面３９のカメラ目線画像登録ボタン４２が操作されたか否かを判定し（ステップＳ２）、操作されていなければ、ハンドミラー画面３９の終了ボタン４３が操作されたか否かを判定する（ステップＳ３）。そして、終了ボタン４３が操作された場合にはハンドミラー画面３９を閉じて（ステップＳ４）、プログラムを終了する一方、終了ボタン４３が操作されていない場合には、再度、ハンドミラー表示処理を実行（ステップＳ１）する。
【００３７】
他方、ステップＳ２の判定結果がＹＥＳの場合、すなわち、ハンドミラー画面３９のカメラ目線画像登録ボタン４２が操作された場合には、まず、ハンドミラー画面３９の操作エリア４１の表示内容を更新する（ステップＳ５）。
【００３８】
図４（ｂ）は、ハンドミラー画面の表示内容更新を示す図である。この図に示すように、ステップＳ２の判定結果がＹＥＳの場合、すなわち、ハンドミラー画面３９のカメラ目線画像登録ボタン４２が操作された場合には、ハンドミラー画面３９の操作エリア４１に、所要の案内文字列（たとえば、“上部カメラに目線を向けてください”）を有するテキストオブジェクト４４と、ＯＫボタン４５と、キャンセルボタン４６とを表示する。
【００３９】
再び図３に戻り、ハンドミラー画面３９の操作エリア４１の表示内容を更新（ステップＳ５）すると、次に、ハンドミラー画面３９のＯＫボタン４５が操作されたか否かを判定し（ステップＳ６）、操作されていなければ、ハンドミラー画面３９のキャンセルボタン４６が操作されたか否かを判定する（ステップＳ７）。そして、いずれのボタンも操作されていなければ、それらのステップＳ６とステップＳ７をループする一方、キャンセルボタン４６が操作された場合は、再度、ハンドミラー表示処理を実行（ステップＳ１）し、また、ＯＫボタン４５が操作された場合は、カメラ目線画像登録処理（ステップＳ８）を実行した後、再度、ハンドミラー表示処理を実行（ステップＳ１）する。
【００４０】
＜カメラ目線画像登録処理＞
図５は、カメラ目線画像登録処理（ステップＳ８）の動作フローを示す図である。このカメラ目線画像登録処理では、まず、二つの内側カメラ（上カメラ２９と下カメラ３０）のいずれか一方で撮影した画像を取り込み、その画像から人物の顔を抽出し、さらに、その顔から目の部分を切り出す（ステップＳ８ａ）。ここで、「二つの内側カメラのいずれか一方」とは、図４（ｂ）のテキストオブジェクト４４で指定されている方のカメラを指す。すなわち、図４（ｂ）の例では、“上部カメラに目線を向けてください”となっているので、この場合の「二つの内側カメラのいずれか一方」は上カメラ２９になる。
【００４１】
ステップＳ８ａで、顔から目の部分を切り出すと、その切り出し画像を「カメラ目線画像」としてシステム内に登録（ステップＳ８ｂ）した後、再び、図３のステップＳ１を実行する。登録先は、たとえば、制御部３６のＰＲＯＭ３６ｂのユーザエリアとすることができる。なお、ステップＳ８ａで、上カメラ２９の画像から人物の顔が認識されなかった場合、または、上カメラ２９の画像から人物の顔が認識された場合で且つその顔から目の部分を切り出せなかった場合は、カメラ目線画像の登録処理を完了できないので、この場合には、たとえば、ハンドミラー画面３９の操作エリア４１のテキストオブジェクト４４に、所要の警告メッセージ（“登録を失敗しました。もう一度、上部カメラに目線を向けてください”など）を表示するとともに、再び、図３のステップＳ６、ステップＳ７をループさせることが望ましい。
【００４２】
＜ハンドミラー表示処理＞
図６は、ハンドミラー表示処理（ステップＳ１）の動作フローを示す図である。このハンドミラー表示処理では、まず、表示部２７に、図４（ａ）のハンドミラー画面３９を表示し（ステップＳ１ａ）、次いで、カメラ目線画像が登録済みであるか否かを判定する（ステップＳ１ｂ）。カメラ目線画像とは、先のカメラ目線画像登録処理（ステップＳ８）でシステム内（たとえば、制御部３６のＰＲＯＭ３６ｂのユーザエリア）に登録されている画像のことをいう。未登録であればそのまま、図３のステップＳ２に進む一方、登録済みであれば目線ずれ量の割り出し（ステップＳ１ｃ）を行い、次いで、その目線ずれ量を基に、二つの内側カメラ（上カメラ２９と下カメラ３０）の撮影画像を投影・合成して目線を修正した画像（目線修正画像）を生成し、その目線修正画像を、図４（ａ）のハンドミラー画面３９の表示エリア４０に表示（ステップＳ１ｄ）した後、図３のステップＳ２に進む。
【００４３】
図７は、カメラ目線と非カメラ目線の説明図である。この図において、（ａ）に示すように、人物４７の面前に透明な板４８を立て、その板４８の上に二つの点Ｐ１、Ｐ２をマークする。第一の点Ｐ１は人物４７の目４９よりも若干高い位置にあり、第二の点は人物４７の目４９とほぼ同じ高さに位置している。
【００４４】
今、人物４７が第一の点Ｐ１を直視したとすると、この第一の点Ｐ１からカメラ（上カメラ２９）で人物４７の目４９を撮影した場合、その撮影画像は（ｂ）のようになる。すなわち、（ｂ）に示すように、白目５０の中に上下バランスよく黒目（虹彩と瞳孔）５１が位置した目画像５２が得られる。一方、目線を下げて第二の点Ｐ２を直視した場合の撮影画像は（ｃ）のようになる。すなわち、（ｃ）に示すように、白目５０の下寄りに黒目５１が位置した目画像５３が得られる。
【００４５】
ここで、第一の点Ｐ１を直視したときと第二の点Ｐ２を直視したときのそれぞれの黒目５１の高さ方向の中心位置を比較してみる。白目５０の高さ方向幅をＨとすると、第一の点Ｐ１を直視したときの黒目５１の中心位置は白目５０の高さ方向幅Ｈのほぼ１／２相当になるから、第一の点Ｐ１を直視したときの黒目５１の中心位置は、白目５０の上端から下方向にＨ１ａだけ離れ且つ下端から上方向にＨ１ｂだけ離れた位置になり、結局、Ｈ１ａとＨ１ｂはほぼ等しい関係（Ｈ１ａ≒Ｈ１ｂ）になる。これに対して、第二の点Ｐ２を直視したときの黒目５１の中心位置は白目５０の高さ方向幅Ｈの１／２よりも下側になるから、第二の点Ｐ２を直視したときの黒目５１の中心位置は、白目５０の上端から下方向にＨ２ａだけ離れ且つ下端から上方向にＨ２ｂだけ離れた位置になり、結局、Ｈ２ａとＨ２ｂは前者が大きい関係（Ｈ２ａ＞Ｈ２ｂ）になる。
【００４６】
したがって、第一の点Ｐ１を直視したときと第二の点Ｐ２を直視したときのそれぞれの目画像５２、５３から「Ｈ１ａ＜Ｈ２ａ」の関係が得られる。そして、これら二つの値（Ｈ１ａとＨ２ａ）の差は、（ａ）における二つの点Ｐ１、Ｐ２の距離Ｌに比例するから、結局のところ、上記二つの値（Ｈ１ａとＨ２ａ）の差は、第一の点Ｐ１を直視したとき（カメラ目線のとき）と第二の点Ｐ２を直視したとき（非カメラ目線のとき）の目線ずれ量、つまり、目線のずれ角度θを表すことになる。
【００４７】
先のカメラ目線画像登録処理（ステップＳ８）におけるカメラ目線画像は、第一の点Ｐ１を直視したときの目画像５２のことであり、その登録処理とは、この目画像５２をシステムに登録することをいう。また、先のハンドミラー表示処理（ステップＳ１）における目線修正画像の生成は、前記の目線ずれ量（目線のずれ角度θ）を基に、二つの内側カメラ（上カメラ２９と下カメラ３０）の撮影画像を投影・合成して目線を修正した画像を生成することをいう。
【００４８】
図８は、目線修正画像生成の概念図である。この図において、上カメラ２９と下カメラ３０の撮影画角内に人物４７の顔が位置しており、この人物４７の視線は、上カメラ２９と下カメラ３０の間に位置する不図示の画面（表示部２７の表示画面）に向いており、非カメラ目線になっている。この視線状態（非カメラ目線）のとき、上カメラ２９で撮影された上カメラ画像５４には目線を下に向けた人物の顔５５が写っており、且つ、その顔５５の位置は画像の下に偏っている。また、下カメラ３０で撮影された下カメラ画像５６には目線を上に向けた人物の顔５７が写っており、且つ、その顔５７の位置は画像の上に偏っている。
【００４９】
先のハンドミラー表示処理（ステップＳ１）では、まず、これら二つの画像（上カメラ画像５４と下カメラ画像５６）から被写体の偏りを修正した画像を生成する。つまり、上カメラ画像５４の被写体は画像の下に偏り、且つ、下カメラ画像５６の被写体は画像の上に偏っているので、たとえば、冒頭で説明したステレオ視の技術（たとえば、特許文献１、２など）を用い、表示位置の偏りを修正した画像（顔の位置がほぼ中央に位置するように修正した画像）を生成する。
【００５０】
さて、冒頭の従来技術でも説明したとおり、ステレオ視の技術を適用しただけでは目線のずれを修正できないという不都合がある。このため、上記のように、表示位置の偏りを修正した画像を生成しただけでは、上カメラ画像５４の下向き目線と下カメラ画像５６の上向き目線の単純な合成となってしまう結果、違和感のある画像になる。これは、ステレオ視の技術においては、三角測量の原理で被写体各部の奥行きを認識し、同一撮影距離に位置する部分で且つ類似内容の部分同士を合成するという処理を行うからであり、単にステレオ視の技術を適用しただけでは、上カメラ画像５４と下カメラ画像５６に含まれる被写体の目の部分が単純合成されてしまうだけであるからである。
【００５１】
そこで、本実施形態では、図８の下段に示すように、表示位置の偏りを修正した画像５８に対して、さらに、前記の目線ずれ量（目線のずれ角度θ）を基にした目線の修正処理を行う。具体的には、登録済みカメラ目線画像の黒目の中心と、表示位置の偏りを修正した画像５８の黒目の中心とから、目線ずれ量（目線のずれ角度θ）を割り出し、その目線ずれ量に基づいて、カメラ目線相当となるように目線を修正した画像を生成し、その画像を表示部２７に表示する。
【００５２】
このように、目線ずれ量（目線のずれ角度θ）を基にした目線の修正処理を行うことにより、単にステレオ視の技術を適用しただけの場合の不都合（目線の違和感）をなくすことができる。その結果、非カメラ目線であっても、あたかもカメラ目線のように目線を修正した画像を表示部２７に表示でき、携帯電話機２０の表示部２７をハンドミラーの代わりに不都合なく使用できるようになる。
【００５３】
なお、以上の実施形態は携帯電話機への適用を例にしたが、これに限定されない。表示部と、その表示部の表示画面を見ている人の顔を撮影して当該表示部に表示できるカメラ（内側カメラ）とを備えた電子機器であればよく、たとえば、内側カメラ付のディスプレイを備えたパーソナルコンピュータ、または、内側カメラ付の携帯情報端末、携帯ゲーム機、電子辞書、電子ブック表示端末など多種多様なものに適用することができる。
【００５４】
以下、本発明の諸態様を付記としてまとめて記載する。
（付記１）
表示部の表示画面の対向二辺に接近して配置され且ついずれも前記表示画面を見ている人物の顔を撮影可能な第一のカメラと第二のカメラを備えた表示装置において、
前記第一のカメラで撮影したカメラ目線画像を登録する登録手段と、
前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像と前記登録手段に登録済みのカメラ目線画像とに基づいて目線ずれ量を割り出す割り出し手段と、
前記割り出し手段によって割り出された目線ずれ量に基づいて前記非カメラ目線画像の目線を修正する修正手段と、
前記修正手段によって目線が修正された目線修正済み画像を前記表示部に表示する表示制御手段と
を備えたことを特徴とする表示装置。
付記１によれば、ハンドミラー利用時の被写体の目線ずれの修正をより違和感なく行うことができる。
【００５５】
（付記２）
さらに、前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像に含まれる被写体の位置をステレオ視の原理で構図の中央方向にずらして修正する被写体位置修正手段を備えたことを特徴とする付記１に記載の表示装置。
付記２によれば、ハンドミラー利用時の被写体の位置ずれ修正も行うことができる。
【００５６】
（付記３）
さらに、前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像に含まれる被写体の位置をステレオ視の原理で構図の中央方向にずらして修正する被写体位置修正手段を備えるとともに、
前記修正手段は、前記カメラ目線画像に含まれる人物の黒目の中心と、当該被写体位置修正手段によって位置が修正された画像に含まれる人物の黒目の中心とから目線ずれ量を割り出し、その目線ずれ量に基づいて、カメラ目線相当となるように目線を修正した画像を生成することを特徴とする付記１に記載の表示装置。
付記３によれば、ハンドミラー利用時の被写体の目線ずれの修正をより違和感なく行うとともに、被写体の位置ずれ修正も同時に行うことができる。
【００５７】
（付記４）
表示部の表示画面の対向二辺に接近して配置され且ついずれも前記表示画面を見ている人物の顔を撮影可能な第一のカメラと第二のカメラを備えた表示装置の制御方法において、
前記第一のカメラで撮影したカメラ目線画像を登録する登録工程と、
前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像と前記登録工程で登録済みのカメラ目線画像とに基づいて目線ずれ量を割り出す割り出し工程と、
前記割り出し工程によって割り出された目線ずれ量に基づいて前記非カメラ目線画像の目線を修正する修正工程と、
前記修正工程によって目線が修正された目線修正済み画像を前記表示部に表示する表示制御工程と
を含むことを特徴とする表示制御方法。
付記４によれば、付記１と同様に、ハンドミラー利用時の被写体の目線ずれの修正をより違和感なく行うことができる表示制御方法を提供することができる。
【００５８】
（付記５）
表示部の表示画面の対向二辺に接近して配置され且ついずれも前記表示画面を見ている人物の顔を撮影可能な第一のカメラと第二のカメラを備えた表示装置のコンピュータを、
前記第一のカメラで撮影したカメラ目線画像を登録する登録手段、
前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像と前記登録手段に登録済みのカメラ目線画像とに基づいて目線ずれ量を割り出す割り出し手段、
前記割り出し手段によって割り出された目線ずれ量に基づいて前記非カメラ目線画像の目線を修正する修正手段、及び、
前記修正手段によって目線が修正された目線修正済み画像を前記表示部に表示する表示制御手段
として機能させるためのプログラム。
付記５によれば、付記１の機能をソフトウェア（プログラム）の形で提供することができる。
【００５９】
（付記６）
付記１に記載の表示装置を備えたことを特徴とする電子機器。
付記６によれば、内側カメラ付のディスプレイを備えたパーソナルコンピュータ、または、内側カメラ付の携帯電話機、携帯情報端末、携帯ゲーム機、電子辞書、電子ブック表示端末など多種多様な電子機器において、付記１と同様に、ハンドミラー利用時の被写体の目線ずれの修正をより違和感なく行うことができる
【符号の説明】
【００６０】
２０ 携帯電話機（表示装置、電子機器）
２７ 表示部
２９ 上カメラ（第一のカメラ）
３０ 下カメラ（第二のカメラ）
３６ａ ＣＰＵ（登録手段、割り出し手段、修正手段、表示制御手段、被写体位置修正手段）
５２ 目画像（カメラ目線画像）
５３ 目画像（非カメラ目線画像）
【特許請求の範囲】
【請求項１】
表示部の表示画面の対向二辺に接近して配置され且ついずれも前記表示画面を見ている人物の顔を撮影可能な第一のカメラと第二のカメラを備えた表示装置において、
前記第一のカメラで撮影したカメラ目線画像を登録する登録手段と、
前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像と前記登録手段に登録済みのカメラ目線画像とに基づいて目線ずれ量を割り出す割り出し手段と、
前記割り出し手段によって割り出された目線ずれ量に基づいて前記非カメラ目線画像の目線を修正する修正手段と、
前記修正手段によって目線が修正された目線修正済み画像を前記表示部に表示する表示制御手段と
を備えたことを特徴とする表示装置。
【請求項２】
さらに、前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像に含まれる被写体の位置をステレオ視の原理で構図の中央方向にずらして修正する被写体位置修正手段を備えたことを特徴とする請求項１に記載の表示装置。
【請求項３】
さらに、前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像に含まれる被写体の位置をステレオ視の原理で構図の中央方向にずらして修正する被写体位置修正手段を備えるとともに、
前記修正手段は、前記カメラ目線画像に含まれる人物の黒目の中心と、当該被写体位置修正手段によって位置が修正された画像に含まれる人物の黒目の中心とから目線ずれ量を割り出し、その目線ずれ量に基づいて、カメラ目線相当となるように目線を修正した画像を生成することを特徴とする請求項１に記載の表示装置。
【請求項４】
表示部の表示画面の対向二辺に接近して配置され且ついずれも前記表示画面を見ている人物の顔を撮影可能な第一のカメラと第二のカメラを備えた表示装置の制御方法において、
前記第一のカメラで撮影したカメラ目線画像を登録する登録工程と、
前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像と前記登録工程で登録済みのカメラ目線画像とに基づいて目線ずれ量を割り出す割り出し工程と、
前記割り出し工程によって割り出された目線ずれ量に基づいて前記非カメラ目線画像の目線を修正する修正工程と、
前記修正工程によって目線が修正された目線修正済み画像を前記表示部に表示する表示制御工程と
を含むことを特徴とする表示制御方法。
【請求項５】
表示部の表示画面の対向二辺に接近して配置され且ついずれも前記表示画面を見ている人物の顔を撮影可能な第一のカメラと第二のカメラを備えた表示装置のコンピュータを、
前記第一のカメラで撮影したカメラ目線画像を登録する登録手段、
前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像と前記登録手段に登録済みのカメラ目線画像とに基づいて目線ずれ量を割り出す割り出し手段、
前記割り出し手段によって割り出された目線ずれ量に基づいて前記非カメラ目線画像の目線を修正する修正手段、及び、
前記修正手段によって目線が修正された目線修正済み画像を前記表示部に表示する表示制御手段
として機能させるためのプログラム。
【請求項６】
請求項１に記載の表示装置を備えたことを特徴とする電子機器。
【請求項１】
表示部の表示画面の対向二辺に接近して配置され且ついずれも前記表示画面を見ている人物の顔を撮影可能な第一のカメラと第二のカメラを備えた表示装置において、
前記第一のカメラで撮影したカメラ目線画像を登録する登録手段と、
前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像と前記登録手段に登録済みのカメラ目線画像とに基づいて目線ずれ量を割り出す割り出し手段と、
前記割り出し手段によって割り出された目線ずれ量に基づいて前記非カメラ目線画像の目線を修正する修正手段と、
前記修正手段によって目線が修正された目線修正済み画像を前記表示部に表示する表示制御手段と
を備えたことを特徴とする表示装置。
【請求項２】
さらに、前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像に含まれる被写体の位置をステレオ視の原理で構図の中央方向にずらして修正する被写体位置修正手段を備えたことを特徴とする請求項１に記載の表示装置。
【請求項３】
さらに、前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像に含まれる被写体の位置をステレオ視の原理で構図の中央方向にずらして修正する被写体位置修正手段を備えるとともに、
前記修正手段は、前記カメラ目線画像に含まれる人物の黒目の中心と、当該被写体位置修正手段によって位置が修正された画像に含まれる人物の黒目の中心とから目線ずれ量を割り出し、その目線ずれ量に基づいて、カメラ目線相当となるように目線を修正した画像を生成することを特徴とする請求項１に記載の表示装置。
【請求項４】
表示部の表示画面の対向二辺に接近して配置され且ついずれも前記表示画面を見ている人物の顔を撮影可能な第一のカメラと第二のカメラを備えた表示装置の制御方法において、
前記第一のカメラで撮影したカメラ目線画像を登録する登録工程と、
前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像と前記登録工程で登録済みのカメラ目線画像とに基づいて目線ずれ量を割り出す割り出し工程と、
前記割り出し工程によって割り出された目線ずれ量に基づいて前記非カメラ目線画像の目線を修正する修正工程と、
前記修正工程によって目線が修正された目線修正済み画像を前記表示部に表示する表示制御工程と
を含むことを特徴とする表示制御方法。
【請求項５】
表示部の表示画面の対向二辺に接近して配置され且ついずれも前記表示画面を見ている人物の顔を撮影可能な第一のカメラと第二のカメラを備えた表示装置のコンピュータを、
前記第一のカメラで撮影したカメラ目線画像を登録する登録手段、
前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像と前記登録手段に登録済みのカメラ目線画像とに基づいて目線ずれ量を割り出す割り出し手段、
前記割り出し手段によって割り出された目線ずれ量に基づいて前記非カメラ目線画像の目線を修正する修正手段、及び、
前記修正手段によって目線が修正された目線修正済み画像を前記表示部に表示する表示制御手段
として機能させるためのプログラム。
【請求項６】
請求項１に記載の表示装置を備えたことを特徴とする電子機器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１１４５５７（Ｐ２０１２−１１４５５７Ａ）
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願番号】特願２０１０−２５９９５４（Ｐ２０１０−２５９９５４）
【出願日】平成２２年１１月２２日（２０１０．１１．２２）
【出願人】（３９００１０１７９）埼玉日本電気株式会社 (1,228)
【Ｆターム（参考）】
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願日】平成２２年１１月２２日（２０１０．１１．２２）
【出願人】（３９００１０１７９）埼玉日本電気株式会社 (1,228)
【Ｆターム（参考）】
[ Back to top ]