表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置
【課題】 専用のセンサを必要とすることなく、小規模な構成で、ユーザの顔の位置や顔角度の変化に応じて、表示部に表示している表示画像の表示方向や表示サイズを変更して表示する。
【解決手段】 筐体に設けられている自分撮り用のフロントカメラ部で自分の顔画像を撮像する。制御部は、このフロントカメラ部で撮像されたユーザの顔画像に基づいて、該ユーザの顔の位置の移動や回転を検出し、この移動位置や回転に応じて、待ち受け画像等を拡大、縮小、上下左右方向へ移動、回転等して表示する。これにより、表示部に表示している待ち受け画像等を、ユーザの顔画像の位置から見た状態の待ち受け画像に画像変更処理して表示することができる。筐体に設けられたフロントカメラ部を用いているため、専用のセンサを必要とすることなく、小規模な構成で実現することができる。
【解決手段】 筐体に設けられている自分撮り用のフロントカメラ部で自分の顔画像を撮像する。制御部は、このフロントカメラ部で撮像されたユーザの顔画像に基づいて、該ユーザの顔の位置の移動や回転を検出し、この移動位置や回転に応じて、待ち受け画像等を拡大、縮小、上下左右方向へ移動、回転等して表示する。これにより、表示部に表示している待ち受け画像等を、ユーザの顔画像の位置から見た状態の待ち受け画像に画像変更処理して表示することができる。筐体に設けられたフロントカメラ部を用いているため、専用のセンサを必要とすることなく、小規模な構成で実現することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ機能が設けられた、例えば携帯電話機、ＰＨＳ電話機（PHS：Personal Handyphone System）、ＰＤＡ装置（PDA：Personal Digital Assistant）、携帯ゲーム機、ノート型或いはデスクトップ型のパーソナルコンピュータ装置等の端末機器に適用して好適な表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置に関する。
特には、カメラ部で撮像されたユーザの顔画像に基づいて、ユーザの顔の向きや位置の変化等を検出し、表示部に表示している表示画像の表示方向や表示サイズの変更等の、上記検出結果に対応する表示処理をリアルタイムで行う表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置に関する。
【背景技術】
【０００２】
特開平７−１８１９３９号の公開特許公報（特許文献１）に、マウス等の機械的な操作を必要とせず、人間が何気なくしている動作を検知することにより、自動的に表示画面の部分拡大、または全体画像の表示を行う表示装置が開示されている。
【０００３】
この表示装置の場合、センサにより使用者と液晶ディスプレイとの距離を計測し、この計測値に基づいて、使用者と液晶ディスプレイとの距離が遠ければ、メモリに記憶した画像データを液晶ディスプレイに縮小画像として表示し、使用者と液晶ディスプレイとの距離が近ければ、メモリに記憶した画像データを液晶ディスプレイに拡大画像として表示するようになっている。
【０００４】
【特許文献１】特開平７−１８１９３９号公報（第３頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に開示されている表示装置の場合、使用者と液晶ディスプレイとの間の距離を計測するための専用のセンサを必要とし、装置自体が大掛かりなものとなる問題がある。
【０００６】
本発明は、上述の課題に鑑みてなされたものであり、専用のセンサを必要とすることなく、小規模な構成で、ユーザの顔の位置や顔角度の変化に応じて、表示部に表示している表示画像の表示方向や表示サイズを変更して表示することを可能とする表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る表示処理装置は、上述の課題を解決するために、
筐体に設けられたカメラ部からの撮像出力に基づいて、ユーザの顔画像を検出する顔画像検出部と、
上記顔画像検出部で検出されたユーザの顔画像の位置の変化、及び顔角度の変化を検出する位置／角度変化検出部と、
表示部に所定の表示画像を表示すると共に、この表示部に表示している表示画像を、上記位置／角度変化検出部で検出されたユーザの顔画像のＸ軸方向、及びＹ軸方向の位置の変化に応じて表示位置の移動処理を施し、Ｚ軸方向の位置の変化に応じて拡大／縮小処理し、ユーザの顔画像の顔角度の変化に応じて、当該顔角度から見た状態の表示画像に回転処理して上記表示部に表示する表示制御部と
を有する。
【０００８】
このような本発明は、筐体に設けられたカメラ部からの撮像出力に基づいて、ユーザの顔画像を検出すると共に、この検出したユーザの顔画像のＸ軸方向、及びＹ軸方向の位置の変化に応じて表示位置の移動処理を施して表示部に表示する。また、Ｚ軸方向の位置の変化に応じて拡大／縮小処理し、さらに、ユーザの顔画像の顔角度の変化に応じて、当該顔角度から見た状態の表示画像に回転処理して上記表示部に表示する。
【発明の効果】
【０００９】
本発明は、筐体に設けられたカメラ部で撮像されたユーザの顔画像を解析することで、ユーザの顔の位置や顔角度の変化を検出し、この検出したユーザの顔の位置や顔角度の変化に応じて、表示部に表示している表示画像の表示方向や表示サイズを変更して表示することができる。また、筐体に設けられたカメラ部を用いているため、専用のセンサを必要とすることなく、小規模な構成で実現することができる。
【発明を実施するための最良の形態】
【００１０】
本発明は、携帯電話機に適用することができる
［携帯電話機の電気構成］
まず、図１に、この本発明の実施の形態となる携帯電話機のブロック図を示す。この図１に示すように、この実施の形態の携帯電話機は、基地局との間で音声通話、テレビ電話通話、電子メール、Ｗｅｂデータ（Web：World Wide Web）等の無線通信を行うアンテナ１及び通信回路２と、受話音声等を出力するためのスピーカ部３と、送話音声等を集音するためのマイクロホン部４と、操作メニュー、電子メール、画像（静止画像及び動画像）等を表示するための表示部５と、十字キー、決定キー、数字キー等の複数の操作キーを備えた操作部６と、発着信等をユーザに光で通知するための発光部７（LED：Light Emitting Diode:発光ダイオード）とを有している。
【００１１】
また、この携帯電話機は、当該携帯電話機のユーザ等の静止画像或いは動画像を撮像するための、いわゆる自分撮り用のフロントカメラ部８と、所望の被写体の静止画像或いは動画像を撮像するためのメインカメラ部９と、当該携帯電話機の筐体を振動させて発着信等をユーザに通知するためのバイブレーションユニット１０と、時刻をカウントするタイマ１１と、Ｘ、Ｙ、Ｚの３軸方向の加速度を検出する、いわゆる３軸の加速度センサ１２とを有している。
【００１２】
また、この携帯電話機は、上記基地局を介した無線通信処理を行うためのコミュニケーションプログラムや各種アプリケーションプログラムの他、これら各アプリケーションプログラムで取り扱われる各種データ（コンテンツ）等が記憶されたメモリ１３と、当該携帯電話機全体の動作を制御する制御部１４とを有している。
【００１３】
メモリ１３には、上記コミュニケーションプログラムの他、主にフロントカメラ部８で撮像された撮像画像に写っているユーザの顔認識処理を行う顔認識処理プログラムと、この顔認識処理プログラムに基づいて認識されたユーザの顔の位置の変化に応じて、表示部５に表示している表示画像の表示方向や表示サイズを変更して表示するための表示処理プログラムと、フロントカメラ部８やメインカメラ部９の撮像制御を行うと共に、撮像した静止画像や動画像のビューア機能を備えたカメラ制御プログラムとを有している。
【００１４】
また、メモリ１３には、電子メールの作成や送受信を制御するための電子メール管理プログラムと、ユーザのスケジュールが登録されたスケジュール帳の管理を行うためのスケジュール帳管理プログラムと、コミュニケーションネットワークやインターネット等の所定のネットワーク上に設けられたサーバ装置上で公開されているＷｅｂページを閲覧するためのＷｅｂブラウジングプログラムと、電話帳の管理を行うための電話帳管理プログラムと、音楽コンテンツの再生を行うための音楽プレーヤプログラムとが記憶されている。
【００１５】
また、メモリ１３には、ユーザの所望のスケジュールが登録されるスケジュール帳と、ユーザの知人や友人等のユーザ名、静止画像（顔写真等）、住所、電話番号、電子メールアドレス、生年月日等が登録された電話帳と、音楽プレーヤプログラムに基づいて再生される音楽コンテンツと、カメラ制御プログラムのビューワ機能に基づいて再生される静止画像コンテンツ及び動画像コンテンツと、送受信された電子メールコンテンツと、電話及び電子メールの発着信履歴等が記憶されている。
【００１６】
［携帯電話機の外観構成］
次に、図２（ａ）に、当該実施の形態の携帯電話機を正面側から見た図を、図２（ｂ）に、当該実施の形態の携帯電話機を裏面側から見た図を、それぞれ示す。この図２（ａ）及び図２（ｂ）からわかるように、一例ではあるが、この実施の形態の携帯電話機は、いわゆるストレート型（＝スティック型）形状を有している。
【００１７】
図２（ａ）に示すように、筐体２１の正面側の面部２１ａには、略上半分程度の領域に上記表示部５が設けられており、略下半分程度の領域に上記操作部６が設けられている。また、筐体２１の正面側の面部２１ａにおいて、表示部５の上端部５ａと、筐体２１の上端部２１ｂとの間には、受話音声を出力するための上記スピーカ部３と、上記自分撮り用のフロントカメラ部８とが設けられている。
【００１８】
また、操作部６の下端部６ａと、筐体２１の下端部２１ｃとの間には、送話音声等を集音するための上記マイクロホン部４が設けられている。また、図２（ｂ）に示すように、筐体２１の裏面側の面部２１ｄには、筐体２１の上端部２１ｂに近接して、所望の被写体を撮像するためのメインカメラ部９が設けられている。
【００１９】
［フロントカメラ画像に基づく表示画像の表示処理動作］
このような実施の形態の携帯電話機は、フロントカメラ部８で撮像したユーザの顔の位置や顔角度の変化に基づいて、表示部５に表示している表示画像の表示方向や表示サイズを変更して表示するようになっている。図３のフローチャートに、表示部５に表示している待ち受け画像の表示方向や表示サイズを、ユーザの顔の位置や顔角度の変化に応じて変更する表示処理動作の流れを示す。
【００２０】
まず、制御部１４は、メモリ１３に記憶されている表示処理プログラムに基づいて表示制御部として機能することで、描画するオブジェクトのポリゴンデータ、頂点座標、頂点色、テクスチャ座標、ポリゴン表面に貼り付けるテクスチャデータ、オブジェクトに照射される光の強さや方向等の各種情報で形成される描画オブジェクト情報をメモリ１３から読み出す。そして、この描画オブジェクト情報に基づいて、所定の３次元画像である待ち受け画像を描画処理して表示部５に表示することで、この図３のフローチャートに示す処理を開始する。
【００２１】
ステップＳ０では、制御部１４が、現在、ユーザにより、キーロックが掛けられている状態であるか否かを判別し（＝キーロックのＯＮ／ＯＦＦを判別し）、キーロックが掛けられていないものと判別した際に、ステップＳ１に処理を進める。
【００２２】
すなわち、当該実施の形態の携帯電話機は、例えば筐体の側面部等に設けられたキーロックボタンを操作すると、当該携帯電話機に設けられている全てのキー操作或いは一部のキー操作が無効となる、いわゆるキーロックが掛かるようになっている。このため、制御部１４は、以下に説明する各処理に先立って、上記ステップＳ０において、このキーロックの有無を判別し、キーロックが掛けられていないことを判別した際に、処理をステップＳ１に進める。
【００２３】
次に、ステップＳ１では、制御部１４が、図１に示す加速度センサ１２からのセンサ出力を監視することで、当該携帯電話機の筐体２１が移動されたか否かを判別する。そして、筐体２１の移動を検出したタイミングでステップＳ２に処理を進め、フロントカメラ部８を起動する。
【００２４】
すなわち、電話着信や携帯メール着信の待ち受け時には、ユーザは、当該携帯電話機を机の上や充電器等に載置している場合が多く、このような場合は、当該携帯電話機は静止状態となる。この静止状態時に、以下に説明するフロントカメラ画像に基づく表示画像の表示処理を行うためにフロントカメラ部８を起動すると、電源を無駄に消費することとなる。
【００２５】
また、以下に説明するフロントカメラ画像に基づく表示画像の表示処理を行う場合、ユーザは、図４に示すようにフロントカメラ部８で自分の顔が撮像されるように、当該携帯電話機を手で把持して持ち上げる。これにより、筐体の移動が発生する。このため、ステップＳ１では、制御部１４が、加速度センサ１２からのセンサ出力に基づいて、ユーザが当該携帯電話機を手で把持して持ち上げることにより、筐体の移動が発生したか否かを判別し、筐体の移動を検出した際に、ステップＳ２において、フロントカメラ部８を起動する。これにより、当該携帯電話機が上記静止状態時に、フロントカメラ部８を起動させてしまい、電源を無駄に消費する不都合を防止することができる。
【００２６】
なお、制御部１４は、このようにフロントカメラ部８を起動中においても、加速度センサ１２からのセンサ出力を断続的、或いは連続的に監視する。そして、当該携帯電話機の筐体２１が静止状態であることを示すセンサ出力が所定時間連続して検出された際に、起動中のフロントカメラ部８を停止制御する。
【００２７】
フロントカメラ部８の起動中に、当該携帯電話機が静止状態であることを示すセンサ出力が所定時間連続して検出されるということは、当該携帯電話機が机の上や充電器等に載置されている可能性が高く、フロントカメラ部８が無駄に起動している可能性が高い。このため、制御部１４は、当該携帯電話機の筐体２１が静止状態であることを示すセンサ出力が所定時間連続して検出された場合には、起動中のフロントカメラ部８を停止制御する。これにより、電源を無駄に消費する不都合を防止することができる。
【００２８】
次に、フロントカメラ部８を起動すると、制御部１４は、ステップＳ３に処理を進め、メモリ１３に記憶されている顔認識処理プログラムに基づいて、顔画像検出部として機能する。そして、フロントカメラ部８で撮像された撮像画像に写っているユーザの顔部分の検出を行う。なお、フロントカメラ部８で撮像された撮像画像に複数名のユーザの顔が写っている場合、制御部１４は、一番大きく写っているユーザの顔のみを認識する。
【００２９】
次に、ステップＳ４では、制御部１４が、このような顔認識処理が正常に行えたか否かを判別し、顔認識処理を正常に行えたものと判別したタイミングで、処理をステップＳ５に進める。ステップＳ５では、制御部１４が、上記認識したユーザの顔の位置、顔サイズ、顔角度等を顔初期情報としてメモリ１３に一旦記憶して、処理をステップＳ６以降に進める。
【００３０】
ステップＳ６以降では、制御部１４が、メモリ１３に記憶されている顔認識処理プログラムに基づいて、位置変化検出部として機能することで、上記メモリ１３に一旦記憶した顔初期情報で示されるユーザの顔の位置、顔サイズ及び顔角度を基準とする、ユーザの現在の顔の位置、顔サイズ及び顔角度の変化を、フロントカメラ部８で撮像されている撮像画像に基づいて検出する。
【００３１】
一例ではあるが、制御部１４は、例えば特開２００４−１３３６３７号の公開特許公報に開示されている、顔の輝度分布情報を記録したテンプレートを静止画像にマッチングさせる技術を用いることで、Ｘ軸方向、Ｙ軸方向、及びＺ軸方向に対する、ユーザの顔の位置の移動を検出している。
【００３２】
具体的には、まず、フロントカメラ部８で撮像された撮像画像（フレーム画像＝静止画像）に縮小処理を施した画像を複数種類用意する。そこに顔を傾けた時に得られる顔の輝度分布情報テンプレート群を用意しておき、それらを順次マッチングさせていく。このテンプレートは、顔３次元直交座標系のＸ軸、Ｙ軸、及びＺ軸のそれぞれに対して傾いたものであり、制御部１４は、このテンプレートとのマッチングにより静止画像に写っているユーザの顔の傾きを検出する。
【００３３】
また、上記縮小処理を施した撮像画像に対して２次元平面上をずらしながら順次マッチングさせた時に、ある領域がテンプレートにマッチすれば、その領域が顔の存在する位置ということになり、大きさは、実画像の縮小率から求めることができる。また、そのときに用いたテンプレートから直交３軸周りの回転角、ヨー、ピッチ、ロールを検出することができる。
【００３４】
制御部１４は、このような顔認識処理により、ユーザの顔の移動方向及び回転方向（顔角度）を検出すると、ステップＳ６において、ユーザの顔がフロントカメラ部８に近づく方向（Ｚ軸方向）に移動することで、上記顔初期情報で示される顔サイズに対して、ユーザの現在の顔サイズが大きくなったか否かを判別する。そして、ユーザの顔サイズが大きくなったものと判別した場合、制御部１４は、処理をステップＳ１１に進める。
【００３５】
ステップＳ１１に処理を進めると、制御部１４は、メモリ１３に記憶されている表示処理プログラムに基づいて表示制御部として機能することで、メモリ１３に一旦記憶した上記顔初期情報で示される顔サイズと、現在の顔サイズとの差分に対応する大きさとなるように、表示部５に表示している待ち受け画像を拡大する再描画処理を行い、これを表示部５に表示して、ステップＳ１０に処理を進める。
【００３６】
次に、制御部１４は、上記ステップＳ６において、ユーザの顔サイズが大きくなっていないものと判別すると、処理をステップＳ７に進め、ユーザの顔がフロントカメラ部８から遠ざかる方向（Ｚ軸方向）に移動することで、上記顔初期情報で示される顔サイズに対して、ユーザの現在の顔サイズが小さくなったか否かを判別する。そして、ユーザの顔サイズが小さくなったものと判別した場合、制御部１４は、処理をステップＳ１２に進める。
【００３７】
ステップＳ１２に処理を進めると、制御部１４は、メモリ１３に記憶されている表示処理プログラムに基づいて表示制御部として機能することで、メモリ１３に一旦記憶した上記顔初期情報で示される顔サイズと、現在の顔サイズとの差分に対応する小ささとなるように、表示部５に表示している待ち受け画像を縮小する再描画処理を行い、これを表示部５に表示して、ステップＳ１０に処理を進める。
【００３８】
図５（ａ）〜図５（ｄ）に、このような拡大／縮小処理の具体例を示す。図５（ａ）及び図５（ｂ）は、フロントカメラ部８で撮像されているユーザの顔画像であり、図５（ｃ）及び図５（ｄ）は、表示部５に表示されている待ち受け画像である。
【００３９】
図５（ａ）→図５（ｂ）に示すように、ユーザが自分の顔をフロントカメラ部８に近づけると、制御部１４は、図５（ｃ）→図５（ｄ）に示すように待ち受け画像を拡大する再描画処理を行い、この拡大した待ち受け画像を表示部５に表示する。
【００４０】
反対に、図５（ｂ）→図５（ａ）に示すように、ユーザが自分の顔をフロントカメラ部８から遠ざけると、制御部１４は、図５（ｄ）→図５（ｃ）に示すように待ち受け画像を縮小する再描画処理を行い、この縮小した待ち受け画像を表示部５に表示する。
【００４１】
これにより、ユーザが自分の顔をフロントカメラ部８に近づけたり、遠ざけたりすることで、表示部５に表示される待ち受け画像も、拡大されて表示され、また、縮小されて表示されることとなる。
【００４２】
次に、上記ステップＳ７において、ユーザの顔サイズが小さくなっていないものと判別した場合、制御部１４は、処理をステップＳ８に進め、ユーザがフロントカメラ部８との間の距離を変えずに、上方向、下方向、左方向、右方向、斜め方向等のＸ軸方向或いはＹ軸方向に移動することで、上記顔初期情報で示される顔の位置（顔初期位置）に対して、現在のユーザの顔の位置が変化したか否かを判別する。そして、ユーザの顔の位置が変化したものと判別した場合、制御部１４は、処理をステップＳ１３に進める。
【００４３】
ステップＳ１３に処理を進めると、制御部１４は、メモリ１３に記憶されている表示処理プログラムに基づいて表示制御部として機能することで、メモリ１３に一旦記憶した上記顔初期情報で示される顔初期位置及び現在の顔の位置に基づいて、ユーザの顔の移動方向を検出し、表示部５に表示している待ち受け画像を、このユーザの顔の移動方向に対応する方向に移動した状態の待ち受け画像となるように再描画処理し、これを表示部５に表示して、ステップＳ１０に処理を進める。
【００４４】
図６（ａ）〜図６（ｄ）に、このような移動処理の具体例を示す。図６（ａ）及び図６（ｂ）は、フロントカメラ部８で撮像されているユーザの顔画像であり、図６（ｃ）及び図６（ｄ）は、表示部５に表示されている待ち受け画像である。
【００４５】
図６（ａ）→図６（ｂ）に示すように、ユーザが自分の顔を右方向へ移動させると、制御部１４は、図６（ｃ）→図６（ｄ）に示すように表示部５に表示する待ち受け画像を右方向へ移動させた状態の待ち受け画像を再描画処理し、この待ち受け画像を表示部５に表示する。
【００４６】
反対に、 図６（ｂ）→図６（ａ）に示すように、ユーザが自分の顔を左方向へ移動させると、制御部１４は、図６（ｄ）→図６（ｃ）に示すように表示部５に表示する待ち受け画像を左方向へ移動させた状態の待ち受け画像を再描画処理し、この待ち受け画像を表示部５に表示する。
【００４７】
なお、この図６（ａ）〜図６（ｄ）は、ユーザが顔を右方向或いは左方向に移動させた例であったが、ユーザが顔を上方向、下方向、斜め方向に移動させた場合も上述と同様であり、制御部１４は、このユーザの顔の移動方向に対応する方向に移動させた状態の待ち受け画像を再描画処理して、表示部５に表示する。
【００４８】
これにより、ユーザが自分の顔をフロントカメラ部８に対して上下左右、斜め方向に移動させることで、表示部５に表示される待ち受け画像も、上下左右、斜め方向に移動されて表示されることとなる。
【００４９】
次に、上記ステップＳ８において、ユーザの顔の位置が変化していないものと判別した場合、制御部１４は、処理をステップＳ９に進め、ユーザの顔角度が変化したか否か（＝顔の向きが変化したか否か）を判別する。そして、ユーザの顔角度が変化したものと判別した場合、制御部１４は、処理をステップＳ１４に進める。
【００５０】
ステップＳ１４に処理を進めると、制御部１４は、メモリ１３に記憶されている表示処理プログラムに基づいて表示制御部として機能することで、メモリ１３に一旦記憶した上記顔初期情報で示される顔角度と現在の顔角度との差分を検出し、この差分に対応する顔角度から見た状態の待ち受け画像を再描画処理し、これを表示部５に表示して、ステップＳ１０に処理を進める。
【００５１】
図７（ａ）〜図７（ｃ）に、このような顔角度に対応する表示処理の一例を示す。図７（ａ）は、ユーザが左方向へ顔を回転させた例である。この場合、制御部１４は、右方向へ回転させた待ち受け画像を再描画処理することで、この待ち受け画像のオブジェクトを左斜め方向から見た状態の待ち受け画像を再描画処理し、これを表示部５に表示する。
【００５２】
図７（ｂ）は、ユーザが下方向へ顔を回転させた例である。この場合、制御部１４は、下方向へ回転させた待ち受け画像を再描画処理することで、この待ち受け画像のオブジェクトを斜め上方向から見た状態の待ち受け画像を再描画処理し、これを表示部５に表示する。
【００５３】
図７（ｃ）は、ユーザが左斜め上方向へ顔を回転させた例である。この場合、制御部１４は、右斜め上方向へ回転させた待ち受け画像を再描画処理することで、この待ち受け画像のオブジェクトを左斜め下方向から見た状態の待ち受け画像を再描画処理し、これを表示部５に表示する。
【００５４】
これにより、ユーザが自分の顔を上下左右方向に回転させ、或いは斜め上方向、斜め下方向に回転させることで、表示部５に表示される待ち受け画像も、このユーザの顔の回転方向から見た状態の待ち受け画像に再描画処理されて、表示部５に表示されることとなる。
【００５５】
次に、このような再描画処理を行うことで、処理をステップＳ１０に進めると、制御部１４は、操作部６の操作状態を監視することで、ユーザにより、このフロントカメラ画像に基づく表示画像の表示処理を行うアプリケーションプログラムの終了が指定されたか否かを判別する。そして、当該アプリケーションプログラムの終了の指定を検出するまでの間、ユーザの顔の位置の移動に応じて、上述の待ち受け画像の描画処理を繰り返し実行し、当該アプリケーションプログラムの終了の指定を検出したタイミングで、この図３のフローチャートに示す全処理を終了する。
【００５６】
なお、以上の説明では、ユーザの顔の移動位置や回転方向等に基づいて、３次元的な待ち受け画像を再描画処理して表示することとしたが、これは、図８（ａ）及び図８（ｂ）に示すように、ユーザの顔の移動位置や回転方向等に対応する複数の待ち受け画像を予め用意しておき、この複数の待ち受け画像の中から、実際に検出されたユーザの顔の移動位置や回転方向に対応する待ち受け画像を選択して表示してもよい。
【００５７】
［メインカメラ部使用時におけるズーム制御動作］
この実施の形態の携帯電話機は、ズーム機能を備えているメインカメラ部９を用いて撮像を行う場合、制御部１４は、該メインカメラ部９で、現在、撮像されている撮像画像を表示部５にリアルタイムで表示するようになっている。ユーザは、この表示部５にリアルタイムに表示される撮像画像を見ながらタイミングを図り、所望のタイミングでシャッタボタンを押圧操作することで、所望の静止画像を撮像する。このようなメインカメラ部９を用いて撮像を行う場合、制御部１４は、フロントカメラ部８とユーザの顔との間の距離に応じて、メインカメラ部９のズーム機能をズームアップ／ズームダウン制御するようになっている。
【００５８】
図９のフローチャートに、このようなメインカメラ部使用時におけるズーム制御動作の流れを示す。制御部１４は、ユーザにより、メインカメラ部９を用いた撮像の指定操作がなされたタイミングで該メインカメラ部９を起動制御すると共に、メモリ１３に記憶されている表示処理プログラムに基づいて、この図９のフローチャートに示す処理を開始する。
【００５９】
ステップＳ２１では、制御部１４が、フロントカメラ部８を起動して、処理をステップＳ２１に進める。ステップＳ２１では、制御部１４が、メモリ１３に記憶されている顔認識処理プログラムに基づいて、顔画像検出部として機能する。そして、フロントカメラ部８で撮像された撮像画像に写っているユーザの顔部分の検出を行う。なお、フロントカメラ部８で撮像された撮像画像に複数名のユーザの顔が写っている場合、制御部１４は、一番大きく写っているユーザの顔のみを認識することは、上述のとおりである。
【００６０】
次に、ステップＳ２３では、制御部１４が、このような顔認識処理が正常に行えたか否かを判別し、顔認識処理を正常に行えたものと判別したタイミングで、処理をステップＳ２４に進める。ステップＳ２４では、制御部１４が、上記認識したユーザの顔の位置、顔サイズ、顔角度等からなる上記顔初期情報をメモリ１３に一旦記憶して、処理をステップＳ２５に進める。
【００６１】
ステップＳ２５では、制御部１４が、メモリ１３に記憶されている顔認識処理プログラムに基づいて、位置変化検出部として機能することで、上記メモリ１３に一旦記憶した顔初期情報で示されるユーザの顔サイズを基準として、該ユーザの顔がフロントカメラ部８に近づくことで、該フロントカメラ部８で撮像されているユーザの顔の顔サイズが大きくなったか否かを判別する。そして、ユーザの顔サイズが大きくなったものと判別した場合、制御部１４は、処理をステップＳ２８に進める。
【００６２】
ステップＳ２８に処理を進めると、制御部１４は、メモリ１３に一旦記憶した上記顔初期情報で示される顔サイズと、現在の顔サイズとの差分に対応する拡大率となるように、メインカメラ部９をズームアップ制御して、ステップＳ２７に処理を進める。これにより、ユーザが、フロントカメラ部８に顔を近づけるだけで、メインカメラ部９により撮像されている被写体像が拡大されて撮像されることとなる。
【００６３】
次に、上記ステップＳ２５において、ユーザの顔サイズが大きくなっていないものと判別した場合、制御部１４は、処理をステップＳ２６に進め、上記メモリ１３に一旦記憶した顔初期情報で示されるユーザの顔サイズを基準として、該ユーザの顔がフロントカメラ部８から遠ざかることで、該フロントカメラ部８で撮像されているユーザの顔の顔サイズが小さくなったか否かを判別する。そして、ユーザの顔サイズが小さくなったものと判別した場合、制御部１４は、処理をステップＳ２９に進める。
【００６４】
ステップＳ２９に処理を進めると、制御部１４は、メモリ１３に一旦記憶した上記顔初期情報で示される顔サイズと、現在の顔サイズとの差分に対応する縮小率となるように、メインカメラ部９をズームダウン制御して、ステップＳ２７に処理を進める。これにより、ユーザが、フロントカメラ部８から顔を遠ざけるだけで、メインカメラ部９により撮像されている被写体像が縮小されて撮像されることとなる。
【００６５】
次に、このようなメインカメラ部９のズームアップ／ズームダウン制御を行うことで、処理をステップＳ２７に進めると、制御部１４は、操作部６の操作状態を監視することで、ユーザにより、このメインカメラ部９を用いた撮像終了の指定操作がなされたか否かを判別する。そして、このメインカメラ部９を用いた撮像終了の指定操作を検出するまでの間、ユーザの顔とフロントカメラ部８との間の距離の変化に対応して、メインカメラ部９のズームアップ／ズームダウン制御を繰り返し実行し、メインカメラ部９を用いた撮像終了の指定操作を検出したタイミングで、この図９のフローチャートに示す全処理を終了する。
【００６６】
このように、制御部１４は、ユーザの顔とフロントカメラ部８との間の距離に対応して、メインカメラ部９をズームアップ／ズームダウン制御するため、ユーザは、フロントカメラ部８に対して顔を近づけ、或いは遠ざけることで、メインカメラ部９のズームアップ操作／ズームダウン操作を行うことができる。ズームアップ操作／ズームダウン操作をボタン操作で行う場合、当該ボタン操作による手振れが発生するおそれがあるが、当該実施の形態の携帯電話機の場合、このような手振れが発生する不都合を防止することができる。
【００６７】
［実施の形態の効果］
以上の説明から明らかなように、この実施の形態の携帯電話機は、筐体２１に設けられている自分撮り用のフロントカメラ部８で自分の顔画像を撮像する。制御部１４は、このフロントカメラ部８で撮像されたユーザの顔画像に基づいて、該ユーザの顔の位置の移動や顔角度の変化を検出し、この顔の移動位置や顔角度の変化に応じて、待ち受け画像等の所定の画像を拡大、縮小、上下左右の移動、回転等を施して表示する。これにより、表示部５に表示している上記待ち受け画像等を、ユーザの顔の位置から見た状態の待ち受け画像に画像変更処理して表示することができる。
【００６８】
また、筐体２１に設けられたフロントカメラ部８を用いているため、専用のセンサを必要とすることなく、小規模な構成で実現することができる。
【００６９】
また、フロントカメラ部８とユーザの顔との間の距離に基づいて、メインカメラ部９をズームアップ／ズームダウン制御することで、ユーザは、フロントカメラ部８に対して顔を近づけ、或いは遠ざけることで、メインカメラ部９のズームアップ操作／ズームダウン操作を行うことができる。このため、ボタン操作でズームアップ操作／ズームダウン操作を行う必要がないため、当該ボタン操作により手振れが発生する不都合を防止することができる。
【００７０】
［変形例］
上述の実施の形態は、本発明を携帯電話機に適用した例であったが、本発明は、この他、ＰＨＳ電話機（PHS：Personal Handyphone System）、ＰＤＡ装置（PDA：Personal Digital Assistant）、携帯ゲーム機、ノート型或いはデスクトップ型のパーソナルコンピュータ装置等の端末機器に適用してもよい。いずれの場合も、上述と同じ効果を得ることができる。
【００７１】
最後に、本発明は、一例として説明した上述の実施の形態に限定されることはなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論であることを付け加えておく。
【図面の簡単な説明】
【００７２】
【図１】本発明を適用した実施の形態となる携帯電話機のブロック図である。
【図２】実施の形態の携帯電話機の外観を示す図である。
【図３】実施の形態の携帯電話機における、フロントカメラ画像に基づく表示画像の表示処理動作の流れを示すフローチャートである。
【図４】実施の形態の携帯電話機の使用形態を示す模式図である。
【図５】実施の形態の携帯電話機のフロントカメラ画像に基づく、待ち受け画像の拡大／縮小処理を説明するための図である。
【図６】実施の形態の携帯電話機のフロントカメラ画像に基づく、待ち受け画像の移動表示処理を説明するための図である。
【図７】実施の形態の携帯電話機のフロントカメラ画像に基づく、待ち受け画像の回転表示処理を説明するための図である。
【図８】実施の形態の携帯電話機における、フロントカメラ画像に基づく、表示画像の他の表示処理動作を説明するための図である。
【図９】実施の形態の携帯電話機における、メインカメラ部使用時におけるズーム制御動作の流れを示すフローチャートである。
【符号の説明】
【００７３】
１ アンテナ、２ 通信回路、３ スピーカ部、４ マイクロホン部、５ 表示部、６ 操作部、７ 発光部、８ フロントカメラ部、９ メインカメラ部、１０ バイブレーションユニット、１１ タイマ、１２ 加速度センサ、１３ メモリ、１４ 制御部、２１ 携帯電話機の筐体
【技術分野】
【０００１】
本発明は、カメラ機能が設けられた、例えば携帯電話機、ＰＨＳ電話機（PHS：Personal Handyphone System）、ＰＤＡ装置（PDA：Personal Digital Assistant）、携帯ゲーム機、ノート型或いはデスクトップ型のパーソナルコンピュータ装置等の端末機器に適用して好適な表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置に関する。
特には、カメラ部で撮像されたユーザの顔画像に基づいて、ユーザの顔の向きや位置の変化等を検出し、表示部に表示している表示画像の表示方向や表示サイズの変更等の、上記検出結果に対応する表示処理をリアルタイムで行う表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置に関する。
【背景技術】
【０００２】
特開平７−１８１９３９号の公開特許公報（特許文献１）に、マウス等の機械的な操作を必要とせず、人間が何気なくしている動作を検知することにより、自動的に表示画面の部分拡大、または全体画像の表示を行う表示装置が開示されている。
【０００３】
この表示装置の場合、センサにより使用者と液晶ディスプレイとの距離を計測し、この計測値に基づいて、使用者と液晶ディスプレイとの距離が遠ければ、メモリに記憶した画像データを液晶ディスプレイに縮小画像として表示し、使用者と液晶ディスプレイとの距離が近ければ、メモリに記憶した画像データを液晶ディスプレイに拡大画像として表示するようになっている。
【０００４】
【特許文献１】特開平７−１８１９３９号公報（第３頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に開示されている表示装置の場合、使用者と液晶ディスプレイとの間の距離を計測するための専用のセンサを必要とし、装置自体が大掛かりなものとなる問題がある。
【０００６】
本発明は、上述の課題に鑑みてなされたものであり、専用のセンサを必要とすることなく、小規模な構成で、ユーザの顔の位置や顔角度の変化に応じて、表示部に表示している表示画像の表示方向や表示サイズを変更して表示することを可能とする表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る表示処理装置は、上述の課題を解決するために、
筐体に設けられたカメラ部からの撮像出力に基づいて、ユーザの顔画像を検出する顔画像検出部と、
上記顔画像検出部で検出されたユーザの顔画像の位置の変化、及び顔角度の変化を検出する位置／角度変化検出部と、
表示部に所定の表示画像を表示すると共に、この表示部に表示している表示画像を、上記位置／角度変化検出部で検出されたユーザの顔画像のＸ軸方向、及びＹ軸方向の位置の変化に応じて表示位置の移動処理を施し、Ｚ軸方向の位置の変化に応じて拡大／縮小処理し、ユーザの顔画像の顔角度の変化に応じて、当該顔角度から見た状態の表示画像に回転処理して上記表示部に表示する表示制御部と
を有する。
【０００８】
このような本発明は、筐体に設けられたカメラ部からの撮像出力に基づいて、ユーザの顔画像を検出すると共に、この検出したユーザの顔画像のＸ軸方向、及びＹ軸方向の位置の変化に応じて表示位置の移動処理を施して表示部に表示する。また、Ｚ軸方向の位置の変化に応じて拡大／縮小処理し、さらに、ユーザの顔画像の顔角度の変化に応じて、当該顔角度から見た状態の表示画像に回転処理して上記表示部に表示する。
【発明の効果】
【０００９】
本発明は、筐体に設けられたカメラ部で撮像されたユーザの顔画像を解析することで、ユーザの顔の位置や顔角度の変化を検出し、この検出したユーザの顔の位置や顔角度の変化に応じて、表示部に表示している表示画像の表示方向や表示サイズを変更して表示することができる。また、筐体に設けられたカメラ部を用いているため、専用のセンサを必要とすることなく、小規模な構成で実現することができる。
【発明を実施するための最良の形態】
【００１０】
本発明は、携帯電話機に適用することができる
［携帯電話機の電気構成］
まず、図１に、この本発明の実施の形態となる携帯電話機のブロック図を示す。この図１に示すように、この実施の形態の携帯電話機は、基地局との間で音声通話、テレビ電話通話、電子メール、Ｗｅｂデータ（Web：World Wide Web）等の無線通信を行うアンテナ１及び通信回路２と、受話音声等を出力するためのスピーカ部３と、送話音声等を集音するためのマイクロホン部４と、操作メニュー、電子メール、画像（静止画像及び動画像）等を表示するための表示部５と、十字キー、決定キー、数字キー等の複数の操作キーを備えた操作部６と、発着信等をユーザに光で通知するための発光部７（LED：Light Emitting Diode:発光ダイオード）とを有している。
【００１１】
また、この携帯電話機は、当該携帯電話機のユーザ等の静止画像或いは動画像を撮像するための、いわゆる自分撮り用のフロントカメラ部８と、所望の被写体の静止画像或いは動画像を撮像するためのメインカメラ部９と、当該携帯電話機の筐体を振動させて発着信等をユーザに通知するためのバイブレーションユニット１０と、時刻をカウントするタイマ１１と、Ｘ、Ｙ、Ｚの３軸方向の加速度を検出する、いわゆる３軸の加速度センサ１２とを有している。
【００１２】
また、この携帯電話機は、上記基地局を介した無線通信処理を行うためのコミュニケーションプログラムや各種アプリケーションプログラムの他、これら各アプリケーションプログラムで取り扱われる各種データ（コンテンツ）等が記憶されたメモリ１３と、当該携帯電話機全体の動作を制御する制御部１４とを有している。
【００１３】
メモリ１３には、上記コミュニケーションプログラムの他、主にフロントカメラ部８で撮像された撮像画像に写っているユーザの顔認識処理を行う顔認識処理プログラムと、この顔認識処理プログラムに基づいて認識されたユーザの顔の位置の変化に応じて、表示部５に表示している表示画像の表示方向や表示サイズを変更して表示するための表示処理プログラムと、フロントカメラ部８やメインカメラ部９の撮像制御を行うと共に、撮像した静止画像や動画像のビューア機能を備えたカメラ制御プログラムとを有している。
【００１４】
また、メモリ１３には、電子メールの作成や送受信を制御するための電子メール管理プログラムと、ユーザのスケジュールが登録されたスケジュール帳の管理を行うためのスケジュール帳管理プログラムと、コミュニケーションネットワークやインターネット等の所定のネットワーク上に設けられたサーバ装置上で公開されているＷｅｂページを閲覧するためのＷｅｂブラウジングプログラムと、電話帳の管理を行うための電話帳管理プログラムと、音楽コンテンツの再生を行うための音楽プレーヤプログラムとが記憶されている。
【００１５】
また、メモリ１３には、ユーザの所望のスケジュールが登録されるスケジュール帳と、ユーザの知人や友人等のユーザ名、静止画像（顔写真等）、住所、電話番号、電子メールアドレス、生年月日等が登録された電話帳と、音楽プレーヤプログラムに基づいて再生される音楽コンテンツと、カメラ制御プログラムのビューワ機能に基づいて再生される静止画像コンテンツ及び動画像コンテンツと、送受信された電子メールコンテンツと、電話及び電子メールの発着信履歴等が記憶されている。
【００１６】
［携帯電話機の外観構成］
次に、図２（ａ）に、当該実施の形態の携帯電話機を正面側から見た図を、図２（ｂ）に、当該実施の形態の携帯電話機を裏面側から見た図を、それぞれ示す。この図２（ａ）及び図２（ｂ）からわかるように、一例ではあるが、この実施の形態の携帯電話機は、いわゆるストレート型（＝スティック型）形状を有している。
【００１７】
図２（ａ）に示すように、筐体２１の正面側の面部２１ａには、略上半分程度の領域に上記表示部５が設けられており、略下半分程度の領域に上記操作部６が設けられている。また、筐体２１の正面側の面部２１ａにおいて、表示部５の上端部５ａと、筐体２１の上端部２１ｂとの間には、受話音声を出力するための上記スピーカ部３と、上記自分撮り用のフロントカメラ部８とが設けられている。
【００１８】
また、操作部６の下端部６ａと、筐体２１の下端部２１ｃとの間には、送話音声等を集音するための上記マイクロホン部４が設けられている。また、図２（ｂ）に示すように、筐体２１の裏面側の面部２１ｄには、筐体２１の上端部２１ｂに近接して、所望の被写体を撮像するためのメインカメラ部９が設けられている。
【００１９】
［フロントカメラ画像に基づく表示画像の表示処理動作］
このような実施の形態の携帯電話機は、フロントカメラ部８で撮像したユーザの顔の位置や顔角度の変化に基づいて、表示部５に表示している表示画像の表示方向や表示サイズを変更して表示するようになっている。図３のフローチャートに、表示部５に表示している待ち受け画像の表示方向や表示サイズを、ユーザの顔の位置や顔角度の変化に応じて変更する表示処理動作の流れを示す。
【００２０】
まず、制御部１４は、メモリ１３に記憶されている表示処理プログラムに基づいて表示制御部として機能することで、描画するオブジェクトのポリゴンデータ、頂点座標、頂点色、テクスチャ座標、ポリゴン表面に貼り付けるテクスチャデータ、オブジェクトに照射される光の強さや方向等の各種情報で形成される描画オブジェクト情報をメモリ１３から読み出す。そして、この描画オブジェクト情報に基づいて、所定の３次元画像である待ち受け画像を描画処理して表示部５に表示することで、この図３のフローチャートに示す処理を開始する。
【００２１】
ステップＳ０では、制御部１４が、現在、ユーザにより、キーロックが掛けられている状態であるか否かを判別し（＝キーロックのＯＮ／ＯＦＦを判別し）、キーロックが掛けられていないものと判別した際に、ステップＳ１に処理を進める。
【００２２】
すなわち、当該実施の形態の携帯電話機は、例えば筐体の側面部等に設けられたキーロックボタンを操作すると、当該携帯電話機に設けられている全てのキー操作或いは一部のキー操作が無効となる、いわゆるキーロックが掛かるようになっている。このため、制御部１４は、以下に説明する各処理に先立って、上記ステップＳ０において、このキーロックの有無を判別し、キーロックが掛けられていないことを判別した際に、処理をステップＳ１に進める。
【００２３】
次に、ステップＳ１では、制御部１４が、図１に示す加速度センサ１２からのセンサ出力を監視することで、当該携帯電話機の筐体２１が移動されたか否かを判別する。そして、筐体２１の移動を検出したタイミングでステップＳ２に処理を進め、フロントカメラ部８を起動する。
【００２４】
すなわち、電話着信や携帯メール着信の待ち受け時には、ユーザは、当該携帯電話機を机の上や充電器等に載置している場合が多く、このような場合は、当該携帯電話機は静止状態となる。この静止状態時に、以下に説明するフロントカメラ画像に基づく表示画像の表示処理を行うためにフロントカメラ部８を起動すると、電源を無駄に消費することとなる。
【００２５】
また、以下に説明するフロントカメラ画像に基づく表示画像の表示処理を行う場合、ユーザは、図４に示すようにフロントカメラ部８で自分の顔が撮像されるように、当該携帯電話機を手で把持して持ち上げる。これにより、筐体の移動が発生する。このため、ステップＳ１では、制御部１４が、加速度センサ１２からのセンサ出力に基づいて、ユーザが当該携帯電話機を手で把持して持ち上げることにより、筐体の移動が発生したか否かを判別し、筐体の移動を検出した際に、ステップＳ２において、フロントカメラ部８を起動する。これにより、当該携帯電話機が上記静止状態時に、フロントカメラ部８を起動させてしまい、電源を無駄に消費する不都合を防止することができる。
【００２６】
なお、制御部１４は、このようにフロントカメラ部８を起動中においても、加速度センサ１２からのセンサ出力を断続的、或いは連続的に監視する。そして、当該携帯電話機の筐体２１が静止状態であることを示すセンサ出力が所定時間連続して検出された際に、起動中のフロントカメラ部８を停止制御する。
【００２７】
フロントカメラ部８の起動中に、当該携帯電話機が静止状態であることを示すセンサ出力が所定時間連続して検出されるということは、当該携帯電話機が机の上や充電器等に載置されている可能性が高く、フロントカメラ部８が無駄に起動している可能性が高い。このため、制御部１４は、当該携帯電話機の筐体２１が静止状態であることを示すセンサ出力が所定時間連続して検出された場合には、起動中のフロントカメラ部８を停止制御する。これにより、電源を無駄に消費する不都合を防止することができる。
【００２８】
次に、フロントカメラ部８を起動すると、制御部１４は、ステップＳ３に処理を進め、メモリ１３に記憶されている顔認識処理プログラムに基づいて、顔画像検出部として機能する。そして、フロントカメラ部８で撮像された撮像画像に写っているユーザの顔部分の検出を行う。なお、フロントカメラ部８で撮像された撮像画像に複数名のユーザの顔が写っている場合、制御部１４は、一番大きく写っているユーザの顔のみを認識する。
【００２９】
次に、ステップＳ４では、制御部１４が、このような顔認識処理が正常に行えたか否かを判別し、顔認識処理を正常に行えたものと判別したタイミングで、処理をステップＳ５に進める。ステップＳ５では、制御部１４が、上記認識したユーザの顔の位置、顔サイズ、顔角度等を顔初期情報としてメモリ１３に一旦記憶して、処理をステップＳ６以降に進める。
【００３０】
ステップＳ６以降では、制御部１４が、メモリ１３に記憶されている顔認識処理プログラムに基づいて、位置変化検出部として機能することで、上記メモリ１３に一旦記憶した顔初期情報で示されるユーザの顔の位置、顔サイズ及び顔角度を基準とする、ユーザの現在の顔の位置、顔サイズ及び顔角度の変化を、フロントカメラ部８で撮像されている撮像画像に基づいて検出する。
【００３１】
一例ではあるが、制御部１４は、例えば特開２００４−１３３６３７号の公開特許公報に開示されている、顔の輝度分布情報を記録したテンプレートを静止画像にマッチングさせる技術を用いることで、Ｘ軸方向、Ｙ軸方向、及びＺ軸方向に対する、ユーザの顔の位置の移動を検出している。
【００３２】
具体的には、まず、フロントカメラ部８で撮像された撮像画像（フレーム画像＝静止画像）に縮小処理を施した画像を複数種類用意する。そこに顔を傾けた時に得られる顔の輝度分布情報テンプレート群を用意しておき、それらを順次マッチングさせていく。このテンプレートは、顔３次元直交座標系のＸ軸、Ｙ軸、及びＺ軸のそれぞれに対して傾いたものであり、制御部１４は、このテンプレートとのマッチングにより静止画像に写っているユーザの顔の傾きを検出する。
【００３３】
また、上記縮小処理を施した撮像画像に対して２次元平面上をずらしながら順次マッチングさせた時に、ある領域がテンプレートにマッチすれば、その領域が顔の存在する位置ということになり、大きさは、実画像の縮小率から求めることができる。また、そのときに用いたテンプレートから直交３軸周りの回転角、ヨー、ピッチ、ロールを検出することができる。
【００３４】
制御部１４は、このような顔認識処理により、ユーザの顔の移動方向及び回転方向（顔角度）を検出すると、ステップＳ６において、ユーザの顔がフロントカメラ部８に近づく方向（Ｚ軸方向）に移動することで、上記顔初期情報で示される顔サイズに対して、ユーザの現在の顔サイズが大きくなったか否かを判別する。そして、ユーザの顔サイズが大きくなったものと判別した場合、制御部１４は、処理をステップＳ１１に進める。
【００３５】
ステップＳ１１に処理を進めると、制御部１４は、メモリ１３に記憶されている表示処理プログラムに基づいて表示制御部として機能することで、メモリ１３に一旦記憶した上記顔初期情報で示される顔サイズと、現在の顔サイズとの差分に対応する大きさとなるように、表示部５に表示している待ち受け画像を拡大する再描画処理を行い、これを表示部５に表示して、ステップＳ１０に処理を進める。
【００３６】
次に、制御部１４は、上記ステップＳ６において、ユーザの顔サイズが大きくなっていないものと判別すると、処理をステップＳ７に進め、ユーザの顔がフロントカメラ部８から遠ざかる方向（Ｚ軸方向）に移動することで、上記顔初期情報で示される顔サイズに対して、ユーザの現在の顔サイズが小さくなったか否かを判別する。そして、ユーザの顔サイズが小さくなったものと判別した場合、制御部１４は、処理をステップＳ１２に進める。
【００３７】
ステップＳ１２に処理を進めると、制御部１４は、メモリ１３に記憶されている表示処理プログラムに基づいて表示制御部として機能することで、メモリ１３に一旦記憶した上記顔初期情報で示される顔サイズと、現在の顔サイズとの差分に対応する小ささとなるように、表示部５に表示している待ち受け画像を縮小する再描画処理を行い、これを表示部５に表示して、ステップＳ１０に処理を進める。
【００３８】
図５（ａ）〜図５（ｄ）に、このような拡大／縮小処理の具体例を示す。図５（ａ）及び図５（ｂ）は、フロントカメラ部８で撮像されているユーザの顔画像であり、図５（ｃ）及び図５（ｄ）は、表示部５に表示されている待ち受け画像である。
【００３９】
図５（ａ）→図５（ｂ）に示すように、ユーザが自分の顔をフロントカメラ部８に近づけると、制御部１４は、図５（ｃ）→図５（ｄ）に示すように待ち受け画像を拡大する再描画処理を行い、この拡大した待ち受け画像を表示部５に表示する。
【００４０】
反対に、図５（ｂ）→図５（ａ）に示すように、ユーザが自分の顔をフロントカメラ部８から遠ざけると、制御部１４は、図５（ｄ）→図５（ｃ）に示すように待ち受け画像を縮小する再描画処理を行い、この縮小した待ち受け画像を表示部５に表示する。
【００４１】
これにより、ユーザが自分の顔をフロントカメラ部８に近づけたり、遠ざけたりすることで、表示部５に表示される待ち受け画像も、拡大されて表示され、また、縮小されて表示されることとなる。
【００４２】
次に、上記ステップＳ７において、ユーザの顔サイズが小さくなっていないものと判別した場合、制御部１４は、処理をステップＳ８に進め、ユーザがフロントカメラ部８との間の距離を変えずに、上方向、下方向、左方向、右方向、斜め方向等のＸ軸方向或いはＹ軸方向に移動することで、上記顔初期情報で示される顔の位置（顔初期位置）に対して、現在のユーザの顔の位置が変化したか否かを判別する。そして、ユーザの顔の位置が変化したものと判別した場合、制御部１４は、処理をステップＳ１３に進める。
【００４３】
ステップＳ１３に処理を進めると、制御部１４は、メモリ１３に記憶されている表示処理プログラムに基づいて表示制御部として機能することで、メモリ１３に一旦記憶した上記顔初期情報で示される顔初期位置及び現在の顔の位置に基づいて、ユーザの顔の移動方向を検出し、表示部５に表示している待ち受け画像を、このユーザの顔の移動方向に対応する方向に移動した状態の待ち受け画像となるように再描画処理し、これを表示部５に表示して、ステップＳ１０に処理を進める。
【００４４】
図６（ａ）〜図６（ｄ）に、このような移動処理の具体例を示す。図６（ａ）及び図６（ｂ）は、フロントカメラ部８で撮像されているユーザの顔画像であり、図６（ｃ）及び図６（ｄ）は、表示部５に表示されている待ち受け画像である。
【００４５】
図６（ａ）→図６（ｂ）に示すように、ユーザが自分の顔を右方向へ移動させると、制御部１４は、図６（ｃ）→図６（ｄ）に示すように表示部５に表示する待ち受け画像を右方向へ移動させた状態の待ち受け画像を再描画処理し、この待ち受け画像を表示部５に表示する。
【００４６】
反対に、 図６（ｂ）→図６（ａ）に示すように、ユーザが自分の顔を左方向へ移動させると、制御部１４は、図６（ｄ）→図６（ｃ）に示すように表示部５に表示する待ち受け画像を左方向へ移動させた状態の待ち受け画像を再描画処理し、この待ち受け画像を表示部５に表示する。
【００４７】
なお、この図６（ａ）〜図６（ｄ）は、ユーザが顔を右方向或いは左方向に移動させた例であったが、ユーザが顔を上方向、下方向、斜め方向に移動させた場合も上述と同様であり、制御部１４は、このユーザの顔の移動方向に対応する方向に移動させた状態の待ち受け画像を再描画処理して、表示部５に表示する。
【００４８】
これにより、ユーザが自分の顔をフロントカメラ部８に対して上下左右、斜め方向に移動させることで、表示部５に表示される待ち受け画像も、上下左右、斜め方向に移動されて表示されることとなる。
【００４９】
次に、上記ステップＳ８において、ユーザの顔の位置が変化していないものと判別した場合、制御部１４は、処理をステップＳ９に進め、ユーザの顔角度が変化したか否か（＝顔の向きが変化したか否か）を判別する。そして、ユーザの顔角度が変化したものと判別した場合、制御部１４は、処理をステップＳ１４に進める。
【００５０】
ステップＳ１４に処理を進めると、制御部１４は、メモリ１３に記憶されている表示処理プログラムに基づいて表示制御部として機能することで、メモリ１３に一旦記憶した上記顔初期情報で示される顔角度と現在の顔角度との差分を検出し、この差分に対応する顔角度から見た状態の待ち受け画像を再描画処理し、これを表示部５に表示して、ステップＳ１０に処理を進める。
【００５１】
図７（ａ）〜図７（ｃ）に、このような顔角度に対応する表示処理の一例を示す。図７（ａ）は、ユーザが左方向へ顔を回転させた例である。この場合、制御部１４は、右方向へ回転させた待ち受け画像を再描画処理することで、この待ち受け画像のオブジェクトを左斜め方向から見た状態の待ち受け画像を再描画処理し、これを表示部５に表示する。
【００５２】
図７（ｂ）は、ユーザが下方向へ顔を回転させた例である。この場合、制御部１４は、下方向へ回転させた待ち受け画像を再描画処理することで、この待ち受け画像のオブジェクトを斜め上方向から見た状態の待ち受け画像を再描画処理し、これを表示部５に表示する。
【００５３】
図７（ｃ）は、ユーザが左斜め上方向へ顔を回転させた例である。この場合、制御部１４は、右斜め上方向へ回転させた待ち受け画像を再描画処理することで、この待ち受け画像のオブジェクトを左斜め下方向から見た状態の待ち受け画像を再描画処理し、これを表示部５に表示する。
【００５４】
これにより、ユーザが自分の顔を上下左右方向に回転させ、或いは斜め上方向、斜め下方向に回転させることで、表示部５に表示される待ち受け画像も、このユーザの顔の回転方向から見た状態の待ち受け画像に再描画処理されて、表示部５に表示されることとなる。
【００５５】
次に、このような再描画処理を行うことで、処理をステップＳ１０に進めると、制御部１４は、操作部６の操作状態を監視することで、ユーザにより、このフロントカメラ画像に基づく表示画像の表示処理を行うアプリケーションプログラムの終了が指定されたか否かを判別する。そして、当該アプリケーションプログラムの終了の指定を検出するまでの間、ユーザの顔の位置の移動に応じて、上述の待ち受け画像の描画処理を繰り返し実行し、当該アプリケーションプログラムの終了の指定を検出したタイミングで、この図３のフローチャートに示す全処理を終了する。
【００５６】
なお、以上の説明では、ユーザの顔の移動位置や回転方向等に基づいて、３次元的な待ち受け画像を再描画処理して表示することとしたが、これは、図８（ａ）及び図８（ｂ）に示すように、ユーザの顔の移動位置や回転方向等に対応する複数の待ち受け画像を予め用意しておき、この複数の待ち受け画像の中から、実際に検出されたユーザの顔の移動位置や回転方向に対応する待ち受け画像を選択して表示してもよい。
【００５７】
［メインカメラ部使用時におけるズーム制御動作］
この実施の形態の携帯電話機は、ズーム機能を備えているメインカメラ部９を用いて撮像を行う場合、制御部１４は、該メインカメラ部９で、現在、撮像されている撮像画像を表示部５にリアルタイムで表示するようになっている。ユーザは、この表示部５にリアルタイムに表示される撮像画像を見ながらタイミングを図り、所望のタイミングでシャッタボタンを押圧操作することで、所望の静止画像を撮像する。このようなメインカメラ部９を用いて撮像を行う場合、制御部１４は、フロントカメラ部８とユーザの顔との間の距離に応じて、メインカメラ部９のズーム機能をズームアップ／ズームダウン制御するようになっている。
【００５８】
図９のフローチャートに、このようなメインカメラ部使用時におけるズーム制御動作の流れを示す。制御部１４は、ユーザにより、メインカメラ部９を用いた撮像の指定操作がなされたタイミングで該メインカメラ部９を起動制御すると共に、メモリ１３に記憶されている表示処理プログラムに基づいて、この図９のフローチャートに示す処理を開始する。
【００５９】
ステップＳ２１では、制御部１４が、フロントカメラ部８を起動して、処理をステップＳ２１に進める。ステップＳ２１では、制御部１４が、メモリ１３に記憶されている顔認識処理プログラムに基づいて、顔画像検出部として機能する。そして、フロントカメラ部８で撮像された撮像画像に写っているユーザの顔部分の検出を行う。なお、フロントカメラ部８で撮像された撮像画像に複数名のユーザの顔が写っている場合、制御部１４は、一番大きく写っているユーザの顔のみを認識することは、上述のとおりである。
【００６０】
次に、ステップＳ２３では、制御部１４が、このような顔認識処理が正常に行えたか否かを判別し、顔認識処理を正常に行えたものと判別したタイミングで、処理をステップＳ２４に進める。ステップＳ２４では、制御部１４が、上記認識したユーザの顔の位置、顔サイズ、顔角度等からなる上記顔初期情報をメモリ１３に一旦記憶して、処理をステップＳ２５に進める。
【００６１】
ステップＳ２５では、制御部１４が、メモリ１３に記憶されている顔認識処理プログラムに基づいて、位置変化検出部として機能することで、上記メモリ１３に一旦記憶した顔初期情報で示されるユーザの顔サイズを基準として、該ユーザの顔がフロントカメラ部８に近づくことで、該フロントカメラ部８で撮像されているユーザの顔の顔サイズが大きくなったか否かを判別する。そして、ユーザの顔サイズが大きくなったものと判別した場合、制御部１４は、処理をステップＳ２８に進める。
【００６２】
ステップＳ２８に処理を進めると、制御部１４は、メモリ１３に一旦記憶した上記顔初期情報で示される顔サイズと、現在の顔サイズとの差分に対応する拡大率となるように、メインカメラ部９をズームアップ制御して、ステップＳ２７に処理を進める。これにより、ユーザが、フロントカメラ部８に顔を近づけるだけで、メインカメラ部９により撮像されている被写体像が拡大されて撮像されることとなる。
【００６３】
次に、上記ステップＳ２５において、ユーザの顔サイズが大きくなっていないものと判別した場合、制御部１４は、処理をステップＳ２６に進め、上記メモリ１３に一旦記憶した顔初期情報で示されるユーザの顔サイズを基準として、該ユーザの顔がフロントカメラ部８から遠ざかることで、該フロントカメラ部８で撮像されているユーザの顔の顔サイズが小さくなったか否かを判別する。そして、ユーザの顔サイズが小さくなったものと判別した場合、制御部１４は、処理をステップＳ２９に進める。
【００６４】
ステップＳ２９に処理を進めると、制御部１４は、メモリ１３に一旦記憶した上記顔初期情報で示される顔サイズと、現在の顔サイズとの差分に対応する縮小率となるように、メインカメラ部９をズームダウン制御して、ステップＳ２７に処理を進める。これにより、ユーザが、フロントカメラ部８から顔を遠ざけるだけで、メインカメラ部９により撮像されている被写体像が縮小されて撮像されることとなる。
【００６５】
次に、このようなメインカメラ部９のズームアップ／ズームダウン制御を行うことで、処理をステップＳ２７に進めると、制御部１４は、操作部６の操作状態を監視することで、ユーザにより、このメインカメラ部９を用いた撮像終了の指定操作がなされたか否かを判別する。そして、このメインカメラ部９を用いた撮像終了の指定操作を検出するまでの間、ユーザの顔とフロントカメラ部８との間の距離の変化に対応して、メインカメラ部９のズームアップ／ズームダウン制御を繰り返し実行し、メインカメラ部９を用いた撮像終了の指定操作を検出したタイミングで、この図９のフローチャートに示す全処理を終了する。
【００６６】
このように、制御部１４は、ユーザの顔とフロントカメラ部８との間の距離に対応して、メインカメラ部９をズームアップ／ズームダウン制御するため、ユーザは、フロントカメラ部８に対して顔を近づけ、或いは遠ざけることで、メインカメラ部９のズームアップ操作／ズームダウン操作を行うことができる。ズームアップ操作／ズームダウン操作をボタン操作で行う場合、当該ボタン操作による手振れが発生するおそれがあるが、当該実施の形態の携帯電話機の場合、このような手振れが発生する不都合を防止することができる。
【００６７】
［実施の形態の効果］
以上の説明から明らかなように、この実施の形態の携帯電話機は、筐体２１に設けられている自分撮り用のフロントカメラ部８で自分の顔画像を撮像する。制御部１４は、このフロントカメラ部８で撮像されたユーザの顔画像に基づいて、該ユーザの顔の位置の移動や顔角度の変化を検出し、この顔の移動位置や顔角度の変化に応じて、待ち受け画像等の所定の画像を拡大、縮小、上下左右の移動、回転等を施して表示する。これにより、表示部５に表示している上記待ち受け画像等を、ユーザの顔の位置から見た状態の待ち受け画像に画像変更処理して表示することができる。
【００６８】
また、筐体２１に設けられたフロントカメラ部８を用いているため、専用のセンサを必要とすることなく、小規模な構成で実現することができる。
【００６９】
また、フロントカメラ部８とユーザの顔との間の距離に基づいて、メインカメラ部９をズームアップ／ズームダウン制御することで、ユーザは、フロントカメラ部８に対して顔を近づけ、或いは遠ざけることで、メインカメラ部９のズームアップ操作／ズームダウン操作を行うことができる。このため、ボタン操作でズームアップ操作／ズームダウン操作を行う必要がないため、当該ボタン操作により手振れが発生する不都合を防止することができる。
【００７０】
［変形例］
上述の実施の形態は、本発明を携帯電話機に適用した例であったが、本発明は、この他、ＰＨＳ電話機（PHS：Personal Handyphone System）、ＰＤＡ装置（PDA：Personal Digital Assistant）、携帯ゲーム機、ノート型或いはデスクトップ型のパーソナルコンピュータ装置等の端末機器に適用してもよい。いずれの場合も、上述と同じ効果を得ることができる。
【００７１】
最後に、本発明は、一例として説明した上述の実施の形態に限定されることはなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論であることを付け加えておく。
【図面の簡単な説明】
【００７２】
【図１】本発明を適用した実施の形態となる携帯電話機のブロック図である。
【図２】実施の形態の携帯電話機の外観を示す図である。
【図３】実施の形態の携帯電話機における、フロントカメラ画像に基づく表示画像の表示処理動作の流れを示すフローチャートである。
【図４】実施の形態の携帯電話機の使用形態を示す模式図である。
【図５】実施の形態の携帯電話機のフロントカメラ画像に基づく、待ち受け画像の拡大／縮小処理を説明するための図である。
【図６】実施の形態の携帯電話機のフロントカメラ画像に基づく、待ち受け画像の移動表示処理を説明するための図である。
【図７】実施の形態の携帯電話機のフロントカメラ画像に基づく、待ち受け画像の回転表示処理を説明するための図である。
【図８】実施の形態の携帯電話機における、フロントカメラ画像に基づく、表示画像の他の表示処理動作を説明するための図である。
【図９】実施の形態の携帯電話機における、メインカメラ部使用時におけるズーム制御動作の流れを示すフローチャートである。
【符号の説明】
【００７３】
１ アンテナ、２ 通信回路、３ スピーカ部、４ マイクロホン部、５ 表示部、６ 操作部、７ 発光部、８ フロントカメラ部、９ メインカメラ部、１０ バイブレーションユニット、１１ タイマ、１２ 加速度センサ、１３ メモリ、１４ 制御部、２１ 携帯電話機の筐体
【特許請求の範囲】
【請求項１】
筐体に設けられたカメラ部からの撮像出力に基づいて、ユーザの顔画像を検出する顔画像検出部と、
上記顔画像検出部で検出されたユーザの顔画像の位置の変化、及び顔角度の変化を検出する位置／角度変化検出部と、
表示部に所定の表示画像を表示すると共に、この表示部に表示している表示画像を、上記位置／角度変化検出部で検出されたユーザの顔画像のＸ軸方向、及びＹ軸方向の位置の変化に応じて表示位置の移動処理を施し、Ｚ軸方向の位置の変化に応じて拡大／縮小処理し、ユーザの顔画像の顔角度の変化に応じて、当該顔角度から見た状態の表示画像に回転処理して上記表示部に表示する表示制御部と
を有する表示処理装置。
【請求項２】
上記筐体の移動を検出する移動検出部と、
上記移動検出部で上記筐体の移動が検出されるまでの間は、少なくとも上記顔画像検出部、及び上記位置／角度変化検出部を停止制御し、上記移動検出部で上記筐体の移動が検出された際に、上記顔画像の検出、上記顔画像の位置、及び顔角度の変化の検出を、それぞれ開始するように上記顔画像検出部、及び上記位置／角度変化検出部を制御すると共に、上記移動検出部で上記筐体の静止状態が検出されてから所定時間が経過した際に、上記顔画像検出部、及び上記位置／角度変化検出部を停止制御する制御部と
を有する請求項１に記載の表示処理装置。
【請求項３】
上記カメラ部として上記ユーザの顔画像を撮像するためのフロントカメラ部と、所望の被写体を撮像するためのズーム機能を備えたメインカメラ部とを備え、
上記表示制御部は、上記メインカメラ部で撮像されている撮像画像を上記表示部にリアルタイムで表示し、
上記フロントカメラ部で撮像されたユーザの顔画像に基づいて上記位置／角度変化検出部が検出する、上記Ｚ軸方向の位置の変化のうち、上記フロントカメラ部に近づく方向の位置の変化が検出された場合、このフロントカメラ部に近づく方向の位置の変化に応じて、上記メインカメラ部で撮像している被写体をズームアップするように、上記メインカメラ部のズーム機能を制御し、上記フロントカメラ部で撮像されたユーザの顔画像に基づいて上記位置／変化検出部が検出する、上記Ｚ軸方向の位置の変化のうち、上記フロントカメラ部から遠ざかる方向の位置の変化が検出された場合、このフロントカメラ部から遠ざかる方向の位置の変化に応じて、上記メインカメラ部で撮像している被写体をズームダウンするように、上記メインカメラ部のズーム機能を制御する制御部を有する
請求項１に記載の表示処理装置。
【請求項４】
顔画像検出部が、筐体に設けられたカメラ部からの撮像出力に基づいて、ユーザの顔画像を検出するステップと、
位置／角度変化検出部が、上記ステップで検出されたユーザの顔画像の位置の変化、及び顔角度の変化を検出するステップと、
表示制御部が、表示部に所定の表示画像を表示すると共に、この表示部に表示している表示画像を、上記ステップで検出されたユーザの顔画像のＸ軸方向、及びＹ軸方向の位置の変化に応じて表示位置の移動処理を施し、Ｚ軸方向の位置の変化に応じて拡大／縮小処理し、ユーザの顔画像の顔角度の変化に応じて、当該顔角度から見た状態の表示画像に回転処理して上記表示部に表示するステップと
を有する表示処理方法。
【請求項５】
筐体に設けられたカメラ部からの撮像出力に基づいて、ユーザの顔画像を検出する顔画像検出部としてコンピュータを機能させ、
コンピュータを上記顔画像検出部として機能させることで検出されたユーザの顔画像の位置の変化、及び顔角度の変化を検出する位置／角度変化検出部としてコンピュータを機能させ、
表示部に所定の表示画像を表示すると共に、この表示部に表示している表示画像を、コンピュータを上記位置／角度変化検出部として機能させることで検出されたユーザの顔画像のＸ軸方向、及びＹ軸方向の位置の変化に応じて表示位置の移動処理を施し、Ｚ軸方向の位置の変化に応じて拡大／縮小処理し、ユーザの顔画像の顔角度の変化に応じて、当該顔角度から見た状態の表示画像に回転処理して上記表示部に表示する表示制御部としてコンピュータを機能させる
表示処理プログラム。
【請求項６】
筐体に設けられたカメラ部と、
上記カメラ部からの撮像出力に基づいて、ユーザの顔画像を検出する顔画像検出部と、
上記顔画像検出部で検出されたユーザの顔画像の位置の変化、及び顔角度の変化を検出する位置／角度変化検出部と、
所定の表示画像を表示するための表示部と、
上記表示部に所定の表示画像を表示すると共に、この表示部に表示している表示画像を、上記位置／角度変化検出部で検出されたユーザの顔画像のＸ軸方向、及びＹ軸方向の位置の変化に応じて表示位置の移動処理を施し、Ｚ軸方向の位置の変化に応じて拡大／縮小処理し、ユーザの顔画像の顔角度の変化に応じて、当該顔角度から見た状態の表示画像に回転処理して上記表示部に表示する表示制御部と
を有する携帯端末装置。
【請求項１】
筐体に設けられたカメラ部からの撮像出力に基づいて、ユーザの顔画像を検出する顔画像検出部と、
上記顔画像検出部で検出されたユーザの顔画像の位置の変化、及び顔角度の変化を検出する位置／角度変化検出部と、
表示部に所定の表示画像を表示すると共に、この表示部に表示している表示画像を、上記位置／角度変化検出部で検出されたユーザの顔画像のＸ軸方向、及びＹ軸方向の位置の変化に応じて表示位置の移動処理を施し、Ｚ軸方向の位置の変化に応じて拡大／縮小処理し、ユーザの顔画像の顔角度の変化に応じて、当該顔角度から見た状態の表示画像に回転処理して上記表示部に表示する表示制御部と
を有する表示処理装置。
【請求項２】
上記筐体の移動を検出する移動検出部と、
上記移動検出部で上記筐体の移動が検出されるまでの間は、少なくとも上記顔画像検出部、及び上記位置／角度変化検出部を停止制御し、上記移動検出部で上記筐体の移動が検出された際に、上記顔画像の検出、上記顔画像の位置、及び顔角度の変化の検出を、それぞれ開始するように上記顔画像検出部、及び上記位置／角度変化検出部を制御すると共に、上記移動検出部で上記筐体の静止状態が検出されてから所定時間が経過した際に、上記顔画像検出部、及び上記位置／角度変化検出部を停止制御する制御部と
を有する請求項１に記載の表示処理装置。
【請求項３】
上記カメラ部として上記ユーザの顔画像を撮像するためのフロントカメラ部と、所望の被写体を撮像するためのズーム機能を備えたメインカメラ部とを備え、
上記表示制御部は、上記メインカメラ部で撮像されている撮像画像を上記表示部にリアルタイムで表示し、
上記フロントカメラ部で撮像されたユーザの顔画像に基づいて上記位置／角度変化検出部が検出する、上記Ｚ軸方向の位置の変化のうち、上記フロントカメラ部に近づく方向の位置の変化が検出された場合、このフロントカメラ部に近づく方向の位置の変化に応じて、上記メインカメラ部で撮像している被写体をズームアップするように、上記メインカメラ部のズーム機能を制御し、上記フロントカメラ部で撮像されたユーザの顔画像に基づいて上記位置／変化検出部が検出する、上記Ｚ軸方向の位置の変化のうち、上記フロントカメラ部から遠ざかる方向の位置の変化が検出された場合、このフロントカメラ部から遠ざかる方向の位置の変化に応じて、上記メインカメラ部で撮像している被写体をズームダウンするように、上記メインカメラ部のズーム機能を制御する制御部を有する
請求項１に記載の表示処理装置。
【請求項４】
顔画像検出部が、筐体に設けられたカメラ部からの撮像出力に基づいて、ユーザの顔画像を検出するステップと、
位置／角度変化検出部が、上記ステップで検出されたユーザの顔画像の位置の変化、及び顔角度の変化を検出するステップと、
表示制御部が、表示部に所定の表示画像を表示すると共に、この表示部に表示している表示画像を、上記ステップで検出されたユーザの顔画像のＸ軸方向、及びＹ軸方向の位置の変化に応じて表示位置の移動処理を施し、Ｚ軸方向の位置の変化に応じて拡大／縮小処理し、ユーザの顔画像の顔角度の変化に応じて、当該顔角度から見た状態の表示画像に回転処理して上記表示部に表示するステップと
を有する表示処理方法。
【請求項５】
筐体に設けられたカメラ部からの撮像出力に基づいて、ユーザの顔画像を検出する顔画像検出部としてコンピュータを機能させ、
コンピュータを上記顔画像検出部として機能させることで検出されたユーザの顔画像の位置の変化、及び顔角度の変化を検出する位置／角度変化検出部としてコンピュータを機能させ、
表示部に所定の表示画像を表示すると共に、この表示部に表示している表示画像を、コンピュータを上記位置／角度変化検出部として機能させることで検出されたユーザの顔画像のＸ軸方向、及びＹ軸方向の位置の変化に応じて表示位置の移動処理を施し、Ｚ軸方向の位置の変化に応じて拡大／縮小処理し、ユーザの顔画像の顔角度の変化に応じて、当該顔角度から見た状態の表示画像に回転処理して上記表示部に表示する表示制御部としてコンピュータを機能させる
表示処理プログラム。
【請求項６】
筐体に設けられたカメラ部と、
上記カメラ部からの撮像出力に基づいて、ユーザの顔画像を検出する顔画像検出部と、
上記顔画像検出部で検出されたユーザの顔画像の位置の変化、及び顔角度の変化を検出する位置／角度変化検出部と、
所定の表示画像を表示するための表示部と、
上記表示部に所定の表示画像を表示すると共に、この表示部に表示している表示画像を、上記位置／角度変化検出部で検出されたユーザの顔画像のＸ軸方向、及びＹ軸方向の位置の変化に応じて表示位置の移動処理を施し、Ｚ軸方向の位置の変化に応じて拡大／縮小処理し、ユーザの顔画像の顔角度の変化に応じて、当該顔角度から見た状態の表示画像に回転処理して上記表示部に表示する表示制御部と
を有する携帯端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００９−２９４７２８（Ｐ２００９−２９４７２８Ａ）
【公開日】平成２１年１２月１７日（２００９．１２．１７）
【国際特許分類】
【出願番号】特願２００８−１４５０４４（Ｐ２００８−１４５０４４）
【出願日】平成２０年６月２日（２００８．６．２）
【出願人】（５０１４３１０７３）ソニー・エリクソン・モバイルコミュニケーションズ株式会社 (810)
【Ｆターム（参考）】
【公開日】平成２１年１２月１７日（２００９．１２．１７）
【国際特許分類】
【出願日】平成２０年６月２日（２００８．６．２）
【出願人】（５０１４３１０７３）ソニー・エリクソン・モバイルコミュニケーションズ株式会社 (810)
【Ｆターム（参考）】
[ Back to top ]