携帯端末装置、画面表示切替方法、プログラム、コンピュータ読み取り可能な記録媒体
【課題】利用中のユーザに対する携帯端末装置の向きを適切に把握し、通知操作を行うことなく画面表示の切り替えができ、リアルタイムに表示されている映像コンテンツの視聴中に任意に画面表示を切り替えることが可能な携帯端末装置等を提供する。
【解決手段】携帯端末装置は、ユーザを撮像し画像情報を取得する撮像手段と、撮像手段により取得された画像情報からユーザの顔面構造を認識して顔情報を取得する顔認識手段と、顔認識手段により取得されたユーザの顔情報に基づいて、利用中のユーザに対する携帯端末装置の筺体の向きを検知する筺体方向検知手段と、筺体方向検知手段により検知された筺体の向きに基づいて、表示手段への映像コンテンツの表示を切り替える切替制御手段と、を有し、アプリケーションの起動中において、撮像手段、顔認識手段、筺体方向検知手段、及び切替制御手段による諸動作を行い、映像コンテンツの表示切り替えを行う。
【解決手段】携帯端末装置は、ユーザを撮像し画像情報を取得する撮像手段と、撮像手段により取得された画像情報からユーザの顔面構造を認識して顔情報を取得する顔認識手段と、顔認識手段により取得されたユーザの顔情報に基づいて、利用中のユーザに対する携帯端末装置の筺体の向きを検知する筺体方向検知手段と、筺体方向検知手段により検知された筺体の向きに基づいて、表示手段への映像コンテンツの表示を切り替える切替制御手段と、を有し、アプリケーションの起動中において、撮像手段、顔認識手段、筺体方向検知手段、及び切替制御手段による諸動作を行い、映像コンテンツの表示切り替えを行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末装置、画面表示切替方法、プログラム、コンピュータ読み取り可能な記録媒体に関し、特に、地上デジタル放送やインターネットからダウンロードした映像データといった映像コンテンツをリアルタイムに再生する機能を備えた携帯端末装置に好ましく適用される技術に関するものである。
【背景技術】
【０００２】
現在主流の携帯電話機は、ユーザが縦向きに使用することを前提に設計されており、ＬＣＤ（Liquid Crystal Display）等の表示デバイスが縦長に配置されている。一方、テレビの放送映像は横長画像となっている。このため、携帯電話機においてテレビ視聴する際は、横長の放送映像を縦長の表示デバイスに収まるように縮小して表示する必要があり、放送映像を表示デバイス全面に余すことなく表示することができなかった。また、横長の映像コンテンツを表示するために映像コンテンツを縮小することで、縦長の表示デバイスを有効に使うことができなかった。
【０００３】
この問題を解決する手段として、表示デバイスと放送映像の長辺が同じ向きとなるように放送映像を回転させて表示することが知られているが、この場合、放送映像を回転させるために携帯電話機ユーザが携帯電話機に対して何らかの通知を行う必要があった。例えば、携帯電話機ユーザが携帯電話機のボタンを押下して横長画面による視聴開始を通知することで、携帯電話機が放送映像を回転して表示し、携帯電話機ユーザが携帯電話機を放送映像と同じ向きへ持ち変えて視聴していた。また、例えば別の方法としては、表示デバイスの取り付けヒンジに回転機構及び回転検出機能を設けて、携帯電話機ユーザが表示デバイスを回転させることで横長画面による視聴開始を通知し、携帯電話機が放送映像を回転して表示することで視聴していた。
【０００４】
しかし、上述した方法では、携帯電話機ユーザが横長画面による視聴開始を通知する必要があるという点で何れも同じであり、横長画面による視聴開始のための通知操作が煩わしいものとなっていた。また、テレビ視聴等でほとんどの操作ボタンに機能が割り当てられている場合には、上記の通知操作を実行するためのボタンが空いていないといった問題があった。
【０００５】
これに対して、例えば特許文献１では、筺体の回転角度に応じて画像表示を自動的に縦表示あるいは横表示に切り替えることが可能な携帯端末が開示されている。当該携帯端末では、回転センサにより端末筺体の回転角度を取得し、その回転角度に応じて、画像の表示サイズ及び正方向で表示を行うための表示方向を表示処理部において設定し、これにより、筺体と一体的に回転する表示部の回転角度に最適な表示方向及び表示サイズの切り替えを自動的に行っている。
【０００６】
また、例えば特許文献２では、携帯端末装置の表示部の表示画面とユーザとの位置関係に応じて望ましい向きで表示画面に情報を表示することが可能な携帯端末装置が開示されている。当該携帯端末装置では、本体に設けられたカメラ部が撮影した画像に基づいてユーザの顔の情報を取得し、主制御部によりユーザの顔の向きと本体の向きとの相対的な位置関係を把握して該位置関係に従って表示画面への情報の表示向きを決定し、表示制御部により該表示向きで画面表示されるように制御を行っている。
【特許文献１】特開２００６−５３４２７号公報
【特許文献２】特開２００７−１７５９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１で開示された発明では、例えばユーザが動きながら携帯端末を視聴しているような場合にも、回転センサにより端末筺体の角度情報が取得されることがあり、ユーザの携帯端末を操作する向きが変わっていないにもかかわらず画面表示が切り替わってしまうおそれがある。つまり、ユーザと携帯端末との適切な相対的な位置関係に応じた画面表示の切り替えが困難と思われる。
【０００８】
他方、特許文献２で開示された発明では、ユーザと携帯端末との相対的な位置関係を適切に把握することが可能であるものの、該位置関係に応じた画面表示の切り替えはアプリケーション開始時にのみ実行される。このため、例えば地上デジタル波のテレビ放送等のリアルタイムに画面表示される映像コンテンツの視聴中に、ユーザは随時画面表示の切り替えを行うことができない。
【０００９】
そこで、本発明は、利用中のユーザに対する携帯端末装置の向きを適切に把握し、通知操作を行うことなく画面表示の切り替えができ、リアルタイムに表示されている映像コンテンツの視聴中に任意に画面表示を切り替えることが可能な携帯端末装置、該携帯端末装置における画面表示切替方法等を提供することを目的とする。
【課題を解決するための手段】
【００１０】
かかる目的を達成するために、本発明の第１の携帯端末装置は、映像コンテンツをリアルタイムに再生するプログラムを含むアプリケーションを格納し、アプリケーションにより処理されたデータを表示手段に表示する携帯端末装置であって、ユーザを撮像し画像情報を取得する撮像手段と、撮像手段により取得された画像情報からユーザの顔面構造を認識して顔情報を取得する顔認識手段と、顔認識手段により取得されたユーザの顔情報に基づいて、利用中のユーザに対する携帯端末装置の筺体の向きを検知する筺体方向検知手段と、筺体方向検知手段により検知された筺体の向きに基づいて、表示手段への映像コンテンツの表示を切り替える切替制御手段と、を有し、アプリケーションの起動中において、撮像手段、顔認識手段、筺体方向検知手段、及び切替制御手段による諸動作を行い、映像コンテンツの表示切り替えを行う。
【００１１】
また、本発明の第１の画面表示切替方法は、映像コンテンツをリアルタイムに再生するプログラムを含むアプリケーションを格納し、アプリケーションにより処理されたデータを表示手段に表示する携帯端末装置における画面表示切替方法であって、ユーザを撮像し画像情報を取得する撮像ステップと、撮像ステップにより取得された画像情報からユーザの顔面構造を認識して顔情報を取得する顔認識ステップと、顔認識ステップにより取得されたユーザの顔情報に基づいて、利用中のユーザに対する携帯端末装置の筺体の向きを検知する筺体方向検知ステップと、筺体方向検知ステップにより検知された筺体の向きに基づいて、表示手段への映像コンテンツの表示を切り替える切替制御ステップと、を有し、アプリケーションの起動中において、撮像ステップ、顔認識ステップ、筺体方向検知ステップ、及び切替制御ステップによる諸動作を行い、映像コンテンツの表示切り替えを行う。
【００１２】
また、本発明の第１のプログラムは、映像コンテンツをリアルタイムに再生するプログラムを含むアプリケーションを格納し、アプリケーションにより処理されたデータを表示手段に表示する携帯端末装置におけるプログラムであって、コンピュータに、ユーザを撮像し画像情報を取得する撮像機能と、撮像機能により取得された画像情報からユーザの顔面構造を認識して顔情報を取得する顔認識機能と、顔認識機能により取得されたユーザの顔情報に基づいて、利用中のユーザに対する携帯端末装置の筺体の向きを検知する筺体方向検知機能と、筺体方向検知機能により検知された筺体の向きに基づいて、表示手段への映像コンテンツの表示を切り替える切替制御機能と、を実現させ、アプリケーションの起動中において、撮像機能、顔認識機能、筺体方向検知機能、及び切替制御機能による諸動作を行い、映像コンテンツの表示切り替えをコンピュータに実行させる。
【００１３】
また、本発明の第１の記録媒体は、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１４】
本発明によれば、利用中のユーザに対する携帯端末装置の向きを適切に把握し、通知操作を行うことなく画面表示の切り替えができ、リアルタイムに表示されている映像コンテンツの視聴中に任意に画面表示を切り替えることが可能な携帯端末装置、該携帯端末装置における画面表示切替方法等が提供される。
【発明を実施するための最良の形態】
【００１５】
本発明では、図１に示すように、携帯端末装置１は、主制御手段２、記憶手段３、表示手段４、撮像手段５、顔認識手段６、筺体方向検知手段７、切替制御手段８を備える。主制御手段２は携帯端末装置１の全体の動作を制御し、記憶手段３は映像コンテンツをリアルタイムに再生するプログラムを含むアプリケーションを格納し、表示手段４はアプリケーションが処理したデータを画面表示する。撮像手段５は利用中のユーザを被写体として撮影し画像情報を取得し、顔認識手段６は該画像情報からユーザの顔面構造を認識して顔情報を取得する。筺体方向検知手段７はユーザの顔情報に基づいて利用中のユーザに対する端末筺体の向きを検知し、切替制御手段８は端末筺体の向きに基づいて表示手段４への映像コンテンツの画面表示切り替えを行う。そして、撮像手段５、顔認識手段６、筺体方向検知手段７、及び切替制御手段８による動作は、アプリケーション起動中においても行われ、ユーザに対する端末筺体の向きに基づいた映像コンテンツの表示切り替えを行う。
【００１６】
このように、本発明では、例えば携帯電話機におけるテレビ放送視聴時に、カメラの顔認識機能を利用することで、視聴スタイルが縦長画面による視聴であるかあるいは横長画面による視聴であるかを判断し、表示デバイスに対して表示内容を自動的に切り替えている。すなわち、本発明が適用される携帯電話機では、テレビ視聴中にカメラを起動し携帯電話機ユーザを撮影して顔認識を行い、ユーザの撮影画像と表示デバイスの上方向が一致しているか否かを検知する。例えば、携帯電話機使用者の撮影画像と表示デバイスの上方向が一致せず、横向きになっていることを検出した場合は、横向きの状態で正しく視聴できるように放送映像を回転して表示する。
【００１７】
本発明では、上述の方法により、ユーザが携帯端末装置を横長画面となるように回転した際に、放送映像の表示方向を自動的に回転して表示することで、これまで必要であった視聴開始のための通知操作なしに横長画面による視聴を行うことが可能となる。また、回転センサではなくカメラの顔認識機能（撮像手段、顔認識手段）を利用することで、利用中のユーザに対する携帯端末装置の向きを適切に把握することが可能となる。そして、アプリケーション起動中に、ユーザの撮影、顔認識、筺体向きの検知、画面表示切り替えを随時行うため、リアルタイムに表示されている映像コンテンツを視聴している最中に任意に所望のスタイルで視聴することが可能となる。
【００１８】
以下、図２から図８を参照しながら、本発明の実施形態として携帯電話機について説明する。
【００１９】
はじめに、本実施形態の携帯電話機の構成について説明する。図２は、本実施形態の携帯電話機の概略構成を示した機能ブロック図である。携帯電話機１００は、電話無線部１２、電話音声処理部１３、音声入出力部１４、ＴＶ無線部１６、ＴＶ映像・音声処理部１７、制御部１８、カメラ２３、表示部２４、メモリ２５、操作部２６を有し、制御部１８を中心として各部が接続されて構成されている。制御部１８は、カメラ制御部１９、表示方向判定部２０、表示制御部２１、操作制御部２２を有して構成される。メモリ２５は図１の記憶手段３に相当し、表示部２４は図１の表示手段４に相当する。また、カメラ２３及びカメラ制御部１９は図１の撮像手段５に相当し、表示方向判定部２０は図１の顔認識手段６及び筺体方向検知手段７に相当し、表示制御部２１は図１の切替制御手段８に相当する。
【００２０】
電話無線部１２には電話用無線電波を送受信する送受信アンテナ１１が接続されている。送受信アンテナ１１で受信された受信波は電話無線部１２で復調処理がなされ、電話音声処理部１３でエンコード／デコード等の処理がなされ、得られた受話音が音声入出力部１４から出力されてユーザに伝えられる。なお、これらの携帯電話機の通話に関する構成、動作については周知であるので詳しい説明は省略する。
【００２１】
ＴＶ無線部１６には、テレビ放送用電波を受信する受信アンテナ１５が接続されている。受信アンテナ１５で受信された受信波はＴＶ無線部１６で復調処理がなされ、ＴＶ映像・音声処理部１７でデコード等の処理がなされ、これらの処理で得られた放送音声は音声入出力部１４から、放送映像は表示部２４からそれぞれ出力される。なお、これらテレビ放送受信と、放送映像及び放送音声の出力に関する構成や動作については周知であるので省略する。
【００２２】
制御部１８は、携帯電話機１００の機能を司る中核であり全体動作の制御を実行するほか、カメラ制御部１９、表示方向判定部２０、表示制御部２１、操作制御部２２により本発明による画面表示切り替えの処理を行う。カメラ制御部１９は、カメラ２３からの画像を受け取って写真撮影を行う。表示方向判定部２０は、カメラ制御部１９により撮影された画像から顔認識を実施してテレビ放送映像の表示向きを判定する。表示制御部２１は、表示方向判定部２０の判定に従ってテレビ放送映像を回転して表示部２４に表示させる。操作制御部２２は、操作部２６を使用して携帯電話機ユーザが指示した通りの携帯電話機機能を動作させる。なお、メモリ２５はメモリダイヤルやテレビチャンネル設定等を保存するメモリである。
【００２３】
次に、本実施形態におけるテレビ放送映像の画面表示切り替えについて説明する。図３は、各状態におけるテレビ放送映像の表示の様子を示した図である。図３（ａ）は横長画面による視聴の様子を示しており、表示デバイス（図２の表示部２４、以下同じ）を横向きにして視聴することにより、放送映像を表示デバイスに余すことなく表示している様子を示している。つまり、横長画面による視聴では放送映像のみが表示デバイスに画面表示される。
【００２４】
また、図３（ｂ）は縦長画面による視聴時の様子を示しており、横長の放送映像を表示デバイスの表示領域の一部を使用して表示している状態である。図３（ｂ）の例では、表示画面は映像領域、字幕領域、ＢＭＬ（Broadcast Markup Language）ブラウザ領域、その他領域の４つの領域に分けられ、放送映像とその関連情報が表示される。すなわち、縦長画面による視聴では放送映像のほかに関連情報が表示され、テレビ機能を利用する際の基本操作を行いやすくしている。
【００２５】
このように、本実施形態では、携帯電話機ユーザが図３（ｂ）の縦長画面の状態から図３（ａ）の横長画面の状態へ携帯電話機を持ち替えたことを検知して、放送映像の表示方法を切り替えている。以下、当該表示切り替え動作について図４及び図５を用いて詳細に述べる。
【００２６】
図４は、携帯電話機が縦長画面となる状態でユーザがテレビ放送を視聴している様子を示した図である。図４（ｂ）は、縦長画面での視聴時における携帯電話機と携帯電話機ユーザの位置関係を示している。縦長画面による視聴時は、携帯電話機（表示部２４）にとっての上方向とユーザにとっての上方向とが一致している。このため、図４（ｂ）の状態で携帯電話機に設けられたカメラ２３からユーザを撮影すると、ユーザの顔は表示部２４に正しく上方向に表示される。上述の通りに撮影され、カメラに写ったユーザの画像の様子を表したのが図４（ａ）である。
【００２７】
携帯電話機は、図４（ａ）のように撮影された画像について顔認識等の画像認識処理を実施することでユーザの顔面構造を把握し、ユーザの上方向（頭の上を指す方向）を検出して、表示画面においてユーザの上方向と一致するのが短辺であるときにテレビ視聴が縦長画面により行われていると判断する。そして、縦長画面用の画面表示として、映像領域に放送映像を表示し、字幕領域やＢＭＬブラウザ領域に字幕やＵＲＬ（Uniform Resource Locator）といった関連情報を表示する。なお、関連情報を表示させずに放送映像のみを表示させるように構成することも可能である。
【００２８】
図５は、携帯電話機が横長画面となる状態でユーザがテレビ放送を視聴している様子を示した図である。図５（ｂ）は、横長画面での視聴時における携帯電話機と携帯電話機ユーザの位置関係を示している。横長画面による視聴時は、携帯電話機（表示部２４）にとっての上方向（縦長で利用しているときに上方向）とユーザにとっての上方向が一致しない。このため、図５（ｂ）の状態で携帯電話機に設けられたカメラ２３からユーザを撮影すると、携帯電話機を操作する通常の状態（表示部２４が縦長の状態）で見たとき、ユーザの顔は９０度ほど回転された状態で表示される。上述の通りに撮影され、カメラに写ったユーザの画像の様子を表したのが図５（ａ）である。
【００２９】
携帯電話機は、図５（ａ）のように撮影された画像について顔認識等の画像認識処理を実施することでユーザの顔面構造を把握し、ユーザの上方向（頭の上を指す方向）を検出して、表示画面においてユーザの上方向と一致するのが長辺であるときにテレビ視聴が横長画面により行われていると判断する。すなわち、ユーザの顔が横向きであることを検出し、テレビ視聴が横長画面により行われていると判断する。そして、横長画面用の画面表示として、全表示画面を占める映像領域に放送映像を表示する。
【００３０】
次に、本実施形態における操作ボタンの機能割り当て変更について説明する。本実施形態では、表示デバイスに対する表示内容の画面表示切り替えに加えて、操作ボタンに割り当てられた機能の切り替えを行う。すなわち、物理的に配置されたボタンに割り当てられる機能を、縦長画面による視聴時と横長画面による視聴時とで自動的に切り替える。
【００３１】
図６は携帯電話機に物理的に配置された操作ボタンの様子を表した図、図７は物理的に配置された操作ボタンに対して割り当てられた機能のテーブルを示した図である。図７のテーブルでは、縦長画面でテレビ視聴する場合と横長画面でテレビ視聴する場合とで、同じ操作ボタンに対して異なる機能が割り当てられている。
【００３２】
例えば、縦長画面視聴時のボタンＡの機能１は横長画面視聴時にはボタンＣに割り当てられ、縦長画面時のボタンＤの機能４は横長画面時のボタンＡに割り当てられている。また、縦長画面時のボタンＦの機能６は横長画面時のボタンＨに、縦長画面時のボタンＧの機能７は横長画面時のボタンＫに、縦長画面時のボタンＨの機能８は横長画面時のボタンＮにそれぞれ割り当てられている。このように、切り替え前の操作ボタンの配置に対応した機能の並びが切り替え後においても極力維持されるような機能割り当てを行うことで、通常時（縦長画面時）における操作と同じような感覚で横長画面視聴時に操作を行うことができる。
【００３３】
割り当てテーブルは、縦長画面時の機能の並びを横に回転させて各ボタンに割り当てたものを横長画面視聴時の機能割り当てとして設定し、図７に示すように、物理的なボタン、縦長画面視聴時の機能割り当て、横長画面視聴時の機能割り当てを関連付けて生成する。本実施形態の例では、縦長画面時と横長画面時の２つの機能割り当てのみを示したが、時計回りで０度回転の縦長画面時、９０度回転の横長画面時、１８０度回転の縦長画面時、２７０度回転の横長画面時の機能割り当て等、任意に設定してテーブルを生成してもよい。
【００３４】
そして、本実施形態では、携帯電話機は、縦長画面でのテレビ視聴であるかあるいは横長画面でのテレビ視聴であるかの判断結果に基づいて、上記機能割り当てテーブルを用いて操作ボタンへの機能割り当ての変更を行う。当該機能割り当ての変更は、表示デバイスに対する表示内容の画面表示切り替えと同じタイミングで行う。これにより、携帯電話機を回転させてテレビを視聴するような場合でも、画面表示の切り替え前と同様の感覚でキー操作を行うことができ、操作性の向上につながる。
【００３５】
続いて、本実施形態における画面表示切り替え及び機能割り当て変更の動作について説明する。図８は、本実施形態における画面表示及び機能割り当ての切り替え動作の流れを示したフローチャートである。
【００３６】
まず、アプリケーションを起動してテレビ視聴が開始される（スタート）と、カメラを起動して（Ｓ１１）、携帯電話機ユーザを撮影する（Ｓ１２）。その後、撮影されたユーザの画像情報を用いて顔認識等の画像認識処理により表示画面の向きを判定する（Ｓ１３）。
【００３７】
表示画面の向きが縦長である、すなわちテレビ視聴が縦長画面により行われていると判断された場合（ステップＳ１３／ＹＥＳ）には、縦長画面視聴用の放送映像の画面表示を行う（Ｓ１４）。また、図７に示すような割り当てテーブルを用いて縦長画面視聴用の機能割り当てを操作ボタンに対して行う（Ｓ１５）。一方、上記判定結果が横長の表示向きであった場合、すなわちテレビ視聴が横長画面により行われていると判断されたとき（ステップＳ１３／ＮＯ）には、横長画面視聴用の放送映像の画面表示を行う（Ｓ１６）。また、図７に示すような割り当てテーブルを用いて横長画面視聴用の機能割り当てを操作ボタンに対して行う（Ｓ１７）。
【００３８】
最後に、以上の動作をテレビ視聴中に繰り返すためのループ判定を実施する（Ｓ１８）。すなわち、テレビ視聴が終了でない場合（ステップＳ１８／ＮＯ）には、ユーザの撮影、表示向きの判定を行って判定結果に基づく画面表示及び機能割り当ての切り替えを繰り返す（ステップＳ１２〜ステップＳ１７）。他方、テレビ視聴が終了であると判断された場合（ステップＳ１８／ＹＥＳ）には、起動されたカメラを終了し（Ｓ１９）、テレビ視聴を終了する（エンド）。
【００３９】
本実施形態では、アプリケーション起動中において、映像コンテンツの表示向きや操作ボタンに割り当てられた機能を自動的に切り替えることが可能なため、例えば以下のように携帯電話機を使用することができる。アプリケーション起動操作は携帯電話機を縦向きで持って行い、その後の映像コンテンツ視聴時において、ユーザが縦長画面で視聴するかあるいは横長画面で視聴するかを選択し、任意に携帯電話機の向きを持ち替えて視聴することができる。何度でも縦長画面と横長画面の表示状態を切り替えることができ、また、それらの表示状態に対応して操作ボタンの機能割り当てを変更するため、操作性が向上し、実使用に即したものとなる。
【００４０】
さらに、本実施形態では、縦長画面での視聴と横長画面での視聴とで、表示画面へ異なる表示内容を表示させることが可能である。これは、携帯電話機で特にワンセグのようなデジタルテレビ放送を視聴する場合に以下のようなメリットがある。基本操作を行う縦長画面での視聴において、放送映像、番組情報、字幕、ＢＭＬブラウザを表示して視聴したい番組を探しやすくする。また、視聴したい番組を探し出して本格的に視聴しようと思った際に、携帯電話機を横長画面となる方向に回転させて、放送視聴において最も重要な放送映像のみを表示デバイスに余すことなく全面に映し出すようにすることができる。
【００４１】
本実施形態によれば、テレビ視聴中に縦長画面から横長画面での視聴に切り替える際に、携帯電話機に対しての切替通知のための操作を省略することが可能である。その理由は、テレビ視聴中に携帯電話機が自ら縦長画面による視聴であるか、横長画面による視聴であるかを判断し、表示画面への表示内容を切り替えるためである。
【００４２】
また、本実施形態によれば、テレビ視聴中に、様に縦長画面から横長画面による視聴に移行するために携帯電話機を回転させた場合においても、常に直感的なボタン操作が可能となる。その理由は、テレビ視聴中に携帯電話機が自ら縦画面による視聴であるか、横画面による視聴であるかを判定し、その状態に応じて物理的に配置されたボタンの機能割り当てを変更するためである。
【００４３】
なお、上述する実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。例えば、上記の実施形態では携帯電話機でテレビ放送を視聴する際の画面表示切り替えについて述べたが、インターネットからダウンロードした動画データ、動画ビューア等の映像コンテンツや、静止画を表示する場合においても本発明は適用することができる。また、本発明が適用される携帯端末装置は、上記実施形態で述べた携帯電話機のほか、カメラ機能を搭載するモバイル機器、例えばＰＤＡ（Personal Digital Assistants）、ポータブルテレビ、ポータブルナビゲーション、携帯ゲーム機器、電子手帳、電子辞書等も含まれる。
【００４４】
すなわち、上記した実施形態における携帯電話機は、プログラムの命令によりコンピュータ（制御部１８）で実行される処理、手段、機能によって動作する。当該プログラムは、コンピュータの各構成要素に指令を送り、先に述べたような所定の処理や機能、例えば、表示方向判定部２０により、カメラ制御部１９が取得したユーザの画像情報を用いて顔認識等の画像認識処理を行って表示画面の向きを判定し、表示制御部２１により、該判定結果に基づいて表示内容（映像コンテンツ）の画面表示を切り替える処理を行う。このように、上記実施形態における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現されるものである。
【００４５】
そして、上記実施形態の機能を実現するソフトウェアのプログラムコードを記録したコンピュータ読み取り可能な記録媒体、すなわち記憶メディアを介して、例えば携帯電話機のコンピュータ（ＣＰＵ）が記憶メディアに格納されたプログラムコードを読み出し実行することによっても、本発明の目的は達成される。また、プログラムは、記録メディアを介さず、通信回線を通じて直接にコンピュータにロードし実行することもでき、これによっても同様に本発明の目的は達成される。
【００４６】
この場合、記憶メディアから読み出された又は通信回線を通じてロードし実行されたプログラムコード自体が前述の実施形態の機能を実現することになる。そして、そのプログラムコードを記憶した記憶メディアは本発明を構成する。
【００４７】
また、プログラムコードを供給するための記憶メディアとしては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、不揮発性のメモリカード、ＲＯＭ、磁気テープ等を用いることができる。
【図面の簡単な説明】
【００４８】
【図１】本発明の実施形態に係る携帯端末装置の構成を示した図である。
【図２】本発明の実施形態に係る携帯電話機の概略構成を示した機能ブロック図である。
【図３】本発明の実施形態におけるテレビ放送映像の画面表示切り替えを説明するための図である。
【図４】本発明の実施形態におけるテレビ放送映像の画面表示切り替えを説明するための図である。
【図５】本発明の実施形態におけるテレビ放送映像の画面表示切り替えを説明するための図である。
【図６】本発明の実施形態における操作ボタンの機能割り当て変更を説明するための図である。
【図７】本発明の実施形態における操作ボタンの機能割り当て変更を説明するための図である。
【図８】本発明の実施形態における画面表示及び機能割り当ての切り替え動作の流れを示したフローチャートである。
【符号の説明】
【００４９】
１ 携帯端末装置
２ 主制御手段
３ 記憶手段
４ 表示手段
５ 撮像手段
６ 顔認識手段
７ 筺体方向検知手段
８ 切替制御手段
１１ 送受信アンテナ
１２ 電話無線部
１３ 電話音声処理部
１４ 音声入出力部
１５ 受信アンテナ
１６ ＴＶ無線部
１７ ＴＶ映像・音声処理部
１８ 制御部
１９ カメラ制御部
２０ 表示方向判定部
２１ 表示制御部
２２ 操作制御部
２３ カメラ
２４ 表示部
２５ メモリ
２６ 操作部
１００ 携帯電話機
【技術分野】
【０００１】
本発明は、携帯端末装置、画面表示切替方法、プログラム、コンピュータ読み取り可能な記録媒体に関し、特に、地上デジタル放送やインターネットからダウンロードした映像データといった映像コンテンツをリアルタイムに再生する機能を備えた携帯端末装置に好ましく適用される技術に関するものである。
【背景技術】
【０００２】
現在主流の携帯電話機は、ユーザが縦向きに使用することを前提に設計されており、ＬＣＤ（Liquid Crystal Display）等の表示デバイスが縦長に配置されている。一方、テレビの放送映像は横長画像となっている。このため、携帯電話機においてテレビ視聴する際は、横長の放送映像を縦長の表示デバイスに収まるように縮小して表示する必要があり、放送映像を表示デバイス全面に余すことなく表示することができなかった。また、横長の映像コンテンツを表示するために映像コンテンツを縮小することで、縦長の表示デバイスを有効に使うことができなかった。
【０００３】
この問題を解決する手段として、表示デバイスと放送映像の長辺が同じ向きとなるように放送映像を回転させて表示することが知られているが、この場合、放送映像を回転させるために携帯電話機ユーザが携帯電話機に対して何らかの通知を行う必要があった。例えば、携帯電話機ユーザが携帯電話機のボタンを押下して横長画面による視聴開始を通知することで、携帯電話機が放送映像を回転して表示し、携帯電話機ユーザが携帯電話機を放送映像と同じ向きへ持ち変えて視聴していた。また、例えば別の方法としては、表示デバイスの取り付けヒンジに回転機構及び回転検出機能を設けて、携帯電話機ユーザが表示デバイスを回転させることで横長画面による視聴開始を通知し、携帯電話機が放送映像を回転して表示することで視聴していた。
【０００４】
しかし、上述した方法では、携帯電話機ユーザが横長画面による視聴開始を通知する必要があるという点で何れも同じであり、横長画面による視聴開始のための通知操作が煩わしいものとなっていた。また、テレビ視聴等でほとんどの操作ボタンに機能が割り当てられている場合には、上記の通知操作を実行するためのボタンが空いていないといった問題があった。
【０００５】
これに対して、例えば特許文献１では、筺体の回転角度に応じて画像表示を自動的に縦表示あるいは横表示に切り替えることが可能な携帯端末が開示されている。当該携帯端末では、回転センサにより端末筺体の回転角度を取得し、その回転角度に応じて、画像の表示サイズ及び正方向で表示を行うための表示方向を表示処理部において設定し、これにより、筺体と一体的に回転する表示部の回転角度に最適な表示方向及び表示サイズの切り替えを自動的に行っている。
【０００６】
また、例えば特許文献２では、携帯端末装置の表示部の表示画面とユーザとの位置関係に応じて望ましい向きで表示画面に情報を表示することが可能な携帯端末装置が開示されている。当該携帯端末装置では、本体に設けられたカメラ部が撮影した画像に基づいてユーザの顔の情報を取得し、主制御部によりユーザの顔の向きと本体の向きとの相対的な位置関係を把握して該位置関係に従って表示画面への情報の表示向きを決定し、表示制御部により該表示向きで画面表示されるように制御を行っている。
【特許文献１】特開２００６−５３４２７号公報
【特許文献２】特開２００７−１７５９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１で開示された発明では、例えばユーザが動きながら携帯端末を視聴しているような場合にも、回転センサにより端末筺体の角度情報が取得されることがあり、ユーザの携帯端末を操作する向きが変わっていないにもかかわらず画面表示が切り替わってしまうおそれがある。つまり、ユーザと携帯端末との適切な相対的な位置関係に応じた画面表示の切り替えが困難と思われる。
【０００８】
他方、特許文献２で開示された発明では、ユーザと携帯端末との相対的な位置関係を適切に把握することが可能であるものの、該位置関係に応じた画面表示の切り替えはアプリケーション開始時にのみ実行される。このため、例えば地上デジタル波のテレビ放送等のリアルタイムに画面表示される映像コンテンツの視聴中に、ユーザは随時画面表示の切り替えを行うことができない。
【０００９】
そこで、本発明は、利用中のユーザに対する携帯端末装置の向きを適切に把握し、通知操作を行うことなく画面表示の切り替えができ、リアルタイムに表示されている映像コンテンツの視聴中に任意に画面表示を切り替えることが可能な携帯端末装置、該携帯端末装置における画面表示切替方法等を提供することを目的とする。
【課題を解決するための手段】
【００１０】
かかる目的を達成するために、本発明の第１の携帯端末装置は、映像コンテンツをリアルタイムに再生するプログラムを含むアプリケーションを格納し、アプリケーションにより処理されたデータを表示手段に表示する携帯端末装置であって、ユーザを撮像し画像情報を取得する撮像手段と、撮像手段により取得された画像情報からユーザの顔面構造を認識して顔情報を取得する顔認識手段と、顔認識手段により取得されたユーザの顔情報に基づいて、利用中のユーザに対する携帯端末装置の筺体の向きを検知する筺体方向検知手段と、筺体方向検知手段により検知された筺体の向きに基づいて、表示手段への映像コンテンツの表示を切り替える切替制御手段と、を有し、アプリケーションの起動中において、撮像手段、顔認識手段、筺体方向検知手段、及び切替制御手段による諸動作を行い、映像コンテンツの表示切り替えを行う。
【００１１】
また、本発明の第１の画面表示切替方法は、映像コンテンツをリアルタイムに再生するプログラムを含むアプリケーションを格納し、アプリケーションにより処理されたデータを表示手段に表示する携帯端末装置における画面表示切替方法であって、ユーザを撮像し画像情報を取得する撮像ステップと、撮像ステップにより取得された画像情報からユーザの顔面構造を認識して顔情報を取得する顔認識ステップと、顔認識ステップにより取得されたユーザの顔情報に基づいて、利用中のユーザに対する携帯端末装置の筺体の向きを検知する筺体方向検知ステップと、筺体方向検知ステップにより検知された筺体の向きに基づいて、表示手段への映像コンテンツの表示を切り替える切替制御ステップと、を有し、アプリケーションの起動中において、撮像ステップ、顔認識ステップ、筺体方向検知ステップ、及び切替制御ステップによる諸動作を行い、映像コンテンツの表示切り替えを行う。
【００１２】
また、本発明の第１のプログラムは、映像コンテンツをリアルタイムに再生するプログラムを含むアプリケーションを格納し、アプリケーションにより処理されたデータを表示手段に表示する携帯端末装置におけるプログラムであって、コンピュータに、ユーザを撮像し画像情報を取得する撮像機能と、撮像機能により取得された画像情報からユーザの顔面構造を認識して顔情報を取得する顔認識機能と、顔認識機能により取得されたユーザの顔情報に基づいて、利用中のユーザに対する携帯端末装置の筺体の向きを検知する筺体方向検知機能と、筺体方向検知機能により検知された筺体の向きに基づいて、表示手段への映像コンテンツの表示を切り替える切替制御機能と、を実現させ、アプリケーションの起動中において、撮像機能、顔認識機能、筺体方向検知機能、及び切替制御機能による諸動作を行い、映像コンテンツの表示切り替えをコンピュータに実行させる。
【００１３】
また、本発明の第１の記録媒体は、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１４】
本発明によれば、利用中のユーザに対する携帯端末装置の向きを適切に把握し、通知操作を行うことなく画面表示の切り替えができ、リアルタイムに表示されている映像コンテンツの視聴中に任意に画面表示を切り替えることが可能な携帯端末装置、該携帯端末装置における画面表示切替方法等が提供される。
【発明を実施するための最良の形態】
【００１５】
本発明では、図１に示すように、携帯端末装置１は、主制御手段２、記憶手段３、表示手段４、撮像手段５、顔認識手段６、筺体方向検知手段７、切替制御手段８を備える。主制御手段２は携帯端末装置１の全体の動作を制御し、記憶手段３は映像コンテンツをリアルタイムに再生するプログラムを含むアプリケーションを格納し、表示手段４はアプリケーションが処理したデータを画面表示する。撮像手段５は利用中のユーザを被写体として撮影し画像情報を取得し、顔認識手段６は該画像情報からユーザの顔面構造を認識して顔情報を取得する。筺体方向検知手段７はユーザの顔情報に基づいて利用中のユーザに対する端末筺体の向きを検知し、切替制御手段８は端末筺体の向きに基づいて表示手段４への映像コンテンツの画面表示切り替えを行う。そして、撮像手段５、顔認識手段６、筺体方向検知手段７、及び切替制御手段８による動作は、アプリケーション起動中においても行われ、ユーザに対する端末筺体の向きに基づいた映像コンテンツの表示切り替えを行う。
【００１６】
このように、本発明では、例えば携帯電話機におけるテレビ放送視聴時に、カメラの顔認識機能を利用することで、視聴スタイルが縦長画面による視聴であるかあるいは横長画面による視聴であるかを判断し、表示デバイスに対して表示内容を自動的に切り替えている。すなわち、本発明が適用される携帯電話機では、テレビ視聴中にカメラを起動し携帯電話機ユーザを撮影して顔認識を行い、ユーザの撮影画像と表示デバイスの上方向が一致しているか否かを検知する。例えば、携帯電話機使用者の撮影画像と表示デバイスの上方向が一致せず、横向きになっていることを検出した場合は、横向きの状態で正しく視聴できるように放送映像を回転して表示する。
【００１７】
本発明では、上述の方法により、ユーザが携帯端末装置を横長画面となるように回転した際に、放送映像の表示方向を自動的に回転して表示することで、これまで必要であった視聴開始のための通知操作なしに横長画面による視聴を行うことが可能となる。また、回転センサではなくカメラの顔認識機能（撮像手段、顔認識手段）を利用することで、利用中のユーザに対する携帯端末装置の向きを適切に把握することが可能となる。そして、アプリケーション起動中に、ユーザの撮影、顔認識、筺体向きの検知、画面表示切り替えを随時行うため、リアルタイムに表示されている映像コンテンツを視聴している最中に任意に所望のスタイルで視聴することが可能となる。
【００１８】
以下、図２から図８を参照しながら、本発明の実施形態として携帯電話機について説明する。
【００１９】
はじめに、本実施形態の携帯電話機の構成について説明する。図２は、本実施形態の携帯電話機の概略構成を示した機能ブロック図である。携帯電話機１００は、電話無線部１２、電話音声処理部１３、音声入出力部１４、ＴＶ無線部１６、ＴＶ映像・音声処理部１７、制御部１８、カメラ２３、表示部２４、メモリ２５、操作部２６を有し、制御部１８を中心として各部が接続されて構成されている。制御部１８は、カメラ制御部１９、表示方向判定部２０、表示制御部２１、操作制御部２２を有して構成される。メモリ２５は図１の記憶手段３に相当し、表示部２４は図１の表示手段４に相当する。また、カメラ２３及びカメラ制御部１９は図１の撮像手段５に相当し、表示方向判定部２０は図１の顔認識手段６及び筺体方向検知手段７に相当し、表示制御部２１は図１の切替制御手段８に相当する。
【００２０】
電話無線部１２には電話用無線電波を送受信する送受信アンテナ１１が接続されている。送受信アンテナ１１で受信された受信波は電話無線部１２で復調処理がなされ、電話音声処理部１３でエンコード／デコード等の処理がなされ、得られた受話音が音声入出力部１４から出力されてユーザに伝えられる。なお、これらの携帯電話機の通話に関する構成、動作については周知であるので詳しい説明は省略する。
【００２１】
ＴＶ無線部１６には、テレビ放送用電波を受信する受信アンテナ１５が接続されている。受信アンテナ１５で受信された受信波はＴＶ無線部１６で復調処理がなされ、ＴＶ映像・音声処理部１７でデコード等の処理がなされ、これらの処理で得られた放送音声は音声入出力部１４から、放送映像は表示部２４からそれぞれ出力される。なお、これらテレビ放送受信と、放送映像及び放送音声の出力に関する構成や動作については周知であるので省略する。
【００２２】
制御部１８は、携帯電話機１００の機能を司る中核であり全体動作の制御を実行するほか、カメラ制御部１９、表示方向判定部２０、表示制御部２１、操作制御部２２により本発明による画面表示切り替えの処理を行う。カメラ制御部１９は、カメラ２３からの画像を受け取って写真撮影を行う。表示方向判定部２０は、カメラ制御部１９により撮影された画像から顔認識を実施してテレビ放送映像の表示向きを判定する。表示制御部２１は、表示方向判定部２０の判定に従ってテレビ放送映像を回転して表示部２４に表示させる。操作制御部２２は、操作部２６を使用して携帯電話機ユーザが指示した通りの携帯電話機機能を動作させる。なお、メモリ２５はメモリダイヤルやテレビチャンネル設定等を保存するメモリである。
【００２３】
次に、本実施形態におけるテレビ放送映像の画面表示切り替えについて説明する。図３は、各状態におけるテレビ放送映像の表示の様子を示した図である。図３（ａ）は横長画面による視聴の様子を示しており、表示デバイス（図２の表示部２４、以下同じ）を横向きにして視聴することにより、放送映像を表示デバイスに余すことなく表示している様子を示している。つまり、横長画面による視聴では放送映像のみが表示デバイスに画面表示される。
【００２４】
また、図３（ｂ）は縦長画面による視聴時の様子を示しており、横長の放送映像を表示デバイスの表示領域の一部を使用して表示している状態である。図３（ｂ）の例では、表示画面は映像領域、字幕領域、ＢＭＬ（Broadcast Markup Language）ブラウザ領域、その他領域の４つの領域に分けられ、放送映像とその関連情報が表示される。すなわち、縦長画面による視聴では放送映像のほかに関連情報が表示され、テレビ機能を利用する際の基本操作を行いやすくしている。
【００２５】
このように、本実施形態では、携帯電話機ユーザが図３（ｂ）の縦長画面の状態から図３（ａ）の横長画面の状態へ携帯電話機を持ち替えたことを検知して、放送映像の表示方法を切り替えている。以下、当該表示切り替え動作について図４及び図５を用いて詳細に述べる。
【００２６】
図４は、携帯電話機が縦長画面となる状態でユーザがテレビ放送を視聴している様子を示した図である。図４（ｂ）は、縦長画面での視聴時における携帯電話機と携帯電話機ユーザの位置関係を示している。縦長画面による視聴時は、携帯電話機（表示部２４）にとっての上方向とユーザにとっての上方向とが一致している。このため、図４（ｂ）の状態で携帯電話機に設けられたカメラ２３からユーザを撮影すると、ユーザの顔は表示部２４に正しく上方向に表示される。上述の通りに撮影され、カメラに写ったユーザの画像の様子を表したのが図４（ａ）である。
【００２７】
携帯電話機は、図４（ａ）のように撮影された画像について顔認識等の画像認識処理を実施することでユーザの顔面構造を把握し、ユーザの上方向（頭の上を指す方向）を検出して、表示画面においてユーザの上方向と一致するのが短辺であるときにテレビ視聴が縦長画面により行われていると判断する。そして、縦長画面用の画面表示として、映像領域に放送映像を表示し、字幕領域やＢＭＬブラウザ領域に字幕やＵＲＬ（Uniform Resource Locator）といった関連情報を表示する。なお、関連情報を表示させずに放送映像のみを表示させるように構成することも可能である。
【００２８】
図５は、携帯電話機が横長画面となる状態でユーザがテレビ放送を視聴している様子を示した図である。図５（ｂ）は、横長画面での視聴時における携帯電話機と携帯電話機ユーザの位置関係を示している。横長画面による視聴時は、携帯電話機（表示部２４）にとっての上方向（縦長で利用しているときに上方向）とユーザにとっての上方向が一致しない。このため、図５（ｂ）の状態で携帯電話機に設けられたカメラ２３からユーザを撮影すると、携帯電話機を操作する通常の状態（表示部２４が縦長の状態）で見たとき、ユーザの顔は９０度ほど回転された状態で表示される。上述の通りに撮影され、カメラに写ったユーザの画像の様子を表したのが図５（ａ）である。
【００２９】
携帯電話機は、図５（ａ）のように撮影された画像について顔認識等の画像認識処理を実施することでユーザの顔面構造を把握し、ユーザの上方向（頭の上を指す方向）を検出して、表示画面においてユーザの上方向と一致するのが長辺であるときにテレビ視聴が横長画面により行われていると判断する。すなわち、ユーザの顔が横向きであることを検出し、テレビ視聴が横長画面により行われていると判断する。そして、横長画面用の画面表示として、全表示画面を占める映像領域に放送映像を表示する。
【００３０】
次に、本実施形態における操作ボタンの機能割り当て変更について説明する。本実施形態では、表示デバイスに対する表示内容の画面表示切り替えに加えて、操作ボタンに割り当てられた機能の切り替えを行う。すなわち、物理的に配置されたボタンに割り当てられる機能を、縦長画面による視聴時と横長画面による視聴時とで自動的に切り替える。
【００３１】
図６は携帯電話機に物理的に配置された操作ボタンの様子を表した図、図７は物理的に配置された操作ボタンに対して割り当てられた機能のテーブルを示した図である。図７のテーブルでは、縦長画面でテレビ視聴する場合と横長画面でテレビ視聴する場合とで、同じ操作ボタンに対して異なる機能が割り当てられている。
【００３２】
例えば、縦長画面視聴時のボタンＡの機能１は横長画面視聴時にはボタンＣに割り当てられ、縦長画面時のボタンＤの機能４は横長画面時のボタンＡに割り当てられている。また、縦長画面時のボタンＦの機能６は横長画面時のボタンＨに、縦長画面時のボタンＧの機能７は横長画面時のボタンＫに、縦長画面時のボタンＨの機能８は横長画面時のボタンＮにそれぞれ割り当てられている。このように、切り替え前の操作ボタンの配置に対応した機能の並びが切り替え後においても極力維持されるような機能割り当てを行うことで、通常時（縦長画面時）における操作と同じような感覚で横長画面視聴時に操作を行うことができる。
【００３３】
割り当てテーブルは、縦長画面時の機能の並びを横に回転させて各ボタンに割り当てたものを横長画面視聴時の機能割り当てとして設定し、図７に示すように、物理的なボタン、縦長画面視聴時の機能割り当て、横長画面視聴時の機能割り当てを関連付けて生成する。本実施形態の例では、縦長画面時と横長画面時の２つの機能割り当てのみを示したが、時計回りで０度回転の縦長画面時、９０度回転の横長画面時、１８０度回転の縦長画面時、２７０度回転の横長画面時の機能割り当て等、任意に設定してテーブルを生成してもよい。
【００３４】
そして、本実施形態では、携帯電話機は、縦長画面でのテレビ視聴であるかあるいは横長画面でのテレビ視聴であるかの判断結果に基づいて、上記機能割り当てテーブルを用いて操作ボタンへの機能割り当ての変更を行う。当該機能割り当ての変更は、表示デバイスに対する表示内容の画面表示切り替えと同じタイミングで行う。これにより、携帯電話機を回転させてテレビを視聴するような場合でも、画面表示の切り替え前と同様の感覚でキー操作を行うことができ、操作性の向上につながる。
【００３５】
続いて、本実施形態における画面表示切り替え及び機能割り当て変更の動作について説明する。図８は、本実施形態における画面表示及び機能割り当ての切り替え動作の流れを示したフローチャートである。
【００３６】
まず、アプリケーションを起動してテレビ視聴が開始される（スタート）と、カメラを起動して（Ｓ１１）、携帯電話機ユーザを撮影する（Ｓ１２）。その後、撮影されたユーザの画像情報を用いて顔認識等の画像認識処理により表示画面の向きを判定する（Ｓ１３）。
【００３７】
表示画面の向きが縦長である、すなわちテレビ視聴が縦長画面により行われていると判断された場合（ステップＳ１３／ＹＥＳ）には、縦長画面視聴用の放送映像の画面表示を行う（Ｓ１４）。また、図７に示すような割り当てテーブルを用いて縦長画面視聴用の機能割り当てを操作ボタンに対して行う（Ｓ１５）。一方、上記判定結果が横長の表示向きであった場合、すなわちテレビ視聴が横長画面により行われていると判断されたとき（ステップＳ１３／ＮＯ）には、横長画面視聴用の放送映像の画面表示を行う（Ｓ１６）。また、図７に示すような割り当てテーブルを用いて横長画面視聴用の機能割り当てを操作ボタンに対して行う（Ｓ１７）。
【００３８】
最後に、以上の動作をテレビ視聴中に繰り返すためのループ判定を実施する（Ｓ１８）。すなわち、テレビ視聴が終了でない場合（ステップＳ１８／ＮＯ）には、ユーザの撮影、表示向きの判定を行って判定結果に基づく画面表示及び機能割り当ての切り替えを繰り返す（ステップＳ１２〜ステップＳ１７）。他方、テレビ視聴が終了であると判断された場合（ステップＳ１８／ＹＥＳ）には、起動されたカメラを終了し（Ｓ１９）、テレビ視聴を終了する（エンド）。
【００３９】
本実施形態では、アプリケーション起動中において、映像コンテンツの表示向きや操作ボタンに割り当てられた機能を自動的に切り替えることが可能なため、例えば以下のように携帯電話機を使用することができる。アプリケーション起動操作は携帯電話機を縦向きで持って行い、その後の映像コンテンツ視聴時において、ユーザが縦長画面で視聴するかあるいは横長画面で視聴するかを選択し、任意に携帯電話機の向きを持ち替えて視聴することができる。何度でも縦長画面と横長画面の表示状態を切り替えることができ、また、それらの表示状態に対応して操作ボタンの機能割り当てを変更するため、操作性が向上し、実使用に即したものとなる。
【００４０】
さらに、本実施形態では、縦長画面での視聴と横長画面での視聴とで、表示画面へ異なる表示内容を表示させることが可能である。これは、携帯電話機で特にワンセグのようなデジタルテレビ放送を視聴する場合に以下のようなメリットがある。基本操作を行う縦長画面での視聴において、放送映像、番組情報、字幕、ＢＭＬブラウザを表示して視聴したい番組を探しやすくする。また、視聴したい番組を探し出して本格的に視聴しようと思った際に、携帯電話機を横長画面となる方向に回転させて、放送視聴において最も重要な放送映像のみを表示デバイスに余すことなく全面に映し出すようにすることができる。
【００４１】
本実施形態によれば、テレビ視聴中に縦長画面から横長画面での視聴に切り替える際に、携帯電話機に対しての切替通知のための操作を省略することが可能である。その理由は、テレビ視聴中に携帯電話機が自ら縦長画面による視聴であるか、横長画面による視聴であるかを判断し、表示画面への表示内容を切り替えるためである。
【００４２】
また、本実施形態によれば、テレビ視聴中に、様に縦長画面から横長画面による視聴に移行するために携帯電話機を回転させた場合においても、常に直感的なボタン操作が可能となる。その理由は、テレビ視聴中に携帯電話機が自ら縦画面による視聴であるか、横画面による視聴であるかを判定し、その状態に応じて物理的に配置されたボタンの機能割り当てを変更するためである。
【００４３】
なお、上述する実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。例えば、上記の実施形態では携帯電話機でテレビ放送を視聴する際の画面表示切り替えについて述べたが、インターネットからダウンロードした動画データ、動画ビューア等の映像コンテンツや、静止画を表示する場合においても本発明は適用することができる。また、本発明が適用される携帯端末装置は、上記実施形態で述べた携帯電話機のほか、カメラ機能を搭載するモバイル機器、例えばＰＤＡ（Personal Digital Assistants）、ポータブルテレビ、ポータブルナビゲーション、携帯ゲーム機器、電子手帳、電子辞書等も含まれる。
【００４４】
すなわち、上記した実施形態における携帯電話機は、プログラムの命令によりコンピュータ（制御部１８）で実行される処理、手段、機能によって動作する。当該プログラムは、コンピュータの各構成要素に指令を送り、先に述べたような所定の処理や機能、例えば、表示方向判定部２０により、カメラ制御部１９が取得したユーザの画像情報を用いて顔認識等の画像認識処理を行って表示画面の向きを判定し、表示制御部２１により、該判定結果に基づいて表示内容（映像コンテンツ）の画面表示を切り替える処理を行う。このように、上記実施形態における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現されるものである。
【００４５】
そして、上記実施形態の機能を実現するソフトウェアのプログラムコードを記録したコンピュータ読み取り可能な記録媒体、すなわち記憶メディアを介して、例えば携帯電話機のコンピュータ（ＣＰＵ）が記憶メディアに格納されたプログラムコードを読み出し実行することによっても、本発明の目的は達成される。また、プログラムは、記録メディアを介さず、通信回線を通じて直接にコンピュータにロードし実行することもでき、これによっても同様に本発明の目的は達成される。
【００４６】
この場合、記憶メディアから読み出された又は通信回線を通じてロードし実行されたプログラムコード自体が前述の実施形態の機能を実現することになる。そして、そのプログラムコードを記憶した記憶メディアは本発明を構成する。
【００４７】
また、プログラムコードを供給するための記憶メディアとしては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、不揮発性のメモリカード、ＲＯＭ、磁気テープ等を用いることができる。
【図面の簡単な説明】
【００４８】
【図１】本発明の実施形態に係る携帯端末装置の構成を示した図である。
【図２】本発明の実施形態に係る携帯電話機の概略構成を示した機能ブロック図である。
【図３】本発明の実施形態におけるテレビ放送映像の画面表示切り替えを説明するための図である。
【図４】本発明の実施形態におけるテレビ放送映像の画面表示切り替えを説明するための図である。
【図５】本発明の実施形態におけるテレビ放送映像の画面表示切り替えを説明するための図である。
【図６】本発明の実施形態における操作ボタンの機能割り当て変更を説明するための図である。
【図７】本発明の実施形態における操作ボタンの機能割り当て変更を説明するための図である。
【図８】本発明の実施形態における画面表示及び機能割り当ての切り替え動作の流れを示したフローチャートである。
【符号の説明】
【００４９】
１ 携帯端末装置
２ 主制御手段
３ 記憶手段
４ 表示手段
５ 撮像手段
６ 顔認識手段
７ 筺体方向検知手段
８ 切替制御手段
１１ 送受信アンテナ
１２ 電話無線部
１３ 電話音声処理部
１４ 音声入出力部
１５ 受信アンテナ
１６ ＴＶ無線部
１７ ＴＶ映像・音声処理部
１８ 制御部
１９ カメラ制御部
２０ 表示方向判定部
２１ 表示制御部
２２ 操作制御部
２３ カメラ
２４ 表示部
２５ メモリ
２６ 操作部
１００ 携帯電話機
【特許請求の範囲】
【請求項１】
映像コンテンツをリアルタイムに再生するプログラムを含むアプリケーションを格納し、前記アプリケーションにより処理されたデータを表示手段に表示する携帯端末装置であって、
ユーザを撮像し画像情報を取得する撮像手段と、
前記撮像手段により取得された画像情報からユーザの顔面構造を認識して顔情報を取得する顔認識手段と、
前記顔認識手段により取得されたユーザの顔情報に基づいて、利用中のユーザに対する前記携帯端末装置の筺体の向きを検知する筺体方向検知手段と、
前記筺体方向検知手段により検知された前記筺体の向きに基づいて、前記表示手段への前記映像コンテンツの表示を切り替える切替制御手段と、を有し、
前記アプリケーションの起動中において、前記撮像手段、前記顔認識手段、前記筺体方向検知手段、及び前記切替制御手段による諸動作を行い、前記映像コンテンツの表示切り替えを行うことを特徴とする携帯端末装置。
【請求項２】
前記切替制御手段は、前記筺体方向検知手段により検知された前記筺体の向きに基づいて、操作手段が備える各操作キーに割り当てられた機能を変更して切り替えることを特徴とする請求項１に記載の携帯端末装置。
【請求項３】
前記切替制御手段は、前記筺体方向検知手段により検知された前記筺体の向きに基づいて、前記表示手段への表示内容を変更することを特徴とする請求項１又は２に記載の携帯端末装置。
【請求項４】
前記切替制御手段は、前記映像コンテンツの表示切り替えと同時に、前記各操作キーに割り当てられた機能の切り替えを行うことを特徴とする請求項１から３のいずれか１項に記載の携帯端末装置。
【請求項５】
前記切替制御手段は、前記筺体の向きと前記各操作キーに割り当てられた機能の関係を表した機能割り当て表と、前記筺体方向検知手段により検知された前記筺体の向きとに基づいて、前記各操作キーに割り当てられた機能の切り替えを行うことを特徴とする請求項１から４のいずれか１項に記載の携帯端末装置。
【請求項６】
前記切替制御手段は、前記筺体方向検知手段により検知された前記筺体の向きが縦長であるとき、前記映像コンテンツ及び該コンテンツの関連情報を前記表示手段に表示し、前記筺体方向検知手段により検知された前記筺体の向きが横長であるとき、前記映像コンテンツのみを前記表示手段に表示することを特徴とする請求項１から５のいずれか１項に記載の携帯端末装置。
【請求項７】
前記切替制御手段は、前記顔認識手段により取得された前記顔情報から把握されるユーザの上方向が前記表示手段の表示画面の短辺に一致するときに縦長画面表示に切り替え、前記ユーザの上方向が前記表示画面の長辺に一致するときに横長画面表示に切り替えることを特徴とする請求項１から６のいずれか１項に記載の携帯端末装置。
【請求項８】
前記アプリケーションは、テレビ放送を受信して映像コンテンツとして前記表示手段に表示させることを特徴とする請求項１から７のいずれか１項に記載の携帯端末装置。
【請求項９】
映像コンテンツをリアルタイムに再生するプログラムを含むアプリケーションを格納し、前記アプリケーションにより処理されたデータを表示手段に表示する携帯端末装置における画面表示切替方法であって、
ユーザを撮像し画像情報を取得する撮像ステップと、
前記撮像ステップにより取得された画像情報からユーザの顔面構造を認識して顔情報を取得する顔認識ステップと、
前記顔認識ステップにより取得されたユーザの顔情報に基づいて、利用中のユーザに対する前記携帯端末装置の筺体の向きを検知する筺体方向検知ステップと、
前記筺体方向検知ステップにより検知された前記筺体の向きに基づいて、前記表示手段への前記映像コンテンツの表示を切り替える切替制御ステップと、を有し、
前記アプリケーションの起動中において、前記撮像ステップ、前記顔認識ステップ、前記筺体方向検知ステップ、及び前記切替制御ステップによる諸動作を行い、前記映像コンテンツの表示切り替えを行うことを特徴とする画面表示切替方法。
【請求項１０】
前記切替制御ステップは、前記筺体方向検知ステップにより検知された前記筺体の向きに基づいて、操作手段が備える各操作キーに割り当てられた機能を変更して切り替えることを特徴とする請求項９に記載の画面表示切替方法。
【請求項１１】
前記切替制御ステップは、前記筺体方向検知ステップにより検知された前記筺体の向きに基づいて、前記表示手段への表示内容を変更することを特徴とする請求項９又は１０に記載の画面表示切替方法。
【請求項１２】
映像コンテンツをリアルタイムに再生するプログラムを含むアプリケーションを格納し、前記アプリケーションにより処理されたデータを表示手段に表示する携帯端末装置におけるプログラムであって、
コンピュータに、
ユーザを撮像し画像情報を取得する撮像機能と、
前記撮像機能により取得された画像情報からユーザの顔面構造を認識して顔情報を取得する顔認識機能と、
前記顔認識機能により取得されたユーザの顔情報に基づいて、利用中のユーザに対する前記携帯端末装置の筺体の向きを検知する筺体方向検知機能と、
前記筺体方向検知機能により検知された前記筺体の向きに基づいて、前記表示手段への前記映像コンテンツの表示を切り替える切替制御機能と、を実現させ、
前記アプリケーションの起動中において、前記撮像機能、前記顔認識機能、前記筺体方向検知機能、及び前記切替制御機能による諸動作を行い、前記映像コンテンツの表示切り替えをコンピュータに実行させることを特徴とするプログラム。
【請求項１３】
前記切替制御機能は、前記筺体方向検知機能により検知された前記筺体の向きに基づいて、操作手段が備える各操作キーに割り当てられた機能を変更して切り替えることを特徴とする請求項１２に記載のプログラム。
【請求項１４】
前記切替制御機能は、前記筺体方向検知ステップにより検知された前記筺体の向きに基づいて、前記表示手段への表示内容を変更することを特徴とする請求項１２又は１３に記載のプログラム。
【請求項１５】
請求項１２から１４のいずれか１項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
映像コンテンツをリアルタイムに再生するプログラムを含むアプリケーションを格納し、前記アプリケーションにより処理されたデータを表示手段に表示する携帯端末装置であって、
ユーザを撮像し画像情報を取得する撮像手段と、
前記撮像手段により取得された画像情報からユーザの顔面構造を認識して顔情報を取得する顔認識手段と、
前記顔認識手段により取得されたユーザの顔情報に基づいて、利用中のユーザに対する前記携帯端末装置の筺体の向きを検知する筺体方向検知手段と、
前記筺体方向検知手段により検知された前記筺体の向きに基づいて、前記表示手段への前記映像コンテンツの表示を切り替える切替制御手段と、を有し、
前記アプリケーションの起動中において、前記撮像手段、前記顔認識手段、前記筺体方向検知手段、及び前記切替制御手段による諸動作を行い、前記映像コンテンツの表示切り替えを行うことを特徴とする携帯端末装置。
【請求項２】
前記切替制御手段は、前記筺体方向検知手段により検知された前記筺体の向きに基づいて、操作手段が備える各操作キーに割り当てられた機能を変更して切り替えることを特徴とする請求項１に記載の携帯端末装置。
【請求項３】
前記切替制御手段は、前記筺体方向検知手段により検知された前記筺体の向きに基づいて、前記表示手段への表示内容を変更することを特徴とする請求項１又は２に記載の携帯端末装置。
【請求項４】
前記切替制御手段は、前記映像コンテンツの表示切り替えと同時に、前記各操作キーに割り当てられた機能の切り替えを行うことを特徴とする請求項１から３のいずれか１項に記載の携帯端末装置。
【請求項５】
前記切替制御手段は、前記筺体の向きと前記各操作キーに割り当てられた機能の関係を表した機能割り当て表と、前記筺体方向検知手段により検知された前記筺体の向きとに基づいて、前記各操作キーに割り当てられた機能の切り替えを行うことを特徴とする請求項１から４のいずれか１項に記載の携帯端末装置。
【請求項６】
前記切替制御手段は、前記筺体方向検知手段により検知された前記筺体の向きが縦長であるとき、前記映像コンテンツ及び該コンテンツの関連情報を前記表示手段に表示し、前記筺体方向検知手段により検知された前記筺体の向きが横長であるとき、前記映像コンテンツのみを前記表示手段に表示することを特徴とする請求項１から５のいずれか１項に記載の携帯端末装置。
【請求項７】
前記切替制御手段は、前記顔認識手段により取得された前記顔情報から把握されるユーザの上方向が前記表示手段の表示画面の短辺に一致するときに縦長画面表示に切り替え、前記ユーザの上方向が前記表示画面の長辺に一致するときに横長画面表示に切り替えることを特徴とする請求項１から６のいずれか１項に記載の携帯端末装置。
【請求項８】
前記アプリケーションは、テレビ放送を受信して映像コンテンツとして前記表示手段に表示させることを特徴とする請求項１から７のいずれか１項に記載の携帯端末装置。
【請求項９】
映像コンテンツをリアルタイムに再生するプログラムを含むアプリケーションを格納し、前記アプリケーションにより処理されたデータを表示手段に表示する携帯端末装置における画面表示切替方法であって、
ユーザを撮像し画像情報を取得する撮像ステップと、
前記撮像ステップにより取得された画像情報からユーザの顔面構造を認識して顔情報を取得する顔認識ステップと、
前記顔認識ステップにより取得されたユーザの顔情報に基づいて、利用中のユーザに対する前記携帯端末装置の筺体の向きを検知する筺体方向検知ステップと、
前記筺体方向検知ステップにより検知された前記筺体の向きに基づいて、前記表示手段への前記映像コンテンツの表示を切り替える切替制御ステップと、を有し、
前記アプリケーションの起動中において、前記撮像ステップ、前記顔認識ステップ、前記筺体方向検知ステップ、及び前記切替制御ステップによる諸動作を行い、前記映像コンテンツの表示切り替えを行うことを特徴とする画面表示切替方法。
【請求項１０】
前記切替制御ステップは、前記筺体方向検知ステップにより検知された前記筺体の向きに基づいて、操作手段が備える各操作キーに割り当てられた機能を変更して切り替えることを特徴とする請求項９に記載の画面表示切替方法。
【請求項１１】
前記切替制御ステップは、前記筺体方向検知ステップにより検知された前記筺体の向きに基づいて、前記表示手段への表示内容を変更することを特徴とする請求項９又は１０に記載の画面表示切替方法。
【請求項１２】
映像コンテンツをリアルタイムに再生するプログラムを含むアプリケーションを格納し、前記アプリケーションにより処理されたデータを表示手段に表示する携帯端末装置におけるプログラムであって、
コンピュータに、
ユーザを撮像し画像情報を取得する撮像機能と、
前記撮像機能により取得された画像情報からユーザの顔面構造を認識して顔情報を取得する顔認識機能と、
前記顔認識機能により取得されたユーザの顔情報に基づいて、利用中のユーザに対する前記携帯端末装置の筺体の向きを検知する筺体方向検知機能と、
前記筺体方向検知機能により検知された前記筺体の向きに基づいて、前記表示手段への前記映像コンテンツの表示を切り替える切替制御機能と、を実現させ、
前記アプリケーションの起動中において、前記撮像機能、前記顔認識機能、前記筺体方向検知機能、及び前記切替制御機能による諸動作を行い、前記映像コンテンツの表示切り替えをコンピュータに実行させることを特徴とするプログラム。
【請求項１３】
前記切替制御機能は、前記筺体方向検知機能により検知された前記筺体の向きに基づいて、操作手段が備える各操作キーに割り当てられた機能を変更して切り替えることを特徴とする請求項１２に記載のプログラム。
【請求項１４】
前記切替制御機能は、前記筺体方向検知ステップにより検知された前記筺体の向きに基づいて、前記表示手段への表示内容を変更することを特徴とする請求項１２又は１３に記載のプログラム。
【請求項１５】
請求項１２から１４のいずれか１項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−１３０８１６（Ｐ２００９−１３０８１６Ａ）
【公開日】平成２１年６月１１日（２００９．６．１１）
【国際特許分類】
【出願番号】特願２００７−３０５９８４（Ｐ２００７−３０５９８４）
【出願日】平成１９年１１月２７日（２００７．１１．２７）
【出願人】（３９００１０１７９）埼玉日本電気株式会社 (1,228)
【Ｆターム（参考）】
【公開日】平成２１年６月１１日（２００９．６．１１）
【国際特許分類】
【出願日】平成１９年１１月２７日（２００７．１１．２７）
【出願人】（３９００１０１７９）埼玉日本電気株式会社 (1,228)
【Ｆターム（参考）】
[ Back to top ]