小型端末装置
【課題】インターネットの文章、公告等、或いはメールを読む際、画面移動を自動調整する。
【解決手段】動画撮影用カメラ2と、任意の画像データを表示するディスプレイ6と、ディスプレイ6を見る人の顔とディスプレイ6との距離を測定する手段と、距離の変化量を動き補償技術を用いて推定し、変化量に応じた移動量に応じて、ディスプレイにおける任意の画像をデータの表示位置を、電子的に変更する手段とを備え、距離を相対的に一定すると共に、動画撮影用カメラ画像と動き補償(MC)予測を用いて、縦横方向、或いは深さ方向の制御を実行し、文章の文字を読む時の画面移動を自動調整する小型端末装置。
【解決手段】動画撮影用カメラ2と、任意の画像データを表示するディスプレイ6と、ディスプレイ6を見る人の顔とディスプレイ6との距離を測定する手段と、距離の変化量を動き補償技術を用いて推定し、変化量に応じた移動量に応じて、ディスプレイにおける任意の画像をデータの表示位置を、電子的に変更する手段とを備え、距離を相対的に一定すると共に、動画撮影用カメラ画像と動き補償(MC)予測を用いて、縦横方向、或いは深さ方向の制御を実行し、文章の文字を読む時の画面移動を自動調整する小型端末装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の技術分野は、小型端末用制御装置に関するもので、特に文章の文字移動の制御を行う小型端末装置に関する。
【背景技術】
【0002】
最近携帯電話等でも代表されるように小型端末装置は、メール等の文章、及びインターネットの文章等を読む時、ボタン等でスクロールをさせて、手動で、文章文字を移動させなければならないのが現状である。また、電子辞書等で、文字を読んでいる際にも同様に、ボタン等でスクロールをさせて、手動で、文章文字を移動させなければならないのが現状である。
【0003】
撮像手段と、画像表示手段と、撮像手段で撮影された画像から,画像認識によって顔の目の位置を検出する検出手段と、検出手段の検出結果に基づいて,画像表示手段での画像の表示位置を変更させる表示位置変更手段とを備える画像表示装置及び画像ぶれ防止方法については、既に開示されている(例えば、特許文献1参照。)。
【0004】
特許文献1における画像表示装置及び画像ぶれ防止方法においては、画像表示装置とユーザの目との相対位置関係が変化する場合にも画像ぶれを軽減するとともに、プライバシーフィルタを用いる場合のような画質の低下や着脱の煩わしさを伴うことなく電車内等での真後ろからの覗き込みによる情報漏洩を防止することができる。
【特許文献1】特開2004−317813号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
本発明は、小型端末装置の画面表示装置上の表示画面において、表示画面上の位置や大きさを変更することで、2次元、深さ方向、3次元移動に対する画面の調整を行うことができ、顔の位置と表示画面との相対的な位置を変更する。
【0006】
本発明の目的は、インターネットの文章、公告等、或いはメールを読む際、動画撮影用カメラ画像と動き補償(MC)予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整する小型端末装置を提供することにある。
【課題を解決するための手段】
【0007】
本発明の一態様によれば、(イ) 動画撮影用カメラと、(ロ)任意の画像データを表示する画像表示装置と、(ハ)画像表示装置を見る人の顔と画像表示装置との距離を測定する手段と、(二)距離の変化量を動き補償技術を用いて推定し、変化量に応じた移動量に応じて,画像表示装置における任意の画像をデータの表示位置を電子的に変更する手段とを備え、(ホ)距離を相対的に一定すると共に、動画撮影用カメラ画像と動き補償予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整する小型端末装置が提供される。
【0008】
本発明の他の態様によれば、(イ)動画撮影用カメラと、(ロ)ディスプレイと、(ハ)データアナログ信号を送受信するアナログ・フロント・エンドと、(二)動画撮影用カメラを制御するカメラコントローラ部と、(ホ)ディスプレイを制御するディスプレイ用コントローラ部と、(へ)カメラコントローラ部,及びディスプレイ用コントローラ部とデータを送受信する画像処理装置と、中央演算処理装置,及びディジタル・シグナル・プロセッサを有し,前記アナログ・フロント・エンドとの間でデータを送受信するベースバンド部とを備える画像処理プロセッサとを備え、(ト)動画撮影用カメラ画像と動き補償予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整する小型端末装置が提供される。
【発明の効果】
【0009】
本発明の小型端末装置によれば、インターネットの文章、公告等、或いはメールを読む際、動画撮影用カメラ画像と動き補償(MC)予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整することができ、この結果、文字の縦横方向を監視することで、文章を手動でスクロールすること無く文字を読む時の画面移動を可能にすることができる。
【発明を実施するための最良の形態】
【0010】
次に、図面を参照して、本発明の第1の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は模式的なものであり、厚みと平面寸法との関係、動作タイミング等は現実のものとは異なることに留意すべきである。したがって、具体的な厚みや寸法は以下の説明を参酌して判断すべきものである。又、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることはもちろんである。
【0011】
また、以下に示す第1の実施の形態は、この発明の技術的思想を具体化するための装置や方法を例示するものであって、この発明の技術的思想は、構成部品の形状、構造、配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において、種々の変更を加えることができる。
【0012】
また、以下に示す第1の実施の形態は、例えば、携帯電話、TV、表示画面付の動画像再生機器、或いはカーナビといった画像表示装置を有する電子機器に応用可能である。
【0013】
[第1の実施の形態]
本発明の第1の実施の形態に係る小型端末装置の模式的ブロック構成は、図1に示すように、動画撮影用カメラ2と、動画撮影用カメラ2を制御するカメラコントローラ部4と、ディスプレイ6と、ディスプレイ6を制御するディスプレイ用コントローラ部25と、画像処理プロセッサ7と、アナログ・フロント・エンド(AFE)31とを備える。
【0014】
画像処理プロセッサ7は、カメラコントローラ部4及びディスプレイ用コントローラ部25とデータを送受信する画像処理装置27と、中央演算処理装置(CPU)21,ディジタル・シグナル・プロセッサ(DSP)23及び画像メモリ19を有し,AFE31との間でデータを送受信するベースバンド部22とを備える。
【0015】
AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号DASを送受信する。
【0016】
画像処理装置27は、例えば、MPEG4チップによって構成される。ベースバンド部22は、例えば、ベースバンドチップによって構成される。
【0017】
本発明の第1の実施の形態に係る小型端末装置は、ディスプレイ上の表示画面について、ディスプレイ上の画像位置を調整し、揺れを抑えるものである。
【0018】
ディスプレイ6は、本実施形態では液晶表示装置(LCD:Liquid Crystal Display)であるが、表示方法をクロックで制御する他の表示装置にも応用可能である。
【0019】
本発明の第1の実施の形態に係る小型端末装置は、小型端末装置の動画撮影用カメラと、動き補償(Motion Compensation、以下MCと称する)予測を用いて、ディスプレイ画像の縦横深さと2次元、深さ方向、3次元方向位置制御を行う。この小型端末装置は、小型端末装置のディスプレイで、テレビ、動画像を見ている時に、小型端末装置に装備された動画撮影用カメラ2から、見ている人の位置情報を監視する。
【0020】
監視とは、すなわち、動画撮影用カメラ2によって撮影された画像を基に、動き補償予測を用いたブロックマッチング法を用いて、見ている人の位置情報の移動量を予測することである。この予測した移動量を基に、表示画面のディスプレイ上の位置を変えることで、より制度の高いディスプレイの画面表示制御を行うことができる。
【0021】
この監視する手順については、後に、図9乃至図12を用いて説明する。
【0022】
(変形例1)
本発明の第1の実施の形態の変形例1に係る小型端末装置の模式的ブロック構成は、図2に示すように、動画撮影用カメラ2と、動画撮影用カメラ2を制御するカメラコントローラ部4と、ディスプレイ6と、ディスプレイ6を制御するディスプレイ用コントローラ部25と、画像処理プロセッサ7と、AFE31と、フレームメモリ26とを備える。
【0023】
画像処理プロセッサ7は、カメラコントローラ部4及びディスプレイ用コントローラ部25とデータを送受信する画像処理装置27と、CPU21及びDSP23を有し,AFE31及びフレームメモリ26との間でデータを送受信するベースバンド部22とを備える。
AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号DASを送受信する。
【0024】
本発明の第1の実施の形態の変形例1に係る小型端末装置においては、フレームメモリ26を設け、TVの受信データのデータレートが低い場合、フレームメモリ26を用いることで、データレートを維持し、画面表示スピードを保持することができる。
【0025】
(変形例2)
本発明の第1の実施の形態の変形例2に係る小型端末装置の模式的ブロック構成は、図3に示すように、動画撮影用カメラ2と、ディスプレイ6と、動画撮影用カメラ2及びディスプレイ6を制御するカメラ/ディスプレイ用コントローラ部8と、画像処理プロセッサ7と、AFE31とを備える。
【0026】
画像処理プロセッサ7は、カメラ/ディスプレイ用コントローラ部8とデータを送受信する画像処理装置27と、CPU21,DSP23及び画像メモリ19を有し,AFE31との間でデータを送受信するベースバンド部22とを備える。AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号DASを送受信する。
【0027】
本発明の第1の実施の形態の変形例2に係る小型端末装置においては、図1に示すカメラコントローラ部4、ディスプレイ用コントローラ部25を一体型にしたカメラ/ディスプレイ用コントローラ部8を備える。
【0028】
(変形例3)
本発明の第1の実施の形態の変形例3に係る小型端末装置の模式的ブロック構成は、図4に示すように、動画撮影用カメラ2と、ディスプレイ6と、動画撮影用カメラ2及びディスプレイ6を制御するカメラ/ディスプレイ用コントローラ部8と、画像処理プロセッサ7と、AFE31と、フレームメモリ26とを備える。
【0029】
画像処理プロセッサ7は、カメラ/ディスプレイ用コントローラ部8とデータを送受信する画像処理装置27と、CPU21及びDSP23を有し,AFE31及びフレームメモリ26との間でデータを送受信するベースバンド部22とを備える。AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号DASを送受信する。
【0030】
本発明の第1の実施の形態の変形例3に係る小型端末装置においては、図1に示すカメラコントローラ部4、ディスプレイ用コントローラ部25を一体型にしたカメラ/ディスプレイ用コントローラ部8を備える。
【0031】
本発明の第1の実施の形態の変形例3に係る小型端末装置においては、フレームメモリ26を設け、TVの受信データのデータレートが低い場合、フレームメモリ26を用いることで、データレートを維持し、画面表示スピードを保持することができる。
【0032】
(変形例4)
本発明の第1の実施の形態の変形例4に係る小型端末装置の模式的ブロック構成は、図5に示すように、動画撮影用カメラ2と、位置監視用カメラ3と、ディスプレイ6と、動画撮影用カメラ2とデータを送受信するカメラコントローラ部4と、位置監視用カメラ3とデータを送受信するカメラコントローラ部5と、ディスプレイ6とデータを送受信するディスプレイ用コントローラ部25と、画像処理プロセッサ7と、AFE31とを備える。
画像処理プロセッサ7は、カメラコントローラ部4,カメラコントローラ部5,及びディスプレイ用コントローラ部25とデータを送受信する画像処理装置27と、CPU21,DSP23及びが画像メモリ19を有し,AFE31との間でデータを送受信するベースバンド部22とを備える。AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号DASを送受信する。
【0033】
本発明の第1の実施の形態の変形例4に係る小型端末装置においては、位置監視用カメラ3をディスプレイ6側に設置し、その位置監視用カメラ3で、人の顔の位置状態を監視し、XY軸の揺れ幅、Z軸の奥行きのサイズ幅を変更させることができ、これにより顔の位置が移動しても、視点から揺れずに一定の画面の大きさで見ることができる。
【0034】
(変形例5)
本発明の第1の実施の形態の変形例5に係る小型端末装置の模式的ブロック構成は、図6に示すように、動画撮影用カメラ2と、位置監視用カメラ3と、ディスプレイ6と、動画撮影用カメラ2とデータを送受信するカメラコントローラ部4と、位置監視用カメラ3とデータを送受信するカメラコントローラ部5と、ディスプレイ6とデータを送受信するディスプレイ用コントローラ部25と、画像処理プロセッサ7と、AFE31と、フレームメモリ26とを備える。
【0035】
画像処理プロセッサ7は、カメラコントローラ部4,カメラコントローラ部5,及びディスプレイ用コントローラ部25とデータを送受信する画像処理装置27と、CPU21及びDSP23を有し,AFE31及びフレームメモリ26との間でデータを送受信するベースバンド部22とを備える。AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号DASを送受信する。
【0036】
本発明の第1の実施の形態の変形例5に係る小型端末装置においては、フレームメモリ26を設け、TVの受信データのデータレートが低い場合、フレームメモリ26を用いることで、データレートを維持し、画面表示スピードを保持することができる。
【0037】
本発明の第1の実施の形態の変形例5に係る小型端末装置においても、位置監視用カメラ3をディスプレイ6側に設置し、その位置監視用カメラ3で、人の顔の位置状態を監視し、XY軸の振れ幅、Z軸の奥行きのサイズ幅を変更させることができ、これにより顔の位置が移動しても、視点から振れずに一定の画面の大きさで見ることができる。
【0038】
(変形例6)
本発明の第1の実施の形態の変形例6に係る小型端末装置の模式的ブロック構成は、図7に示すように、動画撮影用カメラ2と、位置監視用カメラ3と、ディスプレイ6と、動画撮影用カメラ2,位置監視用カメラ3,及びディスプレイ6とデータを送受信するカメラ/ディスプレイ用コントローラ部8と、画像処理プロセッサ7と、AFE31とを備える。
【0039】
画像処理プロセッサ7は、カメラ/ディスプレイ用コントローラ部8とデータを送受信する画像処理装置27と、CPU21及びDSP23を有し,AFE31との間でデータを送受信するベースバンド部22とを備える。AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号DASを送受信する。
【0040】
本発明の第1の実施の形態の変形例6に係る小型端末装置においては、図6に示すカメラコントローラ部4,カメラコントローラ部5,及びディスプレイ用コントローラ部25を一体型にしたカメラ/ディスプレイ用コントローラ部8を備える。
【0041】
本発明の第1の実施の形態の変形例6に係る小型端末装置においても、位置監視用カメラ3をディスプレイ6側に設置し、その位置監視用カメラ3で、人の顔の位置状態を監視し、XY軸の振れ幅、Z軸の奥行きのサイズ幅を変更させることができ、これにより顔の位置が移動しても、視点から振れずに一定の画面の大きさで見ることができる。
【0042】
(変形例7)
本発明の第1の実施の形態の変形例6に係る小型端末装置の模式的ブロック構成は、図8に示すように、動画撮影用カメラ2と、位置監視用カメラ3と、ディスプレイ6と、動画撮影用カメラ2,位置監視用カメラ3,及びディスプレイ6とデータを送受信するカメラ/ディスプレイ用コントローラ部8と、画像処理プロセッサ7と、AFE31と、フレームメモリとを備える。
【0043】
画像処理プロセッサ7は、カメラ/ディスプレイ用コントローラ部8とデータを送受信する画像処理装置27と、CPU21及びDSP23を有し,AFE31及びフレームメモリ26との間でデータを送受信するベースバンド部22とを備える。AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号を送受信する。
【0044】
本発明の第1の実施の形態の変形例7に係る小型端末装置においては、フレームメモリ26を設け、TVの受信データのデータレートが低い場合、フレームメモリ26を用いることで、データレートを維持し、画面表示スピードを保持することができる。
【0045】
本発明の第1の実施の形態の変形例7に係る小型端末装置においては、図6に示すカメラコントローラ部4,カメラコントローラ部5,及びディスプレイ用コントローラ部25を一体型にしたカメラ/ディスプレイ用コントローラ部8を備える。
【0046】
本発明の第1の実施の形態の変形例7に係る小型端末装置においても、位置監視用カメラ3をディスプレイ6側に設置し、その位置監視用カメラ3で、人の顔の位置状態を監視し、XY軸の振れ幅、Z軸の奥行きのサイズ幅を変更させることができ、これにより顔の位置が移動しても、視点から振れずに一定の画面の大きさで見ることができる。
【0047】
(小型端末装置の動作方法)
−人の顔の縦横の移動−
本発明の第1の実施の形態に係る小型端末装置の動作方法について、人の顔の縦横の移動のような2Dの場合の動作を説明するフローチャートは、図9及び図10に示すように表される。
【0048】
図9は、MC予測の無い場合のフローチャートを示す。
【0049】
まず、モニターを見ている画面の人の目の位置を動画撮影用カメラにより人の顔の目位置データとして常時読み取られ、MPEG4に画像情報が格納される。人の目の縦横位置が微妙に変化することで、この格納されたデータと顔の目の位置(今回は、目の位置を基準にしているが、それ以外でも良い)が、微妙に変化したデータとの画像のデータ差分が生じる。このデータの差分を、MP4でY或いはXY軸の揺れ幅の変化値の計算を行う。このY或いはXY軸の移動のデータは、ベースバンド部22へ送信され、CPU21、DSP23等により、データの処理が行われる。その後、画面の文字の移動が自動で行われる。
【0050】
以下に、MC予測の無い場合のフローチャートのステップを説明する。
【0051】
(a)まず、ステップS1において、ディスプレイ6を見ている画面人の顔を動画撮影用カメラ2で撮影し、基準位置からの人の目の縦・横の移動を検出する。
【0052】
(b)次に、ステップS2において、画像撮影用カメラからの人の目の画像データ差分から、MP4により計算し、縦横軸を感知する。
【0053】
(c)次に、ステップS3において、縦横の移動データを、ベースバンド部22に送信し、画像処理プロセッサ7内のCPU21、DSP23により、データ処理を行う。
【0054】
(d)次に、ステップS4において、文章データは、縦横データ処理により基準値より移動した差分を移動させる。
【0055】
(e)次に、ステップS5において、文章の文字を読む時の画面の自動移動を行う。
【0056】
図10は、MC予測を用いたフローチャートを示す。
【0057】
画面モニターを見ている画面人の顔を動画撮影用カメラ2によって撮影し、人の画像フレームデータとしてMPEG4に送信する。この時、基準情報をセットする。次に、監視カメラからの画像フレームデータからの人の顔の次のフレームの移動量の予測をいくつかたてる。この予測は、目を移動させた基準領域での画像予測をたてる。次のフレームデータが来たとき、予測したフレームと選択し、予測値と同一のものあるいは一番近いもの(誤差範囲内)を選択する。この時、予測値と大幅にずれた、つまりは予測フレームが無い場合、調整は行わず、データを基準状態に戻し、デジタルデータを作成する。選択した場合は、一致した顔の移動分、文字の移動を行う。
【0058】
以下に、MC予測の無い場合のフローチャートのステップを説明する。
【0059】
(a)まず、ステップS11において、ディスプレイ6を見ている画面人の目の位置の移動を動画撮影用カメラ2で撮影する。
【0060】
(b)次に、ステップS12において、人の顔の画像フレームデータを画像処理装置27に送信する。この時の画像を基準情報としてセットする。
【0061】
(c)次に、ステップS13において、画像フレームデータからの人の顔の次のフレームの移動量の予測を、MCを用いていくつかたてる。この移動量の予測については、ブロックマッチング法として、後に詳細に説明する。
【0062】
(d)次に、ステップS14において、次のフレームデータが来たとき、次フレームと予測したフレームを選択し、予測値と同一のものあるいは一番近いもの(誤差範囲内)を選択可能か否かを判断する。予測値と同一のものあるいは一番近いもの(誤差範囲内)を選択可能である場合には、ステップS4に移行する。予測値と大幅にずれ、予測フレームが無い場合には、ステップS15に移行する。
【0063】
(e)次に、ステップS15において、調整は行わず、データを基準状態に戻し、ステップS12に移行する。
【0064】
(f)次に、予測値と同一のものあるいは一番近いもの(誤差範囲内)を選択可能である場合には、ステップS16において、目の縦横移動データ値は、ディスプレイ用コントローラ部25に送信され、文字の大きさ等の縦・横を調整(縦・横)した画像データをディスプレイ6へ送信する。
【0065】
(g)次に、ステップS17において、ディスプレイ6の画面の縦横画像の2次元調整処理を行い、文章の文字を読む時の画面の自動移動を行い、ディスプレイ画面を表示する。
【0066】
−人の顔の奥行きの移動−
本発明の第1の実施の形態に係る小型端末装置の動作方法について、人の顔の奥行き移動のような奥行き調整のみの場合の動作を説明するフローチャートは、図11及び図12に示すように表される。
【0067】
図11は、MC予測の無い場合のフローチャートを示す。
【0068】
まず、モニターを見ている画面の人の顔の奥行きを動画撮影用カメラにより人の顔の奥行き位置データとして常時読み取られ、MPEG4に画像情報が格納される。人の顔の奥行き位置が微妙に変化することで、この格納されたデータと人の顔の奥行き位置(今回は、目の奥行き位置を基準にしているが、それ以外でも良い)が、微妙に変化したデータとの画像のデータ差分が生じる。このデータの差分を、MP4でYあるいはXY軸の揺れ幅の変化値の計算を行う。このY或いはXY軸の移動のデータは、ベースバンド部22へ送信され、CPU21、DSP23等により、データの処理が行われる。その後、画面の文字の大きさの変化が自動で行われる。
【0069】
以下に、MC予測の無い場合のフローチャートのステップを説明する。
【0070】
(a)まず、ステップS21において、ディスプレイ6を見ている画面人の顔を動画撮影用カメラ2で撮影し、基準位置からの人の顔の奥行きの移動を検出する。
【0071】
(b)次に、ステップS22において、画像撮影用カメラからの人の顔の奥行きの画像データ差分から、MP4により計算し、奥行きZ軸を感知する。
【0072】
(c)次に、ステップS23において、人の顔の奥行きの移動データを、ベースバンド部22に送信し、画像処理プロセッサ7内のCPU21、DSP23により、データ処理を行う。
【0073】
(d)次に、ステップS24において、文章データは、奥行きデータ処理により基準値より移動した差分を移動させる。
【0074】
(e)次に、ステップS25において、文章の文字を読む時の画面の文字の大きさを自動変化させる。
【0075】
図12は、MC予測を用いたフローチャートを示す。
【0076】
画面モニターを見ている画面人の顔の奥行きを動画撮影用カメラ2によって撮影し、人の顔の奥行き画像フレームデータとしてMPEG4に送信する。この時、基準情報をセットする。次に、監視カメラからの画像フレームデータからの人の顔の奥行きデータの次のフレームの移動量の予測をいくつかたてる。この予測は、人の顔の奥行きを移動させた基準領域での画像予測をたてる。次のフレームデータが来たとき、予測したフレームと選択し、予測値と同一のものあるいは一番近いもの(誤差範囲内)を選択する。この時、予測値と大幅にずれた、つまりは予測フレームが無い場合、調整は行わず、データを基準状態に戻し、デジタルデータを作成する。選択した場合は、一致した顔の奥行き移動分、文字の移動を行い、或いは文字の大きさを変化させる。
【0077】
(a)まず、ステップS31において、ディスプレイ6を見ている画面人の顔を動画撮影用カメラ2で撮影する。
【0078】
(b)次に、ステップS32において、人の顔の奥行きの画像フレームデータを画像処理装置27に送信する。この時の画像を基準情報としてセットする。
【0079】
(c)次に、ステップS33において、画像フレームデータからの人の顔の奥行きの次のフレームの移動量の予測をいくつかたてる。
【0080】
(d)次に、ステップS34において、次のフレームデータが来たとき、次フレームと予測したフレームを選択し、予測値と同一のものあるいは一番近いもの(誤差範囲内)を選択可能か否かを判断する。予測値と同一のものあるいは一番近いもの(誤差範囲内)を選択可能である場合には、ステップS34に移行する。予測値と大幅にずれ、予測フレームが無い場合には、ステップS35に移行する。
【0081】
(e)次に、ステップS35において、調整は行わず、データを基準状態に戻し、ステップS32に移行する。
【0082】
(f)次に、予測値と同一のものあるいは一番近いもの(誤差範囲内)を選択可能である場合には、ステップS36において、人の顔の奥行きデータ値は、ディスプレイ用コントローラ部25に送信され、奥行きを調整した画像データをディスプレイ6へ送信する。
【0083】
(g)次に、ステップS37において、ディスプレイ6の画面の奥行き画像の調整処理を行い、ディスプレイ画面への文字表示を行う。
【0084】
−人の顔の縦横・奥行きの移動−
本発明の第1の実施の形態に係る小型端末装置の動作方法について、例えば、人の顔の縦横・奥行きの移動のような3Dの場合の動作も同様に取り扱うことができる。説明は省略する。
【0085】
(MC予測を用いたブロックマッチング法と表示画面制御)
次に、フローチャートに示した、予測値とデータの比較方法についての具体的説明を行う。動き補償予測にブロックマッチング法を用い説明を行う。これは、画面を適当な大きさの小領域に分割して行う。ブロックの大きさは、16×16画素のものを用いているが、用途によって大きくしても、小さくしても構わない。
【0086】
ディスプレイ6を見ている人の顔の位置の移動量を予測し、表示画面を制御する方法について、具体的に説明を行う。本実施形態では、移動量の予測に、MCを用いたブロックマッチング法を用いる。予測された移動量を基に、表示画面を制御する。
【0087】
先ず、図13に示す通り、TV動画用カメラ(監視カメラ)によって人の顔を撮影し、この画像を基準値とする。次に、撮影した画面を適切な大きさのブロックに分ける。ブロックの大きさは、例えば、16×16画素のものを用いているが、用途によって大きくしても、小さくしても構わない。次に、人の目の周辺の画像を用いて、人の顔の位置の移動量を予測する。
【0088】
−2次元平面方向の移動量の予測とディスプレイ画面の表示調整方法−
本発明の第1の実施の形態に係る小型端末装置において、2次元の場合のブロックマッチング法によるディスプレイ画面の縦横制御の方法は、図14に示すように模式的に表される。図14に示すように、現フレームF1と予測フレーム(例えば、Y軸移動予測画像)F2を比較し、得られたベクトル分の移動データを文書の文字の自動補正用(移動)データとする。以下、詳述する。
【0089】
動画撮影用カメラ2から人の画像フレームデータを取り、基準フレームとする。これを現フレームとする。次に、この現フレームを、16×16画素で種々シフトしたブロックを取る。具体的には、図15に示す通り、標準画像を真ん中に据えて、同じ大きさ(1.0倍)の顔であるが、平面の位置を変更した画像を9枚準備する。
【0090】
次に、次フレームの一部と比較していき、予測フレームに一致するもの、あるいは、一番近いものを選択する。
【0091】
次に、予測フレームに応じて、画面データをディスプレイ上に表示させる位置が変更される。例えば、顔が右にずれると、画面データも右にずらすように、目と画面データとの相対位置がずれないように制御する。具体的には、図16或いは図17に示す通り、画面データが画像や文字のいずれの場合も、図15の顔の位置と同じ位置に画面データが表示される制御が実行される。この表示を実行するための移動量は、画面データの基の表示位置情報からの変更量である。
【0092】
−深さ方向の移動量の調整方法−
本発明の第1の実施の形態に係る小型端末装置において、深さ方向移動の場合のブロックマッチング法によるディスプレイ画面の深さ方向制御の方法は、図18に示すように模式的に表すことができる。図18に示すように、現フレームF1と予測フレームF2を比較し、得られたサイズ分の移動データをディスプレイ画像の補正(移動)データとする。この移動量をディスプレイ画像の補正(移動)データとする。図18に示すように、次フレームにおいて、得られたサイズ分の移動データをディスプレイ画像の補正(移動)データとすることで画面データは、(1/0.9)倍となる。以下、詳述する。
【0093】
動画撮影用カメラ2から人の画像フレームデータを取り、基準フレームとする。これを現フレームとする。次に、この現フレームの倍率を変化させたフレームデータを作成し、特定部分を16X16画素で倍率を変化させたブロックを取る。具体的には、図19および図20に示す通り、図15の画像を基に、大きさを変更した画像を準備する。本実施形態では、1.2倍と0.8倍の画像を合計18枚準備する。
【0094】
次に、次フレームの一部と比較していき、予測フレームに一致するもの、あるいは、一番近いものを選択する。
【0095】
次に、予測フレームに応じて、画面データをディスプレイ上に表示させる位置を変更する。例えば、顔が右にずれ、さらに画面から離れるとすると、画面データも右にずらし、さらに画面データを大きくなるように、目と画面との相対位置と大きさがずれないように制御する。具体的には、図21と図22、或いは図23と図24とに示す通り、XY軸方向は位置と同じ位置の画面であるが、深さ方向は逆の画面を表示するように制御する。この表示を実行するための移動量は、画面データの基の表示位置情報からの変更量である。
【0096】
(拡大された画像表示例)
以下、図25乃至図28を用いて、拡大された画像表示例を示す。
【0097】
図25は、本発明の第1の実施の形態に係る小型端末装置において、横方向の移動を説明するための標準位置における画像表示例を示す。これに対して、図27は、本発明の第1の実施の形態に係る小型端末装置において、横方向に移動した場合の画像表示例を示す。
【0098】
例えば、顔の移動距離が、MC予測で標準値に対して、Y軸方向にYだけ移動したとする。文字データは、現在目が文字を見ている位置を確認し、図25から図27に示す様に、Y分だけ、文字データを移動させ、その画像を表示させる。次に図27の画面に対して、文字調整方法を実現させる。文字移動調整方法の一例については、図56、図57において詳述する。
【0099】
一方、図26は、深さ方向の移動を説明するための標準位置における画像表示例を示す。これに対して、図28は、本発明の第1の実施の形態に係る小型端末装置において、深さ方向に移動した場合の画像表示例を示す。
【0100】
例えば、顔の移動距離が、MC予測で標準値に対して、Z軸方向に移動したとする。文字データは、現在目が文字を見ている位置を確認し、図26から図28に示す様に、Z軸方向の移動分だけ、文字データを(1/0.9)倍に変化させ、その画像を表示させる。次に図28の画面に対して、文字調整方法を実現させる。文字移動調整方法の一例については、図56、図57において詳述する。
【0101】
−3次元(縦横・奥行き移動)方向の移動量の調整方法−
本発明の第1の実施の形態に係る小型端末装置において、3次元の場合は、上記2次元と奥行きを組合せた方法で制御される。
【0102】
動画撮影用カメラ2から人の画像フレームデータを取り、基準フレームとする。これを現フレームとする。次に、この現フレームの倍率を変化させたフレームデータを作成し、特定部分を16X16画素で倍率を変化させたブロックを取る。
【0103】
模式的には、顔の撮影画像と表示画像の各々について、図29に示す3次元アルゴリズムの座標、図30に示す2次元アルゴリズムの座標を用いる。
【0104】
顔については図15、図19、及び図20を配置し、表示画面については図16、図21、及び図22、を文字表示については図17、図23、及び図24を配置する。
【0105】
次フレームの一部と比較していき、予測フレームに一致する倍率のもの、あるいは、一番近いものを選択する。
【0106】
次に、予測フレームに応じて、2次元方向の移動と深さ方向の移動にて説明した通りに、画面データのディスプレイ上の表示位置を変更する。この表示を実行するための移動量は、画面データの基の表示位置情報からの変更量である。
【0107】
移動量に応じて、図18に示すように、次フレームにおいて、得られたベクトル分・サイズ分の移動データをディスプレイ画像の補正(移動)データとすることで画面データは、(1/0.9)倍となる。
【0108】
本発明の第1の実施の形態に係る小型端末装置において、3次元の場合のブロックマッチング法によるディスプレイ画面の3次元(縦横・奥行き移動)方向の移動量の調整方法は、 具体的に、2次元の例では、図32に示すフレームF1乃至フレームF3の順番で顔の位置が移動した場合、顔は図33に示す通りに、フレームF1乃至フレームF3の順番で2次元に変化する。このとき、表示画面は、図34、或いは図35に示す通り、フレームF1乃至フレームF3の順番で変化する。
【0109】
次に、1次元の例では、図36に示すフレームF1乃至フレームF5の順番で顔の位置が移動した場合、顔は図37乃至図39に示す通りに、フレームF1乃至フレームF5の順番で大きさが変化する。このとき、表示画面は、図40乃至図42、或いは図43乃至図45に示す通り、フレームF1乃至フレームF5の順番で変化する。
【0110】
次に、3次元の例では、図46に示すフレームF1乃至フレームF7の順番で顔の位置が移動した場合、顔は図47乃至図49に示す通りに、フレームF1乃至フレームF7の順番で変化する。このとき、表示画面は、図50乃至図52、或いは図53乃至図55に示す通り、フレームF1乃至フレームF7の順番で変化する。
【0111】
以上の通り、MCを用いた予測をすることで、移動量の測定に要する時間と処理量を軽減させることができる。
【0112】
また、一定の揺れの周期が続く場合、一定の時間その周期のみの動作を行う。例えば、動作周期を監視し、所定の時間で一定であれば、顔の位置を検知せずに画面データの表示のみ継続され、そうでなければ、常時揺れに合わせ画像データの表示位置を変更する。これにより、処理量をさらに減少させ、消費電力やメモリ量等を抑制することができる。
【0113】
この一定の周期は、人の目が変化を感知できない周期であればさらに効果を有する。
【0114】
(ディスプレイ画面に画像を出力する方法)
図56、図57は、文字移動調整方法の一例である。図56に示す様に、水平方向にHSYNC信号、垂直方向にVSYNC信号、HEN信号、VEN信号により、有効表示領域を決めている。この有効領域部分のデータをD/A変換して送信する。この時、有効表示領域以外は、図57の様に、ブランキングモード領域の画像として、マスクして、画像データを送信する。この時文字倍率の変化方法として、今回、Y軸の移動について詳述しているが、行移動の時も、目の位置により同様に制御される。
【0115】
本発明の第1の実施の形態に係る小型端末装置において、水平方向に水平同期信号HSYNC,及び水平有効信号HENを印加し、垂直方向に垂直同期信号VSYNC,及び垂直有効信号VENを印加することにより有効表示領域を決めて出力したディスプレイ画面の具体例は、図56に示すように表される。
【0116】
本発明の第1の実施の形態に係る小型端末装置において、データの揺れの情報から、水平有効信号HEN,垂直有効信号VENの立ち上がりタイミングを決めて、画像データを出力させ、移動情報と伴に、水平有効信号HEN,垂直有効信号VENのタイミング調整を行い、縦横揺れの調整を行うタイミングチャートは、図57に示すように表される。水平方向の有効表示領域とデータは、クロック信号CLK、水平同期信号HSYNC、水平有効信号HENによって生成される。水平同期信号HSYNC、水平有効信号HEN、データ信号DATAは、クロック信号CLKに同期されている。水平同期信号HSYNCの立下がりで、水平方向画像出力幅の始点と終点を決める。また、水平有効信号HENにより有効表示領域を決め、水平有効信号HEN信号がハイレベルHの時、クロックの立下りによりデータを取り入れ、ローレベルLの時は、データは、取り入れられない。垂直方向は、垂直同期信号VSYNCの立下りにより、垂直方向画像出力幅の始点と終点を決める。また、垂直有効信号VENにより有効表示領域を決め、垂直有効信号VENがハイレベルHの時、クロックの立下りによりデータを取り入れ、ローレベルLの時は、データは取り入れられない。つまり、データの揺れの情報から、水平有効信号HEN,垂直有効信号VENの立ち上がりタイミングが決まり、画像データが出力させる。つまり、移動情報とともに、水平有効信号HEN,垂直有効信号VENのタイミング調整を行い、縦横揺れの調整を行うことができる。
本発明の第1の実施の形態に係る小型端末装置において、深さ方向の画像サイズ幅により画像の幅を変化させる方法を示すタイミングチャートは、模式的に図23に示すように表される。図58(a)は、ある一定のクロック信号CLKにおけるタイミングチャートであり、図58(b)は、別のある一定のクロック信号CLKにおけるタイミングチャートを示し、図58(a)に対して、クロック信号CLKの周期を変えることで、水平・垂直有効画面を変化させることができる。
【0117】
画像幅の変化は、画像を出力するCLK幅を制御することで、実現することができる。
【0118】
CLK幅の制御とは、クロック信号CLKのパルス幅の制御を意味し、実質的にクロック周波数を変化させることによって実現することができる。
【0119】
パーセント幅によりZ軸の深さ方向率が、a/bの場合、CLK幅をa/bに設定する。これにより、画面幅を、水平・垂直方向に、a/b分変化させることができる。ディスプレイ画面に人の顔が近づいた時は、CLK幅を小さくすることで、画像幅を小さくする。これにより、画像の縦横・深さ調整を行うことができる。
【0120】
本発明の第1の実施の形態に係る小型端末装置において、図59に示すように、小型端末装置を用いて、画面の文章の文字を移動する状況について述べる。
【0121】
本発明の第1の実施の形態に係る小型端末装置において、図59(a)及び図59(b)では、目の位置に合わせて横方向に文字列が自動移動する例、図59(b)及び図59(c)では、目の位置に合わせて縦方向に文字列が自動移動する例、図59(c)及び図59(d)では、目の位置により自動で文字の大きさを戻す例、或いは手動でスクロールして戻す例をそれぞれ示す。
例えば、目の位置が現在の基準値より横にずれた場合、現在文字を読んでいる所など、(監視装置により現在目が文字を見ている位置情報が分かるため。)の部分を中心に文字が横に移動する。
【0122】
一方で、目の位置が、現在の基準値より縦方向にずれた場合、監視装置により現在目が文字を見ている位置情報が分かるため、例えば現在文字を読んでいる所などの部分を中心に文字が縦に移動する。また、更に効率的に文章を移動させるため、自動制御プラス手動で画面移動を設定することも可能である。
【0123】
(一定の揺れの周期が続く場合の画面データの表示例)
さらに、一定の揺れの周期が続く場合の画面データの表示例について、説明する。図60に示す通り、EN_A信号を用いることで、一定の揺れの周期が続く制御を実行する。EN_A信号がハイの場合は顔の位置の検知をし、EN_A信号がローの場合は顔の位置を検知しない。
【0124】
このときは、例えば、図61、或いは図62に示す通り、EN_A信号がハイである場合は、顔の位置を検知し、顔の位置がT1乃至T5の順で変化するのに応じて画面データの表示位置をT1乃至T5の順番で変更する。
【0125】
次に、図63、或いは図64に示す通り、所定の周期の間に顔の移動がT1乃至T5の順で一定の場合は、EN_A信号をローにして、顔の位置を検知せず、画面データのみ移動させる。次に、所定の時間を経過すると再度EN_A信号をハイにして、顔の位置を検知する。顔の位置の移動量が、前と変化しない場合は、所定の周期を短くして顔の位置を検知しない。
【0126】
次に、図65、或いは図66に示す通り、所定の周期の間に顔の移動が一定の場合は、EN_A信号をローにして、顔の位置を検知せず、画面データのみ移動させる。次に、所定の時間を経過すると再度EN_A信号をハイにして、顔の位置を検知する。顔の移動が変わっていた場合は、顔の位置に応じて画面データの位置を変更する。
【0127】
本発明の第1の実施の形態に係る小型端末装置は、インターネットの文章、広告等、或いはメールを読む際、動画撮影用カメラ画像と動き補償(MC)予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整する。この結果、文字の縦横方向を監視することで、文章を手動でスクロールすること無く文字を読む時の画面移動を可能にする。
【0128】
本発明の第1の実施の形態に係る小型端末装置は、画面の文字を読んでいる際、画像の移動を自動で行うことができる。これにより、小型端末装置の画面から文章を読む時に、文章画面を手動で移動すること無く自動で見ることができる。
【0129】
[その他の実施の形態]
上記のように、本発明は第1の実施の形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
【0130】
このように、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【図面の簡単な説明】
【0131】
【図1】本発明の第1の実施の形態に係る小型端末装置の模式的ブロック構成図。
【図2】本発明の第1の実施の形態の変形例1に係る小型端末装置の模式的ブロック構成図。
【図3】本発明の第1の実施の形態の変形例2に係る小型端末装置の模式的ブロック構成図。
【図4】本発明の第1の実施の形態の変形例3に係る小型端末装置の模式的ブロック構成図。
【図5】本発明の第1の実施の形態の変形例4に係る小型端末装置の模式的ブロック構成図。
【図6】本発明の第1の実施の形態の変形例5に係る小型端末装置の模式的ブロック構成図。
【図7】本発明の第1の実施の形態の変形例6に係る小型端末装置の模式的ブロック構成図。
【図8】本発明の第1の実施の形態の変形例7に係る小型端末装置の模式的ブロック構成図。
【図9】本発明の第1の実施の形態に係る小型端末装置の動作方法について、2次元の場合の動作を説明するフローチャート図。
【図10】本発明の第1の実施の形態に係る小型端末装置の動作方法について、2次元の場合の動作を説明するフローチャート図。
【図11】本発明の第1の実施の形態に係る小型端末装置の動作方法について、深さ方向1次元の場合の動作を説明するフローチャート図。
【図12】本発明の第1の実施の形態に係る小型端末装置の動作方法について、深さ方向1次元の場合の動作を説明するフローチャート図。
【図13】本発明の第1の実施の形態に係る小型端末装置において、TV動画用カメラ(監視カメラ)の画像例。
【図14】本発明の第1の実施の形態に係る小型端末装置において、2次元の場合のブロックマッチング法によるディスプレイ画面の縦横制御の方法を説明する模式図。
【図15】本発明の第1の実施の形態に係る小型端末装置において、2次元の場合のブロックマッチング法によるディスプレイ画面の縦横制御の方法を説明する図。
【図16】本発明の第1の実施の形態に係る小型端末装置において、2次元の場合のブロックマッチング法によるディスプレイ画面の縦横制御の方法を説明する図。
【図17】本発明の第1の実施の形態に係る小型端末装置において、2次元の場合のブロックマッチング法によるディスプレイ画面の縦横制御の方法を説明する図。
【図18】本発明の第1の実施の形態に係る小型端末装置の3次元の場合のブロックマッチング法によるディスプレイ画面の3次元(縦横・奥行き移動)制御の方法を説明する模式図。
【図19】本発明の第1の実施の形態に係る小型端末装置において、深さ方向移動の場合のブロックマッチング法によるディスプレイ画面の深さ方向制御の方法を説明する図。
【図20】本発明の第1の実施の形態に係る小型端末装置において、深さ方向移動の場合のブロックマッチング法によるディスプレイ画面の深さ方向制御の方法を説明する図。
【図21】本発明の第1の実施の形態に係る小型端末装置において、深さ方向移動の場合のブロックマッチング法によるディスプレイ画面の深さ方向制御の方法を説明する図。
【図22】本発明の第1の実施の形態に係る小型端末装置において、深さ方向移動の場合のブロックマッチング法によるディスプレイ画面の深さ方向制御の方法を説明する図。
【図23】本発明の第1の実施の形態に係る小型端末装置において、深さ方向移動の場合のブロックマッチング法によるディスプレイ画面の深さ方向制御の方法を説明する図。
【図24】本発明の第1の実施の形態に係る小型端末装置において、深さ方向移動の場合のブロックマッチング法によるディスプレイ画面の深さ方向制御の方法を説明する図。
【図25】本発明の第1の実施の形態に係る小型端末装置において、横方向の移動を説明するための標準位置における画像表示例。
【図26】本発明の第1の実施の形態に係る小型端末装置において、深さ方向の移動を説明するための標準位置における画像表示例。
【図27】本発明の第1の実施の形態に係る小型端末装置において、横方向に移動した場合の画像表示例。
【図28】本発明の第1の実施の形態に係る小型端末装置において、深さ方向に移動した場合の画像表示例。
【図29】本発明の第1の実施の形態に係る小型端末装置において、3次元アルゴリズムの座標を説明する図。
【図30】本発明の第1の実施の形態に係る小型端末装置において、2次元アルゴリズムの座標を説明する図。
【図31】本発明の第1の実施の形態に係る小型端末装置において、1次元奥行きアルゴリズムの座標を説明する図。
【図32】本発明の第1の実施の形態に係る小型端末装置において、2次元アルゴリズムの座標上のフレームF1,フレームF2,フレームF3を説明する図。
【図33】本発明の第1の実施の形態に係る小型端末装置において、2次元アルゴリズムの座標でフレームF1乃至フレームF3の順番で顔の位置が移動した場合の変化を説明する図。
【図34】本発明の第1の実施の形態に係る小型端末装置において、2次元アルゴリズムの座標でフレームF1乃至フレームF3の順番で表示画面の位置が移動した場合の変化を説明する図。
【図35】本発明の第1の実施の形態に係る小型端末装置において、2次元アルゴリズムの座標でフレームF1乃至フレームF3の順番で表示画面の位置が移動した場合の変化を説明する図。
【図36】本発明の第1の実施の形態に係る小型端末装置において、1次元奥行きアルゴリズムの座標上において、フレームF1,フレームF2,フレームF3,フレームF4,フレームF5,フレームF6を説明する図。
【図37】発明の第1の実施の形態に係る小型端末装置において、1次元奥行きアルゴリズムの座標で顔の位置がフレームF2,フレームF4に移動した場合の変化を説明する図。
【図38】発明の第1の実施の形態に係る小型端末装置において、1次元奥行きアルゴリズムの座標で顔の位置がフレームF3,フレームF5に移動した場合の変化を説明する図。
【図39】発明の第1の実施の形態に係る小型端末装置において、1次元奥行きアルゴリズムの座標で顔の位置がフレームF1の位置に移動した場合の変化を説明する図。
【図40】本発明の第1の実施の形態に係る小型端末装置において、1次元奥行きアルゴリズムの座標で表示画面の位置がフレームF2,フレームF4に移動した場合の変化を説明する図。
【図41】本発明の第1の実施の形態に係る小型端末装置において、1次元奥行きアルゴリズムの座標で表示画面の位置がフレームF3,フレームF5に移動した場合の変化を説明する図。
【図42】本発明の第1の実施の形態に係る小型端末装置において、1次元奥行きアルゴリズムの座標で表示画面の位置がフレームF1の位置に移動した場合の変化を説明する図。
【図43】本発明の第1の実施の形態に係る小型端末装置において、1次元奥行きアルゴリズムの座標で表示画面の位置がフレームF2,フレームF4に移動した場合の変化を説明する図。
【図44】本発明の第1の実施の形態に係る小型端末装置において、1次元奥行きアルゴリズムの座標で表示画面の位置がフレームF3,フレームF5に移動した場合の変化を説明する図。
【図45】本発明の第1の実施の形態に係る小型端末装置において、1次元奥行きアルゴリズムの座標で表示画面の位置がフレームF1の位置に移動した場合の変化を説明する図。
【図46】本発明の第1の実施の形態に係る小型端末装置において、3次元アルゴリズムの座標上において、フレームF1,フレームF2,フレームF3,フレームF4,フレームF5,フレームF6,フレームF7を説明する図。
【図47】本発明の第1の実施の形態に係る小型端末装置において、3次元アルゴリズムの座標で顔の位置がフレームF2,フレームF5に移動した場合の変化を説明する図。
【図48】本発明の第1の実施の形態に係る小型端末装置において、3次元アルゴリズムの座標で顔の位置がフレームF3,フレームF4に移動した場合の変化を説明する図。
【図49】本発明の第1の実施の形態に係る小型端末装置において、3次元アルゴリズムの座標で顔の位置がフレームF1,フレームF6,フレームF7に移動した場合の変化を説明する図。
【図50】本発明の第1の実施の形態に係る小型端末装置において、3次元アルゴリズムの座標で表示画面の位置がフレームF2,フレームF5に移動した場合の変化を説明する図。
【図51】本発明の第1の実施の形態に係る小型端末装置において、3次元アルゴリズムの座標で表示画面の位置がフレームF3,フレームF4に移動した場合の変化を説明する図。
【図52】本発明の第1の実施の形態に係る小型端末装置において、3次元アルゴリズムの座標で表示画面の位置がフレームF1,フレームF6,フレームF7に移動した場合の変化を説明する図。
【図53】本発明の第1の実施の形態に係る小型端末装置において、3次元アルゴリズムの座標で表示画面の位置がフレームF2,フレームF5に移動した場合の変化を説明する図。
【図54】本発明の第1の実施の形態に係る小型端末装置において、3次元アルゴリズムの座標で表示画面の位置がフレームF3,フレームF4に移動した場合の変化を説明する図。
【図55】本発明の第1の実施の形態に係る小型端末装置において、3次元アルゴリズムの座標で表示画面の位置がフレームF1,フレームF6,フレームF7に移動した場合の変化を説明する図。
【図56】本発明の第1の実施の形態に係る小型端末装置において、水平方向に水平同期信号HSYNC、水平有効信号HENを印加し、垂直方向に垂直同期信号VSYNC、垂直有効信号VENを印加することにより、有効表示領域を決めて出力するディスプレイ画面の具体例。
【図57】本発明の第1の実施の形態に係る小型端末装置において、データの揺れの情報から、水平有効信号HEN,垂直有効信号VENの立ち上がりタイミングを決めて、画像データを出力させ、移動情報とともに、水平有効信号HEN,垂直有効信号VENのタイミング調整を行い、縦横揺れの調整を行うタイミングチャートの説明図。
【図58】本発明の第1の実施の形態に係る小型端末装置において、深さ方向の画像サイズ幅により画像の幅を変化させる方法を示すタイミングチャート図であって、(a)ある一定のクロック信号CLKにおけるタイミングチャート、(b)別のある一定のクロック信号CLKにおけるタイミングチャートを示し、(a)に対して、クロック信号CLKの周期を変えることで、水平・垂直有効画面を変化させることを説明する図。
【図59】本発明の第1の実施の形態に係る小型端末装置において、(a)及び(b)では、目の位置に合わせて横方向に文字列が自動移動する例、(b)及び(c)では、目の位置に合わせて縦方向に文字列が自動移動する例、(c)及び(d)では、目の位置により自動で文字の大きさを戻す例、或いは手動でスクロールして戻す例をそれぞれ示す。
【図60】本発明の第1の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、EN_A信号を用いることで、一定の揺れの周期が続く制御を実行する様子を説明する図。
【図61】本発明の第1の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、EN_A信号がハイである場合は、顔の位置を検知し、顔の位置がT1乃至T5の順で変化するのに応じて画面データの表示位置をT1乃至T5の順番で変更する様子を説明する図。
【図62】本発明の第1の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、EN_A信号がハイである場合は、顔の位置を検知し、顔の位置がT1乃至T5の順で変化するのに応じて画面データの表示位置をT1乃至T5の順番で変更する様子を説明する図。
【図63】本発明の第1の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、所定の周期の間に顔の移動がT1乃至T5の順で一定の場合は、EN_A信号をローにして、顔の位置を検知せず、画面データのみ移動させ、所定の時間を経過すると再度EN_A信号をハイにして、顔の位置を検知する様子を説明する図。
【図64】本発明の第1の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、所定の周期の間に顔の移動がT1乃至T5の順で一定の場合は、EN_A信号をローにして、顔の位置を検知せず、画面データのみ移動させ、所定の時間を経過すると再度EN_A信号をハイにして、顔の位置を検知する様子を説明する図。
【図65】本発明の第1の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、所定の周期の間に顔の移動が一定の場合は、EN_A信号をローにして、顔の位置を検知せず、画面データのみ移動させ、所定の時間を経過すると再度EN_A信号をハイにして、顔の位置を検知し、顔の移動が変わっていた場合は、顔の位置に応じて画面データの位置を変更する様子を説明する図。
【図66】本発明の第1の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、所定の周期の間に顔の移動が一定の場合は、EN_A信号をローにして、顔の位置を検知せず、画面データのみ移動させ、所定の時間を経過すると再度EN_A信号をハイにして、顔の位置を検知し、顔の移動が変わっていた場合は、顔の位置に応じて画面データの位置を変更する様子を説明する図。
【符号の説明】
【0132】
2…動画撮影用カメラ
3…位置監視用カメラ
4,5…カメラコントローラ部
6…ディスプレイ
7…画像処理プロセッサ
8…カメラ/ディスプレイ用コントローラ部
19…画像メモリ
21…中央演算処理装置(CPU)
22…ベースバンド部
23…ディジタル・シグナル・プロセッサ(DSP)
25…ディスプレイ用コントローラ部
26…フレームメモリ
27…画像処理装置
31…アナログ・フロント・エンド(AFE)
S1〜S5, S11〜S17, S21〜S25, S31〜S37…ステップ
【技術分野】
【0001】
本発明の技術分野は、小型端末用制御装置に関するもので、特に文章の文字移動の制御を行う小型端末装置に関する。
【背景技術】
【0002】
最近携帯電話等でも代表されるように小型端末装置は、メール等の文章、及びインターネットの文章等を読む時、ボタン等でスクロールをさせて、手動で、文章文字を移動させなければならないのが現状である。また、電子辞書等で、文字を読んでいる際にも同様に、ボタン等でスクロールをさせて、手動で、文章文字を移動させなければならないのが現状である。
【0003】
撮像手段と、画像表示手段と、撮像手段で撮影された画像から,画像認識によって顔の目の位置を検出する検出手段と、検出手段の検出結果に基づいて,画像表示手段での画像の表示位置を変更させる表示位置変更手段とを備える画像表示装置及び画像ぶれ防止方法については、既に開示されている(例えば、特許文献1参照。)。
【0004】
特許文献1における画像表示装置及び画像ぶれ防止方法においては、画像表示装置とユーザの目との相対位置関係が変化する場合にも画像ぶれを軽減するとともに、プライバシーフィルタを用いる場合のような画質の低下や着脱の煩わしさを伴うことなく電車内等での真後ろからの覗き込みによる情報漏洩を防止することができる。
【特許文献1】特開2004−317813号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
本発明は、小型端末装置の画面表示装置上の表示画面において、表示画面上の位置や大きさを変更することで、2次元、深さ方向、3次元移動に対する画面の調整を行うことができ、顔の位置と表示画面との相対的な位置を変更する。
【0006】
本発明の目的は、インターネットの文章、公告等、或いはメールを読む際、動画撮影用カメラ画像と動き補償(MC)予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整する小型端末装置を提供することにある。
【課題を解決するための手段】
【0007】
本発明の一態様によれば、(イ) 動画撮影用カメラと、(ロ)任意の画像データを表示する画像表示装置と、(ハ)画像表示装置を見る人の顔と画像表示装置との距離を測定する手段と、(二)距離の変化量を動き補償技術を用いて推定し、変化量に応じた移動量に応じて,画像表示装置における任意の画像をデータの表示位置を電子的に変更する手段とを備え、(ホ)距離を相対的に一定すると共に、動画撮影用カメラ画像と動き補償予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整する小型端末装置が提供される。
【0008】
本発明の他の態様によれば、(イ)動画撮影用カメラと、(ロ)ディスプレイと、(ハ)データアナログ信号を送受信するアナログ・フロント・エンドと、(二)動画撮影用カメラを制御するカメラコントローラ部と、(ホ)ディスプレイを制御するディスプレイ用コントローラ部と、(へ)カメラコントローラ部,及びディスプレイ用コントローラ部とデータを送受信する画像処理装置と、中央演算処理装置,及びディジタル・シグナル・プロセッサを有し,前記アナログ・フロント・エンドとの間でデータを送受信するベースバンド部とを備える画像処理プロセッサとを備え、(ト)動画撮影用カメラ画像と動き補償予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整する小型端末装置が提供される。
【発明の効果】
【0009】
本発明の小型端末装置によれば、インターネットの文章、公告等、或いはメールを読む際、動画撮影用カメラ画像と動き補償(MC)予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整することができ、この結果、文字の縦横方向を監視することで、文章を手動でスクロールすること無く文字を読む時の画面移動を可能にすることができる。
【発明を実施するための最良の形態】
【0010】
次に、図面を参照して、本発明の第1の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は模式的なものであり、厚みと平面寸法との関係、動作タイミング等は現実のものとは異なることに留意すべきである。したがって、具体的な厚みや寸法は以下の説明を参酌して判断すべきものである。又、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることはもちろんである。
【0011】
また、以下に示す第1の実施の形態は、この発明の技術的思想を具体化するための装置や方法を例示するものであって、この発明の技術的思想は、構成部品の形状、構造、配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において、種々の変更を加えることができる。
【0012】
また、以下に示す第1の実施の形態は、例えば、携帯電話、TV、表示画面付の動画像再生機器、或いはカーナビといった画像表示装置を有する電子機器に応用可能である。
【0013】
[第1の実施の形態]
本発明の第1の実施の形態に係る小型端末装置の模式的ブロック構成は、図1に示すように、動画撮影用カメラ2と、動画撮影用カメラ2を制御するカメラコントローラ部4と、ディスプレイ6と、ディスプレイ6を制御するディスプレイ用コントローラ部25と、画像処理プロセッサ7と、アナログ・フロント・エンド(AFE)31とを備える。
【0014】
画像処理プロセッサ7は、カメラコントローラ部4及びディスプレイ用コントローラ部25とデータを送受信する画像処理装置27と、中央演算処理装置(CPU)21,ディジタル・シグナル・プロセッサ(DSP)23及び画像メモリ19を有し,AFE31との間でデータを送受信するベースバンド部22とを備える。
【0015】
AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号DASを送受信する。
【0016】
画像処理装置27は、例えば、MPEG4チップによって構成される。ベースバンド部22は、例えば、ベースバンドチップによって構成される。
【0017】
本発明の第1の実施の形態に係る小型端末装置は、ディスプレイ上の表示画面について、ディスプレイ上の画像位置を調整し、揺れを抑えるものである。
【0018】
ディスプレイ6は、本実施形態では液晶表示装置(LCD:Liquid Crystal Display)であるが、表示方法をクロックで制御する他の表示装置にも応用可能である。
【0019】
本発明の第1の実施の形態に係る小型端末装置は、小型端末装置の動画撮影用カメラと、動き補償(Motion Compensation、以下MCと称する)予測を用いて、ディスプレイ画像の縦横深さと2次元、深さ方向、3次元方向位置制御を行う。この小型端末装置は、小型端末装置のディスプレイで、テレビ、動画像を見ている時に、小型端末装置に装備された動画撮影用カメラ2から、見ている人の位置情報を監視する。
【0020】
監視とは、すなわち、動画撮影用カメラ2によって撮影された画像を基に、動き補償予測を用いたブロックマッチング法を用いて、見ている人の位置情報の移動量を予測することである。この予測した移動量を基に、表示画面のディスプレイ上の位置を変えることで、より制度の高いディスプレイの画面表示制御を行うことができる。
【0021】
この監視する手順については、後に、図9乃至図12を用いて説明する。
【0022】
(変形例1)
本発明の第1の実施の形態の変形例1に係る小型端末装置の模式的ブロック構成は、図2に示すように、動画撮影用カメラ2と、動画撮影用カメラ2を制御するカメラコントローラ部4と、ディスプレイ6と、ディスプレイ6を制御するディスプレイ用コントローラ部25と、画像処理プロセッサ7と、AFE31と、フレームメモリ26とを備える。
【0023】
画像処理プロセッサ7は、カメラコントローラ部4及びディスプレイ用コントローラ部25とデータを送受信する画像処理装置27と、CPU21及びDSP23を有し,AFE31及びフレームメモリ26との間でデータを送受信するベースバンド部22とを備える。
AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号DASを送受信する。
【0024】
本発明の第1の実施の形態の変形例1に係る小型端末装置においては、フレームメモリ26を設け、TVの受信データのデータレートが低い場合、フレームメモリ26を用いることで、データレートを維持し、画面表示スピードを保持することができる。
【0025】
(変形例2)
本発明の第1の実施の形態の変形例2に係る小型端末装置の模式的ブロック構成は、図3に示すように、動画撮影用カメラ2と、ディスプレイ6と、動画撮影用カメラ2及びディスプレイ6を制御するカメラ/ディスプレイ用コントローラ部8と、画像処理プロセッサ7と、AFE31とを備える。
【0026】
画像処理プロセッサ7は、カメラ/ディスプレイ用コントローラ部8とデータを送受信する画像処理装置27と、CPU21,DSP23及び画像メモリ19を有し,AFE31との間でデータを送受信するベースバンド部22とを備える。AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号DASを送受信する。
【0027】
本発明の第1の実施の形態の変形例2に係る小型端末装置においては、図1に示すカメラコントローラ部4、ディスプレイ用コントローラ部25を一体型にしたカメラ/ディスプレイ用コントローラ部8を備える。
【0028】
(変形例3)
本発明の第1の実施の形態の変形例3に係る小型端末装置の模式的ブロック構成は、図4に示すように、動画撮影用カメラ2と、ディスプレイ6と、動画撮影用カメラ2及びディスプレイ6を制御するカメラ/ディスプレイ用コントローラ部8と、画像処理プロセッサ7と、AFE31と、フレームメモリ26とを備える。
【0029】
画像処理プロセッサ7は、カメラ/ディスプレイ用コントローラ部8とデータを送受信する画像処理装置27と、CPU21及びDSP23を有し,AFE31及びフレームメモリ26との間でデータを送受信するベースバンド部22とを備える。AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号DASを送受信する。
【0030】
本発明の第1の実施の形態の変形例3に係る小型端末装置においては、図1に示すカメラコントローラ部4、ディスプレイ用コントローラ部25を一体型にしたカメラ/ディスプレイ用コントローラ部8を備える。
【0031】
本発明の第1の実施の形態の変形例3に係る小型端末装置においては、フレームメモリ26を設け、TVの受信データのデータレートが低い場合、フレームメモリ26を用いることで、データレートを維持し、画面表示スピードを保持することができる。
【0032】
(変形例4)
本発明の第1の実施の形態の変形例4に係る小型端末装置の模式的ブロック構成は、図5に示すように、動画撮影用カメラ2と、位置監視用カメラ3と、ディスプレイ6と、動画撮影用カメラ2とデータを送受信するカメラコントローラ部4と、位置監視用カメラ3とデータを送受信するカメラコントローラ部5と、ディスプレイ6とデータを送受信するディスプレイ用コントローラ部25と、画像処理プロセッサ7と、AFE31とを備える。
画像処理プロセッサ7は、カメラコントローラ部4,カメラコントローラ部5,及びディスプレイ用コントローラ部25とデータを送受信する画像処理装置27と、CPU21,DSP23及びが画像メモリ19を有し,AFE31との間でデータを送受信するベースバンド部22とを備える。AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号DASを送受信する。
【0033】
本発明の第1の実施の形態の変形例4に係る小型端末装置においては、位置監視用カメラ3をディスプレイ6側に設置し、その位置監視用カメラ3で、人の顔の位置状態を監視し、XY軸の揺れ幅、Z軸の奥行きのサイズ幅を変更させることができ、これにより顔の位置が移動しても、視点から揺れずに一定の画面の大きさで見ることができる。
【0034】
(変形例5)
本発明の第1の実施の形態の変形例5に係る小型端末装置の模式的ブロック構成は、図6に示すように、動画撮影用カメラ2と、位置監視用カメラ3と、ディスプレイ6と、動画撮影用カメラ2とデータを送受信するカメラコントローラ部4と、位置監視用カメラ3とデータを送受信するカメラコントローラ部5と、ディスプレイ6とデータを送受信するディスプレイ用コントローラ部25と、画像処理プロセッサ7と、AFE31と、フレームメモリ26とを備える。
【0035】
画像処理プロセッサ7は、カメラコントローラ部4,カメラコントローラ部5,及びディスプレイ用コントローラ部25とデータを送受信する画像処理装置27と、CPU21及びDSP23を有し,AFE31及びフレームメモリ26との間でデータを送受信するベースバンド部22とを備える。AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号DASを送受信する。
【0036】
本発明の第1の実施の形態の変形例5に係る小型端末装置においては、フレームメモリ26を設け、TVの受信データのデータレートが低い場合、フレームメモリ26を用いることで、データレートを維持し、画面表示スピードを保持することができる。
【0037】
本発明の第1の実施の形態の変形例5に係る小型端末装置においても、位置監視用カメラ3をディスプレイ6側に設置し、その位置監視用カメラ3で、人の顔の位置状態を監視し、XY軸の振れ幅、Z軸の奥行きのサイズ幅を変更させることができ、これにより顔の位置が移動しても、視点から振れずに一定の画面の大きさで見ることができる。
【0038】
(変形例6)
本発明の第1の実施の形態の変形例6に係る小型端末装置の模式的ブロック構成は、図7に示すように、動画撮影用カメラ2と、位置監視用カメラ3と、ディスプレイ6と、動画撮影用カメラ2,位置監視用カメラ3,及びディスプレイ6とデータを送受信するカメラ/ディスプレイ用コントローラ部8と、画像処理プロセッサ7と、AFE31とを備える。
【0039】
画像処理プロセッサ7は、カメラ/ディスプレイ用コントローラ部8とデータを送受信する画像処理装置27と、CPU21及びDSP23を有し,AFE31との間でデータを送受信するベースバンド部22とを備える。AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号DASを送受信する。
【0040】
本発明の第1の実施の形態の変形例6に係る小型端末装置においては、図6に示すカメラコントローラ部4,カメラコントローラ部5,及びディスプレイ用コントローラ部25を一体型にしたカメラ/ディスプレイ用コントローラ部8を備える。
【0041】
本発明の第1の実施の形態の変形例6に係る小型端末装置においても、位置監視用カメラ3をディスプレイ6側に設置し、その位置監視用カメラ3で、人の顔の位置状態を監視し、XY軸の振れ幅、Z軸の奥行きのサイズ幅を変更させることができ、これにより顔の位置が移動しても、視点から振れずに一定の画面の大きさで見ることができる。
【0042】
(変形例7)
本発明の第1の実施の形態の変形例6に係る小型端末装置の模式的ブロック構成は、図8に示すように、動画撮影用カメラ2と、位置監視用カメラ3と、ディスプレイ6と、動画撮影用カメラ2,位置監視用カメラ3,及びディスプレイ6とデータを送受信するカメラ/ディスプレイ用コントローラ部8と、画像処理プロセッサ7と、AFE31と、フレームメモリとを備える。
【0043】
画像処理プロセッサ7は、カメラ/ディスプレイ用コントローラ部8とデータを送受信する画像処理装置27と、CPU21及びDSP23を有し,AFE31及びフレームメモリ26との間でデータを送受信するベースバンド部22とを備える。AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号を送受信する。
【0044】
本発明の第1の実施の形態の変形例7に係る小型端末装置においては、フレームメモリ26を設け、TVの受信データのデータレートが低い場合、フレームメモリ26を用いることで、データレートを維持し、画面表示スピードを保持することができる。
【0045】
本発明の第1の実施の形態の変形例7に係る小型端末装置においては、図6に示すカメラコントローラ部4,カメラコントローラ部5,及びディスプレイ用コントローラ部25を一体型にしたカメラ/ディスプレイ用コントローラ部8を備える。
【0046】
本発明の第1の実施の形態の変形例7に係る小型端末装置においても、位置監視用カメラ3をディスプレイ6側に設置し、その位置監視用カメラ3で、人の顔の位置状態を監視し、XY軸の振れ幅、Z軸の奥行きのサイズ幅を変更させることができ、これにより顔の位置が移動しても、視点から振れずに一定の画面の大きさで見ることができる。
【0047】
(小型端末装置の動作方法)
−人の顔の縦横の移動−
本発明の第1の実施の形態に係る小型端末装置の動作方法について、人の顔の縦横の移動のような2Dの場合の動作を説明するフローチャートは、図9及び図10に示すように表される。
【0048】
図9は、MC予測の無い場合のフローチャートを示す。
【0049】
まず、モニターを見ている画面の人の目の位置を動画撮影用カメラにより人の顔の目位置データとして常時読み取られ、MPEG4に画像情報が格納される。人の目の縦横位置が微妙に変化することで、この格納されたデータと顔の目の位置(今回は、目の位置を基準にしているが、それ以外でも良い)が、微妙に変化したデータとの画像のデータ差分が生じる。このデータの差分を、MP4でY或いはXY軸の揺れ幅の変化値の計算を行う。このY或いはXY軸の移動のデータは、ベースバンド部22へ送信され、CPU21、DSP23等により、データの処理が行われる。その後、画面の文字の移動が自動で行われる。
【0050】
以下に、MC予測の無い場合のフローチャートのステップを説明する。
【0051】
(a)まず、ステップS1において、ディスプレイ6を見ている画面人の顔を動画撮影用カメラ2で撮影し、基準位置からの人の目の縦・横の移動を検出する。
【0052】
(b)次に、ステップS2において、画像撮影用カメラからの人の目の画像データ差分から、MP4により計算し、縦横軸を感知する。
【0053】
(c)次に、ステップS3において、縦横の移動データを、ベースバンド部22に送信し、画像処理プロセッサ7内のCPU21、DSP23により、データ処理を行う。
【0054】
(d)次に、ステップS4において、文章データは、縦横データ処理により基準値より移動した差分を移動させる。
【0055】
(e)次に、ステップS5において、文章の文字を読む時の画面の自動移動を行う。
【0056】
図10は、MC予測を用いたフローチャートを示す。
【0057】
画面モニターを見ている画面人の顔を動画撮影用カメラ2によって撮影し、人の画像フレームデータとしてMPEG4に送信する。この時、基準情報をセットする。次に、監視カメラからの画像フレームデータからの人の顔の次のフレームの移動量の予測をいくつかたてる。この予測は、目を移動させた基準領域での画像予測をたてる。次のフレームデータが来たとき、予測したフレームと選択し、予測値と同一のものあるいは一番近いもの(誤差範囲内)を選択する。この時、予測値と大幅にずれた、つまりは予測フレームが無い場合、調整は行わず、データを基準状態に戻し、デジタルデータを作成する。選択した場合は、一致した顔の移動分、文字の移動を行う。
【0058】
以下に、MC予測の無い場合のフローチャートのステップを説明する。
【0059】
(a)まず、ステップS11において、ディスプレイ6を見ている画面人の目の位置の移動を動画撮影用カメラ2で撮影する。
【0060】
(b)次に、ステップS12において、人の顔の画像フレームデータを画像処理装置27に送信する。この時の画像を基準情報としてセットする。
【0061】
(c)次に、ステップS13において、画像フレームデータからの人の顔の次のフレームの移動量の予測を、MCを用いていくつかたてる。この移動量の予測については、ブロックマッチング法として、後に詳細に説明する。
【0062】
(d)次に、ステップS14において、次のフレームデータが来たとき、次フレームと予測したフレームを選択し、予測値と同一のものあるいは一番近いもの(誤差範囲内)を選択可能か否かを判断する。予測値と同一のものあるいは一番近いもの(誤差範囲内)を選択可能である場合には、ステップS4に移行する。予測値と大幅にずれ、予測フレームが無い場合には、ステップS15に移行する。
【0063】
(e)次に、ステップS15において、調整は行わず、データを基準状態に戻し、ステップS12に移行する。
【0064】
(f)次に、予測値と同一のものあるいは一番近いもの(誤差範囲内)を選択可能である場合には、ステップS16において、目の縦横移動データ値は、ディスプレイ用コントローラ部25に送信され、文字の大きさ等の縦・横を調整(縦・横)した画像データをディスプレイ6へ送信する。
【0065】
(g)次に、ステップS17において、ディスプレイ6の画面の縦横画像の2次元調整処理を行い、文章の文字を読む時の画面の自動移動を行い、ディスプレイ画面を表示する。
【0066】
−人の顔の奥行きの移動−
本発明の第1の実施の形態に係る小型端末装置の動作方法について、人の顔の奥行き移動のような奥行き調整のみの場合の動作を説明するフローチャートは、図11及び図12に示すように表される。
【0067】
図11は、MC予測の無い場合のフローチャートを示す。
【0068】
まず、モニターを見ている画面の人の顔の奥行きを動画撮影用カメラにより人の顔の奥行き位置データとして常時読み取られ、MPEG4に画像情報が格納される。人の顔の奥行き位置が微妙に変化することで、この格納されたデータと人の顔の奥行き位置(今回は、目の奥行き位置を基準にしているが、それ以外でも良い)が、微妙に変化したデータとの画像のデータ差分が生じる。このデータの差分を、MP4でYあるいはXY軸の揺れ幅の変化値の計算を行う。このY或いはXY軸の移動のデータは、ベースバンド部22へ送信され、CPU21、DSP23等により、データの処理が行われる。その後、画面の文字の大きさの変化が自動で行われる。
【0069】
以下に、MC予測の無い場合のフローチャートのステップを説明する。
【0070】
(a)まず、ステップS21において、ディスプレイ6を見ている画面人の顔を動画撮影用カメラ2で撮影し、基準位置からの人の顔の奥行きの移動を検出する。
【0071】
(b)次に、ステップS22において、画像撮影用カメラからの人の顔の奥行きの画像データ差分から、MP4により計算し、奥行きZ軸を感知する。
【0072】
(c)次に、ステップS23において、人の顔の奥行きの移動データを、ベースバンド部22に送信し、画像処理プロセッサ7内のCPU21、DSP23により、データ処理を行う。
【0073】
(d)次に、ステップS24において、文章データは、奥行きデータ処理により基準値より移動した差分を移動させる。
【0074】
(e)次に、ステップS25において、文章の文字を読む時の画面の文字の大きさを自動変化させる。
【0075】
図12は、MC予測を用いたフローチャートを示す。
【0076】
画面モニターを見ている画面人の顔の奥行きを動画撮影用カメラ2によって撮影し、人の顔の奥行き画像フレームデータとしてMPEG4に送信する。この時、基準情報をセットする。次に、監視カメラからの画像フレームデータからの人の顔の奥行きデータの次のフレームの移動量の予測をいくつかたてる。この予測は、人の顔の奥行きを移動させた基準領域での画像予測をたてる。次のフレームデータが来たとき、予測したフレームと選択し、予測値と同一のものあるいは一番近いもの(誤差範囲内)を選択する。この時、予測値と大幅にずれた、つまりは予測フレームが無い場合、調整は行わず、データを基準状態に戻し、デジタルデータを作成する。選択した場合は、一致した顔の奥行き移動分、文字の移動を行い、或いは文字の大きさを変化させる。
【0077】
(a)まず、ステップS31において、ディスプレイ6を見ている画面人の顔を動画撮影用カメラ2で撮影する。
【0078】
(b)次に、ステップS32において、人の顔の奥行きの画像フレームデータを画像処理装置27に送信する。この時の画像を基準情報としてセットする。
【0079】
(c)次に、ステップS33において、画像フレームデータからの人の顔の奥行きの次のフレームの移動量の予測をいくつかたてる。
【0080】
(d)次に、ステップS34において、次のフレームデータが来たとき、次フレームと予測したフレームを選択し、予測値と同一のものあるいは一番近いもの(誤差範囲内)を選択可能か否かを判断する。予測値と同一のものあるいは一番近いもの(誤差範囲内)を選択可能である場合には、ステップS34に移行する。予測値と大幅にずれ、予測フレームが無い場合には、ステップS35に移行する。
【0081】
(e)次に、ステップS35において、調整は行わず、データを基準状態に戻し、ステップS32に移行する。
【0082】
(f)次に、予測値と同一のものあるいは一番近いもの(誤差範囲内)を選択可能である場合には、ステップS36において、人の顔の奥行きデータ値は、ディスプレイ用コントローラ部25に送信され、奥行きを調整した画像データをディスプレイ6へ送信する。
【0083】
(g)次に、ステップS37において、ディスプレイ6の画面の奥行き画像の調整処理を行い、ディスプレイ画面への文字表示を行う。
【0084】
−人の顔の縦横・奥行きの移動−
本発明の第1の実施の形態に係る小型端末装置の動作方法について、例えば、人の顔の縦横・奥行きの移動のような3Dの場合の動作も同様に取り扱うことができる。説明は省略する。
【0085】
(MC予測を用いたブロックマッチング法と表示画面制御)
次に、フローチャートに示した、予測値とデータの比較方法についての具体的説明を行う。動き補償予測にブロックマッチング法を用い説明を行う。これは、画面を適当な大きさの小領域に分割して行う。ブロックの大きさは、16×16画素のものを用いているが、用途によって大きくしても、小さくしても構わない。
【0086】
ディスプレイ6を見ている人の顔の位置の移動量を予測し、表示画面を制御する方法について、具体的に説明を行う。本実施形態では、移動量の予測に、MCを用いたブロックマッチング法を用いる。予測された移動量を基に、表示画面を制御する。
【0087】
先ず、図13に示す通り、TV動画用カメラ(監視カメラ)によって人の顔を撮影し、この画像を基準値とする。次に、撮影した画面を適切な大きさのブロックに分ける。ブロックの大きさは、例えば、16×16画素のものを用いているが、用途によって大きくしても、小さくしても構わない。次に、人の目の周辺の画像を用いて、人の顔の位置の移動量を予測する。
【0088】
−2次元平面方向の移動量の予測とディスプレイ画面の表示調整方法−
本発明の第1の実施の形態に係る小型端末装置において、2次元の場合のブロックマッチング法によるディスプレイ画面の縦横制御の方法は、図14に示すように模式的に表される。図14に示すように、現フレームF1と予測フレーム(例えば、Y軸移動予測画像)F2を比較し、得られたベクトル分の移動データを文書の文字の自動補正用(移動)データとする。以下、詳述する。
【0089】
動画撮影用カメラ2から人の画像フレームデータを取り、基準フレームとする。これを現フレームとする。次に、この現フレームを、16×16画素で種々シフトしたブロックを取る。具体的には、図15に示す通り、標準画像を真ん中に据えて、同じ大きさ(1.0倍)の顔であるが、平面の位置を変更した画像を9枚準備する。
【0090】
次に、次フレームの一部と比較していき、予測フレームに一致するもの、あるいは、一番近いものを選択する。
【0091】
次に、予測フレームに応じて、画面データをディスプレイ上に表示させる位置が変更される。例えば、顔が右にずれると、画面データも右にずらすように、目と画面データとの相対位置がずれないように制御する。具体的には、図16或いは図17に示す通り、画面データが画像や文字のいずれの場合も、図15の顔の位置と同じ位置に画面データが表示される制御が実行される。この表示を実行するための移動量は、画面データの基の表示位置情報からの変更量である。
【0092】
−深さ方向の移動量の調整方法−
本発明の第1の実施の形態に係る小型端末装置において、深さ方向移動の場合のブロックマッチング法によるディスプレイ画面の深さ方向制御の方法は、図18に示すように模式的に表すことができる。図18に示すように、現フレームF1と予測フレームF2を比較し、得られたサイズ分の移動データをディスプレイ画像の補正(移動)データとする。この移動量をディスプレイ画像の補正(移動)データとする。図18に示すように、次フレームにおいて、得られたサイズ分の移動データをディスプレイ画像の補正(移動)データとすることで画面データは、(1/0.9)倍となる。以下、詳述する。
【0093】
動画撮影用カメラ2から人の画像フレームデータを取り、基準フレームとする。これを現フレームとする。次に、この現フレームの倍率を変化させたフレームデータを作成し、特定部分を16X16画素で倍率を変化させたブロックを取る。具体的には、図19および図20に示す通り、図15の画像を基に、大きさを変更した画像を準備する。本実施形態では、1.2倍と0.8倍の画像を合計18枚準備する。
【0094】
次に、次フレームの一部と比較していき、予測フレームに一致するもの、あるいは、一番近いものを選択する。
【0095】
次に、予測フレームに応じて、画面データをディスプレイ上に表示させる位置を変更する。例えば、顔が右にずれ、さらに画面から離れるとすると、画面データも右にずらし、さらに画面データを大きくなるように、目と画面との相対位置と大きさがずれないように制御する。具体的には、図21と図22、或いは図23と図24とに示す通り、XY軸方向は位置と同じ位置の画面であるが、深さ方向は逆の画面を表示するように制御する。この表示を実行するための移動量は、画面データの基の表示位置情報からの変更量である。
【0096】
(拡大された画像表示例)
以下、図25乃至図28を用いて、拡大された画像表示例を示す。
【0097】
図25は、本発明の第1の実施の形態に係る小型端末装置において、横方向の移動を説明するための標準位置における画像表示例を示す。これに対して、図27は、本発明の第1の実施の形態に係る小型端末装置において、横方向に移動した場合の画像表示例を示す。
【0098】
例えば、顔の移動距離が、MC予測で標準値に対して、Y軸方向にYだけ移動したとする。文字データは、現在目が文字を見ている位置を確認し、図25から図27に示す様に、Y分だけ、文字データを移動させ、その画像を表示させる。次に図27の画面に対して、文字調整方法を実現させる。文字移動調整方法の一例については、図56、図57において詳述する。
【0099】
一方、図26は、深さ方向の移動を説明するための標準位置における画像表示例を示す。これに対して、図28は、本発明の第1の実施の形態に係る小型端末装置において、深さ方向に移動した場合の画像表示例を示す。
【0100】
例えば、顔の移動距離が、MC予測で標準値に対して、Z軸方向に移動したとする。文字データは、現在目が文字を見ている位置を確認し、図26から図28に示す様に、Z軸方向の移動分だけ、文字データを(1/0.9)倍に変化させ、その画像を表示させる。次に図28の画面に対して、文字調整方法を実現させる。文字移動調整方法の一例については、図56、図57において詳述する。
【0101】
−3次元(縦横・奥行き移動)方向の移動量の調整方法−
本発明の第1の実施の形態に係る小型端末装置において、3次元の場合は、上記2次元と奥行きを組合せた方法で制御される。
【0102】
動画撮影用カメラ2から人の画像フレームデータを取り、基準フレームとする。これを現フレームとする。次に、この現フレームの倍率を変化させたフレームデータを作成し、特定部分を16X16画素で倍率を変化させたブロックを取る。
【0103】
模式的には、顔の撮影画像と表示画像の各々について、図29に示す3次元アルゴリズムの座標、図30に示す2次元アルゴリズムの座標を用いる。
【0104】
顔については図15、図19、及び図20を配置し、表示画面については図16、図21、及び図22、を文字表示については図17、図23、及び図24を配置する。
【0105】
次フレームの一部と比較していき、予測フレームに一致する倍率のもの、あるいは、一番近いものを選択する。
【0106】
次に、予測フレームに応じて、2次元方向の移動と深さ方向の移動にて説明した通りに、画面データのディスプレイ上の表示位置を変更する。この表示を実行するための移動量は、画面データの基の表示位置情報からの変更量である。
【0107】
移動量に応じて、図18に示すように、次フレームにおいて、得られたベクトル分・サイズ分の移動データをディスプレイ画像の補正(移動)データとすることで画面データは、(1/0.9)倍となる。
【0108】
本発明の第1の実施の形態に係る小型端末装置において、3次元の場合のブロックマッチング法によるディスプレイ画面の3次元(縦横・奥行き移動)方向の移動量の調整方法は、 具体的に、2次元の例では、図32に示すフレームF1乃至フレームF3の順番で顔の位置が移動した場合、顔は図33に示す通りに、フレームF1乃至フレームF3の順番で2次元に変化する。このとき、表示画面は、図34、或いは図35に示す通り、フレームF1乃至フレームF3の順番で変化する。
【0109】
次に、1次元の例では、図36に示すフレームF1乃至フレームF5の順番で顔の位置が移動した場合、顔は図37乃至図39に示す通りに、フレームF1乃至フレームF5の順番で大きさが変化する。このとき、表示画面は、図40乃至図42、或いは図43乃至図45に示す通り、フレームF1乃至フレームF5の順番で変化する。
【0110】
次に、3次元の例では、図46に示すフレームF1乃至フレームF7の順番で顔の位置が移動した場合、顔は図47乃至図49に示す通りに、フレームF1乃至フレームF7の順番で変化する。このとき、表示画面は、図50乃至図52、或いは図53乃至図55に示す通り、フレームF1乃至フレームF7の順番で変化する。
【0111】
以上の通り、MCを用いた予測をすることで、移動量の測定に要する時間と処理量を軽減させることができる。
【0112】
また、一定の揺れの周期が続く場合、一定の時間その周期のみの動作を行う。例えば、動作周期を監視し、所定の時間で一定であれば、顔の位置を検知せずに画面データの表示のみ継続され、そうでなければ、常時揺れに合わせ画像データの表示位置を変更する。これにより、処理量をさらに減少させ、消費電力やメモリ量等を抑制することができる。
【0113】
この一定の周期は、人の目が変化を感知できない周期であればさらに効果を有する。
【0114】
(ディスプレイ画面に画像を出力する方法)
図56、図57は、文字移動調整方法の一例である。図56に示す様に、水平方向にHSYNC信号、垂直方向にVSYNC信号、HEN信号、VEN信号により、有効表示領域を決めている。この有効領域部分のデータをD/A変換して送信する。この時、有効表示領域以外は、図57の様に、ブランキングモード領域の画像として、マスクして、画像データを送信する。この時文字倍率の変化方法として、今回、Y軸の移動について詳述しているが、行移動の時も、目の位置により同様に制御される。
【0115】
本発明の第1の実施の形態に係る小型端末装置において、水平方向に水平同期信号HSYNC,及び水平有効信号HENを印加し、垂直方向に垂直同期信号VSYNC,及び垂直有効信号VENを印加することにより有効表示領域を決めて出力したディスプレイ画面の具体例は、図56に示すように表される。
【0116】
本発明の第1の実施の形態に係る小型端末装置において、データの揺れの情報から、水平有効信号HEN,垂直有効信号VENの立ち上がりタイミングを決めて、画像データを出力させ、移動情報と伴に、水平有効信号HEN,垂直有効信号VENのタイミング調整を行い、縦横揺れの調整を行うタイミングチャートは、図57に示すように表される。水平方向の有効表示領域とデータは、クロック信号CLK、水平同期信号HSYNC、水平有効信号HENによって生成される。水平同期信号HSYNC、水平有効信号HEN、データ信号DATAは、クロック信号CLKに同期されている。水平同期信号HSYNCの立下がりで、水平方向画像出力幅の始点と終点を決める。また、水平有効信号HENにより有効表示領域を決め、水平有効信号HEN信号がハイレベルHの時、クロックの立下りによりデータを取り入れ、ローレベルLの時は、データは、取り入れられない。垂直方向は、垂直同期信号VSYNCの立下りにより、垂直方向画像出力幅の始点と終点を決める。また、垂直有効信号VENにより有効表示領域を決め、垂直有効信号VENがハイレベルHの時、クロックの立下りによりデータを取り入れ、ローレベルLの時は、データは取り入れられない。つまり、データの揺れの情報から、水平有効信号HEN,垂直有効信号VENの立ち上がりタイミングが決まり、画像データが出力させる。つまり、移動情報とともに、水平有効信号HEN,垂直有効信号VENのタイミング調整を行い、縦横揺れの調整を行うことができる。
本発明の第1の実施の形態に係る小型端末装置において、深さ方向の画像サイズ幅により画像の幅を変化させる方法を示すタイミングチャートは、模式的に図23に示すように表される。図58(a)は、ある一定のクロック信号CLKにおけるタイミングチャートであり、図58(b)は、別のある一定のクロック信号CLKにおけるタイミングチャートを示し、図58(a)に対して、クロック信号CLKの周期を変えることで、水平・垂直有効画面を変化させることができる。
【0117】
画像幅の変化は、画像を出力するCLK幅を制御することで、実現することができる。
【0118】
CLK幅の制御とは、クロック信号CLKのパルス幅の制御を意味し、実質的にクロック周波数を変化させることによって実現することができる。
【0119】
パーセント幅によりZ軸の深さ方向率が、a/bの場合、CLK幅をa/bに設定する。これにより、画面幅を、水平・垂直方向に、a/b分変化させることができる。ディスプレイ画面に人の顔が近づいた時は、CLK幅を小さくすることで、画像幅を小さくする。これにより、画像の縦横・深さ調整を行うことができる。
【0120】
本発明の第1の実施の形態に係る小型端末装置において、図59に示すように、小型端末装置を用いて、画面の文章の文字を移動する状況について述べる。
【0121】
本発明の第1の実施の形態に係る小型端末装置において、図59(a)及び図59(b)では、目の位置に合わせて横方向に文字列が自動移動する例、図59(b)及び図59(c)では、目の位置に合わせて縦方向に文字列が自動移動する例、図59(c)及び図59(d)では、目の位置により自動で文字の大きさを戻す例、或いは手動でスクロールして戻す例をそれぞれ示す。
例えば、目の位置が現在の基準値より横にずれた場合、現在文字を読んでいる所など、(監視装置により現在目が文字を見ている位置情報が分かるため。)の部分を中心に文字が横に移動する。
【0122】
一方で、目の位置が、現在の基準値より縦方向にずれた場合、監視装置により現在目が文字を見ている位置情報が分かるため、例えば現在文字を読んでいる所などの部分を中心に文字が縦に移動する。また、更に効率的に文章を移動させるため、自動制御プラス手動で画面移動を設定することも可能である。
【0123】
(一定の揺れの周期が続く場合の画面データの表示例)
さらに、一定の揺れの周期が続く場合の画面データの表示例について、説明する。図60に示す通り、EN_A信号を用いることで、一定の揺れの周期が続く制御を実行する。EN_A信号がハイの場合は顔の位置の検知をし、EN_A信号がローの場合は顔の位置を検知しない。
【0124】
このときは、例えば、図61、或いは図62に示す通り、EN_A信号がハイである場合は、顔の位置を検知し、顔の位置がT1乃至T5の順で変化するのに応じて画面データの表示位置をT1乃至T5の順番で変更する。
【0125】
次に、図63、或いは図64に示す通り、所定の周期の間に顔の移動がT1乃至T5の順で一定の場合は、EN_A信号をローにして、顔の位置を検知せず、画面データのみ移動させる。次に、所定の時間を経過すると再度EN_A信号をハイにして、顔の位置を検知する。顔の位置の移動量が、前と変化しない場合は、所定の周期を短くして顔の位置を検知しない。
【0126】
次に、図65、或いは図66に示す通り、所定の周期の間に顔の移動が一定の場合は、EN_A信号をローにして、顔の位置を検知せず、画面データのみ移動させる。次に、所定の時間を経過すると再度EN_A信号をハイにして、顔の位置を検知する。顔の移動が変わっていた場合は、顔の位置に応じて画面データの位置を変更する。
【0127】
本発明の第1の実施の形態に係る小型端末装置は、インターネットの文章、広告等、或いはメールを読む際、動画撮影用カメラ画像と動き補償(MC)予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整する。この結果、文字の縦横方向を監視することで、文章を手動でスクロールすること無く文字を読む時の画面移動を可能にする。
【0128】
本発明の第1の実施の形態に係る小型端末装置は、画面の文字を読んでいる際、画像の移動を自動で行うことができる。これにより、小型端末装置の画面から文章を読む時に、文章画面を手動で移動すること無く自動で見ることができる。
【0129】
[その他の実施の形態]
上記のように、本発明は第1の実施の形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
【0130】
このように、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【図面の簡単な説明】
【0131】
【図1】本発明の第1の実施の形態に係る小型端末装置の模式的ブロック構成図。
【図2】本発明の第1の実施の形態の変形例1に係る小型端末装置の模式的ブロック構成図。
【図3】本発明の第1の実施の形態の変形例2に係る小型端末装置の模式的ブロック構成図。
【図4】本発明の第1の実施の形態の変形例3に係る小型端末装置の模式的ブロック構成図。
【図5】本発明の第1の実施の形態の変形例4に係る小型端末装置の模式的ブロック構成図。
【図6】本発明の第1の実施の形態の変形例5に係る小型端末装置の模式的ブロック構成図。
【図7】本発明の第1の実施の形態の変形例6に係る小型端末装置の模式的ブロック構成図。
【図8】本発明の第1の実施の形態の変形例7に係る小型端末装置の模式的ブロック構成図。
【図9】本発明の第1の実施の形態に係る小型端末装置の動作方法について、2次元の場合の動作を説明するフローチャート図。
【図10】本発明の第1の実施の形態に係る小型端末装置の動作方法について、2次元の場合の動作を説明するフローチャート図。
【図11】本発明の第1の実施の形態に係る小型端末装置の動作方法について、深さ方向1次元の場合の動作を説明するフローチャート図。
【図12】本発明の第1の実施の形態に係る小型端末装置の動作方法について、深さ方向1次元の場合の動作を説明するフローチャート図。
【図13】本発明の第1の実施の形態に係る小型端末装置において、TV動画用カメラ(監視カメラ)の画像例。
【図14】本発明の第1の実施の形態に係る小型端末装置において、2次元の場合のブロックマッチング法によるディスプレイ画面の縦横制御の方法を説明する模式図。
【図15】本発明の第1の実施の形態に係る小型端末装置において、2次元の場合のブロックマッチング法によるディスプレイ画面の縦横制御の方法を説明する図。
【図16】本発明の第1の実施の形態に係る小型端末装置において、2次元の場合のブロックマッチング法によるディスプレイ画面の縦横制御の方法を説明する図。
【図17】本発明の第1の実施の形態に係る小型端末装置において、2次元の場合のブロックマッチング法によるディスプレイ画面の縦横制御の方法を説明する図。
【図18】本発明の第1の実施の形態に係る小型端末装置の3次元の場合のブロックマッチング法によるディスプレイ画面の3次元(縦横・奥行き移動)制御の方法を説明する模式図。
【図19】本発明の第1の実施の形態に係る小型端末装置において、深さ方向移動の場合のブロックマッチング法によるディスプレイ画面の深さ方向制御の方法を説明する図。
【図20】本発明の第1の実施の形態に係る小型端末装置において、深さ方向移動の場合のブロックマッチング法によるディスプレイ画面の深さ方向制御の方法を説明する図。
【図21】本発明の第1の実施の形態に係る小型端末装置において、深さ方向移動の場合のブロックマッチング法によるディスプレイ画面の深さ方向制御の方法を説明する図。
【図22】本発明の第1の実施の形態に係る小型端末装置において、深さ方向移動の場合のブロックマッチング法によるディスプレイ画面の深さ方向制御の方法を説明する図。
【図23】本発明の第1の実施の形態に係る小型端末装置において、深さ方向移動の場合のブロックマッチング法によるディスプレイ画面の深さ方向制御の方法を説明する図。
【図24】本発明の第1の実施の形態に係る小型端末装置において、深さ方向移動の場合のブロックマッチング法によるディスプレイ画面の深さ方向制御の方法を説明する図。
【図25】本発明の第1の実施の形態に係る小型端末装置において、横方向の移動を説明するための標準位置における画像表示例。
【図26】本発明の第1の実施の形態に係る小型端末装置において、深さ方向の移動を説明するための標準位置における画像表示例。
【図27】本発明の第1の実施の形態に係る小型端末装置において、横方向に移動した場合の画像表示例。
【図28】本発明の第1の実施の形態に係る小型端末装置において、深さ方向に移動した場合の画像表示例。
【図29】本発明の第1の実施の形態に係る小型端末装置において、3次元アルゴリズムの座標を説明する図。
【図30】本発明の第1の実施の形態に係る小型端末装置において、2次元アルゴリズムの座標を説明する図。
【図31】本発明の第1の実施の形態に係る小型端末装置において、1次元奥行きアルゴリズムの座標を説明する図。
【図32】本発明の第1の実施の形態に係る小型端末装置において、2次元アルゴリズムの座標上のフレームF1,フレームF2,フレームF3を説明する図。
【図33】本発明の第1の実施の形態に係る小型端末装置において、2次元アルゴリズムの座標でフレームF1乃至フレームF3の順番で顔の位置が移動した場合の変化を説明する図。
【図34】本発明の第1の実施の形態に係る小型端末装置において、2次元アルゴリズムの座標でフレームF1乃至フレームF3の順番で表示画面の位置が移動した場合の変化を説明する図。
【図35】本発明の第1の実施の形態に係る小型端末装置において、2次元アルゴリズムの座標でフレームF1乃至フレームF3の順番で表示画面の位置が移動した場合の変化を説明する図。
【図36】本発明の第1の実施の形態に係る小型端末装置において、1次元奥行きアルゴリズムの座標上において、フレームF1,フレームF2,フレームF3,フレームF4,フレームF5,フレームF6を説明する図。
【図37】発明の第1の実施の形態に係る小型端末装置において、1次元奥行きアルゴリズムの座標で顔の位置がフレームF2,フレームF4に移動した場合の変化を説明する図。
【図38】発明の第1の実施の形態に係る小型端末装置において、1次元奥行きアルゴリズムの座標で顔の位置がフレームF3,フレームF5に移動した場合の変化を説明する図。
【図39】発明の第1の実施の形態に係る小型端末装置において、1次元奥行きアルゴリズムの座標で顔の位置がフレームF1の位置に移動した場合の変化を説明する図。
【図40】本発明の第1の実施の形態に係る小型端末装置において、1次元奥行きアルゴリズムの座標で表示画面の位置がフレームF2,フレームF4に移動した場合の変化を説明する図。
【図41】本発明の第1の実施の形態に係る小型端末装置において、1次元奥行きアルゴリズムの座標で表示画面の位置がフレームF3,フレームF5に移動した場合の変化を説明する図。
【図42】本発明の第1の実施の形態に係る小型端末装置において、1次元奥行きアルゴリズムの座標で表示画面の位置がフレームF1の位置に移動した場合の変化を説明する図。
【図43】本発明の第1の実施の形態に係る小型端末装置において、1次元奥行きアルゴリズムの座標で表示画面の位置がフレームF2,フレームF4に移動した場合の変化を説明する図。
【図44】本発明の第1の実施の形態に係る小型端末装置において、1次元奥行きアルゴリズムの座標で表示画面の位置がフレームF3,フレームF5に移動した場合の変化を説明する図。
【図45】本発明の第1の実施の形態に係る小型端末装置において、1次元奥行きアルゴリズムの座標で表示画面の位置がフレームF1の位置に移動した場合の変化を説明する図。
【図46】本発明の第1の実施の形態に係る小型端末装置において、3次元アルゴリズムの座標上において、フレームF1,フレームF2,フレームF3,フレームF4,フレームF5,フレームF6,フレームF7を説明する図。
【図47】本発明の第1の実施の形態に係る小型端末装置において、3次元アルゴリズムの座標で顔の位置がフレームF2,フレームF5に移動した場合の変化を説明する図。
【図48】本発明の第1の実施の形態に係る小型端末装置において、3次元アルゴリズムの座標で顔の位置がフレームF3,フレームF4に移動した場合の変化を説明する図。
【図49】本発明の第1の実施の形態に係る小型端末装置において、3次元アルゴリズムの座標で顔の位置がフレームF1,フレームF6,フレームF7に移動した場合の変化を説明する図。
【図50】本発明の第1の実施の形態に係る小型端末装置において、3次元アルゴリズムの座標で表示画面の位置がフレームF2,フレームF5に移動した場合の変化を説明する図。
【図51】本発明の第1の実施の形態に係る小型端末装置において、3次元アルゴリズムの座標で表示画面の位置がフレームF3,フレームF4に移動した場合の変化を説明する図。
【図52】本発明の第1の実施の形態に係る小型端末装置において、3次元アルゴリズムの座標で表示画面の位置がフレームF1,フレームF6,フレームF7に移動した場合の変化を説明する図。
【図53】本発明の第1の実施の形態に係る小型端末装置において、3次元アルゴリズムの座標で表示画面の位置がフレームF2,フレームF5に移動した場合の変化を説明する図。
【図54】本発明の第1の実施の形態に係る小型端末装置において、3次元アルゴリズムの座標で表示画面の位置がフレームF3,フレームF4に移動した場合の変化を説明する図。
【図55】本発明の第1の実施の形態に係る小型端末装置において、3次元アルゴリズムの座標で表示画面の位置がフレームF1,フレームF6,フレームF7に移動した場合の変化を説明する図。
【図56】本発明の第1の実施の形態に係る小型端末装置において、水平方向に水平同期信号HSYNC、水平有効信号HENを印加し、垂直方向に垂直同期信号VSYNC、垂直有効信号VENを印加することにより、有効表示領域を決めて出力するディスプレイ画面の具体例。
【図57】本発明の第1の実施の形態に係る小型端末装置において、データの揺れの情報から、水平有効信号HEN,垂直有効信号VENの立ち上がりタイミングを決めて、画像データを出力させ、移動情報とともに、水平有効信号HEN,垂直有効信号VENのタイミング調整を行い、縦横揺れの調整を行うタイミングチャートの説明図。
【図58】本発明の第1の実施の形態に係る小型端末装置において、深さ方向の画像サイズ幅により画像の幅を変化させる方法を示すタイミングチャート図であって、(a)ある一定のクロック信号CLKにおけるタイミングチャート、(b)別のある一定のクロック信号CLKにおけるタイミングチャートを示し、(a)に対して、クロック信号CLKの周期を変えることで、水平・垂直有効画面を変化させることを説明する図。
【図59】本発明の第1の実施の形態に係る小型端末装置において、(a)及び(b)では、目の位置に合わせて横方向に文字列が自動移動する例、(b)及び(c)では、目の位置に合わせて縦方向に文字列が自動移動する例、(c)及び(d)では、目の位置により自動で文字の大きさを戻す例、或いは手動でスクロールして戻す例をそれぞれ示す。
【図60】本発明の第1の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、EN_A信号を用いることで、一定の揺れの周期が続く制御を実行する様子を説明する図。
【図61】本発明の第1の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、EN_A信号がハイである場合は、顔の位置を検知し、顔の位置がT1乃至T5の順で変化するのに応じて画面データの表示位置をT1乃至T5の順番で変更する様子を説明する図。
【図62】本発明の第1の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、EN_A信号がハイである場合は、顔の位置を検知し、顔の位置がT1乃至T5の順で変化するのに応じて画面データの表示位置をT1乃至T5の順番で変更する様子を説明する図。
【図63】本発明の第1の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、所定の周期の間に顔の移動がT1乃至T5の順で一定の場合は、EN_A信号をローにして、顔の位置を検知せず、画面データのみ移動させ、所定の時間を経過すると再度EN_A信号をハイにして、顔の位置を検知する様子を説明する図。
【図64】本発明の第1の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、所定の周期の間に顔の移動がT1乃至T5の順で一定の場合は、EN_A信号をローにして、顔の位置を検知せず、画面データのみ移動させ、所定の時間を経過すると再度EN_A信号をハイにして、顔の位置を検知する様子を説明する図。
【図65】本発明の第1の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、所定の周期の間に顔の移動が一定の場合は、EN_A信号をローにして、顔の位置を検知せず、画面データのみ移動させ、所定の時間を経過すると再度EN_A信号をハイにして、顔の位置を検知し、顔の移動が変わっていた場合は、顔の位置に応じて画面データの位置を変更する様子を説明する図。
【図66】本発明の第1の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、所定の周期の間に顔の移動が一定の場合は、EN_A信号をローにして、顔の位置を検知せず、画面データのみ移動させ、所定の時間を経過すると再度EN_A信号をハイにして、顔の位置を検知し、顔の移動が変わっていた場合は、顔の位置に応じて画面データの位置を変更する様子を説明する図。
【符号の説明】
【0132】
2…動画撮影用カメラ
3…位置監視用カメラ
4,5…カメラコントローラ部
6…ディスプレイ
7…画像処理プロセッサ
8…カメラ/ディスプレイ用コントローラ部
19…画像メモリ
21…中央演算処理装置(CPU)
22…ベースバンド部
23…ディジタル・シグナル・プロセッサ(DSP)
25…ディスプレイ用コントローラ部
26…フレームメモリ
27…画像処理装置
31…アナログ・フロント・エンド(AFE)
S1〜S5, S11〜S17, S21〜S25, S31〜S37…ステップ
【特許請求の範囲】
【請求項1】
動画撮影用カメラと、
任意の画像データを表示する画像表示装置と、
前記画像表示装置を見る人の顔と前記画像表示装置との距離を測定する手段と、
前記距離の変化量を動き補償技術を用いて推定し、前記変化量に応じた移動量に応じて,前記画像表示装置における前記任意の画像をデータの表示位置を電子的に変更する手段
とを備え、前記距離を相対的に一定すると共に、動画撮影用カメラ画像と動き補償予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整することを特徴とする小型端末装置。
【請求項2】
前記電子的に変更する手段は、前記画像表示装置のクロックを用いて実行することを特徴とする請求項1記載の小型端末装置。
【請求項3】
前記測定手段は、前記動画撮影用カメラによって撮影された前記人の目の位置の画像を用いて、前記距離を測定し、前記画像を基準にして、動き補償技術を用いた予測画像を作成し、前記距離の変化量を、前記画像と前記予測画像との比較を行うことで測定することを特徴とする請求項1又は請求項2の内、いずれか1項に記載の小型端末装置。
【請求項4】
動画撮影用カメラ画像と動き補償予測を用いて、更に深さ方向の制御を実行し、文章の文字を読む時の画面移動を自動調整することを特徴とする請求項1記載の小型端末装置。
【請求項5】
動画撮影用カメラと、
ディスプレイと、
データアナログ信号を送受信するアナログ・フロント・エンドと、
前記動画撮影用カメラを制御するカメラコントローラ部と、
前記ディスプレイを制御するディスプレイ用コントローラ部と、
前記カメラコントローラ部,及び前記ディスプレイ用コントローラ部とデータを送受信する画像処理装置と、中央演算処理装置,及びディジタル・シグナル・プロセッサを有し,前記アナログ・フロント・エンドとの間でデータを送受信するベースバンド部とを備える画像処理プロセッサ
とを備え、動画撮影用カメラ画像と動き補償予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整することを特徴とする小型端末装置。
【請求項1】
動画撮影用カメラと、
任意の画像データを表示する画像表示装置と、
前記画像表示装置を見る人の顔と前記画像表示装置との距離を測定する手段と、
前記距離の変化量を動き補償技術を用いて推定し、前記変化量に応じた移動量に応じて,前記画像表示装置における前記任意の画像をデータの表示位置を電子的に変更する手段
とを備え、前記距離を相対的に一定すると共に、動画撮影用カメラ画像と動き補償予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整することを特徴とする小型端末装置。
【請求項2】
前記電子的に変更する手段は、前記画像表示装置のクロックを用いて実行することを特徴とする請求項1記載の小型端末装置。
【請求項3】
前記測定手段は、前記動画撮影用カメラによって撮影された前記人の目の位置の画像を用いて、前記距離を測定し、前記画像を基準にして、動き補償技術を用いた予測画像を作成し、前記距離の変化量を、前記画像と前記予測画像との比較を行うことで測定することを特徴とする請求項1又は請求項2の内、いずれか1項に記載の小型端末装置。
【請求項4】
動画撮影用カメラ画像と動き補償予測を用いて、更に深さ方向の制御を実行し、文章の文字を読む時の画面移動を自動調整することを特徴とする請求項1記載の小型端末装置。
【請求項5】
動画撮影用カメラと、
ディスプレイと、
データアナログ信号を送受信するアナログ・フロント・エンドと、
前記動画撮影用カメラを制御するカメラコントローラ部と、
前記ディスプレイを制御するディスプレイ用コントローラ部と、
前記カメラコントローラ部,及び前記ディスプレイ用コントローラ部とデータを送受信する画像処理装置と、中央演算処理装置,及びディジタル・シグナル・プロセッサを有し,前記アナログ・フロント・エンドとの間でデータを送受信するベースバンド部とを備える画像処理プロセッサ
とを備え、動画撮影用カメラ画像と動き補償予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整することを特徴とする小型端末装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図14】
【図15】
【図17】
【図18】
【図19】
【図20】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図35】
【図36】
【図37】
【図38】
【図39】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図53】
【図54】
【図55】
【図56】
【図57】
【図58】
【図59】
【図60】
【図62】
【図64】
【図66】
【図13】
【図16】
【図21】
【図22】
【図34】
【図40】
【図41】
【図42】
【図50】
【図51】
【図52】
【図61】
【図63】
【図65】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図14】
【図15】
【図17】
【図18】
【図19】
【図20】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図35】
【図36】
【図37】
【図38】
【図39】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図53】
【図54】
【図55】
【図56】
【図57】
【図58】
【図59】
【図60】
【図62】
【図64】
【図66】
【図13】
【図16】
【図21】
【図22】
【図34】
【図40】
【図41】
【図42】
【図50】
【図51】
【図52】
【図61】
【図63】
【図65】
【公開番号】特開2008−146164(P2008−146164A)
【公開日】平成20年6月26日(2008.6.26)
【国際特許分類】
【出願番号】特願2006−329705(P2006−329705)
【出願日】平成18年12月6日(2006.12.6)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成20年6月26日(2008.6.26)
【国際特許分類】
【出願日】平成18年12月6日(2006.12.6)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]