画像表示システム
【課題】 携帯端末の表示部に表示させる画像をより簡易に移動させることができ、かつ容易に実現可能な携帯端末を提供する。
【解決手段】 携帯端末１０は、入力された表示画像を表示させる表示部１１と、画像を撮像するカメラ１２と、カメラ１２により連続的に撮像された複数の撮像画像から、当該複数の撮像画像間の移動の向きを検出する移動検出部１３と、移動検出部１３により検出された移動の向きに応じて、表示部１１に表示される表示画像を移動させる制御を行う制御部１４と、を備える。
【解決手段】 携帯端末１０は、入力された表示画像を表示させる表示部１１と、画像を撮像するカメラ１２と、カメラ１２により連続的に撮像された複数の撮像画像から、当該複数の撮像画像間の移動の向きを検出する移動検出部１３と、移動検出部１３により検出された移動の向きに応じて、表示部１１に表示される表示画像を移動させる制御を行う制御部１４と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を表示させる表示部を備える携帯端末等の画像表示システムに関する。
【背景技術】
【０００２】
従来から携帯電話等の、画像を表示する表示部が設けられた携帯端末等の画像表示システムにおいて、当該表示部に地図や写真等の画像を表示させることが行われている。例えば、特許文献１には、地図の画像を表示する携帯端末が記載されている。
【特許文献１】特開２００３−４２７９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
通常、携帯端末に設けられる表示部における表示部分は小さいので、当該表示部に表示対象となる地図や写真の画像が全て収まりきらない場合がある。また、ユーザが、表示対象の画像の特定部分のみをより詳細に見たい場合がある。そのような場合、通常、表示部に収まりきらない表示対象を表示させるために画像を移動させたり、拡大縮小させたりする。画像の移動や拡大縮小の操作は、通常、ユーザが携帯端末に備えられる移動させたい方向や拡大縮小の機能に対応する入力キーを操作して行われる。しかしながら、このような入力キーによる操作は、煩雑であるという問題点がある。
【０００４】
本発明は、以上の問題点を解決するためになされたものであり、表示部に表示させる画像をより簡易に移動させることができ、かつ容易に実現可能な画像表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、本発明に係る画像表示システムは、入力された表示画像を表示させる表示部と、画像を撮像する撮像手段と、撮像手段により連続的に撮像された複数の撮像画像から、当該複数の撮像画像間の移動の向きを検出する移動検出手段と、移動検出手段により検出された移動の向きに応じて、表示部に表示される表示画像を移動させる制御を行う制御手段と、を備えることを特徴とする。
【０００６】
本発明に係る画像表示システムでは、連続的に撮像された撮像画像から、撮像画像間の移動の向きが検出されて、当該移動の向きに応じて、表示部に表示される表示画像を移動させる制御が行われる。従って、画像表示システムのユーザは、表示部の撮像画像が移動するように作用させるだけで、表示部に表示される画像を移動させることができる。また、本発明に係る画像表示システムでは、感圧センサ等の動きを物理的に検出するための機構を設けることなしに、表示部に表示される表示画像を移動させるための情報を取得できる。即ち、本発明に係る画像表示システムによれば、表示部に表示させる画像をより簡易に移動させることができ、かつ容易に実現可能な画像表示システムを提供することができる。
【０００７】
移動検出手段は、複数の撮像画像から、当該複数の撮像画像間の移動の加速度を検出し、制御手段は移動検出手段により検出された移動の加速度にも応じて、表示部に表示される表示画像を移動させる制御を行う、ことが望ましい。この構成によれば、より操作性が高い表示画像の移動を実現することができる。
【０００８】
表示部の表示方向と、撮像手段による撮像方向とがほぼ一致していることが望ましい。この構成によれば、より確実に撮像画像からの動きの検出することができ、より確実に本発明の効果を奏することができる。
【発明の効果】
【０００９】
本発明によれば、画像表示システムのユーザは、表示部の撮像画像が移動するように作用させるだけで、表示部に表示される画像を移動させることができる。また、本発明では、感圧センサ等の動きを物理的に検出するための機構を設けることなしに、表示部に表示される表示画像を移動させるための情報を取得できる。即ち、本発明に係る画像表示システムによれば、表示部に表示させる画像をより簡易に移動させることができ、かつ容易に実現可能な画像表示システムを提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面とともに本発明に係る画像表示システムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【００１１】
図１に本発明に係る画像表示システムである携帯端末１０の機能的な構成を示す。携帯端末１０は、具体的には、携帯電話機やＰＤＡ（Personal Digital Assistants）、デジタルカメラ等の装置に相当する。図１に示すように、携帯端末１０は、表示部１１と、カメラ１２と、移動検出部１３と、制御部１４とを備えて構成される。なお、上記の携帯端末１０の構成要素は、本発明に係る機能に関係するものである。携帯端末１０には、それ以外にも例えば、携帯端末１０が携帯電話機であった場合には移動体通信を行う機能等に関する構成要素を備えているが、それらの図示及び説明は省略する。
【００１２】
表示部１１は、携帯端末１０が備えるＣＰＵ（Central Processing Unit）の制御によりメモリ等から入力された表示画像を表示させる手段である。具体的には表示部１１としては、液晶を使用したディスプレイ等が用いられる。表示部１１に表示される表示画像には、例えば、図２〜４に示すような、地図、ホームページ、及び写真等の画像やゲーム画面等が含まれる。表示部１１により表示される表示画像は、後述するように、制御部１４の制御を受けて、移動される。即ち、表示内容をずらして表示される。
【００１３】
カメラ１２は、画像を撮像する撮像手段である。カメラ１２は、いわゆるカメラ付き携帯電話機のように、携帯端末１０を構成する何れかの面に設けられている。カメラ１２は、表示部１１が設けられている面と同じ面に設けられていることとするのが好ましい。即ち、表示部１１の表示方向と、カメラ１２による撮像方向とがほぼ一致していることが好ましい。カメラ１２は、連続的に画像を撮像する。撮像する時間間隔は、予め定められており、例えば、数百ミリ秒程度の間隔とする。なお、カメラ１２により撮像される画像は必ずしも静止画像でなくてもよく動画であってもよく、動画である場合は所定の時間間隔の、当該動画を構成する画像が用いられる。カメラ１２は、連続的に撮像した複数の画像を移動検出部１３に出力する。カメラ１２は、携帯端末１０が備える撮像素子やレンズ等の構成要素により構成されている。
【００１４】
移動検出部１３は、カメラ１２により連続的に撮像された複数の撮像画像から、当該複数の撮像画像間の移動に関する情報を検出する移動検出手段である。撮像画像間の移動に関する情報は、移動の向きの情報を含む。また、移動に関する情報は、移動の向きだけでなく、撮像画像間の移動量（移動距離）及び加速度の情報をも含むことが望ましい。ここでいう、撮像画像間の移動には、撮像画像に沿った方向（上下左右方向）の移動、及び撮像画像に対して前後（垂直）方向（奥行き及び手前方向）の少なくとも何れか一方を含む。撮像画像間の移動の向き及び量の検出は、より詳細に後述するように、例えば、２つの撮像画像に対して、オプティカルフロー法を用いた演算を行うことにより行われる。また、加速度は、求められた撮像画像間の移動の向き及び量の変化率として計算される。なお、移動量及び加速度の情報は、撮像画像の撮像間隔にも基づいて算出されてもよい。移動検出部１３は、検出した移動に関する情報を制御部１４に出力する。
【００１５】
なお、撮像画像の移動は、ユーザが携帯端末１０に対して、撮像画像が移動するように作用させることによって起こる。例えば、携帯端末１０がユーザによって動かされることにより起こる。また、それ以外にも、動いているものを撮像することによっても起こる。
【００１６】
制御部１４は、移動検出部１３により検出された移動に関する情報に応じて、表示部１１に表示される表示画像を移動させる制御を行う制御手段である。具体的には、例えば、表示部１１に図２（ａ）に示す地図の一部の範囲２０ａの画像が表示されている状態から、図２（ｂ）に示す範囲２０ｂの画像が表示されるように左上に移動させる。なお、範囲２０ａ及び範囲２０ｂを含む地図画像２０を図２（ｃ）に示す。
【００１７】
また、表示部１１に図３（ａ）に示すホームページの一部の範囲３０ａの画像が表示されている状態から、図３（ｂ）に示す範囲３０ｂの画像が表示されるように右下に移動させる。なお、範囲３０ａ及び範囲３０ｂを含むホームページ画像３０を図３（ｃ）に示す。図２及び３に示す例は、表示部１１の表示画像に沿った方向（上下左右方向）の移動であったが、表示画像に対して前後方向（奥行き及び手前方向）に移動させるものであってもよい。例えば、表示部１１に図４（ａ）に示す写真の一部の範囲４０ａの画像が表示されている状態から、図４（ｂ）に示す全体の範囲４０ｂの画像が表示されるように奥行き方向に移動させる（全体を縮小して表示する）。図４（ｃ）に、写真の一部の範囲４０ａと、写真の全体の範囲４０ｂとの関係を示す。
【００１８】
移動検出部１３により検出した撮像画像間の移動に関する情報に応じて、どのように表示画像を移動させるかについてのルールは、予め制御部１４に記憶させておく。表示画像の移動の方向及び量は、携帯端末１０が表示部１１に対して動かされた方向及び量に応じたものとするのが望ましい。即ち、携帯端末１０が左上あるいは右下に動かされた場合、図２及び３に示すように表示画像が左上又は右下に動くようにするのがよい。また、携帯端末１０が奥行きに動かされた場合、図４に示すように画像を奥行き方向に移動させる（全体を縮小して表示する）のがよい。
【００１９】
そのために、撮像画像の移動方向と表示画像の移動方向（制御方向）との関係は、カメラ１２の撮像方向に応じたものとするのが望ましい。例えば、カメラ１２の撮像方向が、表示部１１の表示方向と逆になっていた場合（携帯端末１０において表示部１１が設けられる面と逆の面にカメラ１２が設けられていた場合）、画像に沿った方向に関しては、（表示部１１に対する）携帯端末１０の移動方向と撮像画像の移動方向とは逆になるので、表示画像の移動方向は、撮像画像の移動方向と同じ方向（携帯端末１０の移動方向とは逆の方向）にするのがよい。画像に対する前後方向に関しては、表示画像に対する前後方向と撮像画像に対する前後方向とは逆になるので、撮像画像が拡大される場合は表示画像の奥行き方向の移動に対応するルールを適用し、撮像画像が縮小される場合は表示画像の手前方向の移動に対応するルールを適用するのがよい。その一方、カメラ１２の撮像方向が、表示部１１の表示方向と一致していた場合（携帯端末１０において表示部１１が設けられる面と同じ面にカメラ１２が設けられていた場合）、画像に沿った方向に関しては、（表示部１１に対する）携帯端末１０の移動方向と撮像画像の移動方向とは水平軸に関して対称になるので、撮像画像の移動方向と、表示画像の移動方向とは垂直軸に関して対称になるようにするのがよい。表示画像に対する前後方向と、撮像画像に対する前後方向とは一致するので、撮像画像が縮小される場合は奥行き方向の移動に対応するルールを適用するのがよい。
【００２０】
また、制御部１４は、移動検出部１３から入力された移動の加速度に応じても、表示画像の移動の制御を行うことが望ましい。例えば、加速度が大きいほど、表示画面の移動を速く行ったり、移動量を大きくしたりすることが望ましい。
【００２１】
移動検出部１３及び制御部１４は、携帯端末１０が備えるＣＰＵやメモリ等のハードウェアにより実現される。
【００２２】
引き続いて、図５のフローチャートを用いて、本実施形態に係る携帯端末１０において実行される処理について説明する。この処理は、表示部１１に表示画像が表示されているときに行われる。
【００２３】
まず、携帯端末１０では、カメラ１２によって連続的な撮像が行われて複数の撮像画像が取得される（Ｓ０１）。取得された複数の撮像画像は、カメラ１２から移動検出部１３に入力される。
【００２４】
続いて、移動検出部１３によって、カメラ１２によって撮像された２枚の撮像画像間における各画素の移動量が算出される（Ｓ０２）。図６にカメラ１２によって撮像された２枚の撮像画像を示す。図６（ａ）に示すのが、移動前（時間的に前）の撮像画像５１であり、図６（ｂ）に示すのが、移動後（時間的に後）の撮像画像５２である。
【００２５】
ここでいう画素の移動量は、移動前の撮像画像の画素が、移動後の撮像画像のどの位置に移動したかを表す情報である。画素の移動量には、移動した方向と移動した量とが含まれ、画素毎のベクトルとして算出される。ここで、移動量が算出される対象となる画素は、予め設定され移動検出部１３に記憶されている。全ての画素について移動量を検出してもよいし、一定間隔の格子点の座標に位置する画素等一部の画素についてのみ移動量を検出してもよい。また、物体のコーナー等の特徴点となる画素の部分集合について、移動量を検出することとしてもよい。コーナーなどの特徴点検出の手法にとしては、例えば、”特徴点検出,” ディジタル画像処理，ディジタル画像処理編集委員会，画像情報教育振興協会，pp.208-210, 2004．に記載されているハリスのコーナー検出、ＳＵＳＡＮコーナー検出やケニーのエッジ検出を用いればよい。
【００２６】
各画素の移動量の検出には、例えば、オプティカルフローが用いられる。オプティカルフローとは、異なる時間に撮像された２枚の画像間で対応付けを行い、その移動量をベクトルデータとして表現したものである。オプティカルフローを求める代表的な方法にはブロックマッチング法と勾配法とがある。ブロックマッチング法は、テンプレートマッチングを用いてオプティカルフローを求める方法である。大きな動きも検出でき、精度も高いが、計算時間がかかり複雑な動きに弱い。勾配法は計算時間が短くて済み、複雑な動きにも対処できるが、局所的な動きにしか検出できない。携帯端末１０の用途に応じて、上記の方法を使い分けるのがよい。
【００２７】
以下では、勾配法を用いてオプティカルフローを検出する例について説明する。なお、オプティカルフローの検出については、例えば、“オプティカルフローを用いた移動物体検出,” ディジタル画像処理，ディジタル画像処理編集委員会，画像情報教育振興協会，pp.243-245, 2004．に記載されている。勾配法では、連続する２枚の画像の局所領域で画素が移動しても明るさが変化しないという条件を仮定して動きを推定する。ある時刻ｔにおける画像の画素値Ｉ（ｘ，ｙ，ｔ）が、時刻Δｔ（２つの撮像画像の時間間隔）の間にΔｘ、Δｙだけ移動したとする。画素値は変わらないので式（１）が成り立つ。なお、ここでいう画素値とは、画素の輝度値、濃度値及び色成分等の少なくとも何れかを含む画素のパラメータである。
Ｉ（ｘ，ｙ，ｔ）＝Ｉ（ｘ＋Δｘ，ｙ＋Δｙ，ｔ＋Δｔ） （１）
式（１）をテイラー展開し２次以降の項を小さいものとして無視すると拘束条件式（２）が導かれる。
Ｉｘｑ＋Ｉｙｒ＋Ｉｔ＝０ （２）
ここで、（ｑ，ｒ）がオプティカルフローであり、Ｉｘ、ＩｙがＸ、Ｙ方向の画素値の勾配（空間的変化率）、Ｉｔが画素値の時間微分（時間的変化率）となる。Ｉｘ、Ｉｙ、Ｉｔは、画素値から例えば式（３）を使って求めることができる。
Ｉｘ＝Ｉ１（ｘ＋１，ｙ−１）＋２Ｉ１（ｘ＋１，ｙ）＋Ｉ１（ｘ＋１，ｙ−１）
−Ｉ１（ｘ−１，ｙ−１）−２Ｉ１（ｘ−１，ｙ）−Ｉ１（ｘ−１，ｙ−１）
Ｉｙ＝Ｉ１（ｘ−１，ｙ＋１）＋２Ｉ１（ｘ，ｙ＋１）＋Ｉ１（ｘ＋１，ｙ＋１）
−Ｉ１（ｘ−１，ｙ−１）−２Ｉ１（ｘ，ｙ−１）−Ｉ１（ｘ＋１，ｙ−１）
Ｉｔ＝Ｉ２（ｘ，ｙ）−Ｉ１（ｘ，ｙ）
（３）
ここで、Ｉ１（ｘ，ｙ）は時間的に前の撮像画像の座標（ｘ，ｙ）における画素値、Ｉ２（ｘ，ｙ）は時間的に後の撮像画像の座標（ｘ，ｙ）における画素値である。
【００２８】
これらの式だけではオプティカルフローを一意に決定することはできない。何らかの拘束が必要であり、その解法が各種提案されている。例えば、布施孝志, 清水英範, 堤盛人, “オプティカルフロー推定における光学勾配法の比較分析,” 応用測量論文集, Vol.11, pp.45-52, 2000.に提案されている。本実施形態では、よく用いられている注目画素の近傍ｎ×ｎ（なお、ｎは移動検出部１３により予め記憶されている）の範囲でオプティカルフローｆが一意であるとする。これにより拘束条件式がｎ２個得られる。即ち、
Ｇｆ＝−ｂ （４）
が成立する。ここで、
【数１】
である。ここでＩｉｘ（ｉ＝１〜ｎ２）は、撮像画像におけるｎ×ｎの範囲の各画素のＸ方向の勾配であり（ｉは各画素のインデックスを示す。以下同様）、Ｉｉｙ（ｉ＝１〜ｎ２）は、撮像画像におけるｎ×ｎの範囲の各画素のＹ方向の勾配であり、Ｉｉｔ（ｉ＝１〜ｎ２）は、撮像画像におけるｎ×ｎの範囲の各画素の画素値の時間微分である。
【００２９】
上記の式を用いて、最小二乗法により式（６）を解くことで、（撮像画像におけるｎ×ｎの範囲の）各画素のオプティカルフローｆを求めることができる。
ｆ＝−（ＧＴＧ）−１ＧＴｂ （６）
【００３０】
上記の勾配法では、微小な動きの検出しかできないため、例えば、佐藤誠, 佐々木宏, “動画像における動きベクトルの階層的推定法,” 電子通信学会論文誌D, Vol.J69-D, No5, pp.771-776, 1986.で提案された階層的推定を用いて、より大きな動きの検出をすることができる。階層的推定では、まず、撮像画像それぞれの幅と高さを１／２ずつ縮小することを繰り返し、階層化されたｋ枚の画像を作成する。画像を縮小する際には、下の階層の画像の２×２画素の単純平均をとり、その階層の画素とする。
【００３１】
解像度の低い画像から高い画像へと順にオプティカルフローを推定する。今、オプティカルフローを求める２枚の画像を、移動前（時間的に前）をＩｉ１、移動後（時間的に後）をＩｉ２とする。ここで、ｉは階層を表す。次に、Ｉｉ２をその上の階層ｉ−１でのオプティカルフロー分ｆｉ−１だけ移動させた画像をＩｉ２´とする。Ｉｉ１とＩｉ２´との間でオプティカルフローを、例えば、上述した勾配法等により求める。その値をｆｉ´とする。階層ｉ−１でのオプティカルフローは、ｆｉ´と、階層ｉ−１でのオプティカルフローとの和である。ただし、階層（ｉ−１）でのオプティカルフローｆｉ−１´の大きさは階層ｉでは２倍の長さに対応する。したがって、階層ｉでのオプティカルフローは
【００３２】
ｆ＝ｆｉ´＋２ｆｉ−１´ （７）
である。これにより、最終的なオプティカルフローｆは、式（８）により算出される。
ｆ＝ｆｋ´＋２ｆｋ−１´＋２２ｆｋ−２´＋…＋２ｋｆ０´ （８）
【００３３】
上記のように移動検出部１３によって算出された各画素のオプティカルフローを図６（ｃ）に示す。移動前の撮像画像５１にオプティカルフロー５３を示す線分を重ねて示したものである。図６に示す撮像画像の例では、図６（ｃ）に示すように、ほぼ一様にオプティカルフロー５３は、左上方向に向かっている。
【００３４】
続いて、移動検出部１３によって、算出された各画素の移動量から撮像画像全体についての移動量のベクトルが算出される（Ｓ０３）。撮像画像に沿った方向（上下左右方向）については、各画素の移動量を示すベクトルの平均をとることによって算出される。
【００３５】
また、撮像画像に対して前後方向（奥行き及び手前方向）の移動量のベクトルについては、例えば、”カメラモーション推定,” ディジタル画像処理，ディジタル画像処理編集委員会，画像情報教育振興協会，pp.248, 2004．に記載されているように、オプティカルフローのベクトルが一点にあつまるので、ベクトルの向き（内か外）と大きさを計算し求めることができる。具体的には、以下のようにして算出できる。各画素の移動量を示すベクトルに対して、例えば、”図形要素検出,” ディジタル画像処理，ディジタル画像処理編集委員会，画像情報教育振興協会，pp.211-214, 2004．に記載されているＨｏｕｇｈ変換を施し、各ベクトルが集中する（各ベクトルが向かう、あるいは出射する）点を求める。
【００３６】
なお、画素の移動方向と、画素の座標とを用いて、Ｈｏｕｇｈ変換を施し、各移動方向が集中する点（無限遠点）を求める方法は、例えば、中谷広正，北橋忠宏, "Determination of vanishing point in outdoor scene,"Transactions of IEICE Japan, vol.E64, no.5, pp.357-358, 1981.に記載されている方法を用いて、次のようにして求められる。
（１）まず、２次元配列Ｈ（θ，ρ），０°≦θ＜１８０°，｜ρ｜≦（画像の対角線の長さ）の各要素を初期化する。すなわち、Ｈ（θ，ρ）＝０とする。
（２）つぎに、オプティカルフローが算出されたすべての画素をＨｏｕｇｈ平面、すなわち２次元配列Ｈ（θ，ρ）へ次のようにして写像する。オプティカルフローが算出された画素の座標を（ｘ，ｙ）として、（オプティカルフローの方向＋９０°）をθとする。但し、１８０°≦θとなるときはθ−１８０°を改めてθとする。このｘ，ｙ，θに対して
ρ＝ｘ cos θ＋ｙ sin θ （９）
を満たすρを求める。そして、式（９）を満たすρ，θに対応する配列要素Ｈ（θ，ρ）の値を１だけ増やす。オプティカルフローが算出されたすべての画素に対して、この処理を行う。
【００３７】
（３）一つの共通点で交わるオプティカルフロー群はＨｏｕｇｈ平面では一つの正弦波に対応するので、そのような正弦波を探す。すなわち、ある（ｘ，ｙ）について式（９）を満たすすべての（θ，ρ）に対応するＨ（θ，ρ）の値の合計を求めＶ（ｘ，ｙ）とする。すべての（ｘ，ｙ）について、Ｖ（ｘ，ｙ）を求め、Ｖ（ｘ，ｙ）の最大値を与える（ｘ，ｙ）を無限遠点とする。
【００３８】
カメラ１２の撮像方向が表示部１１の表示方向と逆になっていた場合、求めた無限遠点がオプティカルフローのベクトルの向きにあれば携帯端末１０は手前方向に移動していると判定できる。その一方、カメラ１２の撮像方向が表示部１１の表示方向と一致していた場合、求めた無限遠点がオプティカルフローのベクトルの向きにあれば携帯端末１０は奥行き方向に移動していると判定できる。
【００３９】
つぎに、例えば、中谷広正，北橋忠宏, "無限遠点を用いた情景中の対象物の３次元構造の復元," 電子通信学会論文誌D, Vol.J68-D, no.8, pp.1481-1488, 1985.の第2章に記載されている方法を用いれば、無限遠点の画像上での座標と撮像された点の画像上の座標とから、撮像された点の３次元空間での座標が算出できる。例えばこの方法を用いて、各移動方向が集中する点（無限遠点）の画像上の座標から、携帯端末１０の移動量が次のようにして求められる。
【００４０】
まず、ｓをスカラー、ｕを単位ベクトル（‖ｕ‖＝１）として、携帯端末を−ｓｕだけ移動させたとき、すなわちｓの大きさだけ−ｕの方向に移動させたとき、撮像画像面上で各移動方向が集中する点（無限遠点）の画像上の座標は例えばつぎのようにして求められる。図７では、３次元空間上の各点Ｐおよび撮像画像面上の各点ｐはカメラ１２の焦点であるレンズ中心Ｏからのベクトルで表すことにする。なお、被写体と撮像画像面とは互いにカメラ１２のレンズを挟んで反対側に存在するが、説明の簡単のために図７では、レンズと被写体の間に撮像画像面を書いた。また、携帯端末が−ｓｕだけ移動する場合と被写体がｓｕだけ移動する場合とは、撮像画像面上では被写体の動きは同じであるので、簡単のために図７では被写体が移動したとして説明する。
【００４１】
撮像画像面と光軸との交点をｐｆとすると撮像画像面上の任意の点ｐについて
ｐ・ｐｆ＝‖ｐｆ‖２ （１０）
が成立する。ここで・は内積、‖ ‖はノルムを表す。
まず、図７に示すように３次元空間上の点Ｐ０が撮像画像面上で点ｐ０に撮像されたとする。このとき、Ｐ０とｐ０との間には、
Ｐ０＝ａ０ｐ０ （１１）
が成立する。ここでａ０はＰ０の距離によって定まる定数である。すなわち、点Ｐ０の３次元空間でのレンズ中心Ｏからの距離と、点Ｐ０が撮像画像面に撮像された点ｐ０のレンズ中心Ｏからの距離との比である。
【００４２】
次に、携帯端末が−ｕの方向にｓだけ移動したとする。これは、携帯端末は静止していて、Ｐ０がｕの方向にｓだけ移動したと考えてよい。したがって、Ｐ０を通り方向がｕとなる直線を考えると、その直線上にあり点Ｐ０からの距離がｓの点Ｐｓは
Ｐｓ＝ａ０ｐ０＋ｓｕ （１２）
で表される。これに対応する撮像画像面上の点をｐｓとすると、
Ｐｓ＝ａｓｐｓ＋ｓｕ （ａｓは定数） （１３）
と表すことができる。式（１２）に式（１３）を代入した式の両辺とｐｆとの内積をとり、式（１０）を代入することによって
ａｓ＝（ａ０‖ｐｆ‖２＋ｓｕ・ｐｆ）／‖ｐｆ‖２ （１４）
ｐｓ＝（‖ｐｆ‖２（ａ０ｐ０＋ｓｕ））／（ａ０‖ｐｆ‖２＋ｓｕ・ｐｆ） （１５）
のように撮像画像面上の座標ｐｓが求まる。したがって、点Ｐ０がＰｓまで移動したとき、即ち、携帯端末がベクトル（Ｐ０−Ｐｓ）だけ移動したときに、撮像画像面上で表れるオプティカルフローはベクトル（ｐｓ−ｐ０）である。
【００４３】
次に、各オプティカルフローが撮像画像面のどの一点で交わるかは例えばつぎのようにして求められる。今、ｕ・ｐｆ≠０、即ち、撮像画像面と平行でない方向ｕについてＰ０からの距離ｓが無限大になったときの撮像画像面上での位置（ｐ∞と書くことにする）は、式（１５）のｓを無限大にすることによって次の式で求まる。
【数２】
ｐ∞はｕとｐｆとの関係のみによって算出できａ０及びｐ０に依存しないことが式（１６）から分かる。即ち、３次元空間で同じ方向に移動する点は３次元座標に依存せず、撮像画像面上では１つの点ｐ∞で消失することが分かる。つまり、携帯端末を−ｓｕ移動したときに求められるオプティカルフローは式（１６）で定まる座標で交わることが分かる。
【００４４】
式（１６）から、携帯端末の移動方向（−ｕ）はつぎの式で求まる。
−ｕ＝−ｐ∞／‖ｐ∞‖ （１７）
また、携帯端末１０の移動量ｓは式（１５）（１６）を用いて、次のようして求められる。
ｓ＝ａ０‖ｐｆ‖２‖ｐｓ−ｐ０‖／‖‖ｐｆ‖２ｕ−（ｕ・ｐｆ）ｐｓ‖
＝ａ０‖ｐｓ−ｐ０‖‖ｐ∞‖／‖ｐ∞−ｐｓ‖ （１８）
即ち、ある一点の３次元空間でのレンズ中心からの距離と、その点が撮像画像面に撮像された点のレンズ中心からの距離との比（ａ０）と、オプティカルフローの大きさ（‖ｐｓ−ｐ０‖）と、レンズ中心から無限遠点までの距離（‖ｐ∞‖）と、撮像画像面においてある点の移動後の位置の無限遠点からの距離（‖ｐ∞−ｐｓ‖）と、によって携帯端末１０の移動量（ｓ）は求められる。
【００４５】
式（１６）では、ｕ・ｐｆ≠０を仮定したが、ｕ・ｐｆ＝０、即ち、携帯端末１０の移動方向が撮像画像面と平行（上下左右方向）である場合には、携帯端末の移動方向を求める式（１７）は、
−ｕ＝−（ｐｓ−ｐ０）‖ｐｓ−ｐ０‖ （１９）
となり、携帯端末１０の移動量を求める式（１８）は
ｓ＝ａ０‖ｐｓ−ｐ０‖ （２０）
となる。
【００４６】
なお、多くの場合、ある対象を撮影した画像のみから、対象までの距離を自動的に求めることは困難である。従って、ある一点の３次元空間でのレンズ中心からの距離と、その点が撮像画像面に撮像された点のレンズ中心からの距離との比（ａ０）を自動的に求めることは困難である。しかし、このことは問題とはならない。なぜなら、ｓは求まらなくとも、式（１８）及び（２０）においてｓ／ａ０は算出可能だからである。すなわち、スケールファクター（倍率）が異なるだけであり、移動量に基づいて各種の制御をおこなうことができる。
【００４７】
ここで、移動検出部１３によって算出された撮像画像全体についての複数の移動量のベクトルから、移動の加速度を求めてもよい。加速度は、それら複数の移動量のベクトルの変化率として算出される。上記のように算出された複数の撮像画像間の移動に関する情報が、移動検出部１３から制御部１４に出力される。
【００４８】
続いて、制御部１４によって、複数の撮像画像間の移動に関する情報に応じて、表示部１１に表示される表示画像を移動させる制御が行われる（Ｓ０４）。この制御は、上述したように、制御部１４に予め記憶された撮像画像間の移動に関する情報と、表示画像の移動との対応関係の情報に基づいて行われる。例えば、移動検出部１３から入力された情報が、図６（ｃ）に示すように、撮像画像が左上に移動していることを示す情報であった場合は、制御部１４によって表示部１１に表示される画像は左上に移動させるように制御される。また、移動検出部１３から入力された情報に加速度の情報が含まれていれば、加速度に応じた制御が行われる。
【００４９】
上述したように、本実施形態に係る携帯端末１０によれば、カメラ１２によって撮像される撮像画像が移動することによって、表示部１１に表示される表示画像が当該撮像画像の移動に応じて移動する。従って、携帯端末１０のユーザが携帯端末１０を移動させて撮像画像が移動するようにすれば、表示部１１に表示される画像を移動させることができる。例えば、図２〜４に示す画像の例のように、ユーザに、携帯端末１０の表示部１１の先にあたかも存在するような表示部１１の表示部分よりも大きい仮想的な画像を、携帯端末１０を、当該画像上をなぞるように動かすことによって画像全体を見るようにさせることができる。
【００５０】
また、撮像画像が移動するためには、必ずしもユーザによって携帯端末１０が必ずしも移動させる必要はなく、移動しているものをカメラ１２で撮像することとしてもよい。
【００５１】
本実施形態のような携帯端末１０では、カメラが必要となるがカメラ付きの携帯電話機等が広く用いられているので、汎用性がある。また、移動量を算出するためのオプティカルフロー法自体は、広く用いられておりその完成度が高いので、本発明の要素技術として用いることができ、確実かつ安価に本発明を実施することができる。
【００５２】
また、感圧センサ等の撮像装置の動きを物理的に検出するための機構を設けることなしに、表示部１１に表示される表示画像を移動させるための情報を取得できる。即ち、本実施形態に係る携帯端末１０によれば、携帯端末１０の表示部１１に表示させる画像をより簡易に移動させることができ、かつ容易に実現可能な携帯端末を提供することができる。
【００５３】
また、撮像画像の移動の加速度を検出して、表示画像の移動の制御に当該加速度の情報に応じて行うこととすれば、より操作性が高い表示画像の移動を実現することができる。例えば、加速度が大きい場合、表示画像が大きく移動することとすれば、仮に撮像画像の移動量自体が小さくても、加速度を大きくすれば表示画像を大きく移動させることができる。即ち、携帯端末１０を勢いよく移動させれば、移動量が小さくても大きく表示画像を移動させることができる。
【００５４】
また、表示部１１の表示方向とカメラ１２による撮像方向とがほぼ一致していれば、通常、表示部１１の表示画像を見るユーザの顔が近い距離で撮像されるため、より確実に撮像画像からの動きの検出することができ、より確実に本発明の効果を奏することができる。
【００５５】
なお、本実施形態では、表示部１１によって表示されて制御部１４によって制御される表示画像は、図２〜４に示すように、表示部１１全体あるいはほぼ全体を占める画像であったが、表示画像において制御部１４により移動される部分は、表示画像の一部であってもよい。例えば、図８に示すようなゲーム画面６０において、ゲーム画面６０の一部のボール画像６１が移動するようなものであってもよい。図８に示すゲーム画面６０は、手６２からボール６１を放って、的６３に命中させて破壊するというものである。図８（ａ）に示すようにボール６１が手に持たれた６１から、上述したように制御部１４の制御を受けて図８（ｂ）に示すようにボール６１が的６３に向かう。ボール６１が放たれる方向は、上述したようにカメラ１２によって撮像された撮像画像の移動方向から計算され、ボール６１の破壊力は撮像画像の移動の加速度によって計算される。
【００５６】
また、本実施形態における画面表示システムは、全ての構成要素が１つの装置に備えられる携帯端末１０としたが、必ずしも全ての構成要素が１つの装置に備えられている必要はない。即ち、表示部１１、移動検出部１３及び制御部１４の１つ以上が、携帯端末１０以外の装置（例えば、ゲーム機）に備えられていてもよい。
【図面の簡単な説明】
【００５７】
【図１】本発明の実施形態に係る携帯端末の構成を示す図である。
【図２】携帯端末の表示部に表示される表示画像の例である地図を示す図である。
【図３】携帯端末の表示部に表示される表示画像の例であるホームページを示す図である。
【図４】携帯端末の表示部に表示される表示画像の例である写真を示す図である。
【図５】本発明の実施形態に係る携帯端末によって実行される処理を示すフローチャートである。
【図６】カメラによって撮像される撮像画像の例を示す図である。
【図７】撮像画像において各画素の移動方向が集中する点を示す図である。
【図８】携帯端末の表示部に表示される表示画像の例であるゲーム画面を示す図である。
【符号の説明】
【００５８】
１０…携帯端末、１１…表示部、１２…カメラ、１３…移動検出部、１４…制御部。
【技術分野】
【０００１】
本発明は、画像を表示させる表示部を備える携帯端末等の画像表示システムに関する。
【背景技術】
【０００２】
従来から携帯電話等の、画像を表示する表示部が設けられた携帯端末等の画像表示システムにおいて、当該表示部に地図や写真等の画像を表示させることが行われている。例えば、特許文献１には、地図の画像を表示する携帯端末が記載されている。
【特許文献１】特開２００３−４２７９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
通常、携帯端末に設けられる表示部における表示部分は小さいので、当該表示部に表示対象となる地図や写真の画像が全て収まりきらない場合がある。また、ユーザが、表示対象の画像の特定部分のみをより詳細に見たい場合がある。そのような場合、通常、表示部に収まりきらない表示対象を表示させるために画像を移動させたり、拡大縮小させたりする。画像の移動や拡大縮小の操作は、通常、ユーザが携帯端末に備えられる移動させたい方向や拡大縮小の機能に対応する入力キーを操作して行われる。しかしながら、このような入力キーによる操作は、煩雑であるという問題点がある。
【０００４】
本発明は、以上の問題点を解決するためになされたものであり、表示部に表示させる画像をより簡易に移動させることができ、かつ容易に実現可能な画像表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、本発明に係る画像表示システムは、入力された表示画像を表示させる表示部と、画像を撮像する撮像手段と、撮像手段により連続的に撮像された複数の撮像画像から、当該複数の撮像画像間の移動の向きを検出する移動検出手段と、移動検出手段により検出された移動の向きに応じて、表示部に表示される表示画像を移動させる制御を行う制御手段と、を備えることを特徴とする。
【０００６】
本発明に係る画像表示システムでは、連続的に撮像された撮像画像から、撮像画像間の移動の向きが検出されて、当該移動の向きに応じて、表示部に表示される表示画像を移動させる制御が行われる。従って、画像表示システムのユーザは、表示部の撮像画像が移動するように作用させるだけで、表示部に表示される画像を移動させることができる。また、本発明に係る画像表示システムでは、感圧センサ等の動きを物理的に検出するための機構を設けることなしに、表示部に表示される表示画像を移動させるための情報を取得できる。即ち、本発明に係る画像表示システムによれば、表示部に表示させる画像をより簡易に移動させることができ、かつ容易に実現可能な画像表示システムを提供することができる。
【０００７】
移動検出手段は、複数の撮像画像から、当該複数の撮像画像間の移動の加速度を検出し、制御手段は移動検出手段により検出された移動の加速度にも応じて、表示部に表示される表示画像を移動させる制御を行う、ことが望ましい。この構成によれば、より操作性が高い表示画像の移動を実現することができる。
【０００８】
表示部の表示方向と、撮像手段による撮像方向とがほぼ一致していることが望ましい。この構成によれば、より確実に撮像画像からの動きの検出することができ、より確実に本発明の効果を奏することができる。
【発明の効果】
【０００９】
本発明によれば、画像表示システムのユーザは、表示部の撮像画像が移動するように作用させるだけで、表示部に表示される画像を移動させることができる。また、本発明では、感圧センサ等の動きを物理的に検出するための機構を設けることなしに、表示部に表示される表示画像を移動させるための情報を取得できる。即ち、本発明に係る画像表示システムによれば、表示部に表示させる画像をより簡易に移動させることができ、かつ容易に実現可能な画像表示システムを提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面とともに本発明に係る画像表示システムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【００１１】
図１に本発明に係る画像表示システムである携帯端末１０の機能的な構成を示す。携帯端末１０は、具体的には、携帯電話機やＰＤＡ（Personal Digital Assistants）、デジタルカメラ等の装置に相当する。図１に示すように、携帯端末１０は、表示部１１と、カメラ１２と、移動検出部１３と、制御部１４とを備えて構成される。なお、上記の携帯端末１０の構成要素は、本発明に係る機能に関係するものである。携帯端末１０には、それ以外にも例えば、携帯端末１０が携帯電話機であった場合には移動体通信を行う機能等に関する構成要素を備えているが、それらの図示及び説明は省略する。
【００１２】
表示部１１は、携帯端末１０が備えるＣＰＵ（Central Processing Unit）の制御によりメモリ等から入力された表示画像を表示させる手段である。具体的には表示部１１としては、液晶を使用したディスプレイ等が用いられる。表示部１１に表示される表示画像には、例えば、図２〜４に示すような、地図、ホームページ、及び写真等の画像やゲーム画面等が含まれる。表示部１１により表示される表示画像は、後述するように、制御部１４の制御を受けて、移動される。即ち、表示内容をずらして表示される。
【００１３】
カメラ１２は、画像を撮像する撮像手段である。カメラ１２は、いわゆるカメラ付き携帯電話機のように、携帯端末１０を構成する何れかの面に設けられている。カメラ１２は、表示部１１が設けられている面と同じ面に設けられていることとするのが好ましい。即ち、表示部１１の表示方向と、カメラ１２による撮像方向とがほぼ一致していることが好ましい。カメラ１２は、連続的に画像を撮像する。撮像する時間間隔は、予め定められており、例えば、数百ミリ秒程度の間隔とする。なお、カメラ１２により撮像される画像は必ずしも静止画像でなくてもよく動画であってもよく、動画である場合は所定の時間間隔の、当該動画を構成する画像が用いられる。カメラ１２は、連続的に撮像した複数の画像を移動検出部１３に出力する。カメラ１２は、携帯端末１０が備える撮像素子やレンズ等の構成要素により構成されている。
【００１４】
移動検出部１３は、カメラ１２により連続的に撮像された複数の撮像画像から、当該複数の撮像画像間の移動に関する情報を検出する移動検出手段である。撮像画像間の移動に関する情報は、移動の向きの情報を含む。また、移動に関する情報は、移動の向きだけでなく、撮像画像間の移動量（移動距離）及び加速度の情報をも含むことが望ましい。ここでいう、撮像画像間の移動には、撮像画像に沿った方向（上下左右方向）の移動、及び撮像画像に対して前後（垂直）方向（奥行き及び手前方向）の少なくとも何れか一方を含む。撮像画像間の移動の向き及び量の検出は、より詳細に後述するように、例えば、２つの撮像画像に対して、オプティカルフロー法を用いた演算を行うことにより行われる。また、加速度は、求められた撮像画像間の移動の向き及び量の変化率として計算される。なお、移動量及び加速度の情報は、撮像画像の撮像間隔にも基づいて算出されてもよい。移動検出部１３は、検出した移動に関する情報を制御部１４に出力する。
【００１５】
なお、撮像画像の移動は、ユーザが携帯端末１０に対して、撮像画像が移動するように作用させることによって起こる。例えば、携帯端末１０がユーザによって動かされることにより起こる。また、それ以外にも、動いているものを撮像することによっても起こる。
【００１６】
制御部１４は、移動検出部１３により検出された移動に関する情報に応じて、表示部１１に表示される表示画像を移動させる制御を行う制御手段である。具体的には、例えば、表示部１１に図２（ａ）に示す地図の一部の範囲２０ａの画像が表示されている状態から、図２（ｂ）に示す範囲２０ｂの画像が表示されるように左上に移動させる。なお、範囲２０ａ及び範囲２０ｂを含む地図画像２０を図２（ｃ）に示す。
【００１７】
また、表示部１１に図３（ａ）に示すホームページの一部の範囲３０ａの画像が表示されている状態から、図３（ｂ）に示す範囲３０ｂの画像が表示されるように右下に移動させる。なお、範囲３０ａ及び範囲３０ｂを含むホームページ画像３０を図３（ｃ）に示す。図２及び３に示す例は、表示部１１の表示画像に沿った方向（上下左右方向）の移動であったが、表示画像に対して前後方向（奥行き及び手前方向）に移動させるものであってもよい。例えば、表示部１１に図４（ａ）に示す写真の一部の範囲４０ａの画像が表示されている状態から、図４（ｂ）に示す全体の範囲４０ｂの画像が表示されるように奥行き方向に移動させる（全体を縮小して表示する）。図４（ｃ）に、写真の一部の範囲４０ａと、写真の全体の範囲４０ｂとの関係を示す。
【００１８】
移動検出部１３により検出した撮像画像間の移動に関する情報に応じて、どのように表示画像を移動させるかについてのルールは、予め制御部１４に記憶させておく。表示画像の移動の方向及び量は、携帯端末１０が表示部１１に対して動かされた方向及び量に応じたものとするのが望ましい。即ち、携帯端末１０が左上あるいは右下に動かされた場合、図２及び３に示すように表示画像が左上又は右下に動くようにするのがよい。また、携帯端末１０が奥行きに動かされた場合、図４に示すように画像を奥行き方向に移動させる（全体を縮小して表示する）のがよい。
【００１９】
そのために、撮像画像の移動方向と表示画像の移動方向（制御方向）との関係は、カメラ１２の撮像方向に応じたものとするのが望ましい。例えば、カメラ１２の撮像方向が、表示部１１の表示方向と逆になっていた場合（携帯端末１０において表示部１１が設けられる面と逆の面にカメラ１２が設けられていた場合）、画像に沿った方向に関しては、（表示部１１に対する）携帯端末１０の移動方向と撮像画像の移動方向とは逆になるので、表示画像の移動方向は、撮像画像の移動方向と同じ方向（携帯端末１０の移動方向とは逆の方向）にするのがよい。画像に対する前後方向に関しては、表示画像に対する前後方向と撮像画像に対する前後方向とは逆になるので、撮像画像が拡大される場合は表示画像の奥行き方向の移動に対応するルールを適用し、撮像画像が縮小される場合は表示画像の手前方向の移動に対応するルールを適用するのがよい。その一方、カメラ１２の撮像方向が、表示部１１の表示方向と一致していた場合（携帯端末１０において表示部１１が設けられる面と同じ面にカメラ１２が設けられていた場合）、画像に沿った方向に関しては、（表示部１１に対する）携帯端末１０の移動方向と撮像画像の移動方向とは水平軸に関して対称になるので、撮像画像の移動方向と、表示画像の移動方向とは垂直軸に関して対称になるようにするのがよい。表示画像に対する前後方向と、撮像画像に対する前後方向とは一致するので、撮像画像が縮小される場合は奥行き方向の移動に対応するルールを適用するのがよい。
【００２０】
また、制御部１４は、移動検出部１３から入力された移動の加速度に応じても、表示画像の移動の制御を行うことが望ましい。例えば、加速度が大きいほど、表示画面の移動を速く行ったり、移動量を大きくしたりすることが望ましい。
【００２１】
移動検出部１３及び制御部１４は、携帯端末１０が備えるＣＰＵやメモリ等のハードウェアにより実現される。
【００２２】
引き続いて、図５のフローチャートを用いて、本実施形態に係る携帯端末１０において実行される処理について説明する。この処理は、表示部１１に表示画像が表示されているときに行われる。
【００２３】
まず、携帯端末１０では、カメラ１２によって連続的な撮像が行われて複数の撮像画像が取得される（Ｓ０１）。取得された複数の撮像画像は、カメラ１２から移動検出部１３に入力される。
【００２４】
続いて、移動検出部１３によって、カメラ１２によって撮像された２枚の撮像画像間における各画素の移動量が算出される（Ｓ０２）。図６にカメラ１２によって撮像された２枚の撮像画像を示す。図６（ａ）に示すのが、移動前（時間的に前）の撮像画像５１であり、図６（ｂ）に示すのが、移動後（時間的に後）の撮像画像５２である。
【００２５】
ここでいう画素の移動量は、移動前の撮像画像の画素が、移動後の撮像画像のどの位置に移動したかを表す情報である。画素の移動量には、移動した方向と移動した量とが含まれ、画素毎のベクトルとして算出される。ここで、移動量が算出される対象となる画素は、予め設定され移動検出部１３に記憶されている。全ての画素について移動量を検出してもよいし、一定間隔の格子点の座標に位置する画素等一部の画素についてのみ移動量を検出してもよい。また、物体のコーナー等の特徴点となる画素の部分集合について、移動量を検出することとしてもよい。コーナーなどの特徴点検出の手法にとしては、例えば、”特徴点検出,” ディジタル画像処理，ディジタル画像処理編集委員会，画像情報教育振興協会，pp.208-210, 2004．に記載されているハリスのコーナー検出、ＳＵＳＡＮコーナー検出やケニーのエッジ検出を用いればよい。
【００２６】
各画素の移動量の検出には、例えば、オプティカルフローが用いられる。オプティカルフローとは、異なる時間に撮像された２枚の画像間で対応付けを行い、その移動量をベクトルデータとして表現したものである。オプティカルフローを求める代表的な方法にはブロックマッチング法と勾配法とがある。ブロックマッチング法は、テンプレートマッチングを用いてオプティカルフローを求める方法である。大きな動きも検出でき、精度も高いが、計算時間がかかり複雑な動きに弱い。勾配法は計算時間が短くて済み、複雑な動きにも対処できるが、局所的な動きにしか検出できない。携帯端末１０の用途に応じて、上記の方法を使い分けるのがよい。
【００２７】
以下では、勾配法を用いてオプティカルフローを検出する例について説明する。なお、オプティカルフローの検出については、例えば、“オプティカルフローを用いた移動物体検出,” ディジタル画像処理，ディジタル画像処理編集委員会，画像情報教育振興協会，pp.243-245, 2004．に記載されている。勾配法では、連続する２枚の画像の局所領域で画素が移動しても明るさが変化しないという条件を仮定して動きを推定する。ある時刻ｔにおける画像の画素値Ｉ（ｘ，ｙ，ｔ）が、時刻Δｔ（２つの撮像画像の時間間隔）の間にΔｘ、Δｙだけ移動したとする。画素値は変わらないので式（１）が成り立つ。なお、ここでいう画素値とは、画素の輝度値、濃度値及び色成分等の少なくとも何れかを含む画素のパラメータである。
Ｉ（ｘ，ｙ，ｔ）＝Ｉ（ｘ＋Δｘ，ｙ＋Δｙ，ｔ＋Δｔ） （１）
式（１）をテイラー展開し２次以降の項を小さいものとして無視すると拘束条件式（２）が導かれる。
Ｉｘｑ＋Ｉｙｒ＋Ｉｔ＝０ （２）
ここで、（ｑ，ｒ）がオプティカルフローであり、Ｉｘ、ＩｙがＸ、Ｙ方向の画素値の勾配（空間的変化率）、Ｉｔが画素値の時間微分（時間的変化率）となる。Ｉｘ、Ｉｙ、Ｉｔは、画素値から例えば式（３）を使って求めることができる。
Ｉｘ＝Ｉ１（ｘ＋１，ｙ−１）＋２Ｉ１（ｘ＋１，ｙ）＋Ｉ１（ｘ＋１，ｙ−１）
−Ｉ１（ｘ−１，ｙ−１）−２Ｉ１（ｘ−１，ｙ）−Ｉ１（ｘ−１，ｙ−１）
Ｉｙ＝Ｉ１（ｘ−１，ｙ＋１）＋２Ｉ１（ｘ，ｙ＋１）＋Ｉ１（ｘ＋１，ｙ＋１）
−Ｉ１（ｘ−１，ｙ−１）−２Ｉ１（ｘ，ｙ−１）−Ｉ１（ｘ＋１，ｙ−１）
Ｉｔ＝Ｉ２（ｘ，ｙ）−Ｉ１（ｘ，ｙ）
（３）
ここで、Ｉ１（ｘ，ｙ）は時間的に前の撮像画像の座標（ｘ，ｙ）における画素値、Ｉ２（ｘ，ｙ）は時間的に後の撮像画像の座標（ｘ，ｙ）における画素値である。
【００２８】
これらの式だけではオプティカルフローを一意に決定することはできない。何らかの拘束が必要であり、その解法が各種提案されている。例えば、布施孝志, 清水英範, 堤盛人, “オプティカルフロー推定における光学勾配法の比較分析,” 応用測量論文集, Vol.11, pp.45-52, 2000.に提案されている。本実施形態では、よく用いられている注目画素の近傍ｎ×ｎ（なお、ｎは移動検出部１３により予め記憶されている）の範囲でオプティカルフローｆが一意であるとする。これにより拘束条件式がｎ２個得られる。即ち、
Ｇｆ＝−ｂ （４）
が成立する。ここで、
【数１】
である。ここでＩｉｘ（ｉ＝１〜ｎ２）は、撮像画像におけるｎ×ｎの範囲の各画素のＸ方向の勾配であり（ｉは各画素のインデックスを示す。以下同様）、Ｉｉｙ（ｉ＝１〜ｎ２）は、撮像画像におけるｎ×ｎの範囲の各画素のＹ方向の勾配であり、Ｉｉｔ（ｉ＝１〜ｎ２）は、撮像画像におけるｎ×ｎの範囲の各画素の画素値の時間微分である。
【００２９】
上記の式を用いて、最小二乗法により式（６）を解くことで、（撮像画像におけるｎ×ｎの範囲の）各画素のオプティカルフローｆを求めることができる。
ｆ＝−（ＧＴＧ）−１ＧＴｂ （６）
【００３０】
上記の勾配法では、微小な動きの検出しかできないため、例えば、佐藤誠, 佐々木宏, “動画像における動きベクトルの階層的推定法,” 電子通信学会論文誌D, Vol.J69-D, No5, pp.771-776, 1986.で提案された階層的推定を用いて、より大きな動きの検出をすることができる。階層的推定では、まず、撮像画像それぞれの幅と高さを１／２ずつ縮小することを繰り返し、階層化されたｋ枚の画像を作成する。画像を縮小する際には、下の階層の画像の２×２画素の単純平均をとり、その階層の画素とする。
【００３１】
解像度の低い画像から高い画像へと順にオプティカルフローを推定する。今、オプティカルフローを求める２枚の画像を、移動前（時間的に前）をＩｉ１、移動後（時間的に後）をＩｉ２とする。ここで、ｉは階層を表す。次に、Ｉｉ２をその上の階層ｉ−１でのオプティカルフロー分ｆｉ−１だけ移動させた画像をＩｉ２´とする。Ｉｉ１とＩｉ２´との間でオプティカルフローを、例えば、上述した勾配法等により求める。その値をｆｉ´とする。階層ｉ−１でのオプティカルフローは、ｆｉ´と、階層ｉ−１でのオプティカルフローとの和である。ただし、階層（ｉ−１）でのオプティカルフローｆｉ−１´の大きさは階層ｉでは２倍の長さに対応する。したがって、階層ｉでのオプティカルフローは
【００３２】
ｆ＝ｆｉ´＋２ｆｉ−１´ （７）
である。これにより、最終的なオプティカルフローｆは、式（８）により算出される。
ｆ＝ｆｋ´＋２ｆｋ−１´＋２２ｆｋ−２´＋…＋２ｋｆ０´ （８）
【００３３】
上記のように移動検出部１３によって算出された各画素のオプティカルフローを図６（ｃ）に示す。移動前の撮像画像５１にオプティカルフロー５３を示す線分を重ねて示したものである。図６に示す撮像画像の例では、図６（ｃ）に示すように、ほぼ一様にオプティカルフロー５３は、左上方向に向かっている。
【００３４】
続いて、移動検出部１３によって、算出された各画素の移動量から撮像画像全体についての移動量のベクトルが算出される（Ｓ０３）。撮像画像に沿った方向（上下左右方向）については、各画素の移動量を示すベクトルの平均をとることによって算出される。
【００３５】
また、撮像画像に対して前後方向（奥行き及び手前方向）の移動量のベクトルについては、例えば、”カメラモーション推定,” ディジタル画像処理，ディジタル画像処理編集委員会，画像情報教育振興協会，pp.248, 2004．に記載されているように、オプティカルフローのベクトルが一点にあつまるので、ベクトルの向き（内か外）と大きさを計算し求めることができる。具体的には、以下のようにして算出できる。各画素の移動量を示すベクトルに対して、例えば、”図形要素検出,” ディジタル画像処理，ディジタル画像処理編集委員会，画像情報教育振興協会，pp.211-214, 2004．に記載されているＨｏｕｇｈ変換を施し、各ベクトルが集中する（各ベクトルが向かう、あるいは出射する）点を求める。
【００３６】
なお、画素の移動方向と、画素の座標とを用いて、Ｈｏｕｇｈ変換を施し、各移動方向が集中する点（無限遠点）を求める方法は、例えば、中谷広正，北橋忠宏, "Determination of vanishing point in outdoor scene,"Transactions of IEICE Japan, vol.E64, no.5, pp.357-358, 1981.に記載されている方法を用いて、次のようにして求められる。
（１）まず、２次元配列Ｈ（θ，ρ），０°≦θ＜１８０°，｜ρ｜≦（画像の対角線の長さ）の各要素を初期化する。すなわち、Ｈ（θ，ρ）＝０とする。
（２）つぎに、オプティカルフローが算出されたすべての画素をＨｏｕｇｈ平面、すなわち２次元配列Ｈ（θ，ρ）へ次のようにして写像する。オプティカルフローが算出された画素の座標を（ｘ，ｙ）として、（オプティカルフローの方向＋９０°）をθとする。但し、１８０°≦θとなるときはθ−１８０°を改めてθとする。このｘ，ｙ，θに対して
ρ＝ｘ cos θ＋ｙ sin θ （９）
を満たすρを求める。そして、式（９）を満たすρ，θに対応する配列要素Ｈ（θ，ρ）の値を１だけ増やす。オプティカルフローが算出されたすべての画素に対して、この処理を行う。
【００３７】
（３）一つの共通点で交わるオプティカルフロー群はＨｏｕｇｈ平面では一つの正弦波に対応するので、そのような正弦波を探す。すなわち、ある（ｘ，ｙ）について式（９）を満たすすべての（θ，ρ）に対応するＨ（θ，ρ）の値の合計を求めＶ（ｘ，ｙ）とする。すべての（ｘ，ｙ）について、Ｖ（ｘ，ｙ）を求め、Ｖ（ｘ，ｙ）の最大値を与える（ｘ，ｙ）を無限遠点とする。
【００３８】
カメラ１２の撮像方向が表示部１１の表示方向と逆になっていた場合、求めた無限遠点がオプティカルフローのベクトルの向きにあれば携帯端末１０は手前方向に移動していると判定できる。その一方、カメラ１２の撮像方向が表示部１１の表示方向と一致していた場合、求めた無限遠点がオプティカルフローのベクトルの向きにあれば携帯端末１０は奥行き方向に移動していると判定できる。
【００３９】
つぎに、例えば、中谷広正，北橋忠宏, "無限遠点を用いた情景中の対象物の３次元構造の復元," 電子通信学会論文誌D, Vol.J68-D, no.8, pp.1481-1488, 1985.の第2章に記載されている方法を用いれば、無限遠点の画像上での座標と撮像された点の画像上の座標とから、撮像された点の３次元空間での座標が算出できる。例えばこの方法を用いて、各移動方向が集中する点（無限遠点）の画像上の座標から、携帯端末１０の移動量が次のようにして求められる。
【００４０】
まず、ｓをスカラー、ｕを単位ベクトル（‖ｕ‖＝１）として、携帯端末を−ｓｕだけ移動させたとき、すなわちｓの大きさだけ−ｕの方向に移動させたとき、撮像画像面上で各移動方向が集中する点（無限遠点）の画像上の座標は例えばつぎのようにして求められる。図７では、３次元空間上の各点Ｐおよび撮像画像面上の各点ｐはカメラ１２の焦点であるレンズ中心Ｏからのベクトルで表すことにする。なお、被写体と撮像画像面とは互いにカメラ１２のレンズを挟んで反対側に存在するが、説明の簡単のために図７では、レンズと被写体の間に撮像画像面を書いた。また、携帯端末が−ｓｕだけ移動する場合と被写体がｓｕだけ移動する場合とは、撮像画像面上では被写体の動きは同じであるので、簡単のために図７では被写体が移動したとして説明する。
【００４１】
撮像画像面と光軸との交点をｐｆとすると撮像画像面上の任意の点ｐについて
ｐ・ｐｆ＝‖ｐｆ‖２ （１０）
が成立する。ここで・は内積、‖ ‖はノルムを表す。
まず、図７に示すように３次元空間上の点Ｐ０が撮像画像面上で点ｐ０に撮像されたとする。このとき、Ｐ０とｐ０との間には、
Ｐ０＝ａ０ｐ０ （１１）
が成立する。ここでａ０はＰ０の距離によって定まる定数である。すなわち、点Ｐ０の３次元空間でのレンズ中心Ｏからの距離と、点Ｐ０が撮像画像面に撮像された点ｐ０のレンズ中心Ｏからの距離との比である。
【００４２】
次に、携帯端末が−ｕの方向にｓだけ移動したとする。これは、携帯端末は静止していて、Ｐ０がｕの方向にｓだけ移動したと考えてよい。したがって、Ｐ０を通り方向がｕとなる直線を考えると、その直線上にあり点Ｐ０からの距離がｓの点Ｐｓは
Ｐｓ＝ａ０ｐ０＋ｓｕ （１２）
で表される。これに対応する撮像画像面上の点をｐｓとすると、
Ｐｓ＝ａｓｐｓ＋ｓｕ （ａｓは定数） （１３）
と表すことができる。式（１２）に式（１３）を代入した式の両辺とｐｆとの内積をとり、式（１０）を代入することによって
ａｓ＝（ａ０‖ｐｆ‖２＋ｓｕ・ｐｆ）／‖ｐｆ‖２ （１４）
ｐｓ＝（‖ｐｆ‖２（ａ０ｐ０＋ｓｕ））／（ａ０‖ｐｆ‖２＋ｓｕ・ｐｆ） （１５）
のように撮像画像面上の座標ｐｓが求まる。したがって、点Ｐ０がＰｓまで移動したとき、即ち、携帯端末がベクトル（Ｐ０−Ｐｓ）だけ移動したときに、撮像画像面上で表れるオプティカルフローはベクトル（ｐｓ−ｐ０）である。
【００４３】
次に、各オプティカルフローが撮像画像面のどの一点で交わるかは例えばつぎのようにして求められる。今、ｕ・ｐｆ≠０、即ち、撮像画像面と平行でない方向ｕについてＰ０からの距離ｓが無限大になったときの撮像画像面上での位置（ｐ∞と書くことにする）は、式（１５）のｓを無限大にすることによって次の式で求まる。
【数２】
ｐ∞はｕとｐｆとの関係のみによって算出できａ０及びｐ０に依存しないことが式（１６）から分かる。即ち、３次元空間で同じ方向に移動する点は３次元座標に依存せず、撮像画像面上では１つの点ｐ∞で消失することが分かる。つまり、携帯端末を−ｓｕ移動したときに求められるオプティカルフローは式（１６）で定まる座標で交わることが分かる。
【００４４】
式（１６）から、携帯端末の移動方向（−ｕ）はつぎの式で求まる。
−ｕ＝−ｐ∞／‖ｐ∞‖ （１７）
また、携帯端末１０の移動量ｓは式（１５）（１６）を用いて、次のようして求められる。
ｓ＝ａ０‖ｐｆ‖２‖ｐｓ−ｐ０‖／‖‖ｐｆ‖２ｕ−（ｕ・ｐｆ）ｐｓ‖
＝ａ０‖ｐｓ−ｐ０‖‖ｐ∞‖／‖ｐ∞−ｐｓ‖ （１８）
即ち、ある一点の３次元空間でのレンズ中心からの距離と、その点が撮像画像面に撮像された点のレンズ中心からの距離との比（ａ０）と、オプティカルフローの大きさ（‖ｐｓ−ｐ０‖）と、レンズ中心から無限遠点までの距離（‖ｐ∞‖）と、撮像画像面においてある点の移動後の位置の無限遠点からの距離（‖ｐ∞−ｐｓ‖）と、によって携帯端末１０の移動量（ｓ）は求められる。
【００４５】
式（１６）では、ｕ・ｐｆ≠０を仮定したが、ｕ・ｐｆ＝０、即ち、携帯端末１０の移動方向が撮像画像面と平行（上下左右方向）である場合には、携帯端末の移動方向を求める式（１７）は、
−ｕ＝−（ｐｓ−ｐ０）‖ｐｓ−ｐ０‖ （１９）
となり、携帯端末１０の移動量を求める式（１８）は
ｓ＝ａ０‖ｐｓ−ｐ０‖ （２０）
となる。
【００４６】
なお、多くの場合、ある対象を撮影した画像のみから、対象までの距離を自動的に求めることは困難である。従って、ある一点の３次元空間でのレンズ中心からの距離と、その点が撮像画像面に撮像された点のレンズ中心からの距離との比（ａ０）を自動的に求めることは困難である。しかし、このことは問題とはならない。なぜなら、ｓは求まらなくとも、式（１８）及び（２０）においてｓ／ａ０は算出可能だからである。すなわち、スケールファクター（倍率）が異なるだけであり、移動量に基づいて各種の制御をおこなうことができる。
【００４７】
ここで、移動検出部１３によって算出された撮像画像全体についての複数の移動量のベクトルから、移動の加速度を求めてもよい。加速度は、それら複数の移動量のベクトルの変化率として算出される。上記のように算出された複数の撮像画像間の移動に関する情報が、移動検出部１３から制御部１４に出力される。
【００４８】
続いて、制御部１４によって、複数の撮像画像間の移動に関する情報に応じて、表示部１１に表示される表示画像を移動させる制御が行われる（Ｓ０４）。この制御は、上述したように、制御部１４に予め記憶された撮像画像間の移動に関する情報と、表示画像の移動との対応関係の情報に基づいて行われる。例えば、移動検出部１３から入力された情報が、図６（ｃ）に示すように、撮像画像が左上に移動していることを示す情報であった場合は、制御部１４によって表示部１１に表示される画像は左上に移動させるように制御される。また、移動検出部１３から入力された情報に加速度の情報が含まれていれば、加速度に応じた制御が行われる。
【００４９】
上述したように、本実施形態に係る携帯端末１０によれば、カメラ１２によって撮像される撮像画像が移動することによって、表示部１１に表示される表示画像が当該撮像画像の移動に応じて移動する。従って、携帯端末１０のユーザが携帯端末１０を移動させて撮像画像が移動するようにすれば、表示部１１に表示される画像を移動させることができる。例えば、図２〜４に示す画像の例のように、ユーザに、携帯端末１０の表示部１１の先にあたかも存在するような表示部１１の表示部分よりも大きい仮想的な画像を、携帯端末１０を、当該画像上をなぞるように動かすことによって画像全体を見るようにさせることができる。
【００５０】
また、撮像画像が移動するためには、必ずしもユーザによって携帯端末１０が必ずしも移動させる必要はなく、移動しているものをカメラ１２で撮像することとしてもよい。
【００５１】
本実施形態のような携帯端末１０では、カメラが必要となるがカメラ付きの携帯電話機等が広く用いられているので、汎用性がある。また、移動量を算出するためのオプティカルフロー法自体は、広く用いられておりその完成度が高いので、本発明の要素技術として用いることができ、確実かつ安価に本発明を実施することができる。
【００５２】
また、感圧センサ等の撮像装置の動きを物理的に検出するための機構を設けることなしに、表示部１１に表示される表示画像を移動させるための情報を取得できる。即ち、本実施形態に係る携帯端末１０によれば、携帯端末１０の表示部１１に表示させる画像をより簡易に移動させることができ、かつ容易に実現可能な携帯端末を提供することができる。
【００５３】
また、撮像画像の移動の加速度を検出して、表示画像の移動の制御に当該加速度の情報に応じて行うこととすれば、より操作性が高い表示画像の移動を実現することができる。例えば、加速度が大きい場合、表示画像が大きく移動することとすれば、仮に撮像画像の移動量自体が小さくても、加速度を大きくすれば表示画像を大きく移動させることができる。即ち、携帯端末１０を勢いよく移動させれば、移動量が小さくても大きく表示画像を移動させることができる。
【００５４】
また、表示部１１の表示方向とカメラ１２による撮像方向とがほぼ一致していれば、通常、表示部１１の表示画像を見るユーザの顔が近い距離で撮像されるため、より確実に撮像画像からの動きの検出することができ、より確実に本発明の効果を奏することができる。
【００５５】
なお、本実施形態では、表示部１１によって表示されて制御部１４によって制御される表示画像は、図２〜４に示すように、表示部１１全体あるいはほぼ全体を占める画像であったが、表示画像において制御部１４により移動される部分は、表示画像の一部であってもよい。例えば、図８に示すようなゲーム画面６０において、ゲーム画面６０の一部のボール画像６１が移動するようなものであってもよい。図８に示すゲーム画面６０は、手６２からボール６１を放って、的６３に命中させて破壊するというものである。図８（ａ）に示すようにボール６１が手に持たれた６１から、上述したように制御部１４の制御を受けて図８（ｂ）に示すようにボール６１が的６３に向かう。ボール６１が放たれる方向は、上述したようにカメラ１２によって撮像された撮像画像の移動方向から計算され、ボール６１の破壊力は撮像画像の移動の加速度によって計算される。
【００５６】
また、本実施形態における画面表示システムは、全ての構成要素が１つの装置に備えられる携帯端末１０としたが、必ずしも全ての構成要素が１つの装置に備えられている必要はない。即ち、表示部１１、移動検出部１３及び制御部１４の１つ以上が、携帯端末１０以外の装置（例えば、ゲーム機）に備えられていてもよい。
【図面の簡単な説明】
【００５７】
【図１】本発明の実施形態に係る携帯端末の構成を示す図である。
【図２】携帯端末の表示部に表示される表示画像の例である地図を示す図である。
【図３】携帯端末の表示部に表示される表示画像の例であるホームページを示す図である。
【図４】携帯端末の表示部に表示される表示画像の例である写真を示す図である。
【図５】本発明の実施形態に係る携帯端末によって実行される処理を示すフローチャートである。
【図６】カメラによって撮像される撮像画像の例を示す図である。
【図７】撮像画像において各画素の移動方向が集中する点を示す図である。
【図８】携帯端末の表示部に表示される表示画像の例であるゲーム画面を示す図である。
【符号の説明】
【００５８】
１０…携帯端末、１１…表示部、１２…カメラ、１３…移動検出部、１４…制御部。
【特許請求の範囲】
【請求項１】
入力された表示画像を表示させる表示部と、
画像を撮像する撮像手段と、
前記撮像手段により連続的に撮像された複数の撮像画像から、当該複数の撮像画像間の移動の向きを検出する移動検出手段と、
前記移動検出手段により検出された移動の向きに応じて、前記表示部に表示される表示画像を移動させる制御を行う制御手段と、
を備える画像表示システム。
【請求項２】
前記移動検出手段は、前記複数の撮像画像から、当該複数の撮像画像間の移動の加速度を検出し、
前記制御手段は、前記移動検出手段により検出された移動の加速度にも応じて、前記表示部に表示される表示画像を移動させる制御を行う、
ことを特徴とする請求項１に記載の画像表示システム。
【請求項３】
前記表示部の表示方向と、前記撮像手段による撮像方向とがほぼ一致していることを特徴とする請求項１に記載の画像表示システム。
【請求項１】
入力された表示画像を表示させる表示部と、
画像を撮像する撮像手段と、
前記撮像手段により連続的に撮像された複数の撮像画像から、当該複数の撮像画像間の移動の向きを検出する移動検出手段と、
前記移動検出手段により検出された移動の向きに応じて、前記表示部に表示される表示画像を移動させる制御を行う制御手段と、
を備える画像表示システム。
【請求項２】
前記移動検出手段は、前記複数の撮像画像から、当該複数の撮像画像間の移動の加速度を検出し、
前記制御手段は、前記移動検出手段により検出された移動の加速度にも応じて、前記表示部に表示される表示画像を移動させる制御を行う、
ことを特徴とする請求項１に記載の画像表示システム。
【請求項３】
前記表示部の表示方向と、前記撮像手段による撮像方向とがほぼ一致していることを特徴とする請求項１に記載の画像表示システム。
【図１】
【図２】
【図３】
【図５】
【図７】
【図８】
【図４】
【図６】
【図２】
【図３】
【図５】
【図７】
【図８】
【図４】
【図６】
【公開番号】特開２００８−２０３５３８（Ｐ２００８−２０３５３８Ａ）
【公開日】平成２０年９月４日（２００８．９．４）
【国際特許分類】
【出願番号】特願２００７−３９６１０（Ｐ２００７−３９６１０）
【出願日】平成１９年２月２０日（２００７．２．２０）
【出願人】（３０４０２３３１８）国立大学法人静岡大学 (416)
【Ｆターム（参考）】
【公開日】平成２０年９月４日（２００８．９．４）
【国際特許分類】
【出願日】平成１９年２月２０日（２００７．２．２０）
【出願人】（３０４０２３３１８）国立大学法人静岡大学 (416)
【Ｆターム（参考）】
[ Back to top ]