表示装置及びコンピュータプログラム
【課題】 直感的なユーザインターフェースにより、簡単な操作で、全方位画像と歪み補正画像との表示の切替えを行なうことができる表示装置を提供する。
【解決手段】 表示装置としてのビューワ端末１は、全方位画像を取得する全方位画像取得部１６と、パネルインターフェース１１を備えた画像表示部１９と、全方位画像の一部又は全部について歪み補正をして歪み補正画像を生成する歪み補正画像生成部１５と、画像表示部１９に全方位画像又は歪み補正画像が表示されているときに、パネルインターフェース１１を用いて、表示されている画像に対して直接行われた、全方位画像の表示と歪み補正画像の表示との間の切替えのための操作を検出する操作検出部１２と、画像表示部１９に全方位画像又は歪み補正画像を表示させるとともに、操作検出部１２にて検出された操作に従って、全方位画像の表示と歪み補正画像の表示との間の切替えを行なう画像補正シーケンサ１３とを備えている。
【解決手段】 表示装置としてのビューワ端末１は、全方位画像を取得する全方位画像取得部１６と、パネルインターフェース１１を備えた画像表示部１９と、全方位画像の一部又は全部について歪み補正をして歪み補正画像を生成する歪み補正画像生成部１５と、画像表示部１９に全方位画像又は歪み補正画像が表示されているときに、パネルインターフェース１１を用いて、表示されている画像に対して直接行われた、全方位画像の表示と歪み補正画像の表示との間の切替えのための操作を検出する操作検出部１２と、画像表示部１９に全方位画像又は歪み補正画像を表示させるとともに、操作検出部１２にて検出された操作に従って、全方位画像の表示と歪み補正画像の表示との間の切替えを行なう画像補正シーケンサ１３とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を表示する表示装置に関し、特に、全方位カメラで撮影された映像を表示する表示装置に関する。
【背景技術】
【０００２】
従来より、全方位カメラの映像をモニタに表示する表示装置が知られている。全方位カメラは水平視野角３６０度の魚眼レンズを用いて映像を生成するので、その映像（以下、「全方位画像」という。）は円形状又はドーナツ形状であり、外周に近い位置ほどひずみが大きくなるという特性がある。従って、従来の表示装置においては、撮影範囲の全体を確認できる全方位画像の表示のほか、全方位画像の全体又はその一部の切出し範囲について歪み補正を行なった画像（以下、「歪み補正画像」という。）の表示も可能とされている。そして、この表示の切替えは、ユーザの指示に基づいて行なわれる。
【０００３】
一方、全方位カメラの映像を表示する表示装置は、例えば以下のようなシーンで利用される。ビジネスのシーンでは、携帯電話等の携帯端末を表示装置として、工事現場、施設、店舗等に設置された全方位カメラの映像を表示する。また、全方位カメラが監視カメラとして用いられる場合には、全方位カメラが鉄道のホームや駐車場等の監視対象場所に設置され、本部ないしは中央指令室で全方位カメラの映像が表示され、警備員がこれを監視する。さらに、全方位カメラを設置する際の作業員が電柱の上などの高所に、監視カメラとして用いられる全方位カメラを設置する場合には、設置工事事業者が、腕時計タイプなど、装着型の表示装置を用いて、全方位カメラの映像を確認しながら画角を調整する。
【０００４】
表示装置がモニタを備えたパーソナルコンピュータによって実現される場合には、マウスやキーボード等の操作入力手段があり、ユーザはこの操作入力手段を操作することで表示の切替えを指示することができる（例えば、特許文献１及び特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−１３６５８４号公報
【特許文献２】特開２００８−３０１０３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のように、携帯電話等の小型の携帯端末を表示装置とする場合には、操作入力手段が物理的に制約され、従来のように、マウスやキーボードといった操作入力手段を採用できないことがある。上記のように高所作業者に装着される表示装置の場合には、表示装置はより小型になり、操作入力手段に対する制約はより厳しくなる。
【０００７】
また、上記の本部ないしは中央指令室の表示装置のように、物理的な制約が比較的少ない場合においても、複雑な操作を行なわずに、より直感的な操作で、全方位画像と歪み補正画像との間の表示の切替えをできるようにするのが望ましい。
【０００８】
本発明は、上記の問題に鑑みてなされたものであり、直感的なユーザインターフェースにより、簡単な操作で、全方位画像と歪み補正画像との表示の切替えを行なうことができる表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記従来の課題を解決するために、本発明の表示装置は、全方位画像を取得する画像取得部と、パネルインターフェースを有するタッチパネル式の表示部と、前記全方位画像の一部又は全部について歪み補正をして歪み補正画像を生成する歪み補正画像生成部と、前記表示部に前記全方位画像又は前記歪み補正画像が表示されているときに、前記パネルインターフェースを用いて、表示されている画像に対して直接行われた、前記全方位画像の表示と前記歪み補正画像の表示との間の切替えのための操作を検出する操作検出部と、前記表示部に前記全方位画像又は前記歪み補正画像を表示させるとともに、前記操作検出部にて検出された操作に従って、前記全方位画像の表示と前記歪み補正画像の表示との間の切替えを行なう表示制御部とを備えた構成を有している。
【００１０】
この構成により、ユーザは、タッチパネル式の表示部に全方位画像又は歪み補正画像が表示されているときに、その表示されている画像に対して、表示切替えのための操作を直接入力することができるので、簡単な操作で、直感的に、全方位画像と歪み補正画像との表示の切替えを行なうことができる。
【００１１】
上記の表示装置において、前記表示制御部は、前記表示部に前記全方位画像が表示されている場合において、前記操作検出部が、前記表示部に表示されている前記全方位画像に対してピンチアウト操作がされたことを検出した場合に、前記全方位画像の表示を前記歪み補正画像の表示に切り替えてよい。
【００１２】
この構成により、ユーザによる全方位画像に対するピンチアウト操作と、全方位画像が展開されて歪み補正画像が表示されるという表示の切替えとが直感的に一致するので、ユーザは、より直感的に表示の切替えを行なうことができる。
【００１３】
上記の表示装置において、前記表示制御部は、前記表示部に前記歪み補正画像が表示されている場合において、前記操作検出部が、前記表示部に表示されている前記歪み補正画像に対してピンチイン操作がされたことを検出した場合に、前記歪み補正画像の表示を前記全方位画像の表示に切り替えてよい。
【００１４】
この構成により、ユーザによる歪み補正画像に対するピンチイン操作と、歪み補正画像が全方位画像に戻される表示の切替えとが直感的に一致するので、ユーザは、より直感的に表示の切替えを行なうことができる。
【００１５】
上記の表示装置において、前記歪み補正画像は、前記ピンチアウト操作がされた箇所を基線として前記全方位画像をパノラマ展開したパノラマ画像であってよい。
【００１６】
この構成により、ユーザによるピンチアウト操作と、全方位画像からパノラマ画像への表示の切替えとが、直感的に一致しているので、ユーザは、全方位画像からパノラマ画像への表示の切替えのための操作を簡単な操作で、直感的に行なうことができる。
【００１７】
上記の表示装置において、前記歪み補正画像は、前記ピンチアウト操作がされた箇所が拡大された切出し画像であってよい。
【００１８】
この構成により、ピンチアウト操作と、拡大された切出し画像の表示とが、直感的に一致しているので、ユーザは、切出し画像の表示のための操作を簡単な操作で、直感的に行なうことができる。
【００１９】
上記の表示装置において、前記表示制御部は、前記表示部に前記全方位画像が表示されている場合において、前記操作検出部が、前記表示部に表示されている前記全方位画像に対してタップ操作がされたことを検出したときに、前記全方位画像のタップ操作がされた箇所について、前記表示部に前記歪み補正画像を表示させてよい。
【００２０】
この構成により、ユーザによる全方位画像に対するタップ操作と、そのタップ箇所の歪み補正画像の表示とが直感的に一致するので、ユーザは、歪み補正画像の表示のための操作を簡単な操作で、直感的に行なうことができる。
【００２１】
上記の表示装置は、さらに、前記表示制御部は、前記操作検出部にて検出された操作に基づいて、画像の補正パラメータを決定してよく、前記表示装置は、さらに、前記表示制御部が決定した補正パラメータに従って、前記全方位画像の表示と前記歪み補正画像の表示との間の切替えの途中に表示する中間画像を生成する中間画像生成部を備えていてよく、 前記表示制御部は、前記全方位画像の表示と前記歪み補正画像の表示との間の切替えの途中に、前記表示部に、前記中間画像生成部にて生成された前記中間画像を表示させてよい。
【００２２】
この構成により、ユーザは、中間画像によって表示の切替え過程を見ることができるので、自らが行なった操作を直感的に認識することができるとともに、切替え前の表示と切替え後の表示との間の相関を認識することができる。
【００２３】
本発明の別の態様は、コンピュータプログラムであり、このコンピュータプログラムは、タッチパネル式の表示部を備えた表示装置にて実行されることにより、その表示装置を上記の表示装置として機能させる。
【発明の効果】
【００２４】
本発明は、タッチパネル式の表示部に全方位画像又は歪み補正画像が表示されているときに、その表示されている画像に対して、表示切替えのための操作を直接入力することができるので、簡単な操作で、直感的に、全方位画像と歪み補正画像との表示の切替えを行なうことができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施の形態におけるビューワ端末の構成を示すブロック図
【図２】本発明の実施の形態における画像補正シーケンサの詳細な構成を示すブロック図
【図３】（ａ）本発明の実施の形態における全方位画像を示す図 （ｂ）本発明の実施の形態における全方位画像からパノラマ画像への切替えの際の基線を指定するためのドラッグ操作を示す図 （ｃ）本発明の実施の形態における全方位画像からパノラマ画像への切替えの際のピンチアウトの操作を示す図 （ｄ）本発明の実施の形態における全方位画像からパノラマ画像への切替えの際の中間画像を示す図 （ｅ）本発明の実施の形態における全方位画像からパノラマ画像への切替えの際の中間画像を示す図 （ｆ）本発明の実施の形態におけるパノラマ画像を示す図
【図４】（ａ）本発明の実施の形態におけるパノラマ画像を示す図 （ｂ）本発明の実施の形態におけるパノラマ画像から全方位画像への切替えの際の中間画像を示す図 （ｃ）本発明の実施の形態における全方位画像を示す図
【図５】本発明の実施の形態における全方位画像からパノラマ画像への切替え及びパノラマ画像から全方位画像への切替えのフロー図
【図６】（ａ）本発明の実施の形態における全方位画像を示す図 （ｂ）本発明の実施の形態における切り出し画像の指定のためのタップ操作を示す図 （ｃ）本発明の実施の形態における切り出し画像の拡大のためのピンチアウト操作を示す図 （ｄ）本発明の実施の形態における切り出し画像の移動のためのドラッグ操作を示す図 （ｅ）本発明の実施の形態におけるマルチ画面への切替えのためのシェイク操作を示す図 （ｆ）本発明の実施の形態におけるマルチ画面を示す図
【図７】本発明の実施の形態におけるシングルパノラマ画像からダブルパノラマ画像への切替えを説明する図
【図８】（ａ）本発明の実施の形態におけるダブルパノラマ画像からシングルパノラマ画像への切替えのためのピンチイン操作を示す図 （ｂ）本発明の実施の形態におけるダブルパノラマ画像からシングルパノラマ画像への切替えの際の中間画像を示す図 （ｃ）本発明の実施の形態におけるシングルパノラマ画像を示す図
【図９】（ａ）本発明の実施の形態におけるシングルパノラマ画像のスクロールのためのフリック操作を示す図 （ｂ）本発明の実施の形態におけるシングルパノラマ画像のスクロールを示す図
【図１０】（ａ）本発明の実施の形態におけるダブルパノラマ画像のスクロールのためのフリック操作を示す図 （ｂ）本発明の実施の形態におけるダブルパノラマ画像のスクロールを示す図
【図１１】（ａ）本発明の実施の形態におけるパノラマ画像のスクロールのための操作の変形例を示す図 （ｂ）本発明の実施の形態におけるパノラマ画像のスクロールを示す図
【図１２】（ａ）本発明の実施の形態における高画質画像表示のためのピンチアウト操作を示す図 （ｂ）本発明の実施の形態における高画質画像表示を示す図 （ｃ）本発明の実施の形態における高画質画像の切出し領域の移動のためのドラッグ操作を示す図
【図１３】（ａ）本発明の実施の形態における全方位画像を示す図 （ｂ）本発明の実施の形態における全方位画像の回転のための回転操作を示す図 （ｃ）本発明の実施の形態における全方位画像の回転を示す図
【図１４】本発明の実施の形態における第１の変形例の全方位画像からパノラマ画像への切替えを示す図
【図１５】本発明の実施の形態における第２の変形例の全方位画像からパノラマ画像への切替えを示す図
【図１６】（ａ）本発明の実施の形態における第３の変形例のパノラマ展開のためのドラッグ操作を示す図（ｂ）本発明の実施の形態における第３の変形例のパノラマ展開のためのピンチアウト操作を示す図
【図１７】（ａ）本発明の実施の形態における第４の変形例のダブルパノラマ展開のためのドラッグ操作を示す図（ｂ）本発明の実施の形態における第４の変形例のダブルパノラマ展開のためのピンチアウト操作を示す図
【図１８】（ａ）本発明の実施の形態における第５の変形例の全方位画像からの表示の切替えのためのピンチアウト操作（半径方向）を示す図 （ｂ）本発明の実施の形態における第５の変形例の切出し画像を含むマルチ画像を示す図
【図１９】（ａ）本発明の実施の形態における第５の変形例の全方位画像からの表示の切替えのためのピンチアウト操作（円周方向）を示す図 （ｂ）本発明の実施の形態における第５の変形例のパノラマ画像を示す図
【図２０】（ａ）本発明の実施の形態における第６の変形例のシングルパノラマ画像からダブルパノラマ画像への切替えのためのピンチアウト操作（縦方向）を示す図 （ｂ）本発明の実施の形態における第６の変形例のシングルパノラマ画像からダブルパノラマ画像への切替えの中間画像を示す図 （ｃ）本発明の実施の形態における第６の変形例のダブルパノラマ画像を示す図
【図２１】（ａ）本発明の実施の形態における第６の変形例のシングルパノラマ画像からダブルパノラマ画像への切替えのためのピンチアウト操作（横方向）を示す図 （ｂ）本発明の実施の形態における第６の変形例のシングルパノラマ画像からダブルパノラマ画像への切替えの中間画像を示す図 （ｃ）本発明の実施の形態における第６の変形例のシングルパノラマ画像からダブルパノラマ画像への切替えの中間画像を示す図 （ｄ）本発明の実施の形態における第６の変形例のダブルパノラマ画像を示す図
【発明を実施するための形態】
【００２６】
以下、本発明を実施するための形態について、図面を参照しながら説明する。図１は、本発明の実施の形態における表示装置としてのビューワ端末の構成を示すブロックである。ビューワ端末１は、パネルインターフェース１１、操作検出部１２、画像補正シーケンサ１３、中間画像生成部１４、歪み補正画像生成部１５、全方位画像取得部１６、全方位画像デコード部１７、画像キュー１８、及び画像表示部１９を備えている。なお、画像表示部１９とパネルインターフェース１１とは重なって設けられ、これにより、タッチパネル式の表示部が形成されている。
【００２７】
パネルインターフェース１１は、ユーザの指による操作を受け付けて、操作位置の情報を出力する。操作検出部１２は、パネルインターフェース１１から操作位置の情報を受けて、パネル操作に変化があった場合に、その変化内容に基づいて、ユーザによってなされたパネル操作の内容を検出する。ユーザの指によるパネルインターフェース１１への操作には、タップ、ドラッグ、フリック、ピンチ（ピンチアウト及びピンチイン）、及び回転が含まれる。
【００２８】
タップとは、パネルインターフェース１１の１箇所を指で軽く叩く操作、即ち、１つの指先でパネルインターフェース１１に触れた後、その指をパネルインターフェース１１上で移動させることなく、パネルインターフェース１１から離す操作をいう。ドラッグとは、パネルインターフェース１１を指で引きずる操作、即ち、１つの指先をパネルインターフェース１１に付けたまま動かし、指の動きを停止させてパネルインターフェース１１から指を離す操作をいう。フリックとは、パネルインターフェース１１を指ではじく操作、即ち、１つの指先をパネルインターフェース１１に付けたまま動かし、指の動きを止めないでパネルインターフェース１１から指を離す操作をいう。
【００２９】
ピンチアウトとは、２つの指先をパネルインターフェース１１に付けたまま、互いの距離が遠くなるように、２つの指先のいずれか一方又は双方をパネルインターフェース１１上で移動させる操作をいう。ピンチインとは、逆に、２つの指先をパネルインターフェース１１に付けたまま、互いの距離が近くなるように、２つの指先のいずれか一方又は双方をパネルインターフェース１１上で移動させる操作をいう。回転とは、２つの指先をパネルインターフェース１１に付けたまま、互いを結ぶ線分がパネルインターフェース１１の面内で回転するように、２つの指先のいずれか一方又は双方をパネルインターフェース１１上で移動させる操作をいう。
【００３０】
なお、ユーザの指による操作には、上記のほかに、ダブルタップ、ロングタップ等が含まれてよい。また、ビューワ端末１に電子コンパスが内蔵されており、ビューワ端末１の加速度（姿勢）を検知できる場合には、ユーザは、ビューワ端末１自体を振ったり（シェイク）、傾けたりすることで操作入力を行なってよい。この場合には、操作検出部１２は、ビューワ端末１の加速度に変化があった場合に、その変化内容に基づいてユーザによる操作を検出する。
【００３１】
画像補正シーケンサ１３は、パネル操作の内容に従って、次に生成して表示する画像の補正パラメータ（中心座標、範囲、回転、歪み等）を決定することで、画像表示部１９に画像を表示させるとともに、全方位画像、中間画像、及び歪み補正画像（歪み補正画像は、パノラマ画像及び切出し画像を含む。）の表示の切替えを行なう。補正パラメータは全方位画像に対して補正を行なう際に用いられるパラメータである。全方位画像に補正パラメータが適用されることで、歪み補正画像又は中間画像が生成される。画像補正シーケンサ１３は、本発明の表示制御部に相当する。
【００３２】
中間画像生成部１４は、全方位画像から歪み補正画像、又は歪み補正画像から全方位画像に切り替える際の中間画像を生成する。中間画像とは、切替え途中に表示する画像である。中間画像生成部１４は、画像補正シーケンサ１３から入力した補正パラメータに基づいて、パネル操作の内容に応じた中間画像を生成する。中間画像生成部１４は、全方位画像から歪み補正画像、又は歪み補正画像から全方位画像に、段階的に切り替わるように見せるために、必要に応じて複数の中間画像を生成する。
【００３３】
歪み補正画像生成部１５は、画像補正シーケンサ１３から入力した補正パラメータに基づいて全方位画像に対して歪み補正を行い、歪み補正画像を生成する。全方位画像取得部１６は、魚眼レンズを用いた撮像装置（カメラ）によって撮影された全方位画像を取得する。この撮像装置は、水平画角３６０度、垂直画角１８０度の視野角を有する。全方位画像は、円形又はドーナツ型の画像であり、中心から離れるほど歪みが大きくなっている。撮像装置は、撮影対象場所の高所に設けられ、下向きに撮影を行なう。全方位画像取得部１６は、撮影装置によって撮影された全方位画像を圧縮された画像ファイルの形式で取得する。全方位画像取得部１６は、例えば、無線通信によって全方位画像の画像ファイルを受信する。
【００３４】
全方位画像デコード部１７は、全方位画像取得部１６にて取得された全方位画像の画像ファイルをデコードして、全方位画像を展開する。画像キュー１８は、全方位画像デコード部１７にて展開された全方位画像を一時的に保存し、必要に応じて、画像補正シーケンサ１３又は画像表示部１９に出力する。画像表示部１９は、中間画像生成部１４にて生成された中間画像、歪み補正画像生成部１５にて生成された歪み補正画像、全方位画像でコード部１７にて展開された全方位画像を、モニタを用いて表示する。画像表示部１９は、本発明の表示部に相当する。
【００３５】
図２は、画像補正シーケンサの詳細な構成を示すブロック図である。図２に示すように、画像補正シーケンサ１３は、パネル操作インターフェース部１３１、タイマ制御部１３２、目標画像判定部１３３、表示画像判定部１３４、補正パラメータ算出部１３５、及び画像補正インターフェース部１３６を備えている。
【００３６】
パネル操作インターフェース部１３１は、パネル操作に変化があった場合に、その変化の内容を操作検出部１２から取得する。タイマ制御部１３２は、最終的な目標画像を表示するまでの表示切替期間のタイマ制御を行う。全方位画像から歪み補正画像に表示を切り替える場合には、歪み補正画像が目標画像となり、歪み補正画像から全方位画像に表示を切り替える場合には、全方位画像が目標画像となる。パネル操作があると、タイマ制御部１３２は、その操作（タップ、ドラッグ、フリック、ピンチアウト、ピンチイン、回転）の具体的内容（操作位置及び強度）に応じてタイムアウト値を設定する。タイムアウトするまでは、中間画像が表示され、タイムアウト後に目標画像が表示される。
【００３７】
目標画像判定部１３３は、現在のパネル操作の内容に基づいて、目標画像の判定を行う。即ち、目標画像判定部１３３は、全方位画像が表示されているときに歪み補正画像へ表示を切り替える操作入力があった場合には、歪み補正画像を目標画像とする。この場合に、歪み補正画像には、パノラマ画像と切出し画像とがあるので、目標画像判定部１３３は、目標画像がパノラマ画像であるか切出し画像であるかも判定する。また、目標画像判定部１３３は、歪み補正画像が表示されているときに、全方位画像へ表示を切り替える操作入力があった場合には、全方位画像を目標画像とする。
【００３８】
表示画像判定部１３４は、タイマ制御部１３２によるタイマ制御に従って、現在表示する画像（全方位画像、歪み補正画像、又は中間画像）を決定する。補正パラメータ算出部１３５は、表示する画像が中間画像である場合、それまでの操作入力の履歴や現在の操作入力の内容、及びタイマ値に従って、次に表示する中間画像の補正パラメータを決定する。補正パラメータには、中心座標、回転、及び歪みに関するパラメータが含まれる。画像補正インターフェース部１３６は、表示画像判定部１３４にて決定された表示画像ごとに、画像生成処理を呼び出す。
【００３９】
以上のように構成されたビューワ端末１を用いて行なう表示の切替えを説明する。表示の切替えには、（１）全方位画像からパノラマ画像への切替え、（２）パノラマ画像から全方位画像への切替え、（３）全方位画像から切出し画像を含むマルチ画像への切替え、（４）シングルパノラマ画像からダブルパノラマ画像への切替え、（５）ダブルパノラマ画像からシングルパノラマ画像への切替え、（６）パノラマ画像のスクロール、（７）切出し画像の切出し範囲の変更、（８）全方位画像の回転がある。以下、順に説明する。
【００４０】
（１）全方位画像からパノラマ画像への切替え
図３は、全方位画像からパノラマ画像への表示の切替えを説明する図である。なお、本実施の形態では、ビューワ端末１の表示部が長方形であり、本来は円形である全方位画像は、その上下の一部が切れて表示されているが、このように表示される画像も全方位画像と呼ぶ。図３（ａ）のように全方位画像が表示されている場合に、ユーザは、これをパノラマ画像に展開したいときは、まず、基線（展開線）の選択を行う。基線の選択では、ユーザは、図３（ｂ）に示すように、全方位画像の中心から円周方向へドラック操作を行なう。次に、図３（ｃ）に示すように、ドラッグした線を跨ぐようにして、ピンチアウトの操作を行なう。
【００４１】
操作検出部１２は、この操作の類型（ドラック及びピンチアウト）、速度、及び位置を検出して画像補正シーケンサ１３に出力する。画像補正シーケンサ１３の操作パネルインターフェース部１３１は、この操作の内容及び位置を入力して、これをタイマ制御部１３２及び目標画像判定部１３３に出力する。
【００４２】
目標画像判定部１３３は、現在表示している画像（全方位画像）と操作の内容及び位置に基づいて、この操作が、全方位画像からパノラマ画像への変更であると判断し、目標画像はパノラマ画像であると判定し、その結果を表示画像判定部１３４及びタイマ制御部１３２に出力する。タイマ制御部１３２は、ピンチアウト操作における２つの指先が離れる速度に基づいて、全方位画像からパノラマ画像までの遷移に費やす時間を決定し、タイマをスタートさせる（即ち、指先の離れる速度が速いほど遷移時間を短くする）。
【００４３】
表示画像判定部１３４は、タイマ制御部１３２からのタイマ値がタイムアウト値に達していない場合には、そのタイマ値に従った中間画像を表示させるべく、表示すべき画像が中間画像である旨を画像補正インターフェース１３６に通知し、タイムアウト値及び現在のタイマ値、又はタイムアウト値に対する現在のタイマ値の比率を補正パラメータ算出部１３５に出力する。
【００４４】
補正パラメータ算出部１３５は、タイムアウト値に対する現在のタイマ値の比率に従って、中間画像を生成するための補正パラメータを生成し、画像補正インターフェース部１３６に出力する。表示画像判定部１３４は、タイマ値がタイムアウト値に達したら、表示すべき画像が目標画像（即ち、パノラマ画像）である旨を画像補正インターフェース部１３６に通知する。
【００４５】
画像補正インターフェース１３６は、表示画像判定部１３４から表示すべき画像が中間画像である旨の通知を受けたら、中間画像生成部１４による中間画像生成処理を呼び出して、中間画像生成部１４に、補正パラメータ算出部１３５にて算出された補正パラメータを出力する。中間画像生成部１４は、補正パラメータ算出部１３５から入力した補正パラメータを用いて全方位画像を補正して、中間画像を生成し、画像表示部１９に出力する。
【００４６】
タイマ制御部１３２は、所定の中間画像フレームレートでタイマ値を表示画像判定部１３４に出力し、表示画像判定部１３４は、その都度タイマ値がタイムアウト値に達していないかを判断して、タイマ値がタイムアウト値に達するまで、表示すべき画像が中間画像である旨を画像補正インターフェース１３６に通知し、タイムアウト値及び現在のタイマ値、又はタイムアウト値に対する現在のタイマ値の比率を補正パラメータ算出部１３５に出力する。そして、補正パラメータ算出部１３５は中間画像を生成するための補正パラメータを算出して、中間画像生成部１４はその補正パラメータを使用して中間画像を生成する。これにより、タイムアウトするまでは上記の中間画像フレームレートで中間画像が生成される。
【００４７】
図３（ｄ）及び（ｅ）は、上記のようにして生成される中間画像を示している。中間画像は、円形の全方位画像から長方形のパノラマ画像に遷移する過程の画像であり、上方高は下に押し潰され、左右方向は外側に伸ばされ、基線に切り込みが入れられて徐々に下半分を消去していくように遷移する。
【００４８】
タイマ制御部１３２から中間画像フレームレートでタイマ値が出力された結果、表示画像判定部１３４にてタイマ値がタイムアウトしたと判断された場合は、画像補正インターフェース１３６は、表示画像判定部１３４から表示すべき画像が目標画像（即ち、歪み補正画像）である旨を歪み補正画像生成部１５に通知する。歪み補正画像生成部１５は、この通知を受けると、全方位画像を補正して、図３（ｆ）に示すように、歪みのないパノラマ画像を生成する。
【００４９】
なお、パノラマ画像は水平画角３６０度の全方位が画像表示部１９に表示されてもよいし、３６０度の水平画角の一部範囲に該当する部分のみが表示されてもよい。後者の場合には、スクロール操作によってパノラマ画像を左右にスクロールできるようにしてもよい。
【００５０】
なお、上記の例では、基線を全方位画像の中心から垂直下方向に引いてパノラマ展開をしたが、これに限られず、基線を全方位画像の中心から任意の円周方向に引いてもよい。この場合にも、中間画像生成部１４及び歪み補正画像生成部１５は、この基線から切り離すように全方位画像を展開して、中間画像及びパノラマ画像生成する。
【００５１】
（２）パノラマ画像から全方位画像への切替え
図４は、パノラマ画像から全方位画像への表示の切替えを説明する図である。図４（ａ）のようにパノラマ画像が表示されている場合に、ユーザは、これを全方位画像に変更したいときは、パノラマ画像上で左右方向にピンチイン操作を行なう。操作検出部１２は、この操作の類型（ピンチイン）、速度、及び位置を検出して画像補正シーケンサ１３に出力する。画像補正シーケンサ１３の操作パネルインターフェース部１３１は、この操作の内容及び位置を入力して、これをタイマ制御部１３２及び目標画像判定部１３３に出力する。
【００５２】
目標画像判定部１３３は、現在表示している画像（パノラマ画像）と操作の内容及び位置に基づいて、この操作が、パノラマ画像から全方位画像への変更であると判断し、目標画像は全方位画像であると判定し、その結果を表示画像判定部１３４及びタイマ制御部１３２に出力する。タイマ制御部１３２は、ピンチイン操作における２つの指先が近づく速度に基づいて、パノラマ画像から全方位画像までの遷移に費やす時間を決定し、タイマをスタートさせる（即ち、指先の近づく速度が速いほど遷移時間を短くする）。
【００５３】
補正パラメータ算出部１３５は、タイムアウト値に対する現在のタイマ値の比率に従って、中間画像を生成するための補正パラメータを生成し、画像補正インターフェース部１３６に出力する。表示画像判定部１３４は、タイマ値がタイムアウト値に達したら、その旨を画像補正インターフェース部１３６に通知する。
【００５４】
画像補正インターフェース１３６は、表示画像判定部１３４から表示すべき画像が中間画像である旨の通知を受けたら、中間画像生成部１４による中間画像生成処理を呼び出して、中間画像生成部１４に、補正パラメータ算出部１３５にて算出された補正パラメータを出力する。中間画像生成部１４は、補正パラメータ算出部１３５から入力した補正パラメータを用いて全方位画像を補正して、中間画像を生成し、画像表示部１９に出力する。
【００５５】
タイマ制御部１３２は、所定の中間画像フレームレートでタイマ値を表示画像判定部１３４に出力し、表示画像判定部１３４は、その都度タイマ値がタイムアウト値に達していないかを判断して、タイマ値がタイムアウト値に達するまで、表示すべき画像が中間画像である旨を画像補正インターフェース１３６に通知し、タイムアウト値及び現在のタイマ値、又はタイムアウト値に対する現在のタイマ値の比率を補正パラメータ算出部１３５に出力する。そして、補正パラメータ算出部１３５は中間画像を生成するための補正パラメータを算出して、中間画像生成部１４はその補正パラメータを使用して中間画像を生成する。これにより、タイムアウトするまでは上記の中間画像フレームレートで中間画像が生成される。
【００５６】
図４（ｂ）は、上記のようにして生成される中間画像を示している。中間画像は、パノラマ画像が上方向に引き伸ばされ、左右方向は内側に押し潰されるように遷移する。
【００５７】
タイマ制御部１３２から中間画像フレームレートでタイマ値が出力された結果、表示画像判定部１３４にてタイマ値がタイムアウトしたと判断された場合は、画像補正インターフェース１３６は、表示画像判定部１３４から表示すべき画像が目標画像（即ち、全方位画像）である旨を画像キュー１８に通知する。画像キュー１８は、この通知を受けると、全方位画像を画像表示部１９に出力し、画像表示部１９は、図４（ｃ）に示すように全方位画像を表示する。その際に、パノラマ画像上でピンチインした位置が目標画像である全周囲画像の上中心に対応するようにしてもよい。
【００５８】
図５は、上記の（１）及び（２）の切替えのフロー図である。図５に示すフローは、１フレームごとに繰り返し実行される。操作検出部１２は、パネルインターフェース１１に操作があるか否かを監視し（ステップＳ５１）、パネルインターフェース１１に操作があると（ステップＳ５１にてＹＥＳ）、画像補正シーケンサ１３の目標画像判定部１３３が、目標画像がパノラマ画像であるか全方位画像であるかを判定する（ステップＳ５２）。
【００５９】
そして、タイマ制御部１３２がタイムアウト値を更新し（ステップＳ５３）、補正パラメータ算出部１３５が補正パラメータを生成する（ステップＳ５４）。そして、中間画像生成部１４は、生成された補正パラメータを用いて中間画像を生成する。
【００６０】
次にステップＳ５１に戻ると、既に表示の切替えのための操作は終了しているので、パネルインターフェース１１操作は無いと判断されて（ステップＳ５１にてＮＯ）、タイマ制御部におけるタイマ値がタイムアウトしているか否かを判断する（ステップＳ５６）。タイマ値がタイムアウトしていない場合は（ステップＳ５６にてＮＯ）、補正パラメータ算出部１３５にてそのタイマ値を用いて再び補正パラメータを算出して（ステップＳ５４）、中間画像生成部１４にて中間画像を生成する（ステップＳ５５）。
【００６１】
上記の処理を繰り返して、ステップＳ５６にてタイマ値がタイムアウトしたと判断されたときは（ステップＳ５６にてＹＥＳ）、表示画像判定部１３４は、目標画像判定部１３３の判定に従って、目標画像がパノラマ画像であるか否かを判定する（ステップＳ５７）。目標画像がパノラマ画像であるときは（ステップＳ５７にてＹＥＳ）、歪み補正画像生成部１５にて、全方位画像に歪み補正を行なってパノラマ画像を生成する（ステップＳ５８）。目標画像が全方位画像であるときは、画像キュー１８から全方位画像を補正することなくそのまま画像表示部１９に出力して、画像表示部１９にてこれを表示する（ステップＳ５９）。
【００６２】
（３）全方位画像から切出し画像を含むマルチ画像への切替え
図６は、全方位画像から切出し画像を含むマルチ画像への切替えを説明する図である。図６（ａ）のように全方位画像が表示されている場合に、全方位画像では、予め図示しない動体検出手段により前のフレームとの差分が閾値以上となる領域が動体として検出されており、ユーザは、そのいずれかの動体領域を切り出して切出し画像を表示したい場合には、図６（ｂ）に示すように、切り出したい領域をタップする。
【００６３】
操作検出部１２は、この操作の類型（タップ）、速度、及び位置を検出して画像補正シーケンサ１３に出力する。画像補正シーケンサ１３は、動体領域を全方位画像から切り出して、歪み補正画像生成部１５は、この切り出した領域について、歪み補正を行い、切出し画像を生成する。画像表示部１９は、図６（ｃ）に示すように、生成された切出し画像を全方位画像に重畳させて表示される。このとき、切出し画像は、全方位画像中の切り出した領域に重なる位置を初期位置として、全方位画像に重畳される。
【００６４】
図６（ｃ）に示すように、ユーザは、全方位画像に重畳表示された切出し画像に対してピンチアウト操作を行なうことで、切出し画像を拡大することができる。また、ユーザは、全方位画像に重畳表示された切出し画像に対してピンチイン操作を行なうことで、切出し画像を縮小することができる。
【００６５】
さらに、ユーザは、図６（ｄ）に示すように、複数の領域についてそれぞれ切出し画像を生成することで、複数の切出し画像を全方位画像に重畳表示させることもできる。切出し画像が全方位画像に重畳されている場合に、ユーザがビューワ端末１を振る（シェイク）操作を行なうと、重畳表示されている切出し画像は、全方位画像とともに並べられて表示され、図６（ｆ）に示すように、マルチ画面が生成される。
【００６６】
（４）シングルパノラマ画像からダブルパノラマ画像への切替え
図７は、シングルパノラマ画像からダブルパノラマ画像への切替えを説明する図である。１つのパノラマ画像が表示されている場合（シングルパノラマ画像）に、図７に示すように、このパノラマ画像に対してピンチアウト操作を行なうことで、上下２段のパノラマ画像が表示される（ダブルパノラマ画像）。ダブルパノラマ画像では、上下のそれぞれのパノラマ画像は、互いに重複しない水平画角１８０度分のパノラマ画像を表示してよい。
【００６７】
（５）ダブルパノラマ画像からシングルパノラマ画像への切替え
図８は、ダブルパノラマ画像からシングルパノラマ画像への切替えを説明する図である。図８（ａ）に示すように、ダブルパノラマ画像が表示されている場合に、ユーザは、これをシングルパノラマ画像に変更したいときは、上下のそれぞれのパノラマ画像に１つずつ指を触れて、それらの距離を近づけるように、上下にピンチインの操作を行なう。
【００６８】
中間画像補正部１５は、図８（ｂ）に示すように、２つのパノラマ画像が重なるように（上側のパノラマ画像が上面になるように）して、上側のパノラマ画像が下方に、下側のパノラマ画像が上方に移動するような中間画像を生成し、最終的には図８（ｃ）に示すように、上側のパノラマ画像のみを表示する。
【００６９】
（６）パノラマ画像のスクロール
図９は、シングルパノラマ画像のスクロールを説明する図である。図９（ａ）に示すようにパノラマ画像が表示されている場合において、ユーザが、このパノラマ画像を横方向にスクロールしたいときは、パノラマ画像をスクロールしたい方向にフリックする。
【００７０】
図９（ａ）の例では、パノラマ画像が右方向にフリックされたので、図９（ｂ）に示すように、パノラマ画像が右方向に移動する。なお、フリック操作の後には、フリック操作の強度（指がパネルインターフェース１１から離れる際の指の移動速度）に応じた量だけパノラマ画像を移動させてスクロールを停止してもよいし、フリック操作があった場合には、一定の速度でスクロールを継続してもよい。さらに、フリック操作の強度の強度に応じてパノラマ画像の移動の速度を決定してもよい。
【００７１】
図１０は、ダブルパノラマ画像のスクロールを説明する図である。図９（ａ）に示すようにダブルパノラマ画像が表示されている場合において、ユーザが、このダブルパノラマ画像を横方向にスクロールしたいときは、ダブルパノラマ画像の上下のいずれか一方をスクロールしたい方向にフリックする。
【００７２】
図９（ａ）の例では、上側のパノラマ画像が右方向にフリックされたので、図９（ｂ）に示すように、上側のパノラマ画像が右方向に移動する。このとき、下側のパノラマ画像も、上側のスクロールに応じて右側に移動する。なお、シングルパノラマの場合と同様に、フリック操作の後には、フリック操作の強度に応じた量だけ上下のパノラマ画像を移動させてもよいし、フリック操作があった場合には、一定の速度でスクロールを継続してもよい。さらに、フリック操作の強度の強度に応じて上下のパノラマ画像の移動の速度を決定してもよい。
【００７３】
図１１は、パノラマ画像のスクロールの変形例を説明する図である。パノラマ画像のスクロールは、上記のようなフリック操作のほか、ビューワ端末１を傾ける操作によっても行なうことができる。図１０（ａ）のように、パノラマ画像が表示されている場合において、ビューワ端末１の右側が下方に、左側が上方になるように、ビューワ端末１を傾けることで、図１０（ｂ）に示すように、パノラマ画像は右側に移動する。また、ビューワ端末１を逆方向、即ち、右側が上方に、左側が下方になるように傾けることで、パノラマ画像は左側に移動する。なお、この変形例においても、傾きの度合いに応じてパノラマ画像の移動の速度を可変させてよい。
【００７４】
なお、パノラマ画像のスクロールは、ドラッグ操作によっても行なうことができる。この場合には、パノラマ画像は、ドラッグ操作によって引きずられた方向に、引きずられた量だけ移動する。
【００７５】
（７）切出し画像の切出し範囲の変更
図１２は、切出し画像の切出し範囲の変更を説明する図である。図１２（ａ）に示すように、全方位画像が表示されている場合に、ユーザは、この全方位画像の一部領域を高画質（歪がなく、高解像度）で表示したいときは、当該領域に対してピンチアウト操作を行なう。なお、このとき、動体検出手段によって動体として検出された領域のみがこのピンチアウトの操作の対象とされてよい。
【００７６】
ピンチアウトの操作を受けると、歪補正画像生成部１５は、該当領域の切出し画像を生成して、画像表示部１９は、図１２（ｂ）に示すように、この切出し画像を全画面表示する。切出し画像中で動体が移動し、ユーザがこの移動体とともに切出し画像を生成する領域を移動させたい場合には、図１２（ｃ）に示すように、全画面表示された切出し画像を移動したい方向にドラッグする。歪み補正画像生成部１５は、ドラッグに応じた方向及び量で切出し領域を移動させて、新たな切出し画像を生成し、画像表示部１９はこのようにしてドラッグされている間連続的に生成される切出し画像を表示する。
【００７７】
（８）全方位画像の回転
図１３は、全方位画像の回転を説明する図である。図１３（ａ）に示すように、膳方画像が表示されている場合において、この全方位画像を回転させたいときは、図１３（ｂ）に示すように、画像中の任意の２点を２つの指で同時に触れて、当該２点を結ぶ線が画面内で回転するように、２つの指の両方又はいずれか１方をパネルインターフェース１１上で移動させる。
【００７８】
このような回転操作に従って、画像表示部１９は、表示する全方位画像の方向を変更する。なお、２つの指が同時にフリックされることで、指をパネルインターフェース１１上から話した後にも全方位画像を継続して回転させるようにしてもよい。
【００７９】
上記の表示の切替えについては、種々の変形が可能である。以下、変形例を説明する。
【００８０】
（第１の変形例）
図１４は、第１の変形例を示す図である。第１の変形例は、全方位画像からパノラマ画像への切替えの変形例である。図１４に示すように全方位画像が表示されている場合に、ユーザは、これをパノラマ画像に展開したいときは、全方位画像の左右両端部分にそれぞれ指を触れて、外方向に広げるようにピンチアウト操作を行う。なお、モニタが小さい場合には、このピンチアウトの操作は片手（例えば親指と人差し指）で行なうことができ、モニタが大きい場合には、図１４に示すように、両手を使ってピンチアウト操作を行なえばよい。
【００８１】
上記のピンチアウト操作により、全方位画像は外方向に引っ張られるようにして連続的にパノラマ画像に展開される。このとき、例えば、２つの指で触れた箇所を直線で結び、その中点から垂直方向に伸ばした直線上に中心座標を位置させるように、全方位画像をパノラマ画像に展開することができる。
【００８２】
この第１の変形例によっても、全方位画像の左右両端をピンチアウトするという操作と、全方位画像が外方向に引っ張られてパノラマ画像に推移するという表示の切替えとが感覚的に一致して、ユーザの操作性及び見易さが向上する。
【００８３】
（第２の変形例）
図１５は、第２の変形例を示す図である。第２の変形例は、全方位画像からパノラマ画像への切替えの変形例である。図１５に示すように全方位画像が表示されている場合に、ユーザは、これをパノラマ画像に展開したいときは、全方位画像の上下両端部分にそれぞれ指を触れて、内方向に狭めるようにピンチイン操作を行う。なお、モニタが小さい場合には、このピンチインの操作は片手（例えば親指と人差し指）で行なうことができ、モニタが大きい場合には、図１５に示すように、両手を使ってピンチイン操作を行なえばよい。
【００８４】
上記のピンチイン操作により、全方位画像は内方向に潰されるようにして連続的にパノラマ画像に展開される。このとき、例えば、２つの指で触れた箇所を直線で結び、その直線上に中心座標を位置させるように、全方位画像をパノラマ画像に展開することができる。
【００８５】
この第２の変形例によっても、全方位画像の上下両端をピンチインするという操作と、全方位画像が内方向に潰されてパノラマ画像に推移するという表示の切替えとが感覚的に一致して、ユーザの操作性及び見易さが向上する。
【００８６】
（第３の変形例）
図１６は、第３の変形例を示す図である。第３の変形例は、全方位画像からパノラマ画像への切替えの変形例である。図１６（ａ）に示すように全方位画像が表示されている場合に、ユーザは、これをパノラマ画像に展開したいときは、全方位画像の中央部を、図１６（ａ）のように左右方向に切込みを入れるようにドラッグ操作し、次に、図１６（ｂ）に示すように切込みを入れた線を跨ぐようにして、２つの指で上下にピンチアウト操作を行なう。
【００８７】
上記の一連の操作により、全方位画像はドラッグされた線から切り込みが入れられ、ドーナツ状になるように連続的にパノラマ画像に展開される。このとき、例えば、ドラッグされた線の中点から垂直方向に伸ばした直線上に中心座標を位置させるように、全方位画像をパノラマ画像に展開することができる。
【００８８】
この第３の変形例によっても、全方位画像の中央部に切り込みをいれてピンチアウトするという操作と、全方位画像がドーナツ状になるように切り込みを広げてパノラマ画像に推移するという表示の切替えとが感覚的に一致して、ユーザの操作性及び見易さが向上する。
【００８９】
なお、上記の例では、全方位画像の中央部を横方向にドラッグして切込みを入れ、その切込みを開くように上下にピンチアウトの操作を行なったが、これに限らず、全方位画像の中央部を縦方向にドラッグして切込みを入れ、その切込みを開くように左右にピンチアウトの操作を行なっても、全方位画像がドーナツ状になるように切り込みを広げてパノラマ画像に推移するようにしてよい。
【００９０】
（第４の変形例）
図１７は、第４の変形例を示す図である。第４の変形例は、全方位画像からパノラマ画像への切替えの変形例である。この変形例では、全方位画像からダブルパノラマ画像に表示が切替えられる。図１７（ａ）に示すように全方位画像が表示されている場合に、ユーザは、これをダブルパノラマ画像に展開したいときは、図１７（ａ）に示すように、全方位画像の横方向の直径に切込みを入れるようにドラッグ操作を行なう。そして、図１７（ｂ）に示すように、切込みを入れた線を跨ぐようにして、２つの指で上下にピンチアウト操作を行なう。
【００９１】
上記の一連の操作により、全方位画像はドラッグされた線を境に、上下それぞれについてパノラマ展開されて、ダブルパノラマ画像が表示される。このとき、例えば、ドラッグされた線の中点から垂直方向に伸ばした直線上に中心座標を位置させるように、全方位画像を上下それぞれのパノラマ画像に展開することができる。
【００９２】
この第４の変形例によっても、全方位画像の中央部に切り込みをいれてピンチアウトするという操作と、全方位画像の切込みを境とする上半分及び下半分がそれぞれパノラマ画像に展開されて上下に並べられるという表示の切替えとが感覚的に一致して、ユーザの操作性及び見易さが向上する。
【００９３】
（第５の変形例）
図１８及び図１９は、第５の変形例を示す図である。第５の変形例は、全方位画像からの切替えの変形例である。この変形例では、全方位画像上でのピンチアウトの行う方向に応じて目標画像を切り替える。図１８（ａ）に示すように、全方位画像の半径方向にピンチアウトの操作が行なわれた場合は、図１８（ｂ）に示すように、切出し画像を含むマルチ画像が目標画像とされ、上記の「（３）全方位画像から切出し画像を含むマルチ画像への切替え」で説明したのと同様の動作を行なう。このとき、ピンチアウトされた位置にある人物が拡大されて切出し画像として表示される。
【００９４】
一方、図１９（ａ）に示すように、全方位画像の円周方向にピンチアウトの操作が行われた場合は、図１９（ｂ）に示すように、パノラマ画像が目標画像とされ、上記の「（１）全方位画像からパノラマ画像への切替え」で説明したパノラマ画像への切替えと同様の動作を行なう。このとき、ピンチアウトされた指の位置を結んだ線分の中心と全方位画像の中心を結んだ線分を基線としてパノラマ展開が行なわれる。
【００９５】
（第６の変形例）
図２０及び図２１は、第６の変形例を示す図である。第６の変形例は、シングルパノラマ画像からダブルパノラマ画像への切替えの変形例である。この変形例では、シングルパノラマ画像上でピンチアウトを行う方向に応じて中間画像を切り替える。図２０（ａ）に示すように、シングルパノラマ画像に対して縦方向にピンチアウトを行った場合は、図２０（ｂ）に示すように、「（４）シングルパノラマ画像からダブルパノラマ画像への切替え」で説明したのと同様にして中間画像を生成して表示し、図２０（ｃ）に示すダブルパノラマ画像を表示する。
【００９６】
一方、図２１（ａ）に示すように、シングルパノラマ画像に対して横方向にピンチアウトを行った場合は、図２１（ｂ）に示すように、ピンチアウトされた指の位置を結んだ線分の中心を通る垂直な線分でパノラマ画像を切断して、図２１（ｃ）に示すように、切断された２つのパノラマ画像の一方が上部へ、他方が下部へと移動する中間画像を生成して表示し、図２１（ｄ）に示すダブルパノラマ画像を表示する。なお、図２１（ｄ）及び図２１（ｄ）にて点線で示されている部分は、中間画像では表示されない隠れた部分である。この隠れた部分が中間画像の進展とともに、徐々に表示されていく。
【００９７】
以上のように、本実施の形態のビューワ端末１によれば、画像が表示されているときに、パネルインターフェース１１を用いて、直感的なユーザインターフェースにより、簡単な操作で、各種の表示の切替えを行なうことができる。また、本実施の形態のビューワ端末１によれば、表示が切り替わる過程で中間画像が生成されて表示されるので、ユーザは、表示が切り替わる前後において相関を認識し易くなる。
【００９８】
なお、上記のビューワ端末１の動作は、コンピュータプログラムがビューワ端末１に備えられた演算処理装置によって実行されることで実現されてよい。
【産業上の利用可能性】
【００９９】
以上のように、本発明は、簡単な操作で、直感的に、全方位画像と歪み補正画像との表示の切替えを行なうことができ、全方位カメラで撮影された映像を表示する表示装置等として有用である。
【符号の説明】
【０１００】
１ ビューワ端末
１１ パネルインターフェース
１２ 操作検出部
１３ 画像補正シーケンサ
１４ 中間画像生成部
１５ 歪み補正画像生成部
１６ 全方位画像取得部
１７ 全方位画像デコード部
１８ 画像キュー
１９ 画像表示部
１３１ パネル操作インターフェース部
１３２ タイマ制御部
１３３ 目標画像判定部
１３４ 表示画像判定部
１３５ 補正パラメータ算出部
１３６ 画像補正インターフェース部
【技術分野】
【０００１】
本発明は、映像を表示する表示装置に関し、特に、全方位カメラで撮影された映像を表示する表示装置に関する。
【背景技術】
【０００２】
従来より、全方位カメラの映像をモニタに表示する表示装置が知られている。全方位カメラは水平視野角３６０度の魚眼レンズを用いて映像を生成するので、その映像（以下、「全方位画像」という。）は円形状又はドーナツ形状であり、外周に近い位置ほどひずみが大きくなるという特性がある。従って、従来の表示装置においては、撮影範囲の全体を確認できる全方位画像の表示のほか、全方位画像の全体又はその一部の切出し範囲について歪み補正を行なった画像（以下、「歪み補正画像」という。）の表示も可能とされている。そして、この表示の切替えは、ユーザの指示に基づいて行なわれる。
【０００３】
一方、全方位カメラの映像を表示する表示装置は、例えば以下のようなシーンで利用される。ビジネスのシーンでは、携帯電話等の携帯端末を表示装置として、工事現場、施設、店舗等に設置された全方位カメラの映像を表示する。また、全方位カメラが監視カメラとして用いられる場合には、全方位カメラが鉄道のホームや駐車場等の監視対象場所に設置され、本部ないしは中央指令室で全方位カメラの映像が表示され、警備員がこれを監視する。さらに、全方位カメラを設置する際の作業員が電柱の上などの高所に、監視カメラとして用いられる全方位カメラを設置する場合には、設置工事事業者が、腕時計タイプなど、装着型の表示装置を用いて、全方位カメラの映像を確認しながら画角を調整する。
【０００４】
表示装置がモニタを備えたパーソナルコンピュータによって実現される場合には、マウスやキーボード等の操作入力手段があり、ユーザはこの操作入力手段を操作することで表示の切替えを指示することができる（例えば、特許文献１及び特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−１３６５８４号公報
【特許文献２】特開２００８−３０１０３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のように、携帯電話等の小型の携帯端末を表示装置とする場合には、操作入力手段が物理的に制約され、従来のように、マウスやキーボードといった操作入力手段を採用できないことがある。上記のように高所作業者に装着される表示装置の場合には、表示装置はより小型になり、操作入力手段に対する制約はより厳しくなる。
【０００７】
また、上記の本部ないしは中央指令室の表示装置のように、物理的な制約が比較的少ない場合においても、複雑な操作を行なわずに、より直感的な操作で、全方位画像と歪み補正画像との間の表示の切替えをできるようにするのが望ましい。
【０００８】
本発明は、上記の問題に鑑みてなされたものであり、直感的なユーザインターフェースにより、簡単な操作で、全方位画像と歪み補正画像との表示の切替えを行なうことができる表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記従来の課題を解決するために、本発明の表示装置は、全方位画像を取得する画像取得部と、パネルインターフェースを有するタッチパネル式の表示部と、前記全方位画像の一部又は全部について歪み補正をして歪み補正画像を生成する歪み補正画像生成部と、前記表示部に前記全方位画像又は前記歪み補正画像が表示されているときに、前記パネルインターフェースを用いて、表示されている画像に対して直接行われた、前記全方位画像の表示と前記歪み補正画像の表示との間の切替えのための操作を検出する操作検出部と、前記表示部に前記全方位画像又は前記歪み補正画像を表示させるとともに、前記操作検出部にて検出された操作に従って、前記全方位画像の表示と前記歪み補正画像の表示との間の切替えを行なう表示制御部とを備えた構成を有している。
【００１０】
この構成により、ユーザは、タッチパネル式の表示部に全方位画像又は歪み補正画像が表示されているときに、その表示されている画像に対して、表示切替えのための操作を直接入力することができるので、簡単な操作で、直感的に、全方位画像と歪み補正画像との表示の切替えを行なうことができる。
【００１１】
上記の表示装置において、前記表示制御部は、前記表示部に前記全方位画像が表示されている場合において、前記操作検出部が、前記表示部に表示されている前記全方位画像に対してピンチアウト操作がされたことを検出した場合に、前記全方位画像の表示を前記歪み補正画像の表示に切り替えてよい。
【００１２】
この構成により、ユーザによる全方位画像に対するピンチアウト操作と、全方位画像が展開されて歪み補正画像が表示されるという表示の切替えとが直感的に一致するので、ユーザは、より直感的に表示の切替えを行なうことができる。
【００１３】
上記の表示装置において、前記表示制御部は、前記表示部に前記歪み補正画像が表示されている場合において、前記操作検出部が、前記表示部に表示されている前記歪み補正画像に対してピンチイン操作がされたことを検出した場合に、前記歪み補正画像の表示を前記全方位画像の表示に切り替えてよい。
【００１４】
この構成により、ユーザによる歪み補正画像に対するピンチイン操作と、歪み補正画像が全方位画像に戻される表示の切替えとが直感的に一致するので、ユーザは、より直感的に表示の切替えを行なうことができる。
【００１５】
上記の表示装置において、前記歪み補正画像は、前記ピンチアウト操作がされた箇所を基線として前記全方位画像をパノラマ展開したパノラマ画像であってよい。
【００１６】
この構成により、ユーザによるピンチアウト操作と、全方位画像からパノラマ画像への表示の切替えとが、直感的に一致しているので、ユーザは、全方位画像からパノラマ画像への表示の切替えのための操作を簡単な操作で、直感的に行なうことができる。
【００１７】
上記の表示装置において、前記歪み補正画像は、前記ピンチアウト操作がされた箇所が拡大された切出し画像であってよい。
【００１８】
この構成により、ピンチアウト操作と、拡大された切出し画像の表示とが、直感的に一致しているので、ユーザは、切出し画像の表示のための操作を簡単な操作で、直感的に行なうことができる。
【００１９】
上記の表示装置において、前記表示制御部は、前記表示部に前記全方位画像が表示されている場合において、前記操作検出部が、前記表示部に表示されている前記全方位画像に対してタップ操作がされたことを検出したときに、前記全方位画像のタップ操作がされた箇所について、前記表示部に前記歪み補正画像を表示させてよい。
【００２０】
この構成により、ユーザによる全方位画像に対するタップ操作と、そのタップ箇所の歪み補正画像の表示とが直感的に一致するので、ユーザは、歪み補正画像の表示のための操作を簡単な操作で、直感的に行なうことができる。
【００２１】
上記の表示装置は、さらに、前記表示制御部は、前記操作検出部にて検出された操作に基づいて、画像の補正パラメータを決定してよく、前記表示装置は、さらに、前記表示制御部が決定した補正パラメータに従って、前記全方位画像の表示と前記歪み補正画像の表示との間の切替えの途中に表示する中間画像を生成する中間画像生成部を備えていてよく、 前記表示制御部は、前記全方位画像の表示と前記歪み補正画像の表示との間の切替えの途中に、前記表示部に、前記中間画像生成部にて生成された前記中間画像を表示させてよい。
【００２２】
この構成により、ユーザは、中間画像によって表示の切替え過程を見ることができるので、自らが行なった操作を直感的に認識することができるとともに、切替え前の表示と切替え後の表示との間の相関を認識することができる。
【００２３】
本発明の別の態様は、コンピュータプログラムであり、このコンピュータプログラムは、タッチパネル式の表示部を備えた表示装置にて実行されることにより、その表示装置を上記の表示装置として機能させる。
【発明の効果】
【００２４】
本発明は、タッチパネル式の表示部に全方位画像又は歪み補正画像が表示されているときに、その表示されている画像に対して、表示切替えのための操作を直接入力することができるので、簡単な操作で、直感的に、全方位画像と歪み補正画像との表示の切替えを行なうことができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施の形態におけるビューワ端末の構成を示すブロック図
【図２】本発明の実施の形態における画像補正シーケンサの詳細な構成を示すブロック図
【図３】（ａ）本発明の実施の形態における全方位画像を示す図 （ｂ）本発明の実施の形態における全方位画像からパノラマ画像への切替えの際の基線を指定するためのドラッグ操作を示す図 （ｃ）本発明の実施の形態における全方位画像からパノラマ画像への切替えの際のピンチアウトの操作を示す図 （ｄ）本発明の実施の形態における全方位画像からパノラマ画像への切替えの際の中間画像を示す図 （ｅ）本発明の実施の形態における全方位画像からパノラマ画像への切替えの際の中間画像を示す図 （ｆ）本発明の実施の形態におけるパノラマ画像を示す図
【図４】（ａ）本発明の実施の形態におけるパノラマ画像を示す図 （ｂ）本発明の実施の形態におけるパノラマ画像から全方位画像への切替えの際の中間画像を示す図 （ｃ）本発明の実施の形態における全方位画像を示す図
【図５】本発明の実施の形態における全方位画像からパノラマ画像への切替え及びパノラマ画像から全方位画像への切替えのフロー図
【図６】（ａ）本発明の実施の形態における全方位画像を示す図 （ｂ）本発明の実施の形態における切り出し画像の指定のためのタップ操作を示す図 （ｃ）本発明の実施の形態における切り出し画像の拡大のためのピンチアウト操作を示す図 （ｄ）本発明の実施の形態における切り出し画像の移動のためのドラッグ操作を示す図 （ｅ）本発明の実施の形態におけるマルチ画面への切替えのためのシェイク操作を示す図 （ｆ）本発明の実施の形態におけるマルチ画面を示す図
【図７】本発明の実施の形態におけるシングルパノラマ画像からダブルパノラマ画像への切替えを説明する図
【図８】（ａ）本発明の実施の形態におけるダブルパノラマ画像からシングルパノラマ画像への切替えのためのピンチイン操作を示す図 （ｂ）本発明の実施の形態におけるダブルパノラマ画像からシングルパノラマ画像への切替えの際の中間画像を示す図 （ｃ）本発明の実施の形態におけるシングルパノラマ画像を示す図
【図９】（ａ）本発明の実施の形態におけるシングルパノラマ画像のスクロールのためのフリック操作を示す図 （ｂ）本発明の実施の形態におけるシングルパノラマ画像のスクロールを示す図
【図１０】（ａ）本発明の実施の形態におけるダブルパノラマ画像のスクロールのためのフリック操作を示す図 （ｂ）本発明の実施の形態におけるダブルパノラマ画像のスクロールを示す図
【図１１】（ａ）本発明の実施の形態におけるパノラマ画像のスクロールのための操作の変形例を示す図 （ｂ）本発明の実施の形態におけるパノラマ画像のスクロールを示す図
【図１２】（ａ）本発明の実施の形態における高画質画像表示のためのピンチアウト操作を示す図 （ｂ）本発明の実施の形態における高画質画像表示を示す図 （ｃ）本発明の実施の形態における高画質画像の切出し領域の移動のためのドラッグ操作を示す図
【図１３】（ａ）本発明の実施の形態における全方位画像を示す図 （ｂ）本発明の実施の形態における全方位画像の回転のための回転操作を示す図 （ｃ）本発明の実施の形態における全方位画像の回転を示す図
【図１４】本発明の実施の形態における第１の変形例の全方位画像からパノラマ画像への切替えを示す図
【図１５】本発明の実施の形態における第２の変形例の全方位画像からパノラマ画像への切替えを示す図
【図１６】（ａ）本発明の実施の形態における第３の変形例のパノラマ展開のためのドラッグ操作を示す図（ｂ）本発明の実施の形態における第３の変形例のパノラマ展開のためのピンチアウト操作を示す図
【図１７】（ａ）本発明の実施の形態における第４の変形例のダブルパノラマ展開のためのドラッグ操作を示す図（ｂ）本発明の実施の形態における第４の変形例のダブルパノラマ展開のためのピンチアウト操作を示す図
【図１８】（ａ）本発明の実施の形態における第５の変形例の全方位画像からの表示の切替えのためのピンチアウト操作（半径方向）を示す図 （ｂ）本発明の実施の形態における第５の変形例の切出し画像を含むマルチ画像を示す図
【図１９】（ａ）本発明の実施の形態における第５の変形例の全方位画像からの表示の切替えのためのピンチアウト操作（円周方向）を示す図 （ｂ）本発明の実施の形態における第５の変形例のパノラマ画像を示す図
【図２０】（ａ）本発明の実施の形態における第６の変形例のシングルパノラマ画像からダブルパノラマ画像への切替えのためのピンチアウト操作（縦方向）を示す図 （ｂ）本発明の実施の形態における第６の変形例のシングルパノラマ画像からダブルパノラマ画像への切替えの中間画像を示す図 （ｃ）本発明の実施の形態における第６の変形例のダブルパノラマ画像を示す図
【図２１】（ａ）本発明の実施の形態における第６の変形例のシングルパノラマ画像からダブルパノラマ画像への切替えのためのピンチアウト操作（横方向）を示す図 （ｂ）本発明の実施の形態における第６の変形例のシングルパノラマ画像からダブルパノラマ画像への切替えの中間画像を示す図 （ｃ）本発明の実施の形態における第６の変形例のシングルパノラマ画像からダブルパノラマ画像への切替えの中間画像を示す図 （ｄ）本発明の実施の形態における第６の変形例のダブルパノラマ画像を示す図
【発明を実施するための形態】
【００２６】
以下、本発明を実施するための形態について、図面を参照しながら説明する。図１は、本発明の実施の形態における表示装置としてのビューワ端末の構成を示すブロックである。ビューワ端末１は、パネルインターフェース１１、操作検出部１２、画像補正シーケンサ１３、中間画像生成部１４、歪み補正画像生成部１５、全方位画像取得部１６、全方位画像デコード部１７、画像キュー１８、及び画像表示部１９を備えている。なお、画像表示部１９とパネルインターフェース１１とは重なって設けられ、これにより、タッチパネル式の表示部が形成されている。
【００２７】
パネルインターフェース１１は、ユーザの指による操作を受け付けて、操作位置の情報を出力する。操作検出部１２は、パネルインターフェース１１から操作位置の情報を受けて、パネル操作に変化があった場合に、その変化内容に基づいて、ユーザによってなされたパネル操作の内容を検出する。ユーザの指によるパネルインターフェース１１への操作には、タップ、ドラッグ、フリック、ピンチ（ピンチアウト及びピンチイン）、及び回転が含まれる。
【００２８】
タップとは、パネルインターフェース１１の１箇所を指で軽く叩く操作、即ち、１つの指先でパネルインターフェース１１に触れた後、その指をパネルインターフェース１１上で移動させることなく、パネルインターフェース１１から離す操作をいう。ドラッグとは、パネルインターフェース１１を指で引きずる操作、即ち、１つの指先をパネルインターフェース１１に付けたまま動かし、指の動きを停止させてパネルインターフェース１１から指を離す操作をいう。フリックとは、パネルインターフェース１１を指ではじく操作、即ち、１つの指先をパネルインターフェース１１に付けたまま動かし、指の動きを止めないでパネルインターフェース１１から指を離す操作をいう。
【００２９】
ピンチアウトとは、２つの指先をパネルインターフェース１１に付けたまま、互いの距離が遠くなるように、２つの指先のいずれか一方又は双方をパネルインターフェース１１上で移動させる操作をいう。ピンチインとは、逆に、２つの指先をパネルインターフェース１１に付けたまま、互いの距離が近くなるように、２つの指先のいずれか一方又は双方をパネルインターフェース１１上で移動させる操作をいう。回転とは、２つの指先をパネルインターフェース１１に付けたまま、互いを結ぶ線分がパネルインターフェース１１の面内で回転するように、２つの指先のいずれか一方又は双方をパネルインターフェース１１上で移動させる操作をいう。
【００３０】
なお、ユーザの指による操作には、上記のほかに、ダブルタップ、ロングタップ等が含まれてよい。また、ビューワ端末１に電子コンパスが内蔵されており、ビューワ端末１の加速度（姿勢）を検知できる場合には、ユーザは、ビューワ端末１自体を振ったり（シェイク）、傾けたりすることで操作入力を行なってよい。この場合には、操作検出部１２は、ビューワ端末１の加速度に変化があった場合に、その変化内容に基づいてユーザによる操作を検出する。
【００３１】
画像補正シーケンサ１３は、パネル操作の内容に従って、次に生成して表示する画像の補正パラメータ（中心座標、範囲、回転、歪み等）を決定することで、画像表示部１９に画像を表示させるとともに、全方位画像、中間画像、及び歪み補正画像（歪み補正画像は、パノラマ画像及び切出し画像を含む。）の表示の切替えを行なう。補正パラメータは全方位画像に対して補正を行なう際に用いられるパラメータである。全方位画像に補正パラメータが適用されることで、歪み補正画像又は中間画像が生成される。画像補正シーケンサ１３は、本発明の表示制御部に相当する。
【００３２】
中間画像生成部１４は、全方位画像から歪み補正画像、又は歪み補正画像から全方位画像に切り替える際の中間画像を生成する。中間画像とは、切替え途中に表示する画像である。中間画像生成部１４は、画像補正シーケンサ１３から入力した補正パラメータに基づいて、パネル操作の内容に応じた中間画像を生成する。中間画像生成部１４は、全方位画像から歪み補正画像、又は歪み補正画像から全方位画像に、段階的に切り替わるように見せるために、必要に応じて複数の中間画像を生成する。
【００３３】
歪み補正画像生成部１５は、画像補正シーケンサ１３から入力した補正パラメータに基づいて全方位画像に対して歪み補正を行い、歪み補正画像を生成する。全方位画像取得部１６は、魚眼レンズを用いた撮像装置（カメラ）によって撮影された全方位画像を取得する。この撮像装置は、水平画角３６０度、垂直画角１８０度の視野角を有する。全方位画像は、円形又はドーナツ型の画像であり、中心から離れるほど歪みが大きくなっている。撮像装置は、撮影対象場所の高所に設けられ、下向きに撮影を行なう。全方位画像取得部１６は、撮影装置によって撮影された全方位画像を圧縮された画像ファイルの形式で取得する。全方位画像取得部１６は、例えば、無線通信によって全方位画像の画像ファイルを受信する。
【００３４】
全方位画像デコード部１７は、全方位画像取得部１６にて取得された全方位画像の画像ファイルをデコードして、全方位画像を展開する。画像キュー１８は、全方位画像デコード部１７にて展開された全方位画像を一時的に保存し、必要に応じて、画像補正シーケンサ１３又は画像表示部１９に出力する。画像表示部１９は、中間画像生成部１４にて生成された中間画像、歪み補正画像生成部１５にて生成された歪み補正画像、全方位画像でコード部１７にて展開された全方位画像を、モニタを用いて表示する。画像表示部１９は、本発明の表示部に相当する。
【００３５】
図２は、画像補正シーケンサの詳細な構成を示すブロック図である。図２に示すように、画像補正シーケンサ１３は、パネル操作インターフェース部１３１、タイマ制御部１３２、目標画像判定部１３３、表示画像判定部１３４、補正パラメータ算出部１３５、及び画像補正インターフェース部１３６を備えている。
【００３６】
パネル操作インターフェース部１３１は、パネル操作に変化があった場合に、その変化の内容を操作検出部１２から取得する。タイマ制御部１３２は、最終的な目標画像を表示するまでの表示切替期間のタイマ制御を行う。全方位画像から歪み補正画像に表示を切り替える場合には、歪み補正画像が目標画像となり、歪み補正画像から全方位画像に表示を切り替える場合には、全方位画像が目標画像となる。パネル操作があると、タイマ制御部１３２は、その操作（タップ、ドラッグ、フリック、ピンチアウト、ピンチイン、回転）の具体的内容（操作位置及び強度）に応じてタイムアウト値を設定する。タイムアウトするまでは、中間画像が表示され、タイムアウト後に目標画像が表示される。
【００３７】
目標画像判定部１３３は、現在のパネル操作の内容に基づいて、目標画像の判定を行う。即ち、目標画像判定部１３３は、全方位画像が表示されているときに歪み補正画像へ表示を切り替える操作入力があった場合には、歪み補正画像を目標画像とする。この場合に、歪み補正画像には、パノラマ画像と切出し画像とがあるので、目標画像判定部１３３は、目標画像がパノラマ画像であるか切出し画像であるかも判定する。また、目標画像判定部１３３は、歪み補正画像が表示されているときに、全方位画像へ表示を切り替える操作入力があった場合には、全方位画像を目標画像とする。
【００３８】
表示画像判定部１３４は、タイマ制御部１３２によるタイマ制御に従って、現在表示する画像（全方位画像、歪み補正画像、又は中間画像）を決定する。補正パラメータ算出部１３５は、表示する画像が中間画像である場合、それまでの操作入力の履歴や現在の操作入力の内容、及びタイマ値に従って、次に表示する中間画像の補正パラメータを決定する。補正パラメータには、中心座標、回転、及び歪みに関するパラメータが含まれる。画像補正インターフェース部１３６は、表示画像判定部１３４にて決定された表示画像ごとに、画像生成処理を呼び出す。
【００３９】
以上のように構成されたビューワ端末１を用いて行なう表示の切替えを説明する。表示の切替えには、（１）全方位画像からパノラマ画像への切替え、（２）パノラマ画像から全方位画像への切替え、（３）全方位画像から切出し画像を含むマルチ画像への切替え、（４）シングルパノラマ画像からダブルパノラマ画像への切替え、（５）ダブルパノラマ画像からシングルパノラマ画像への切替え、（６）パノラマ画像のスクロール、（７）切出し画像の切出し範囲の変更、（８）全方位画像の回転がある。以下、順に説明する。
【００４０】
（１）全方位画像からパノラマ画像への切替え
図３は、全方位画像からパノラマ画像への表示の切替えを説明する図である。なお、本実施の形態では、ビューワ端末１の表示部が長方形であり、本来は円形である全方位画像は、その上下の一部が切れて表示されているが、このように表示される画像も全方位画像と呼ぶ。図３（ａ）のように全方位画像が表示されている場合に、ユーザは、これをパノラマ画像に展開したいときは、まず、基線（展開線）の選択を行う。基線の選択では、ユーザは、図３（ｂ）に示すように、全方位画像の中心から円周方向へドラック操作を行なう。次に、図３（ｃ）に示すように、ドラッグした線を跨ぐようにして、ピンチアウトの操作を行なう。
【００４１】
操作検出部１２は、この操作の類型（ドラック及びピンチアウト）、速度、及び位置を検出して画像補正シーケンサ１３に出力する。画像補正シーケンサ１３の操作パネルインターフェース部１３１は、この操作の内容及び位置を入力して、これをタイマ制御部１３２及び目標画像判定部１３３に出力する。
【００４２】
目標画像判定部１３３は、現在表示している画像（全方位画像）と操作の内容及び位置に基づいて、この操作が、全方位画像からパノラマ画像への変更であると判断し、目標画像はパノラマ画像であると判定し、その結果を表示画像判定部１３４及びタイマ制御部１３２に出力する。タイマ制御部１３２は、ピンチアウト操作における２つの指先が離れる速度に基づいて、全方位画像からパノラマ画像までの遷移に費やす時間を決定し、タイマをスタートさせる（即ち、指先の離れる速度が速いほど遷移時間を短くする）。
【００４３】
表示画像判定部１３４は、タイマ制御部１３２からのタイマ値がタイムアウト値に達していない場合には、そのタイマ値に従った中間画像を表示させるべく、表示すべき画像が中間画像である旨を画像補正インターフェース１３６に通知し、タイムアウト値及び現在のタイマ値、又はタイムアウト値に対する現在のタイマ値の比率を補正パラメータ算出部１３５に出力する。
【００４４】
補正パラメータ算出部１３５は、タイムアウト値に対する現在のタイマ値の比率に従って、中間画像を生成するための補正パラメータを生成し、画像補正インターフェース部１３６に出力する。表示画像判定部１３４は、タイマ値がタイムアウト値に達したら、表示すべき画像が目標画像（即ち、パノラマ画像）である旨を画像補正インターフェース部１３６に通知する。
【００４５】
画像補正インターフェース１３６は、表示画像判定部１３４から表示すべき画像が中間画像である旨の通知を受けたら、中間画像生成部１４による中間画像生成処理を呼び出して、中間画像生成部１４に、補正パラメータ算出部１３５にて算出された補正パラメータを出力する。中間画像生成部１４は、補正パラメータ算出部１３５から入力した補正パラメータを用いて全方位画像を補正して、中間画像を生成し、画像表示部１９に出力する。
【００４６】
タイマ制御部１３２は、所定の中間画像フレームレートでタイマ値を表示画像判定部１３４に出力し、表示画像判定部１３４は、その都度タイマ値がタイムアウト値に達していないかを判断して、タイマ値がタイムアウト値に達するまで、表示すべき画像が中間画像である旨を画像補正インターフェース１３６に通知し、タイムアウト値及び現在のタイマ値、又はタイムアウト値に対する現在のタイマ値の比率を補正パラメータ算出部１３５に出力する。そして、補正パラメータ算出部１３５は中間画像を生成するための補正パラメータを算出して、中間画像生成部１４はその補正パラメータを使用して中間画像を生成する。これにより、タイムアウトするまでは上記の中間画像フレームレートで中間画像が生成される。
【００４７】
図３（ｄ）及び（ｅ）は、上記のようにして生成される中間画像を示している。中間画像は、円形の全方位画像から長方形のパノラマ画像に遷移する過程の画像であり、上方高は下に押し潰され、左右方向は外側に伸ばされ、基線に切り込みが入れられて徐々に下半分を消去していくように遷移する。
【００４８】
タイマ制御部１３２から中間画像フレームレートでタイマ値が出力された結果、表示画像判定部１３４にてタイマ値がタイムアウトしたと判断された場合は、画像補正インターフェース１３６は、表示画像判定部１３４から表示すべき画像が目標画像（即ち、歪み補正画像）である旨を歪み補正画像生成部１５に通知する。歪み補正画像生成部１５は、この通知を受けると、全方位画像を補正して、図３（ｆ）に示すように、歪みのないパノラマ画像を生成する。
【００４９】
なお、パノラマ画像は水平画角３６０度の全方位が画像表示部１９に表示されてもよいし、３６０度の水平画角の一部範囲に該当する部分のみが表示されてもよい。後者の場合には、スクロール操作によってパノラマ画像を左右にスクロールできるようにしてもよい。
【００５０】
なお、上記の例では、基線を全方位画像の中心から垂直下方向に引いてパノラマ展開をしたが、これに限られず、基線を全方位画像の中心から任意の円周方向に引いてもよい。この場合にも、中間画像生成部１４及び歪み補正画像生成部１５は、この基線から切り離すように全方位画像を展開して、中間画像及びパノラマ画像生成する。
【００５１】
（２）パノラマ画像から全方位画像への切替え
図４は、パノラマ画像から全方位画像への表示の切替えを説明する図である。図４（ａ）のようにパノラマ画像が表示されている場合に、ユーザは、これを全方位画像に変更したいときは、パノラマ画像上で左右方向にピンチイン操作を行なう。操作検出部１２は、この操作の類型（ピンチイン）、速度、及び位置を検出して画像補正シーケンサ１３に出力する。画像補正シーケンサ１３の操作パネルインターフェース部１３１は、この操作の内容及び位置を入力して、これをタイマ制御部１３２及び目標画像判定部１３３に出力する。
【００５２】
目標画像判定部１３３は、現在表示している画像（パノラマ画像）と操作の内容及び位置に基づいて、この操作が、パノラマ画像から全方位画像への変更であると判断し、目標画像は全方位画像であると判定し、その結果を表示画像判定部１３４及びタイマ制御部１３２に出力する。タイマ制御部１３２は、ピンチイン操作における２つの指先が近づく速度に基づいて、パノラマ画像から全方位画像までの遷移に費やす時間を決定し、タイマをスタートさせる（即ち、指先の近づく速度が速いほど遷移時間を短くする）。
【００５３】
補正パラメータ算出部１３５は、タイムアウト値に対する現在のタイマ値の比率に従って、中間画像を生成するための補正パラメータを生成し、画像補正インターフェース部１３６に出力する。表示画像判定部１３４は、タイマ値がタイムアウト値に達したら、その旨を画像補正インターフェース部１３６に通知する。
【００５４】
画像補正インターフェース１３６は、表示画像判定部１３４から表示すべき画像が中間画像である旨の通知を受けたら、中間画像生成部１４による中間画像生成処理を呼び出して、中間画像生成部１４に、補正パラメータ算出部１３５にて算出された補正パラメータを出力する。中間画像生成部１４は、補正パラメータ算出部１３５から入力した補正パラメータを用いて全方位画像を補正して、中間画像を生成し、画像表示部１９に出力する。
【００５５】
タイマ制御部１３２は、所定の中間画像フレームレートでタイマ値を表示画像判定部１３４に出力し、表示画像判定部１３４は、その都度タイマ値がタイムアウト値に達していないかを判断して、タイマ値がタイムアウト値に達するまで、表示すべき画像が中間画像である旨を画像補正インターフェース１３６に通知し、タイムアウト値及び現在のタイマ値、又はタイムアウト値に対する現在のタイマ値の比率を補正パラメータ算出部１３５に出力する。そして、補正パラメータ算出部１３５は中間画像を生成するための補正パラメータを算出して、中間画像生成部１４はその補正パラメータを使用して中間画像を生成する。これにより、タイムアウトするまでは上記の中間画像フレームレートで中間画像が生成される。
【００５６】
図４（ｂ）は、上記のようにして生成される中間画像を示している。中間画像は、パノラマ画像が上方向に引き伸ばされ、左右方向は内側に押し潰されるように遷移する。
【００５７】
タイマ制御部１３２から中間画像フレームレートでタイマ値が出力された結果、表示画像判定部１３４にてタイマ値がタイムアウトしたと判断された場合は、画像補正インターフェース１３６は、表示画像判定部１３４から表示すべき画像が目標画像（即ち、全方位画像）である旨を画像キュー１８に通知する。画像キュー１８は、この通知を受けると、全方位画像を画像表示部１９に出力し、画像表示部１９は、図４（ｃ）に示すように全方位画像を表示する。その際に、パノラマ画像上でピンチインした位置が目標画像である全周囲画像の上中心に対応するようにしてもよい。
【００５８】
図５は、上記の（１）及び（２）の切替えのフロー図である。図５に示すフローは、１フレームごとに繰り返し実行される。操作検出部１２は、パネルインターフェース１１に操作があるか否かを監視し（ステップＳ５１）、パネルインターフェース１１に操作があると（ステップＳ５１にてＹＥＳ）、画像補正シーケンサ１３の目標画像判定部１３３が、目標画像がパノラマ画像であるか全方位画像であるかを判定する（ステップＳ５２）。
【００５９】
そして、タイマ制御部１３２がタイムアウト値を更新し（ステップＳ５３）、補正パラメータ算出部１３５が補正パラメータを生成する（ステップＳ５４）。そして、中間画像生成部１４は、生成された補正パラメータを用いて中間画像を生成する。
【００６０】
次にステップＳ５１に戻ると、既に表示の切替えのための操作は終了しているので、パネルインターフェース１１操作は無いと判断されて（ステップＳ５１にてＮＯ）、タイマ制御部におけるタイマ値がタイムアウトしているか否かを判断する（ステップＳ５６）。タイマ値がタイムアウトしていない場合は（ステップＳ５６にてＮＯ）、補正パラメータ算出部１３５にてそのタイマ値を用いて再び補正パラメータを算出して（ステップＳ５４）、中間画像生成部１４にて中間画像を生成する（ステップＳ５５）。
【００６１】
上記の処理を繰り返して、ステップＳ５６にてタイマ値がタイムアウトしたと判断されたときは（ステップＳ５６にてＹＥＳ）、表示画像判定部１３４は、目標画像判定部１３３の判定に従って、目標画像がパノラマ画像であるか否かを判定する（ステップＳ５７）。目標画像がパノラマ画像であるときは（ステップＳ５７にてＹＥＳ）、歪み補正画像生成部１５にて、全方位画像に歪み補正を行なってパノラマ画像を生成する（ステップＳ５８）。目標画像が全方位画像であるときは、画像キュー１８から全方位画像を補正することなくそのまま画像表示部１９に出力して、画像表示部１９にてこれを表示する（ステップＳ５９）。
【００６２】
（３）全方位画像から切出し画像を含むマルチ画像への切替え
図６は、全方位画像から切出し画像を含むマルチ画像への切替えを説明する図である。図６（ａ）のように全方位画像が表示されている場合に、全方位画像では、予め図示しない動体検出手段により前のフレームとの差分が閾値以上となる領域が動体として検出されており、ユーザは、そのいずれかの動体領域を切り出して切出し画像を表示したい場合には、図６（ｂ）に示すように、切り出したい領域をタップする。
【００６３】
操作検出部１２は、この操作の類型（タップ）、速度、及び位置を検出して画像補正シーケンサ１３に出力する。画像補正シーケンサ１３は、動体領域を全方位画像から切り出して、歪み補正画像生成部１５は、この切り出した領域について、歪み補正を行い、切出し画像を生成する。画像表示部１９は、図６（ｃ）に示すように、生成された切出し画像を全方位画像に重畳させて表示される。このとき、切出し画像は、全方位画像中の切り出した領域に重なる位置を初期位置として、全方位画像に重畳される。
【００６４】
図６（ｃ）に示すように、ユーザは、全方位画像に重畳表示された切出し画像に対してピンチアウト操作を行なうことで、切出し画像を拡大することができる。また、ユーザは、全方位画像に重畳表示された切出し画像に対してピンチイン操作を行なうことで、切出し画像を縮小することができる。
【００６５】
さらに、ユーザは、図６（ｄ）に示すように、複数の領域についてそれぞれ切出し画像を生成することで、複数の切出し画像を全方位画像に重畳表示させることもできる。切出し画像が全方位画像に重畳されている場合に、ユーザがビューワ端末１を振る（シェイク）操作を行なうと、重畳表示されている切出し画像は、全方位画像とともに並べられて表示され、図６（ｆ）に示すように、マルチ画面が生成される。
【００６６】
（４）シングルパノラマ画像からダブルパノラマ画像への切替え
図７は、シングルパノラマ画像からダブルパノラマ画像への切替えを説明する図である。１つのパノラマ画像が表示されている場合（シングルパノラマ画像）に、図７に示すように、このパノラマ画像に対してピンチアウト操作を行なうことで、上下２段のパノラマ画像が表示される（ダブルパノラマ画像）。ダブルパノラマ画像では、上下のそれぞれのパノラマ画像は、互いに重複しない水平画角１８０度分のパノラマ画像を表示してよい。
【００６７】
（５）ダブルパノラマ画像からシングルパノラマ画像への切替え
図８は、ダブルパノラマ画像からシングルパノラマ画像への切替えを説明する図である。図８（ａ）に示すように、ダブルパノラマ画像が表示されている場合に、ユーザは、これをシングルパノラマ画像に変更したいときは、上下のそれぞれのパノラマ画像に１つずつ指を触れて、それらの距離を近づけるように、上下にピンチインの操作を行なう。
【００６８】
中間画像補正部１５は、図８（ｂ）に示すように、２つのパノラマ画像が重なるように（上側のパノラマ画像が上面になるように）して、上側のパノラマ画像が下方に、下側のパノラマ画像が上方に移動するような中間画像を生成し、最終的には図８（ｃ）に示すように、上側のパノラマ画像のみを表示する。
【００６９】
（６）パノラマ画像のスクロール
図９は、シングルパノラマ画像のスクロールを説明する図である。図９（ａ）に示すようにパノラマ画像が表示されている場合において、ユーザが、このパノラマ画像を横方向にスクロールしたいときは、パノラマ画像をスクロールしたい方向にフリックする。
【００７０】
図９（ａ）の例では、パノラマ画像が右方向にフリックされたので、図９（ｂ）に示すように、パノラマ画像が右方向に移動する。なお、フリック操作の後には、フリック操作の強度（指がパネルインターフェース１１から離れる際の指の移動速度）に応じた量だけパノラマ画像を移動させてスクロールを停止してもよいし、フリック操作があった場合には、一定の速度でスクロールを継続してもよい。さらに、フリック操作の強度の強度に応じてパノラマ画像の移動の速度を決定してもよい。
【００７１】
図１０は、ダブルパノラマ画像のスクロールを説明する図である。図９（ａ）に示すようにダブルパノラマ画像が表示されている場合において、ユーザが、このダブルパノラマ画像を横方向にスクロールしたいときは、ダブルパノラマ画像の上下のいずれか一方をスクロールしたい方向にフリックする。
【００７２】
図９（ａ）の例では、上側のパノラマ画像が右方向にフリックされたので、図９（ｂ）に示すように、上側のパノラマ画像が右方向に移動する。このとき、下側のパノラマ画像も、上側のスクロールに応じて右側に移動する。なお、シングルパノラマの場合と同様に、フリック操作の後には、フリック操作の強度に応じた量だけ上下のパノラマ画像を移動させてもよいし、フリック操作があった場合には、一定の速度でスクロールを継続してもよい。さらに、フリック操作の強度の強度に応じて上下のパノラマ画像の移動の速度を決定してもよい。
【００７３】
図１１は、パノラマ画像のスクロールの変形例を説明する図である。パノラマ画像のスクロールは、上記のようなフリック操作のほか、ビューワ端末１を傾ける操作によっても行なうことができる。図１０（ａ）のように、パノラマ画像が表示されている場合において、ビューワ端末１の右側が下方に、左側が上方になるように、ビューワ端末１を傾けることで、図１０（ｂ）に示すように、パノラマ画像は右側に移動する。また、ビューワ端末１を逆方向、即ち、右側が上方に、左側が下方になるように傾けることで、パノラマ画像は左側に移動する。なお、この変形例においても、傾きの度合いに応じてパノラマ画像の移動の速度を可変させてよい。
【００７４】
なお、パノラマ画像のスクロールは、ドラッグ操作によっても行なうことができる。この場合には、パノラマ画像は、ドラッグ操作によって引きずられた方向に、引きずられた量だけ移動する。
【００７５】
（７）切出し画像の切出し範囲の変更
図１２は、切出し画像の切出し範囲の変更を説明する図である。図１２（ａ）に示すように、全方位画像が表示されている場合に、ユーザは、この全方位画像の一部領域を高画質（歪がなく、高解像度）で表示したいときは、当該領域に対してピンチアウト操作を行なう。なお、このとき、動体検出手段によって動体として検出された領域のみがこのピンチアウトの操作の対象とされてよい。
【００７６】
ピンチアウトの操作を受けると、歪補正画像生成部１５は、該当領域の切出し画像を生成して、画像表示部１９は、図１２（ｂ）に示すように、この切出し画像を全画面表示する。切出し画像中で動体が移動し、ユーザがこの移動体とともに切出し画像を生成する領域を移動させたい場合には、図１２（ｃ）に示すように、全画面表示された切出し画像を移動したい方向にドラッグする。歪み補正画像生成部１５は、ドラッグに応じた方向及び量で切出し領域を移動させて、新たな切出し画像を生成し、画像表示部１９はこのようにしてドラッグされている間連続的に生成される切出し画像を表示する。
【００７７】
（８）全方位画像の回転
図１３は、全方位画像の回転を説明する図である。図１３（ａ）に示すように、膳方画像が表示されている場合において、この全方位画像を回転させたいときは、図１３（ｂ）に示すように、画像中の任意の２点を２つの指で同時に触れて、当該２点を結ぶ線が画面内で回転するように、２つの指の両方又はいずれか１方をパネルインターフェース１１上で移動させる。
【００７８】
このような回転操作に従って、画像表示部１９は、表示する全方位画像の方向を変更する。なお、２つの指が同時にフリックされることで、指をパネルインターフェース１１上から話した後にも全方位画像を継続して回転させるようにしてもよい。
【００７９】
上記の表示の切替えについては、種々の変形が可能である。以下、変形例を説明する。
【００８０】
（第１の変形例）
図１４は、第１の変形例を示す図である。第１の変形例は、全方位画像からパノラマ画像への切替えの変形例である。図１４に示すように全方位画像が表示されている場合に、ユーザは、これをパノラマ画像に展開したいときは、全方位画像の左右両端部分にそれぞれ指を触れて、外方向に広げるようにピンチアウト操作を行う。なお、モニタが小さい場合には、このピンチアウトの操作は片手（例えば親指と人差し指）で行なうことができ、モニタが大きい場合には、図１４に示すように、両手を使ってピンチアウト操作を行なえばよい。
【００８１】
上記のピンチアウト操作により、全方位画像は外方向に引っ張られるようにして連続的にパノラマ画像に展開される。このとき、例えば、２つの指で触れた箇所を直線で結び、その中点から垂直方向に伸ばした直線上に中心座標を位置させるように、全方位画像をパノラマ画像に展開することができる。
【００８２】
この第１の変形例によっても、全方位画像の左右両端をピンチアウトするという操作と、全方位画像が外方向に引っ張られてパノラマ画像に推移するという表示の切替えとが感覚的に一致して、ユーザの操作性及び見易さが向上する。
【００８３】
（第２の変形例）
図１５は、第２の変形例を示す図である。第２の変形例は、全方位画像からパノラマ画像への切替えの変形例である。図１５に示すように全方位画像が表示されている場合に、ユーザは、これをパノラマ画像に展開したいときは、全方位画像の上下両端部分にそれぞれ指を触れて、内方向に狭めるようにピンチイン操作を行う。なお、モニタが小さい場合には、このピンチインの操作は片手（例えば親指と人差し指）で行なうことができ、モニタが大きい場合には、図１５に示すように、両手を使ってピンチイン操作を行なえばよい。
【００８４】
上記のピンチイン操作により、全方位画像は内方向に潰されるようにして連続的にパノラマ画像に展開される。このとき、例えば、２つの指で触れた箇所を直線で結び、その直線上に中心座標を位置させるように、全方位画像をパノラマ画像に展開することができる。
【００８５】
この第２の変形例によっても、全方位画像の上下両端をピンチインするという操作と、全方位画像が内方向に潰されてパノラマ画像に推移するという表示の切替えとが感覚的に一致して、ユーザの操作性及び見易さが向上する。
【００８６】
（第３の変形例）
図１６は、第３の変形例を示す図である。第３の変形例は、全方位画像からパノラマ画像への切替えの変形例である。図１６（ａ）に示すように全方位画像が表示されている場合に、ユーザは、これをパノラマ画像に展開したいときは、全方位画像の中央部を、図１６（ａ）のように左右方向に切込みを入れるようにドラッグ操作し、次に、図１６（ｂ）に示すように切込みを入れた線を跨ぐようにして、２つの指で上下にピンチアウト操作を行なう。
【００８７】
上記の一連の操作により、全方位画像はドラッグされた線から切り込みが入れられ、ドーナツ状になるように連続的にパノラマ画像に展開される。このとき、例えば、ドラッグされた線の中点から垂直方向に伸ばした直線上に中心座標を位置させるように、全方位画像をパノラマ画像に展開することができる。
【００８８】
この第３の変形例によっても、全方位画像の中央部に切り込みをいれてピンチアウトするという操作と、全方位画像がドーナツ状になるように切り込みを広げてパノラマ画像に推移するという表示の切替えとが感覚的に一致して、ユーザの操作性及び見易さが向上する。
【００８９】
なお、上記の例では、全方位画像の中央部を横方向にドラッグして切込みを入れ、その切込みを開くように上下にピンチアウトの操作を行なったが、これに限らず、全方位画像の中央部を縦方向にドラッグして切込みを入れ、その切込みを開くように左右にピンチアウトの操作を行なっても、全方位画像がドーナツ状になるように切り込みを広げてパノラマ画像に推移するようにしてよい。
【００９０】
（第４の変形例）
図１７は、第４の変形例を示す図である。第４の変形例は、全方位画像からパノラマ画像への切替えの変形例である。この変形例では、全方位画像からダブルパノラマ画像に表示が切替えられる。図１７（ａ）に示すように全方位画像が表示されている場合に、ユーザは、これをダブルパノラマ画像に展開したいときは、図１７（ａ）に示すように、全方位画像の横方向の直径に切込みを入れるようにドラッグ操作を行なう。そして、図１７（ｂ）に示すように、切込みを入れた線を跨ぐようにして、２つの指で上下にピンチアウト操作を行なう。
【００９１】
上記の一連の操作により、全方位画像はドラッグされた線を境に、上下それぞれについてパノラマ展開されて、ダブルパノラマ画像が表示される。このとき、例えば、ドラッグされた線の中点から垂直方向に伸ばした直線上に中心座標を位置させるように、全方位画像を上下それぞれのパノラマ画像に展開することができる。
【００９２】
この第４の変形例によっても、全方位画像の中央部に切り込みをいれてピンチアウトするという操作と、全方位画像の切込みを境とする上半分及び下半分がそれぞれパノラマ画像に展開されて上下に並べられるという表示の切替えとが感覚的に一致して、ユーザの操作性及び見易さが向上する。
【００９３】
（第５の変形例）
図１８及び図１９は、第５の変形例を示す図である。第５の変形例は、全方位画像からの切替えの変形例である。この変形例では、全方位画像上でのピンチアウトの行う方向に応じて目標画像を切り替える。図１８（ａ）に示すように、全方位画像の半径方向にピンチアウトの操作が行なわれた場合は、図１８（ｂ）に示すように、切出し画像を含むマルチ画像が目標画像とされ、上記の「（３）全方位画像から切出し画像を含むマルチ画像への切替え」で説明したのと同様の動作を行なう。このとき、ピンチアウトされた位置にある人物が拡大されて切出し画像として表示される。
【００９４】
一方、図１９（ａ）に示すように、全方位画像の円周方向にピンチアウトの操作が行われた場合は、図１９（ｂ）に示すように、パノラマ画像が目標画像とされ、上記の「（１）全方位画像からパノラマ画像への切替え」で説明したパノラマ画像への切替えと同様の動作を行なう。このとき、ピンチアウトされた指の位置を結んだ線分の中心と全方位画像の中心を結んだ線分を基線としてパノラマ展開が行なわれる。
【００９５】
（第６の変形例）
図２０及び図２１は、第６の変形例を示す図である。第６の変形例は、シングルパノラマ画像からダブルパノラマ画像への切替えの変形例である。この変形例では、シングルパノラマ画像上でピンチアウトを行う方向に応じて中間画像を切り替える。図２０（ａ）に示すように、シングルパノラマ画像に対して縦方向にピンチアウトを行った場合は、図２０（ｂ）に示すように、「（４）シングルパノラマ画像からダブルパノラマ画像への切替え」で説明したのと同様にして中間画像を生成して表示し、図２０（ｃ）に示すダブルパノラマ画像を表示する。
【００９６】
一方、図２１（ａ）に示すように、シングルパノラマ画像に対して横方向にピンチアウトを行った場合は、図２１（ｂ）に示すように、ピンチアウトされた指の位置を結んだ線分の中心を通る垂直な線分でパノラマ画像を切断して、図２１（ｃ）に示すように、切断された２つのパノラマ画像の一方が上部へ、他方が下部へと移動する中間画像を生成して表示し、図２１（ｄ）に示すダブルパノラマ画像を表示する。なお、図２１（ｄ）及び図２１（ｄ）にて点線で示されている部分は、中間画像では表示されない隠れた部分である。この隠れた部分が中間画像の進展とともに、徐々に表示されていく。
【００９７】
以上のように、本実施の形態のビューワ端末１によれば、画像が表示されているときに、パネルインターフェース１１を用いて、直感的なユーザインターフェースにより、簡単な操作で、各種の表示の切替えを行なうことができる。また、本実施の形態のビューワ端末１によれば、表示が切り替わる過程で中間画像が生成されて表示されるので、ユーザは、表示が切り替わる前後において相関を認識し易くなる。
【００９８】
なお、上記のビューワ端末１の動作は、コンピュータプログラムがビューワ端末１に備えられた演算処理装置によって実行されることで実現されてよい。
【産業上の利用可能性】
【００９９】
以上のように、本発明は、簡単な操作で、直感的に、全方位画像と歪み補正画像との表示の切替えを行なうことができ、全方位カメラで撮影された映像を表示する表示装置等として有用である。
【符号の説明】
【０１００】
１ ビューワ端末
１１ パネルインターフェース
１２ 操作検出部
１３ 画像補正シーケンサ
１４ 中間画像生成部
１５ 歪み補正画像生成部
１６ 全方位画像取得部
１７ 全方位画像デコード部
１８ 画像キュー
１９ 画像表示部
１３１ パネル操作インターフェース部
１３２ タイマ制御部
１３３ 目標画像判定部
１３４ 表示画像判定部
１３５ 補正パラメータ算出部
１３６ 画像補正インターフェース部
【特許請求の範囲】
【請求項１】
全方位画像を取得する画像取得部と、
パネルインターフェースを有するタッチパネル式の表示部と、
前記全方位画像の一部又は全部について歪み補正をして歪み補正画像を生成する歪み補正画像生成部と、
前記表示部に前記全方位画像又は前記歪み補正画像が表示されているときに、前記パネルインターフェースを用いて、表示されている画像に対して直接行われた、前記全方位画像の表示と前記歪み補正画像の表示との間の切替えのための操作を検出する操作検出部と、
前記表示部に前記全方位画像又は前記歪み補正画像を表示させるとともに、前記操作検出部にて検出された操作に従って、前記全方位画像の表示と前記歪み補正画像の表示との間の切替えを行なう表示制御部と、
を備えたことを特徴とする表示装置。
【請求項２】
前記表示制御部は、前記表示部に前記全方位画像が表示されている場合において、前記操作検出部が、前記表示部に表示されている前記全方位画像に対してピンチアウト操作がされたことを検出した場合に、前記全方位画像の表示を前記歪み補正画像の表示に切り替えることを特徴とする請求項１に記載の表示装置。
【請求項３】
前記表示制御部は、前記表示部に前記歪み補正画像が表示されている場合において、前記操作検出部が、前記表示部に表示されている前記歪み補正画像に対してピンチイン操作がされたことを検出した場合に、前記歪み補正画像の表示を前記全方位画像の表示に切り替えることを特徴とする請求項１又は２に記載の表示装置。
【請求項４】
前記歪み補正画像は、前記ピンチアウト操作がされた箇所を基線として前記全方位画像をパノラマ展開したパノラマ画像であることを特徴とする請求項２又は３に記載の表示装置。
【請求項５】
前記歪み補正画像は、前記ピンチアウト操作がされた箇所が拡大された切出し画像であることを特徴とする請求項２又は３に記載の表示装置。
【請求項６】
前記表示制御部は、前記表示部に前記全方位画像が表示されている場合において、前記操作検出部が、前記表示部に表示されている前記全方位画像に対してタップ操作がされたことを検出したときに、前記全方位画像のタップ操作がされた箇所について、前記表示部に前記歪み補正画像を表示させることを特徴とする請求項１ないし請求項５のいずれか一項に記載の表示装置。
【請求項７】
前記表示制御部は、前記操作検出部にて検出された操作に基づいて、画像の補正パラメータを決定し、
前記表示装置は、さらに、前記表示制御部が決定した補正パラメータに従って、前記全方位画像の表示と前記歪み補正画像の表示との間の切替えの途中に表示する中間画像を生成する中間画像生成部を備え、
前記表示制御部は、前記全方位画像の表示と前記歪み補正画像の表示との間の切替えの途中に、前記表示部に、前記中間画像生成部にて生成された前記中間画像を表示させることを特徴とする請求項１ないし請求項６のいずれか一項に記載の表示装置。
【請求項８】
タッチパネル式の表示部を備えた表示装置にて実行されることにより、その表示装置を請求項１ないし請求項７のいずれか一項に記載の表示装置として機能させることを特徴とするコンピュータプログラム。
【請求項１】
全方位画像を取得する画像取得部と、
パネルインターフェースを有するタッチパネル式の表示部と、
前記全方位画像の一部又は全部について歪み補正をして歪み補正画像を生成する歪み補正画像生成部と、
前記表示部に前記全方位画像又は前記歪み補正画像が表示されているときに、前記パネルインターフェースを用いて、表示されている画像に対して直接行われた、前記全方位画像の表示と前記歪み補正画像の表示との間の切替えのための操作を検出する操作検出部と、
前記表示部に前記全方位画像又は前記歪み補正画像を表示させるとともに、前記操作検出部にて検出された操作に従って、前記全方位画像の表示と前記歪み補正画像の表示との間の切替えを行なう表示制御部と、
を備えたことを特徴とする表示装置。
【請求項２】
前記表示制御部は、前記表示部に前記全方位画像が表示されている場合において、前記操作検出部が、前記表示部に表示されている前記全方位画像に対してピンチアウト操作がされたことを検出した場合に、前記全方位画像の表示を前記歪み補正画像の表示に切り替えることを特徴とする請求項１に記載の表示装置。
【請求項３】
前記表示制御部は、前記表示部に前記歪み補正画像が表示されている場合において、前記操作検出部が、前記表示部に表示されている前記歪み補正画像に対してピンチイン操作がされたことを検出した場合に、前記歪み補正画像の表示を前記全方位画像の表示に切り替えることを特徴とする請求項１又は２に記載の表示装置。
【請求項４】
前記歪み補正画像は、前記ピンチアウト操作がされた箇所を基線として前記全方位画像をパノラマ展開したパノラマ画像であることを特徴とする請求項２又は３に記載の表示装置。
【請求項５】
前記歪み補正画像は、前記ピンチアウト操作がされた箇所が拡大された切出し画像であることを特徴とする請求項２又は３に記載の表示装置。
【請求項６】
前記表示制御部は、前記表示部に前記全方位画像が表示されている場合において、前記操作検出部が、前記表示部に表示されている前記全方位画像に対してタップ操作がされたことを検出したときに、前記全方位画像のタップ操作がされた箇所について、前記表示部に前記歪み補正画像を表示させることを特徴とする請求項１ないし請求項５のいずれか一項に記載の表示装置。
【請求項７】
前記表示制御部は、前記操作検出部にて検出された操作に基づいて、画像の補正パラメータを決定し、
前記表示装置は、さらに、前記表示制御部が決定した補正パラメータに従って、前記全方位画像の表示と前記歪み補正画像の表示との間の切替えの途中に表示する中間画像を生成する中間画像生成部を備え、
前記表示制御部は、前記全方位画像の表示と前記歪み補正画像の表示との間の切替えの途中に、前記表示部に、前記中間画像生成部にて生成された前記中間画像を表示させることを特徴とする請求項１ないし請求項６のいずれか一項に記載の表示装置。
【請求項８】
タッチパネル式の表示部を備えた表示装置にて実行されることにより、その表示装置を請求項１ないし請求項７のいずれか一項に記載の表示装置として機能させることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−１６９７２３（Ｐ２０１２−１６９７２３Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−２６７６６（Ｐ２０１１−２６７６６）
【出願日】平成２３年２月１０日（２０１１．２．１０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月１０日（２０１１．２．１０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]