画像処理装置、画像表示方法、画像表示プログラム、および画像表示プログラムを記録した記録媒体
【課題】キャリブレーション作業をより自然な形で実行させることによって、ユーザの作業負担を軽減する。
【解決手段】画像処理装置２０が備える画像生成部１０５，１１７により、設問と任意に選択可能な複数のアイコンからなる選択肢ボタンとを含む設問画像を生成する。次に、位置検出部１１１により、画像表示制御部１０５，１０６によって撮影した撮像データから、当該表示画面上に存在する指示体の位置を検出する。そして、制御部１１６により、位置検出部１１１によって検出される指示体の位置に基づいて当該指示体により複数のアイコンのうちいずれのアイコンが選択されたかを特定する。選択されたと特定されたアイコンに対応する、位置情報記憶部１１８に記憶されている画像生成部１０５，１１７で生成された設問画像を表示画面に表示したときのアイコンの位置に基づいて、位置検出部１１１で検出される指示体の位置のキャリブレーションを実行する。
【解決手段】画像処理装置２０が備える画像生成部１０５，１１７により、設問と任意に選択可能な複数のアイコンからなる選択肢ボタンとを含む設問画像を生成する。次に、位置検出部１１１により、画像表示制御部１０５，１０６によって撮影した撮像データから、当該表示画面上に存在する指示体の位置を検出する。そして、制御部１１６により、位置検出部１１１によって検出される指示体の位置に基づいて当該指示体により複数のアイコンのうちいずれのアイコンが選択されたかを特定する。選択されたと特定されたアイコンに対応する、位置情報記憶部１１８に記憶されている画像生成部１０５，１１７で生成された設問画像を表示画面に表示したときのアイコンの位置に基づいて、位置検出部１１１で検出される指示体の位置のキャリブレーションを実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像表示方法、画像表示プログラム、およびその画像表示プログラムを記録した記録媒体に関し、詳しくは、例えば複眼カメラ付き再生装置を用いた光学式タッチパネルにおけるキャリブレーション手順に係る。
【背景技術】
【０００２】
複数のカメラなどを使うことにより、画面上で指やペンなどが指し示す位置（タッチ位置）を算出し、いわゆるタッチＵＩ（User Interface）を実現する手法が数多く提案されている。このようなタッチＵＩは光学式タッチパネルとして知られており、電子黒板やパーソナルコンピュータと接続したディスプレイ装置等に応用されている。
【０００３】
図１は、タッチＵＩを実現する光学式タッチパネルの一例を示す図である。
一般に光学式タッチパネルは、外部出力機器１と、その上部左右に設置された２つのカメラ２，３により構成される。この２つのカメラ２，３のレンズ間の距離Ｌと、各カメラからタッチ位置への角度α，βがわかれば、カメラ２，３の各々と画面上のタッチ位置との距離Ｌ１，Ｌ２が求められ、タッチ位置を算出することが可能である。なお、外部出力機器１は、表示機能を備えていればよく、テレビジョン受像機やディスプレイ装置などが挙げられる。
【０００４】
実際には、カメラのみで当該カメラと画面上のタッチ位置との距離を正確に計測するのは難しい。そこで、図１に示すように、カメラ２，３に赤外線送信機能を搭載するとともに、外部出力機器１の両側部と下部に赤外線を反射するための枠１ａを設置する。そして、カメラ２，３から赤外線を発し、照射した赤外線が指４などにより塞がれて枠１ａから戻ってこない部分の位置を求める、という形態をとっていることが多い。電子黒板などの指示棒や指先の単位での正確さが求められる場合は、赤外線などを用いて位置検出の精度を上げるが、手のひらなど比較的大きな物体を大まかに捉えればよいのであれば、現在の技術でもカメラのみでも可能である。
【０００５】
一般的な電子黒板やパーソナルコンピュータと接続したディスプレイ装置などに適用された光学式タッチパネルでは、カメラが外部出力機器に固定されており、画面上の実際のタッチ位置と検知されるタッチ位置とが一致するように、工場などで調整された上で出荷される。しかしながら、光学式タッチパネルは、カメラなどの位置確認用センサが取り外し可能な場合、センサが外部出力機器に正しく設置されていないと、設置位置によってタッチ位置の検知位置に誤差が生じてしまう。そのため、当該センサと画面との相対位置の解析を行うためにキャリブレーションが必要になる。
【０００６】
図２Ａ〜Ｃは、複眼カメラを用いた光学式タッチパネルの検知位置に誤差が生じる場合を説明するための図である。
図２Ａに示すように、外部出力機器１０の画面周囲の枠体１１の上部中心に複眼カメラ１２が設置されている場合、複眼カメラ１２の各レンズから画面上のタッチ位置Ａへの角度α，βからタッチ位置Ａを検出する。
一方、図２Ｂに示すように、外部出力機器１０の画面周囲の枠体１１の上部中心から右にずれた場所に複眼カメラ１２が設置された場合、複眼カメラ１２の各レンズから画面上のタッチ位置Ａへの角度α′，β′に基づいて、タッチ位置Ａを検出する。
【０００７】
そのため、複眼カメラ１２が外部出力機器１０の枠体１１の上部中心からずれていることを知ることができない場合、複眼カメラ１２が中心に設置されているものとしてタッチ位置を算出してしまう。すなわち、図２Ｃに示すように、タッチ位置Ａではなくタッチ位置Ａ´が指し示されたと誤って認識してしまう。これを解消するため、外部出力機器から取り外し可能なカメラは、外部出力機器へ設置した時にキャリブレーション作業が必要となる。
【０００８】
キャリブレーションの方法はいくつか提案されているが、一般にキャリブレーションを行う際には、画面上の数ポイントの位置を確実に認識させる必要がある。一例として、２以上の墨角部や中央部にキャリブレーション用マークが設けられた情報入力補助シートを使用するキャリブレーション方法がある（例えば、特許文献１参照）。
【０００９】
その発展形として、画面上の複数ポイントの位置を確実に認識させるために、画面上の押して欲しいところに確認ボタン（アイコン）を表示するキャリブレーション方法が提案されている（例えば、特許文献２参照）。
【００１０】
図３は、従来のキャリブレーション方法を説明するための図である。
キャリブレーション用のポイントとして最低三点を外部出力機器１０の画面の隅に表示し、ユーザに順番にタッチさせる。そして、タッチ位置と複眼カメラ１２（センサ）の位置関係を補正するための補正値を算出し、三角測量で算出した値に補正値を加えて算出することにより、検出位置の誤差を補正する。ポイントを増やすことでさらに高精度な誤差修正も可能となる。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００９−０４３２２８号公報
【特許文献２】特開２００４−０５４４１３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献２に記載された技術は、画面上の決まったポイント（特許文献２の図１２：入力ポイントＲ１，Ｓ１，Ｔ１，Ｕ１）をタッチさせるという点において、特許文献１に記載された通常のキャリブレーションと本質的に同じである。ユーザにキャリブレーション作業を行うことを忘れさせない程度のメリットはあるが、特定の場所を押さなければいけないという負担は大きいままである。
【００１３】
本発明は、上記の状況に鑑みてなされたものであり、このキャリブレーションというユーザにとって面倒な作業を、より自然な形でユーザに意識させることなく実行させることによって、ユーザの作業負担を軽減しようとするものである。
【課題を解決するための手段】
【００１４】
本発明は、画像処理装置が備える画像生成部により、設問と該設問に対して任意に選択可能な複数のアイコンからなる選択肢ボタンとを含む設問画像を生成する。次に、位置検出部により、画像表示制御部によって画像表示が制御される表示画面を撮影した撮像データから、当該表示画面上に存在する指示体の位置を検出する。そして、制御部により、位置検出部によって検出される指示体の位置に基づいて当該指示体により複数のアイコンのうちいずれのアイコンが選択されたかを特定する。選択されたと特定されたアイコンに対応する、位置情報記憶部に記憶されている画像生成部で生成された設問画像を表示画面に表示したときのアイコンの位置に基づいて、位置検出部で検出される指示体の位置のキャリブレーションを実行することを特徴とする。
【００１５】
上記構成の本発明によれば、設問と複数の選択肢ボタンを表示画面に表示し、ユーザに選択肢ボタンを選択させ、並行してその裏でキャリブレーションを実行する。それゆえ、より自然な形でかつユーザに意識させることなくキャリブレーションが実行される。
【発明の効果】
【００１６】
本発明によれば、ユーザにとって面倒なキャリブレーション作業を、より自然な形でユーザに意識させることなく実行させることができるようになり、ユーザの作業負担が軽減する。
【図面の簡単な説明】
【００１７】
【図１】従来の光学式タッチパネルの一例を示す図である。
【図２】Ａ〜Ｃは、複眼カメラ付き再生装置を用いた光学式タッチパネルの検知位置に誤差が生じる場合を説明するための図である。
【図３】従来のキャリブレーション方法を説明するための図である。
【図４】Ａ〜Ｅは、本発明の一実施の形態に係る複眼カメラ付き再生装置の外観図である。
【図５】本発明の一実施の形態に係る複眼カメラ付き再生装置を用いた光学式タッチパネルの正面図である。
【図６】本発明の一実施の形態で用いられる複眼カメラ付き再生装置の第１変形例の正面図である。
【図７】本発明の一実施の形態で用いられる複眼カメラ付き再生装置の第２変形例の正面図である。
【図８】本発明の一実施の形態で用いられる複眼カメラ付き再生装置の第３変形例の正面図である。
【図９】本発明の一実施の形態で用いられる複眼カメラ付き再生装置の第４変形例の正面図である。
【図１０】Ａ〜Ｄは、大型外部出力機器におけるタッチＵＩの一例を説明するための図である。
【図１１】Ａ〜Ｃは、大型外部出力機器におけるタッチＵＩの他の例を説明するための図（１）である。
【図１２】Ａ〜Ｃは、大型外部出力機器におけるタッチＵＩの他の例を説明するための図（２）である。
【図１３】Ａ〜Ｃは、大型外部出力機器におけるタッチＵＩの他の例を説明するための図（３）である。
【図１４】本発明の一実施の形態に係る複眼カメラ付き再生装置の内部構成例を示すブロック図である。
【図１５】図１４に示した複眼カメラ付き再生装置の動作の概要を示すフローチャートである。
【図１６】図１４に示した複眼カメラ付き再生装置と外部出力機器との接続処理を示すフローチャートである。
【図１７】図１４に示した複眼カメラ付き再生装置のキャリブレーションモードの処理を示すフローチャートである。
【図１８】図５の複眼カメラ付き再生装置を用いた光学式タッチパネルに、キャリブレーションモードのとき表示される設問例（左上、右上）を示した図である。
【図１９】図５の複眼カメラ付き再生装置を用いた光学式タッチパネルに、キャリブレーションモードのとき表示される設問例（左上、左下）を示した図である。
【図２０】図５の複眼カメラ付き再生装置を用いた光学式タッチパネルに、キャリブレーションモードのとき表示される設問例（左下、右下）を示した図である。
【図２１】図５の複眼カメラ付き再生装置を用いた光学式タッチパネルに、キャリブレーションモードのとき表示される設問例（右上、右下）を示した図である。
【図２２】図５の複眼カメラ付き再生装置を用いた光学式タッチパネルに、キャリブレーションモードのとき表示される設問例（右下）を示した図である。
【図２３】図５の複眼カメラ付き再生装置を用いた光学式タッチパネルに、キャリブレーションモードのとき表示される設問例（左下、右上）（１）を示した図である。
【図２４】図５の複眼カメラ付き再生装置を用いた光学式タッチパネルに、キャリブレーションモードのとき表示される設問例（左下、右上）（２）を示した図である。
【図２５】複眼カメラ付き再生装置を用いた光学式タッチパネルの断面図である。
【図２６】複眼カメラにより取得される画像の一例を示す図である。
【図２７】Ａ，Ｂは、物体の位置の認識について説明するための図である。
【図２８】複眼カメラを中心に設置した時の、当該複眼カメラによる光学式タッチパネルの左下隅と右下隅の認識を説明するための図である。
【図２９】複眼カメラを中心からずれて設置した時の、当該複眼カメラによる光学式タッチパネルの左下隅と右下隅の物体認識を説明するための図である。
【図３０】Ａは、複眼カメラ付き再生装置を用いた光学式タッチパネルを大画面の外部出力機器に適用した場合に、キャリブレーションモードのとき表示される選択肢ボタン（左上、右上）の例を示し、Ｂは、大きさ補正後の選択肢ボタン（左上、右上）の例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明を実施するための形態の例について、添付図面を参照しながら説明する。説明は下記項目の順に行う。
１．一実施の形態（設問と選択肢ボタンを表示した例）
２．その他（画面サイズに合わせて選択肢ボタンを拡大表示した例）
【００１９】
＜１．一実施の形態＞
［複眼カメラ付き再生装置の外観］
本発明の一実施の形態に係る光学式タッチパネルに用いられる画像処理装置について、複数のレンズを搭載したカメラを備える再生装置に適用した例を説明する。
図４Ａ〜Ｅは、本発明の一実施の形態に係る複眼カメラ付き再生装置の外観図である。図４Ａは正面図、図４Ｂ，Ｃはそれぞれ蓋ありと蓋なしの下面図、図４Ｄ，Ｅはそれぞれ蓋ありと蓋なしの側面図である。
【００２０】
複眼カメラ付き再生装置（以下、単に「再生装置」と称す）２０は、画像処理装置の一例であり、複眼のレンズ２１Ａ，２１Ｂとシャッターボタン２２を備える。再生装置２０は、ユーザがシャッターボタン２２を押すことで、片方のレンズからの光学像の入力を用いて２次元映像（静止画、動画）の撮影、記録を行うことができる。また、複眼レンズ２１Ａ，２１Ｂからの光学像の入力を用いて３次元映像（静止画、動画）の撮影、記録も行うことができる。なお、以下では、レンズにより取り込まれた光学像に対応する静止画および動画を総称して「映像」と称し、その映像のデータを「映像データ」と称する。
【００２１】
本実施の形態では、撮影された映像は、図４Ｂに示す底面の蓋２３を開けたところに存在する、図４Ｃに示すメモリカード２４に記録される。また図４Ｃに示すように、バッテリー２５を備え、外出先などでも使用が可能にしてある。また図４Ｄに示す側面の蓋２６を開けたところに存在する、図４Ｅに示す電源端子２７にＡＣ電源を接続して電力を供給し、バッテリー２５を挿入せずとも再生装置２０を動作させたり、バッテリー２５を充電したりすることも可能になる。また図４Ｅに示す外部出力端子２８にケーブルを繋ぎ、テレビジョン受像機などの外部出力機器と接続が可能になる。なお、再生装置２０のキー配置や入出力端子等の外観は一例であり、この例に限られない。
【００２２】
［再生装置が設置された光学式タッチパネルの外観］
図５は、再生装置２０を用いた光学式タッチパネルの正面図である。
図５に示すように再生装置２０のレンズ２１Ａ，２１Ｂを下向きにした状態で、再生装置２０を外部出力機器１０の枠体１１上部に設置する。これにより、図５に示すように２つのレンズ２１Ａ，２１Ｂを用いて取得される映像を用い、３点測量により手や指、ペンなどの指示体の位置を捉えることで、タッチＵＩを実現可能になる。上述したとおり、レンズ２１Ａ，２１Ｂ間の距離dとタッチ位置Ａへの角度α、βがわかれば、一般的にタッチ位置を算出することが可能である。
【００２３】
なお、外部出力機器１０は、表示機能を備えていればよく、テレビジョン受像機や液晶表示パネル等のディスプレイ装置を適用できる。
【００２４】
図６は、本発明の一実施の形態で用いられる複眼カメラ付き再生装置の第１変形例の正面図である。
再生装置２０を設置する際には、複眼カメラの両眼（レンズ２１Ａ，２１Ｂ）が外部出力機器１０の画面の４隅を検知できなくてはならない。もし外部出力機器１０が大画面で４隅が入らない場合は、広角のレンズを利用する。あるいは、図６に示すように、再生装置２０を外部出力機器１０の枠体１１上部から離れて設置可能にする治具(クレードルなど)２０Ｐを、枠体１１上部に取り付けるようにしてもよい。
【００２５】
図７は、本発明の一実施の形態で用いられる複眼カメラ付き再生装置の第２変形例の正面図である。
図６例の他、図７に示すように再生装置２０を真ん中から分割して再生装置２０−１，２０−２とし、再生装置２０−１，２０−２をケーブル２０Ｃで接続するようにしてもよい。
【００２６】
図８は、本発明の一実施の形態で用いられる複眼カメラ付き再生装置の第３変形例の正面図である。
また、図８に示すように、再生装置２０−１，２０−２が相互に無線で情報のやり取りを行う形式にして、設置することも可能である。
図９は、本発明の一実施の形態で用いられる複眼カメラ付き再生装置の第４変形例の正面図である。
さらに、２つのレンズの各々が完全に下向きではなく、図９に示すように外部出力機器１０の画面の４隅が捉えられるのであれば、枠体１１の角部付近に斜め方向に設置してもよい。
【００２７】
［大画面の外部出力機器を用いて実現されるタッチＵＩ］
次に、外部出力機器１０で実現されるタッチＵＩについて説明する。
図１０Ａ〜Ｄは、外部出力機器１０におけるタッチＵＩの一例を説明するための図である。なお、図１０Ａ〜Ｄの例では、再生装置２０が図５の形式で外部出力機器１０に設置され、画面の４隅が検知できるものとして説明を進める。
【００２８】
本実施の形態に係る再生装置２０を用いた光学式タッチパネルでは、図１０Ａに示す外部出力機器１０のモード切り替えボタン１０Ｂをユーザが押すことにより、記録モード等の他のモードから再生モードに切り替えることが可能である。
【００２９】
外部出力機器１０は、再生装置２０が撮影機能を有する場合にその撮影機能を利用して記録した映像データや、他の撮影装置などで撮影された映像データを再生することができる。モード切り替えボタン１０Ｂを押して再生モードに切り替えると、メモリカード２４に記録された映像データの一覧が画面に表示される。図１０Ａの例では、６枚のサムネイル画像が画面に表示されている。ここで再生を行いたい場合は、再生したい映像に対応するサムネイル画像に指４を触れることにより、所望の映像が選択される。ここでは、サムネイル画像３０Ｓが選択され、それに対応する選択画像３０が、図１０Ｂに示すように画面全体に表示・再生される。ここで光学式タッチパネルにて図１０Ｃのように指４を例えば左へスライドさせると、指４の動きに伴い選択画像３０が左へ移動し、図１０Ｄのように次に記録した画像３１に表示を切り替えることができる。
【００３０】
スマートフォンと呼ばれるような携帯電話端末、デジタルスチルカメラ、デジタルビデオカメラなどで、直感的な操作が可能なタッチ操作が主流になりつつある。そんな中、テレビジョン受像機やパーソナルコンピュータと接続したディスプレイ装置などの外部出力機器にもその動きが広がっており、最近になって市販されたＯＳ（Operating System）ではタッチＵＩ機能が標準搭載されるようになった。それによりテレビジョン受像機やパーソナルコンピュータと接続したディスプレイ装置などの外部出力機器では、大画面ならではの直感的操作が可能になっている。
【００３１】
図１１Ａ〜Ｃは、外部出力機器１０におけるタッチＵＩの他の例を説明するための図（１）である。
ここでは、大画面を有する外部出力機器１０に再生装置２０が接続される、もしくは外部出力機器１０に搭載されているメモリカードリーダーに、映像データが記録されたメモリカードが挿入された場合を想定する。図１１Ａに示すように、外部出力機器１０では、記録された映像データのサムネイル画像がカテゴリに分けられて机の上にばら撒かれたような表示がされる。図１１Ａの例では、運動会カテゴリ、旅行カテゴリ、同窓会カテゴリに属するサムネイル画像群３２−１〜３２−３が表示されている。
【００３２】
例えば画面上の旅行カテゴリの山に対応する部分に指４をタッチして選択すると、図１１Ｂに示すように、旅行関連の写真が、旅行の時期や場所等によって分類されて表示される。この例では旅行Ａ、旅行Ｂ、旅行Ｃの３つのカテゴリのサムネイル画像群３３−１〜３３−３が表示されている。ここで旅行Ｂについてのサムネイル画像群３３−２に対応する部分に指４をタッチして選択すると、図１１Ｃのように選択された旅行Ｂについてのサムネイル画像群３３−２のみが画面に残る。
【００３３】
図１２Ａ〜Ｃは、外部出力機器１０におけるタッチＵＩの他の例を説明するための図（２）である。
ここでは、図１２Ａに示すように、旅行Ｂのサムネイル画像群３３−２の中で詳細に見たい部分について、まるで机上で写真の束からある程度の塊となった束を移動させるかのような操作が可能である。すなわち、画面上で旅行Ｂのサムネイル画像群３３−２に対応する部分から他の部分へ指４をスライドさせると、図１２Ａのように、指４をスライドした方向にサムネイル画像がいくつかの束となったサムネイル画像群３４−１〜３４−３を移動させることができる。
【００３４】
そして、移動させたサムネイル画像群３４−１〜３４−３の中で興味があるサムネイル画像群の部分に、指を触れる。例えば、サムネイル画像群３４−１の部分に指を触れると、図１２Ｂに示すように、選択されたサムネイル画像群３４−１以外のサムネイル画像群は画面から消去される。その後、図１２Ｃのように、選択したサムネイル画像群３４−１に含まれるサムネイル画像３５−１〜３５−６が画面全体に広がって表示される。
【００３５】
図１３Ａ〜Ｃは、外部出力機器１０におけるタッチＵＩの他の例を説明するための図（３）である。
図１２Ｃに示すサムネイル画像３５−１〜３５−６の中から見たいサムネイル画像を選択すると、図１３Ａに示すように、選択したサムネイル画像を拡大した選択画像３６がフル画面表示される。そして、図１３Ｂに示すように、画面上で指４などを例えば左へスライドさせると、指４の動きに伴い選択画像３６が左へ移動し、図１３Ｃに示すように次の画像３７に切り替わる。
【００３６】
このような多数の画像から直感的に選ぶことのできるＵＩは、モバイル機器のような小さな画面では実現が困難であり、大画面ならではのＵＩとなっている。つまり、このＵＩを実現するにはタッチパネルを実装した大画面のテレビジョン受像機やパーソナルコンピュータと接続したディスプレイ装置などの外部出力機器が必要である。しかし、本発明に係る複眼カメラ付き再生装置を接続することで、タッチパネルが搭載されていない既存の通常の外部出力機器でもタッチＵＩが実現可能となる。
【００３７】
［複眼カメラ付き再生装置の内部構成］
図１４は、本発明の一実施の形態に係る複眼カメラ付き再生装置２０の内部構成例を示すブロック図である。
再生装置２０は、主に「再生機能」、「位置検出機能」、「指示入力機能」の３つの機能を有し、それぞれの機能は更に以下の各種機能から構成される。
再生機能として、記録メディア制御部１０１、記録データデコード部１０２、画像データ格納部１０３、サムネイルデータ格納部１０４、出力画像作成部１０５、外部出力部１０６、設問表示生成部１１７および制御信号生成部１１６の機能を備えている。
また位置検出機能として、撮像部１０７（右）、撮像部１０８（左）、撮像データ信号処理部１０９（右）、撮像データ信号処理部１１０（左）、位置検出部１１１、調整値記憶部１１８および制御信号生成部１１６の機能を備えている。
そして指示入力機能として、入力部１１２、加速度センサ１１３、角度センサ１１４、外部出力デバイス検出部１１５および制御信号生成部１１６の機能を備えている。
【００３８】
まず再生機能が備える各種機能を説明する。
記録メディア制御部１０１は、再生装置２０が一形態として備える撮影機能もしくはその他の撮影装置を使って撮影記録を行った映像データが記録された記録メディア１００の制御を行い、映像データの読み出しを行うものである。記録メディア制御部１０１によって記録メディア１００から読み出された映像データは、記録データデコード部１０２に転送される。
なお、記録メディア１００としては、半導体メモリ、ＣＤ／ＤＶＤ／Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）などのディスク媒体、ハードディスクなどを利用できる。また、図１４の例では、記録メディア１００は外部媒体として書かれているが、再生装置２０に内蔵されていてもよい。また映像データは、再生装置２０と無線により通信可能に接続されていたネットワーク上に存在するサーバなどに記録されていてもよい。
【００３９】
記録データデコード部１０２は、記録メディア１００から読み出された映像データを記録メディア制御部１０１から受け取り、映像データのデコードを行うものである。複数の静止画データを必要とする場合や、動画データを扱う場合は、半導体メモリなどで構成される記録データデコード部１０２内に存在する一時格納部に複数の静止画データ、動画データの複数フレーム分を格納した後にデコードを行う場合もある。そして映像データは、記録データデコード部１０２から画像データ格納部１０３へ転送され、サムネイルデータはサムネイルデータ格納部１０４へ転送される。
【００４０】
画像データ格納部１０３は、半導体メモリなどで構成され、１枚以上の静止画データや１フレーム以上の動画データを一時記録することができるものである。ここに格納された映像データは、出力画像作成部１０５へ転送される。
【００４１】
サムネイルデータ格納部１０４は、半導体メモリなどで構成され、１枚以上のサムネイル画像のデータを一時記録することができるものである。ここに格納されたサムネイル画像のデータは出力画像作成部１０５へ転送される。
【００４２】
出力画像作成部１０５は、画像生成部の一例である。この出力画像作成部１０５は、画像データ格納部１０３から転送された映像データ、サムネイルデータ格納部１０４から転送されたサムネイルデータ、設問表示生成部１１７より転送された設問データおよび選択肢ボタンデータ、位置検出部１１１から制御信号生成部１１６を通じて送信されるタッチ位置情報により、出力画像の作成を行う。
【００４３】
例えば映像データに対応する画像のフル画面表示を行う場合や、映像データに対応する画像の複数表示を行う場合には、画像データ格納部１０３から転送された映像データを使用して出力画像を作成する。また、サムネイル一覧画面を作成したい場合は、サムネイルデータ格納部１０４から転送されたサムネイルデータを使用して出力画像を作成する。また、設問表示を行いたい場合は、設問表示生成部１１７から送出される設問データおよび選択肢ボタンデータを組み合わせて出力画像を作成する。また、複数パターンの組み合わせ画像を出力したい場合は、画像データ格納部１０３、サムネイルデータ格納部１０４、設問表示生成部１１７からデータを取得し、これらを組み合わせて出力画像を作成する。
【００４４】
さらに、出力画像作成部１０５は、指示体に関するタッチ位置情報により、外部出力機器１０の画面に表示された各映像データに対応する画像の表示位置や表示内容等を変化させたりもする。そして、出力画像作成部１０５は、作成した出力画像のデータを外部出力部１０６へ転送する。なお、出力画像作成部１０５は、表示画面（本例では外部出力機器１０）への画像表示を制御する画像表示制御部を構成する要素の一つでもある。
【００４５】
設問表示生成部１１７は、出力画像作成部１０５とともに画像生成部を構成している。この設問表示生成部１１７は、制御信号生成部１１６からの設問表示命令により、表示するべき設問とアイコンで表示される選択肢ボタンの位置を決定し、出力画像作成部１０５に設問データと選択肢ボタンデータを転送する。
【００４６】
外部出力部１０６は、出力画像作成部１０５にて作成した出力画像データを外部（本例では、外部出力機器１０）へ出力するものであり、出力画像作成部１０５とともに画像表示制御部を構成する。この外部出力部１０６は、外部出力機器１０に対してＨＤＭＩ（High-Definition Multimedia Interface）などにより接続して、出力画像作成部１０５にて作成した出力画像データを表示させる機能を備える。接続方法としてはＨＤＭＩなどのようにケーブルによる接続だけでなく、ＵＷＢ（Ultra Wide Band）などの無線通信を利用して接続してもよい。
【００４７】
次に、位置検出機能が備える各種機能を説明する。
撮像部１０７は、再生装置２０が左右に備える撮像装置の右側である。この撮像部１０７は内蔵するＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの撮像素子の上に被写体の光学像を結像させ、撮像素子上に蓄積された電気信号を撮像データ信号処理部１０９へ転送するものである。
【００４８】
撮像部１０８は、再生装置２０が左右に備える撮像装置の左側であり、その機能は撮像部１０７と同様である。
【００４９】
撮像データ信号処理部１０９は、撮像部１０７より受信した撮像データに対して解像度変換や補正処理などを行い、各種処理を施した撮像データを位置検出部１１１へ転送するものである。
【００５０】
撮像データ信号処理部１１０は、撮像データ信号処理部１０９と同様に、撮像部１０８より受信した撮像データに対して各種処理を施して位置検出部１１１へ転送するものである。
【００５１】
調整値記憶部１１８は、位置情報記憶部の一例であり、半導体メモリなどで構成され、キャリブレーション時には位置検出部１１１より受信した補正データ（補正値）の記録を行うものである。またタッチ位置検出時には記録された補正データを位置検出部１１１へ転送する。調整値記憶部１１８は、半導体メモリなどで構成される。
【００５２】
位置検出部１１１は、撮像データ信号処理部１０９および撮像データ信号処理部１１０より受信した画像情報、調整値記憶部１１８より受信した補正データより、画面上の指示体の位置（タッチ位置）の算出を行うものである。算出された位置情報は制御信号生成部１１６へ転送される。
【００５３】
次に、指示入力機能が備える各種機能を説明する。
入力部１１２は、ユーザの指示入力に応じて再生装置２０に搭載されている、各種入力デバイスからの入力信号を受信してデコードし、入力信号に含まれる命令を制御信号生成部１１６へ転送するものである。なお、入力デバイスの例として、プッシュスイッチやタッチパネル、リモートコントローラ（赤外線／無線ＬＡＮなど）などが挙げられる。
【００５４】
加速度センサ１１３は、再生装置２０の加速度を測定し、測定された加速度を制御信号生成部１１６へ転送するものである。
【００５５】
角度センサ１１４は、加速度センサ、重力センサなどで構成され、再生装置２０の向きの角度状態を測定し、測定した角度の情報を制御信号生成部１１６へ転送するものである。
【００５６】
外部出力デバイス検出部１１５は、再生装置２０が外部出力機器１０と接続されたことを検知し、制御信号生成部１１６へ通知するものである。なお、ＨＤＭＩ−ＣＥＣ（HDMI-Consumer Electronics Control）などの技術を利用して外部出力機器１０の機器情報を受信できる場合は、受け取った機器情報をも制御信号生成部１１６へ転送する。
【００５７】
最後に、制御信号生成部１１６は、制御部の一例であり、再生機能、位置検出機能、指示入力機能などの制御を司るものである。すなわち、入力部１１２、加速度センサ１１３、角度センサ１１４、外部出力デバイス検出部１１５、位置検出部１１１から受信した情報を元に制御信号を生成し、各部に対して制御信号を発行する。この制御信号生成部１１６は、例えばＣＰＵ（Central Processing Unit）などから構成することができ、半導体メモリなどからなる不揮発性メモリ１１９に記録された制御用のコンピュータプログラムをワークメモリ（図示略）に読み出して実行することにより、各部の機能を実現している。なお、メモリカード２４（図４参照）にコンピュータプログラムが記憶されていて、制御信号生成部１１６がメモリカード２４からコンピュータプログラムを読み出して実行するようにしてもよい。
【００５８】
［複眼カメラ付き再生装置の動作］
図１５は、図１４に示した複眼カメラ付き再生装置２０の動作の概要を示すフローチャートである。
まずステップＳ１において、制御信号生成部１１６は、入力デバイスからユーザの起動指示に応じた入力信号を受信し、再生装置２０の電源を起動してステップＳ２に移行する。
【００５９】
ステップＳ２において、制御信号生成部１１６は、再生装置２０が外部出力機器１０と通信可能に接続されている旨の通知を外部出力デバイス検出部１１５から受信し、ステップＳ３に移行する。この処理の詳細については後述する。
【００６０】
ステップＳ３において、制御信号生成部１１６は、モードの選択や設定についての選択肢ボタン（アイコン）を含む画像を外部出力機器１０の画面に表示させ、ユーザに選択や設定を促す。そして、位置検出部１１１により検出される画面上の指示体の位置に基づいて、該指示体により複数のアイコンのうちいずれのアイコンが選択されたかを特定する。次に、選択されたと特定されたアイコンに対応する、調整値記憶部１１８に記憶されたアイコンの位置に基づいて、位置検出部１１１で検出される指示体の位置のキャリブレーションを実行する。制御信号生成部１１６は、ユーザが画面に表示された選択肢を含む画像を見ながら所望の選択肢ボタンの選択や設定を行うのと並行して、その裏で光学式タッチパネルのキャリブレーションを実行し、ステップＳ４に移行する。この処理の詳細については後述する。
【００６１】
ステップＳ４において、制御信号生成部１１６は、キャリブレーションが成功したか否かの判定を行う。キャリブレーションが成功ならばステップＳ６へ、失敗であればステップＳ５へ移行する。
【００６２】
ステップＳ５において、制御信号生成部１１６は、再びキャリブレーションを行うか否かの判定を行う。
判定の基準は、例えばユーザが選択肢ボタンを操作して再キャリブレーションを選択したことを検出したことでもよい。または、外部出力機器１０に対して再キャリブレーションの実行の可否をユーザに選択させるための左右選択画面を出力し、撮像部１０７，１０８で撮影して左右のいずれに指等の指示体があるかを認識して選択方向を捉えてもよい。あるいは、初期設定として、３回まではキャリブレーションを失敗しても繰り返し、４回目は終了などと決めておいても構わない。この判定処理で、再びキャリブレーションを行うことを選択したならばステップＳ３へ移行する。再びキャリブレーションを行わないのであればステップＳ９へ移行し、処理を終了する。
【００６３】
ステップＳ６において、制御信号生成部１１６は、ユーザによってタッチＵＩ再生モードが選択されたか否かの判定を行う。もしもタッチＵＩ再生モードが選択されればステップＳ７へ、選択されていなければステップＳ８へ移行する。
【００６４】
ステップＳ７において、制御信号生成部１１６は、タッチＵＩ再生モードを動作させる。タッチＵＩ再生モードが終了するとステップＳ９へ移行する。この処理の詳細については後述する。
【００６５】
ステップＳ８において、制御信号生成部１１６は、通常再生モードを動作させる。通常再生モードが終了するとステップＳ９へ移行する。この処理の詳細については後述する。
【００６６】
ステップＳ９において、制御信号生成部１１６は、電源がオフにされたり、モードを切り替えられたり、再生装置２０が外部出力機器１０と切断されるなどを検出すると、動作を終了する。
【００６７】
［再生装置と外部出力機器との接続処理］
次に、図１６のフローチャートを参照して、図１５のステップＳ２における再生装置２０と外部出力機器１０との接続処理について説明する。
まずステップＳ１１において、再生装置２０の電源がオンのとき当該動作が開始する。
【００６８】
ステップＳ１２において、再生装置２０にＨＤＭＩケーブルなどを用いて外部出力機器１０に物理的に接続する。すると外部出力デバイス検出部１１５は、外部出力機器１０との接続を検知して、制御信号生成部１１６に外部出力機器接続信号を転送する。制御信号生成部１１６は、外部出力デバイス検出部１１５から転送された外部出力機器接続信号を受信すると、ステップＳ１３に移行する。外部出力機器１０が接続されなければ外部出力機器１０が接続されるまで待つ。
【００６９】
ステップＳ１３においては、前提として外部出力機器１０の枠体１１の上部に再生装置２０を下向きに設置されることを想定する。設置の際には、外部出力機器１０側に再生装置２０との接続用の接続部（コネクタ等）が存在する場合や、再生装置２０側に外部出力機器１０に挟み込むためのクリップなどがついていて、それらを利用して設置する。外部出力機器１０側に再生装置２０との接続用の接続部がある場合は、ケーブルではなく、それを通じて外部出力機器１０側と接続を行う場合もある。
【００７０】
ここで制御信号生成部１１６は、角度センサ１１４からの角度情報により、再生装置２０が下向きになっているか否かを確認する。もしも再生装置２０が下向きであると判断されれば、角度センサ１１４から制御信号生成部１１６に対して下向き信号を転送し、ステップＳ１４に移行する。下向きでなければステップＳ１２に移行する。
【００７１】
ステップＳ１４において、制御信号生成部１１６は、加速度センサ１１３からの加速度情報により、再生装置２０が静止状態かどうかを確認する。もしも再生装置２０が静止状態と判断されれば、加速度センサ１１３から制御信号生成部１１６に対して静止状態信号を転送し、ステップＳ１５に移行する。静止状態でなければステップＳ１２に移行する。
【００７２】
そして、ステップＳ１５において、制御信号生成部１１６は、本フローチャートによる動作を終了する。
【００７３】
なお、本実施の形態では、再生装置２０が外部出力機器１０に接続されたことや、再生装置２０が外部出力機器１０上部に設置されたこと等を認識した上で、図１５のステップＳ２が終了し、ステップＳ３に移行する例を説明した。しかし、外部出力機器１０に接続後に再生装置２０が自装置の状態を認識するのではなく、ユーザから再生装置２０上のボタンなどを押された場合に、ステップＳ３に移行しても構わない。
【００７４】
また、再生装置２０の設置の形態は、図５〜図９にて述べたような形態が考えられるが、ここでは、図５の形態にて設置されたものとして説明を行う。
【００７５】
再生装置２０の設置が終了すると、前述のように光学式タッチパネルのキャリブレーションを取る必要がある。再生装置２０は、このキャリブレーションをユーザにメニューなどを選択させている間に、ユーザにキャリブレーションを意識させずにキャリブレーション行わせるという特徴がある。
【００７６】
［キャリブレーションモード］
次に、図１７のフローチャートを参照して、図１５のステップＳ３におけるモード選択・設定（キャリブレーション）について説明する。
【００７７】
まずステップＳ２１において、再生装置２０と外部出力機器１０の接続、外部出力機器１０上への再生装置２０の設置が行われると、制御信号生成部１１６より、再生装置設置完了信号が各部へ転送され、ステップＳ２２へ移行する。
【００７８】
ステップＳ２２において、制御信号生成部１１６より再生装置設置完了信号を設問表示生成部１１７が受信すると、設問表示生成部１１７が設問を例えばＯＳＤ（On Screen Display）として生成し、その設問データを出力画像作成部１０５に転送する。
出力画像作成部１０５は、設問表示生成部１１７から受信した設問、左上ボタン、右上ボタンなどのＯＳＤデータを適切に配置して画面出力を構成する。
【００７９】
ここで「設問、左上ボタン、右上ボタン」のＯＳＤデータに対応する画像とは、例えば図１８に示すような構成である。ここでの設問は「タッチＵＩモードならば左、通常モードならば右のボタンにタッチしてください。」という内容であるが、この例に限られない。この出力画像は、出力画像作成部１０５から外部出力部１０６へ転送され、外部出力部１０６により外部出力機器１０に転送される。そして、外部出力機器１０の画面に設問と選択肢ボタンが表示される。制御信号生成部１１６は、設問表示の処理が完了するとステップＳ２３へ移行する。
【００８０】
ステップＳ２３において、右用の撮像部１０７、左用の撮像部１０８が撮像データを取得し、それぞれ撮像データ信号処理部１０９、撮像データ信号処理部１１０へ転送する。撮像データ信号処理部１０９，１１０はそれぞれ、撮像部１０７，１０８から取得した撮像データに対して、ノイズ除去や解像度変換などの処理を行う。
【００８１】
ここで、撮像データ信号処理部１０９，１１０が実行する処理の一つであるマスク処理を説明する。
【００８２】
図２５は、枠体１１上部に再生装置２０が設置された外部出力機器１０（図５参照）のＡ−Ａ線断面図である。また図２６は、再生装置２０の撮像部１０７，１０８で取得される画像の一例である。
撮像部１０７，１０８で取得される画像のうち、外部出力機器１０と逆方向の部分の領域Ｍについてマスク処理をする（図２６の暗部）。図２６に示す領域ＮＭは、有効領域であって、枠体１１に対応する画像１３１と外部出力機器１０の画面に対応する画像１３２から構成される。
【００８３】
外部出力機器１０の画面上をタッチする指やペン等の指示体を撮像部１０７，１０８からの撮像データより検出するが、外部出力機器１０から離れた方向にある画像はノイズにしかならないので必要ない。そのため、予めマスク処理を行うことで、より正確に位置検出ができるようになる。撮像データ信号処理部１０９，１１０で得られた撮像データを位置検出部１１１へ転送する。
【００８４】
ユーザが、図１８に示した画面上の左上ボタンか右上ボタンを指やペンなどの指示体でタッチすると、撮像部１０７および撮像部１０８がその指示体を撮像し、上記説明どおりに位置検出部１１１に撮像データが転送される。
【００８５】
そして、指示体によりタッチされた選択肢ボタンの場所が左か右かを位置検出部１１１にて検出する。位置検出部１１１は撮像部１０７、撮像部１０８が捕えた撮像データの中心に対して、どちら側に指示体が検出されたかで確認する。画像診断による物体検出方法は様々な方法が知られている。
例えば、指示体の色を元に検出したり、これまで動いていたものが停止することで検出したり、数フレーム前の画像を検出し、数フレーム前には認識できなかったものが認識できるようになったものについて検出したり等の方法がある。さらに、図１を参照して説明したように、赤外線などを照射し、外部出力機器１０の枠体１１に反射板を貼りつけておき、その反射が来なかった部分を認識するなど、どのような方法を用いてもよい。
【００８６】
撮像部１０７、撮像部１０８の撮像データがそれぞれ、図２７Ａのように物体１３３が画面に対応する画像１３２の中心から左側にあれば、位置検出部１１１は物体１３３左側に存在することを認識できる。また、図２７Ｂように物体１３３が画面に対応する画像１３２の中心から右側にあれば、位置検出部１１１は物体１３３が右側に存在することを認識できる。
【００８７】
ステップＳ２３において、位置検出部１１１で左側の選択肢ボタンが選択されたと判断できればステップＳ２５へ、そうでなければステップＳ２４へ移行する。
【００８８】
ステップＳ２４において、位置検出部１１１が、右側の選択肢ボタンが選択されていることを確認できればステップＳ４０へ、確認できなければステップＳ５１へ移行する。
【００８９】
ステップＳ２５において、位置検出部１１１はステップＳ２３により検出した選択肢ボタンの場所を左上の場所として記憶するように、左上位置記憶命令を調整値記憶部１１８に発行し、位置の記憶を行う。過去に書き込まれた左上位置データは最新のものに置き換わる。位置の記憶が完了するとステップＳ２６へ移行する。
【００９０】
ステップＳ２６において、図１４の各部がステップＳ２２と同様の動作を行い、設問と右上ボタン、右下ボタンを、例えば図２１のような形式で外部出力機器１０に表示を行う。ここでの設問は「タッチＵＩモードＡを表示ならば赤ボタンに、タッチＵＩモードＢならば青ボタンにタッチしてください。」という内容であるが、この例に限られない。制御信号生成部１１６は、表示が完了するとステップＳ２７へ移行する。
【００９１】
ステップＳ２７において、図１４の各部がステップＳ２３と同様の動作を行い、位置検出部１１１が、上側の選択肢ボタンが選択されていることを確認するとステップＳ２９へ、そうでない場合はステップＳ２８へ移行する。
【００９２】
ステップＳ２８において、位置検出部１１１が、下側の選択肢ボタンが選択されていることを確認するとステップＳ３５へ、そうでなければステップＳ５１へ移行する。
【００９３】
ステップＳ２９において、位置検出部１１１はステップＳ２７により検出した場所を右上の場所として記憶するように、右上位置記憶命令を調整値記憶部１１８に発行し、位置の記憶を行う。過去に書き込まれた右上位置データは最新のものに置き換わる。位置の記憶が完了するとステップＳ３０へ移行する。
【００９４】
ステップＳ３０において、図１４の各部がステップＳ２２と同様の動作を行い、設問と左下ボタン、右下ボタンを、例えば図２０のような形式で外部出力機器１０に表示を行う。ここでの設問は「タッチＵＩモードに切り替えますか？」という内容であるが、この例に限られない。
ここで、タッチパネルにおいてのキャリブレーションは最低３点の場所がわかればよいので、左下ボタン、右下ボタンの選択式ではなく、例えば図２２に示すような同意式の１箇所のボタンを左下か右下に表示し、ユーザに押させる形でも構わない。制御信号生成部１１６は、表示が完了するとステップＳ３１へ移行する。
【００９５】
ステップＳ３１において、図１４の各部がステップＳ２３と同様の動作を行い、位置検出部１１１が、右側の選択肢ボタンが選択されていることを確認するとステップＳ３３へ、そうでなければステップＳ３２へ移行する。
【００９６】
ステップＳ３２において、位置検出部１１１が、左側の選択肢ボタンが選択されていることを確認するとステップＳ３４へ、そうでなければステップＳ５１へ移行する。
【００９７】
ステップＳ３３において、位置検出部１１１はステップＳ３１により検出した選択肢ボタンの場所を右下の場所として記憶するように、右下位置記憶命令を調整値記憶部１１８に発行し、位置の記憶を行う。過去に書き込まれた右下位置データは最新のものに置き換わる。制御信号生成部１１６は、位置の記憶が完了するとステップＳ５２へ移行する。
【００９８】
ステップＳ３４において、位置検出部１１１はステップＳ３２により検出した選択肢ボタンの場所を左下の場所として記憶するように、左下位置記憶命令を調整値記憶部１１８に発行し、位置の記憶を行う。過去に書き込まれた左下位置データは最新のものに置き換わる。制御信号生成部１１６は、位置の記憶が完了するとステップＳ５２へ移行する。
【００９９】
ステップＳ３５において、位置検出部１１１はステップＳ２８により検出した選択肢ボタンの場所を右下の場所として記憶するように、右下位置記憶命令を調整値記憶部１１８に発行し、位置の記憶を行う。過去に書き込まれた右下位置データは最新のものに置き換わる。制御信号生成部１１６は、位置の記憶が完了するとステップＳ３６へ移行する。
【０１００】
ステップＳ３６において、図１４の各部がステップＳ２２と同様の動作を行い、設問と左下ボタン、右上ボタンを例えば図２３のような形式で外部出力機器１０に表示を行う。ここでタッチパネルにおいてのキャリブレーションは最低３点の場所がわかればよいので、左下ボタン、右上ボタンの選択式ではなく、図２２に示すような同意式の１箇所のボタンを左下か右上に表示し、ユーザに押させる形でも構わない。制御信号生成部１１６は、表示が完了するとステップＳ３７へ移行する。
【０１０１】
ステップＳ３７において、図１の各部がステップＳ２３と同様の動作を行い、位置検出部１１１が、左下側の選択肢ボタンが選択されていることを確認するとステップＳ３４へ、そうでなければステップＳ３８へ移行する。
【０１０２】
ステップＳ３８において、位置検出部１１１が、右下側の選択肢ボタンが選択されていることを確認するとステップＳ３９へ、そうでなければステップＳ５１へ移行する。
【０１０３】
ステップＳ３９において、位置検出部１１１はステップＳ３８により検出した選択肢ボタンの場所を右上の場所として記憶するように、右上位置記憶命令を調整値記憶部１１８に発行し、位置の記憶を行う。過去に書き込まれた右上位置データは最新のものに置き換わる。制御信号生成部１１６は、位置の記憶が完了するとステップＳ５２へ移行する。
【０１０４】
ステップＳ４０において、位置検出部１１１はステップＳ２４により検出した選択肢ボタンの場所を右上の場所として記憶するように、右上位置記憶命令を調整値記憶部１１８に発行し、位置の記憶を行う。過去に書き込まれた右上位置データは最新のものに置き換わる。制御信号生成部１１６は、位置の記憶が完了するとステップＳ４１へ移行する。
【０１０５】
ステップＳ４１において、図１４の各部がステップＳ２２と同様の動作を行い、設問と左上ボタン、左下ボタンを例えば図１９のような形式で外部出力機器１０に表示を行う。制御信号生成部１１６は、表示が完了するとステップＳ４２へ移行する。
【０１０６】
ステップＳ４２において、図１４の各部がステップＳ２３と同様の動作を行い、位置検出部１１１が、上側の選択肢ボタンが選択されていることを確認するとステップＳ４４へ、そうでない場合はステップＳ４３へ移行する。
【０１０７】
ステップＳ４３において、位置検出部１１１が、下側の選択肢ボタンが選択されていることを確認するとステップＳ４５へ、そうでなければステップＳ５１へ移行する。
【０１０８】
ステップＳ４４において、位置検出部１１１はステップＳ４２により検出した選択肢ボタンの場所を左上の場所として記憶するように、左上位置記憶命令を調整値記憶部１１８に発行し、位置の記憶を行う。過去に書き込まれた左上位置データは最新のものに置き換わる。制御信号生成部１１６は、位置の記憶が完了するとステップＳ３０へ移行する。
【０１０９】
ステップＳ４５において、位置検出部１１１はステップＳ４３により検出した選択肢ボタンの場所を左下の場所として記憶するように、左下位置記憶命令を調整値記憶部１１８に発行し、位置の記憶を行う。過去に書き込まれた左下位置データは最新のものに置き換わる。制御信号生成部１１６は、位置の記憶が完了するとステップＳ４６へ移行する。
【０１１０】
ステップＳ４６において、図１４の各部がステップＳ２２と同様の動作を行い、設問と右下ボタン、左上ボタンを例えば図２４のような形式で外部出力機器１０に表示を行う。ここでタッチパネルにおいてのキャリブレーションは最低３点の場所がわかればよいので、右下ボタン、左上ボタンの選択式ではなく、図２２に示すような同意式の１箇所のボタンを右下か左上に表示し、ユーザに押させる形でも構わない。制御信号生成部１１６は、表示が完了するとステップＳ４７へ移行する。
【０１１１】
ステップＳ４７において、図１４の各部がステップＳ４３と同様の動作を行い、位置検出部１１１が、右下側の選択肢ボタンが選択されていることを確認するとステップＳ４９へ、そうでなければステップＳ４８へ移行する。
【０１１２】
ステップＳ４８において、位置検出部１１１が、左上側の選択ボタンが選択されていることを確認するとステップＳ５０へ、そうでなければステップＳ５１へ移行する。
【０１１３】
ステップＳ４９において、位置検出部１１１はステップＳ４７により検出した選択肢ボタンの場所を右下の場所として記憶するように、右下位置記憶命令を調整値記憶部１１８に発行し、位置の記憶を行う。過去に書き込まれた右下位置データは最新のものに置き換わる。制御信号生成部１１６は、位置の記憶が完了するとステップＳ５２へ移行する。
【０１１４】
ステップＳ５０において、位置検出部１１１はステップＳ４８により検出した選択肢ボタンの場所を左上の場所として記憶するように、左上位置記憶命令を調整値記憶部１１８に発行し、位置の記憶を行う。過去に書き込まれた左上位置データは最新のものに置き換わる。制御信号生成部１１６は、位置の記憶が完了するとステップＳ５２へ移行する。
【０１１５】
ステップＳ５１において、各ステップでの判断処理の結果、位置検出部１１１は正しい場所を算出できないため、制御信号生成部１１６に対してエラー信号を送信する。次に、制御信号生成部１１６は、設問表示生成部１１７に対してエラー表示命令を送信する。設問表示生成部１１７は、エラー表示命令を受信するとエラーメッセージを生成し、出力画像作成部１０５に送信し、エラーメッセージを画像として組み合わせる。そして、出力画像作成部１０５は、外部出力部１０６を通じて作成した画像を外部出力機器に転送し、画面にエラーメッセージを表示する。制御信号生成部１１６は、エラーメッセージの表示が完了するとステップＳ５２へ移行する。
【０１１６】
ステップＳ５２において、制御信号生成部１１６は、キャリブレーション処理を終了する。
【０１１７】
［タッチＵＩ再生モード］
次に、図１５のステップＳ７におけるタッチＵＩ再生モードについて説明する。
この段階では、キャリブレーションを実行したことにより、指や手、ペンなどの指示体の位置を検出可能になっている。そのため、例えば［大画面の外部出力機器を用いて実現されるタッチＵＩ］のような操作が、タッチパネルなしの通常のディスプレイ装置等の外部出力機器でも、再生装置２０を外部出力機器上部に設置するだけで、実現可能になる。
【０１１８】
タッチＵＩによる操作の概要について、図１４を参照して説明する。図１７のキャリブレーションモード処理を経てキャリブレーションが完了し、タッチＵＩ再生モードが選択された場合に、制御信号生成部１１６よりタッチＵＩ再生モードスタート信号が発行される。
それにより各部がタッチＵＩ再生モードに切り替わり、記録メディア制御部１０１は記録メディア１００より映像データの読み出しを開始する。その際にメタデータ等に基づいてカテゴリ順に映像データを読み出す。例えば図１１Ａのように、運動会カテゴリ、同窓会カテゴリ、旅行カテゴリなどに分けての読み出しが可能である。
【０１１９】
読み出された映像データは記録データデコード部１０２へ転送され、サムネイルデータのデコードを行い、サムネイルデータ格納部１０４へ転送される。転送されたサムネイルデータは出力画像作成部１０５に転送され、図１１Ａのようなカテゴリごとに分類された画像を生成し、外部出力部１０６を通じて外部出力機器１０へ出力する。
【０１２０】
ここで例えば旅行のサムネイル画像群を手でタッチする。すると撮像部１０７、撮像部１０８が撮像データ信号処理部１０９、１１０を通じて位置検出部１１１へ撮像されたデータを転送する。位置検出部１１１は検出した位置に対して、キャリブレーション時に記憶したキャリブレーション情報を調整値記憶部１１８より読み出し、キャリブレーション前より正確な位置の検出を可能にする。位置の補正方法もいくつか知られているが、以下に簡単な説明を行う。
【０１２１】
［位置補正方法］
図２８Ａ，Ｂは、複眼カメラを外部出力機器１０上部の中心に設置した時の、当該複眼カメラによる光学式タッチパネルの左下隅と右下隅の認識を説明するための図である。また図２９Ａ，Ｂは、複眼カメラを外部出力機器１０上部の中心からずれて設置した時の、当該複眼カメラによる光学式タッチパネルの左下隅と右下隅の物体認識を説明するための図である。
【０１２２】
例えば、画面上の左下のポイント１３４Ｌ、右下ポイント１３４Ｒは、左用の撮像部１０８で撮像した画像１３２Ｌ、右用の撮像部１０７で撮像した画像１３２Ｒにおいて、図２８Ａ，Ｂに示すような正しい位置に認識される。
【０１２３】
ここで、例えば図２９Ａ，Ｂのように外部出力機器１０上部に対して再生装置２０がやや左寄に設置されてしまったとする。なお、図２９Ａ，Ｂの例において、再生装置２０は、外部出力機器１０の画面と平行に取り付けられているとする。
このとき、左下，右下のポイント１３４Ｌ，１３４Ｒは、左用の撮像部１０８で撮像した画像１３２Ｌ´、右用の撮像部１０７で撮像した画像１３２Ｒ´において、図２９Ａ，Ｂに示すような位置に認識される。すなわち、再生装置２０が左寄りに設置されてしまった場合、左下，右下のポイント１３４Ｌ，１３４Ｒは、再生装置２０が中央に設置した場合と異なる位置に認識される。
【０１２４】
もしもここで再生装置２０が中央に置かれたときの状態を真の状態であると、再生装置２０自身が検出したと想定する。そうすると、図２９Ａ，Ｂの例のように再生装置２０が左にずれて設置された場合、再生装置２０は全てのポイントが実際よりも右側をタッチされたかのように認識してしまう。ここでキャリブレーション時にこの左下を認識した場合に左用の撮像部１０８ではどの位置に認識するか、右下を認識した場合に右用の撮像部１０７ではどの位置に認識するかを記憶しておく。それにより左隅と記憶した場所と右隅と認識した場所の中央の位置に認識したら、現在は中央にタッチされているなどと求めることが可能になる。すなわち、表示画面の表面における指示体の位置と、撮影により取得した画像上における指示体の位置との対応関係を調整することができる。
【０１２５】
これを最低三点、横方向と縦方向の位置を知ることにより、タッチ位置を認識可能になる。もちろん三点以上のポイントを使ってキャリブレーション可能であれば、より正確な位置検出が可能になる。
【０１２６】
位置検出部１１１が、位置を検出したらその位置情報を制御信号生成部１１６に送信し、その場所に表示しているものが何かを検索し、選択されたことを認識する。これにより、例えば今回のように旅行カテゴリのサムネイル画像群をタッチするとそれを認識し、次のカテゴリの表示命令を制御信号生成部１１６より各部に発行することで、記録メディア制御部１０１が記録メディア１００からの読み出しを開始する。
【０１２７】
このような手順で画像データの読み出し、タッチ位置の認識を行い、再生装置２０を使ってタッチパネル機能なしの通常のディスプレイ装置等の外部出力機器でも、前述したような［大画面の外部出力機器を用いて実現されるタッチＵＩ］が実現可能になる。
【０１２８】
［通常再生モード］
次に、図１５のステップＳ６における通常再生モードについて説明する。
これは光学式タッチパネルとして再生装置２０を使わないモードで、例えば一般に市販されているデジタルスチルカメラなどと同じ操作モードとなる。外部出力機器と再生装置を接続し、その操作は光学式タッチパネルを使って行うのではなく、接続した再生装置の表示パネル上で操作を行う。
【０１２９】
例えば図１０Ａ〜Ｄについて［大画面の外部出力機器を用いて実現されるタッチＵＩ］で説明したような動作を行うと、それと同じ画面が液晶表示パネル上に表示されたり、液晶表示パネル上にサムネイル画像などが並んで表示されたりする。表示された画面内の画像の選択は、再生装置上の表示パネルにカーソルキーやＯＫボタン、キャンセルボタン等を含むコントローラを表示して、そのコントローラを操作する。再生装置本体に配置された操作スイッチによる操作やリモートコントローラなどの外部コントローラ、または接続先のディスプレイ装置などから操作することもある。しかしながら、大画面ならではの直感的な操作であるタッチＵＩを行うには、タッチＵＩが可能な大画面の外部出力機器を用意する必要がある。
【０１３０】
＜２．その他＞
選択肢ボタンの自動サイズ変更について説明する。
キャリブレーションポイントとして用いる選択肢ボタンは、大きいとユーザがキャリブレーション時、設問選択時に押す範囲が広いため、その分だけ光学式タッチパネルの位置検出精度が落ちる。つまりは、より大画面の外部出力機器に選択肢ボタンを表示することにより、大画面でない通常ディスプレイ装置と同じようにして出力画像を表示すると選択肢ボタンの大きさが大きくなってしまう。
【０１３１】
図３０Ａは、複眼カメラ付き再生装置を用いた光学式タッチパネルを大画面の外部出力機器に適用した場合の選択肢ボタンの例を示している。Ａは、キャリブレーションモードのとき表示される選択肢ボタン（左上、右上）の例であり、Ｂは、大きさ補正後の選択肢ボタン（左上、右上）の例である。
例えば図１８のような表示を大画面の外部出力機器２００に表示すると、図３０Ａのように選択肢ボタンが大きくなり、キャリブレーションの精度が落ちてしまう。そこで外部出力機器２００側の画面サイズのインチ数を例えばＨＤＭＩ ＣＥＣなどの制御信号により取得することで、画面サイズのインチ数に応じて選択肢ボタンの大きさを変化させる。また、選択肢ボタンを表示するために使用するピクセル数を決めておいてもよい。図３０Ｂは、選択肢ボタンを適切な大きさに変化させて表示した例である。図３０Ｂの例では、画面サイズが大きくなっても選択肢ボタンの大きさは大きくならないので、キャリブレーションを精度よく行うことができる。
【０１３２】
ところで、上述したように、これまで詳細なキャリブレーションを行うにあたっては、３点以上の多くのポイントを押す必要があった。そこで、例えば３０点押さなくてはならない場合、本発明のキャリブレーション手法で５点については設問形式により裏でキャリブレーションを行い、残り２５点は入力ポイントを表示して強制的に押させる通常のキャリブレーションをやらせる形式をとってもよい。この組み合わせの手法により、従来よりも幾分かはユーザの負担を軽減できる。
【０１３３】
外部出力機器上にある再生装置が、当該外部出力機器から動かされたことを図１４の加速度センサ１１３や角度センサ１１４にて検知すると、制御信号生成部１１６は再度キャリブレーション実行命令を発行し、各部をキャリブレーションモードにして、自動再キャリブレーションを実行するようにしてもよい。
【０１３４】
上述した実施の形態によれば、例えばモード設定などのキャリブレーション専用の設問とは異なる（キャリブレーション作業を連想させない）設問と複数の選択肢ボタンを画面に表示する。そして、ユーザに選択肢ボタンを選択させ、並行してその裏でキャリブレーションを実行することにより、ユーザの一の選択動作で、設定処理とキャリブレーションに必要な情報を同時に取得することができ、ユーザの負担を大幅に軽減できる。例えば、モード切替時にどのモードを選択するか、例えば外部出力機器にケーブルを接続したとしても外部出力機器にプレビュー画像を映しての撮影がやりたいのか、再生モードにしたいのかなど、何点か設定の選択が必要となる。そのとき、設問と選択肢ボタンを画面に表示し、その選択時に裏でキャリブレーションを行うということで実使用にあたってユーザに新たな作業追加なく、キャリブレーションも行うことができるため、ユーザの負担を軽減される。
【０１３５】
また、従来のタッチセンサなしの外部出力機器を使用しながらもタッチＵＩを実現できるというだけでなく、さらにキャリブレーションという億劫な作業について各種設定を行うと同時に実行される。そのため、ユーザへの負担を軽減しながら、直感的でわかりやすいタッチ操作が可能になる。また逆の視点で考えればキャリブレーションを行いながら同時に設定作業が可能という利点もある。
【０１３６】
また本発明の再生装置は外部出力機器に対する設置位置がずれた際、初めて設置した際に自動的にキャリブレーションモード、設問表示モードに切り替わるので、ユーザにキャリブレーションを忘れずに行わせることが可能である。
【０１３７】
なお、本発明に係る再生装置はカメラを用いたタッチＵＩ技術を適用しているため、奥行き、左右程度の認識はキャリブレーション前でも認識可能なため、設問によるキャリブレーションが可能である。
【０１３８】
以上、本発明の各実施の形態の例について説明したが、本発明は上記各実施の形態例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含むことはいうまでもない。
【０１３９】
例えば、上述した実施の形態においては、再生装置２０（図４，図１４参照）は、外部出力機器１０の表示画面を撮影するための撮像機能（レンズ、撮像部、撮像データ信号処理部）を２つ備える構成としたが、この例に限られない。例えば、再生装置としては撮像機能を少なくとも一つ備えていればよく、一つの撮像機能を持つ再生装置で取得した一つの撮像データと、他のカメラで当該表示画面を撮影して得た撮像データとを利用して、光学式タッチパネルを実現するようにしてもよい。
【０１４０】
また、上述した実施の形態においては、設問とユーザに選択されたアイコンとに対応する設定処理を行い、並行してキャリブレーションを行うようにしたが、設定処理とキャリブレーションに必要な情報を同時に取得できれば実行の順番はこの例に限られない。例えば、設定処理に先行してキャリブレーションを実行してもよい。勿論、設問とユーザに選択されたアイコンとに対応する設定処理を実行した後、キャリブレーションを実行するようにしてもよい。
【０１４１】
また、上述した実施の形態においては、再生装置２０が、撮像部１０７，１０８から供給される表示画面の撮像データに基づいてキャリブレーションを実行する構成としたが、この例に限られない。例えば、タッチパネルを実装した大画面のテレビジョン受像機やパーソナルコンピュータと接続したディスプレイ装置などの外部出力機器において、表示画面の撮像データに基づいてキャリブレーションを実行するようにしてもよい。
【０１４２】
また、本明細書において時系列的な処理を記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。
【符号の説明】
【０１４３】
１０、２００…外部出力機器、１１…枠体、２０…複眼カメラ付き再生装置、２１Ａ，２１Ｂ…レンズ、１０５…出力画像作成部、１０６…外部出力部、１０７，１０８…撮像部、１０９，１１０…撮像データ信号処理部、１１１…位置検出部、１１２…入力部、１１５…外部出力デバイス検出部、１１７…制御信号生成部、１１８…設問表示生成部、１１９…調整値記憶部
【技術分野】
【０００１】
本発明は、画像処理装置、画像表示方法、画像表示プログラム、およびその画像表示プログラムを記録した記録媒体に関し、詳しくは、例えば複眼カメラ付き再生装置を用いた光学式タッチパネルにおけるキャリブレーション手順に係る。
【背景技術】
【０００２】
複数のカメラなどを使うことにより、画面上で指やペンなどが指し示す位置（タッチ位置）を算出し、いわゆるタッチＵＩ（User Interface）を実現する手法が数多く提案されている。このようなタッチＵＩは光学式タッチパネルとして知られており、電子黒板やパーソナルコンピュータと接続したディスプレイ装置等に応用されている。
【０００３】
図１は、タッチＵＩを実現する光学式タッチパネルの一例を示す図である。
一般に光学式タッチパネルは、外部出力機器１と、その上部左右に設置された２つのカメラ２，３により構成される。この２つのカメラ２，３のレンズ間の距離Ｌと、各カメラからタッチ位置への角度α，βがわかれば、カメラ２，３の各々と画面上のタッチ位置との距離Ｌ１，Ｌ２が求められ、タッチ位置を算出することが可能である。なお、外部出力機器１は、表示機能を備えていればよく、テレビジョン受像機やディスプレイ装置などが挙げられる。
【０００４】
実際には、カメラのみで当該カメラと画面上のタッチ位置との距離を正確に計測するのは難しい。そこで、図１に示すように、カメラ２，３に赤外線送信機能を搭載するとともに、外部出力機器１の両側部と下部に赤外線を反射するための枠１ａを設置する。そして、カメラ２，３から赤外線を発し、照射した赤外線が指４などにより塞がれて枠１ａから戻ってこない部分の位置を求める、という形態をとっていることが多い。電子黒板などの指示棒や指先の単位での正確さが求められる場合は、赤外線などを用いて位置検出の精度を上げるが、手のひらなど比較的大きな物体を大まかに捉えればよいのであれば、現在の技術でもカメラのみでも可能である。
【０００５】
一般的な電子黒板やパーソナルコンピュータと接続したディスプレイ装置などに適用された光学式タッチパネルでは、カメラが外部出力機器に固定されており、画面上の実際のタッチ位置と検知されるタッチ位置とが一致するように、工場などで調整された上で出荷される。しかしながら、光学式タッチパネルは、カメラなどの位置確認用センサが取り外し可能な場合、センサが外部出力機器に正しく設置されていないと、設置位置によってタッチ位置の検知位置に誤差が生じてしまう。そのため、当該センサと画面との相対位置の解析を行うためにキャリブレーションが必要になる。
【０００６】
図２Ａ〜Ｃは、複眼カメラを用いた光学式タッチパネルの検知位置に誤差が生じる場合を説明するための図である。
図２Ａに示すように、外部出力機器１０の画面周囲の枠体１１の上部中心に複眼カメラ１２が設置されている場合、複眼カメラ１２の各レンズから画面上のタッチ位置Ａへの角度α，βからタッチ位置Ａを検出する。
一方、図２Ｂに示すように、外部出力機器１０の画面周囲の枠体１１の上部中心から右にずれた場所に複眼カメラ１２が設置された場合、複眼カメラ１２の各レンズから画面上のタッチ位置Ａへの角度α′，β′に基づいて、タッチ位置Ａを検出する。
【０００７】
そのため、複眼カメラ１２が外部出力機器１０の枠体１１の上部中心からずれていることを知ることができない場合、複眼カメラ１２が中心に設置されているものとしてタッチ位置を算出してしまう。すなわち、図２Ｃに示すように、タッチ位置Ａではなくタッチ位置Ａ´が指し示されたと誤って認識してしまう。これを解消するため、外部出力機器から取り外し可能なカメラは、外部出力機器へ設置した時にキャリブレーション作業が必要となる。
【０００８】
キャリブレーションの方法はいくつか提案されているが、一般にキャリブレーションを行う際には、画面上の数ポイントの位置を確実に認識させる必要がある。一例として、２以上の墨角部や中央部にキャリブレーション用マークが設けられた情報入力補助シートを使用するキャリブレーション方法がある（例えば、特許文献１参照）。
【０００９】
その発展形として、画面上の複数ポイントの位置を確実に認識させるために、画面上の押して欲しいところに確認ボタン（アイコン）を表示するキャリブレーション方法が提案されている（例えば、特許文献２参照）。
【００１０】
図３は、従来のキャリブレーション方法を説明するための図である。
キャリブレーション用のポイントとして最低三点を外部出力機器１０の画面の隅に表示し、ユーザに順番にタッチさせる。そして、タッチ位置と複眼カメラ１２（センサ）の位置関係を補正するための補正値を算出し、三角測量で算出した値に補正値を加えて算出することにより、検出位置の誤差を補正する。ポイントを増やすことでさらに高精度な誤差修正も可能となる。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００９−０４３２２８号公報
【特許文献２】特開２００４−０５４４１３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献２に記載された技術は、画面上の決まったポイント（特許文献２の図１２：入力ポイントＲ１，Ｓ１，Ｔ１，Ｕ１）をタッチさせるという点において、特許文献１に記載された通常のキャリブレーションと本質的に同じである。ユーザにキャリブレーション作業を行うことを忘れさせない程度のメリットはあるが、特定の場所を押さなければいけないという負担は大きいままである。
【００１３】
本発明は、上記の状況に鑑みてなされたものであり、このキャリブレーションというユーザにとって面倒な作業を、より自然な形でユーザに意識させることなく実行させることによって、ユーザの作業負担を軽減しようとするものである。
【課題を解決するための手段】
【００１４】
本発明は、画像処理装置が備える画像生成部により、設問と該設問に対して任意に選択可能な複数のアイコンからなる選択肢ボタンとを含む設問画像を生成する。次に、位置検出部により、画像表示制御部によって画像表示が制御される表示画面を撮影した撮像データから、当該表示画面上に存在する指示体の位置を検出する。そして、制御部により、位置検出部によって検出される指示体の位置に基づいて当該指示体により複数のアイコンのうちいずれのアイコンが選択されたかを特定する。選択されたと特定されたアイコンに対応する、位置情報記憶部に記憶されている画像生成部で生成された設問画像を表示画面に表示したときのアイコンの位置に基づいて、位置検出部で検出される指示体の位置のキャリブレーションを実行することを特徴とする。
【００１５】
上記構成の本発明によれば、設問と複数の選択肢ボタンを表示画面に表示し、ユーザに選択肢ボタンを選択させ、並行してその裏でキャリブレーションを実行する。それゆえ、より自然な形でかつユーザに意識させることなくキャリブレーションが実行される。
【発明の効果】
【００１６】
本発明によれば、ユーザにとって面倒なキャリブレーション作業を、より自然な形でユーザに意識させることなく実行させることができるようになり、ユーザの作業負担が軽減する。
【図面の簡単な説明】
【００１７】
【図１】従来の光学式タッチパネルの一例を示す図である。
【図２】Ａ〜Ｃは、複眼カメラ付き再生装置を用いた光学式タッチパネルの検知位置に誤差が生じる場合を説明するための図である。
【図３】従来のキャリブレーション方法を説明するための図である。
【図４】Ａ〜Ｅは、本発明の一実施の形態に係る複眼カメラ付き再生装置の外観図である。
【図５】本発明の一実施の形態に係る複眼カメラ付き再生装置を用いた光学式タッチパネルの正面図である。
【図６】本発明の一実施の形態で用いられる複眼カメラ付き再生装置の第１変形例の正面図である。
【図７】本発明の一実施の形態で用いられる複眼カメラ付き再生装置の第２変形例の正面図である。
【図８】本発明の一実施の形態で用いられる複眼カメラ付き再生装置の第３変形例の正面図である。
【図９】本発明の一実施の形態で用いられる複眼カメラ付き再生装置の第４変形例の正面図である。
【図１０】Ａ〜Ｄは、大型外部出力機器におけるタッチＵＩの一例を説明するための図である。
【図１１】Ａ〜Ｃは、大型外部出力機器におけるタッチＵＩの他の例を説明するための図（１）である。
【図１２】Ａ〜Ｃは、大型外部出力機器におけるタッチＵＩの他の例を説明するための図（２）である。
【図１３】Ａ〜Ｃは、大型外部出力機器におけるタッチＵＩの他の例を説明するための図（３）である。
【図１４】本発明の一実施の形態に係る複眼カメラ付き再生装置の内部構成例を示すブロック図である。
【図１５】図１４に示した複眼カメラ付き再生装置の動作の概要を示すフローチャートである。
【図１６】図１４に示した複眼カメラ付き再生装置と外部出力機器との接続処理を示すフローチャートである。
【図１７】図１４に示した複眼カメラ付き再生装置のキャリブレーションモードの処理を示すフローチャートである。
【図１８】図５の複眼カメラ付き再生装置を用いた光学式タッチパネルに、キャリブレーションモードのとき表示される設問例（左上、右上）を示した図である。
【図１９】図５の複眼カメラ付き再生装置を用いた光学式タッチパネルに、キャリブレーションモードのとき表示される設問例（左上、左下）を示した図である。
【図２０】図５の複眼カメラ付き再生装置を用いた光学式タッチパネルに、キャリブレーションモードのとき表示される設問例（左下、右下）を示した図である。
【図２１】図５の複眼カメラ付き再生装置を用いた光学式タッチパネルに、キャリブレーションモードのとき表示される設問例（右上、右下）を示した図である。
【図２２】図５の複眼カメラ付き再生装置を用いた光学式タッチパネルに、キャリブレーションモードのとき表示される設問例（右下）を示した図である。
【図２３】図５の複眼カメラ付き再生装置を用いた光学式タッチパネルに、キャリブレーションモードのとき表示される設問例（左下、右上）（１）を示した図である。
【図２４】図５の複眼カメラ付き再生装置を用いた光学式タッチパネルに、キャリブレーションモードのとき表示される設問例（左下、右上）（２）を示した図である。
【図２５】複眼カメラ付き再生装置を用いた光学式タッチパネルの断面図である。
【図２６】複眼カメラにより取得される画像の一例を示す図である。
【図２７】Ａ，Ｂは、物体の位置の認識について説明するための図である。
【図２８】複眼カメラを中心に設置した時の、当該複眼カメラによる光学式タッチパネルの左下隅と右下隅の認識を説明するための図である。
【図２９】複眼カメラを中心からずれて設置した時の、当該複眼カメラによる光学式タッチパネルの左下隅と右下隅の物体認識を説明するための図である。
【図３０】Ａは、複眼カメラ付き再生装置を用いた光学式タッチパネルを大画面の外部出力機器に適用した場合に、キャリブレーションモードのとき表示される選択肢ボタン（左上、右上）の例を示し、Ｂは、大きさ補正後の選択肢ボタン（左上、右上）の例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明を実施するための形態の例について、添付図面を参照しながら説明する。説明は下記項目の順に行う。
１．一実施の形態（設問と選択肢ボタンを表示した例）
２．その他（画面サイズに合わせて選択肢ボタンを拡大表示した例）
【００１９】
＜１．一実施の形態＞
［複眼カメラ付き再生装置の外観］
本発明の一実施の形態に係る光学式タッチパネルに用いられる画像処理装置について、複数のレンズを搭載したカメラを備える再生装置に適用した例を説明する。
図４Ａ〜Ｅは、本発明の一実施の形態に係る複眼カメラ付き再生装置の外観図である。図４Ａは正面図、図４Ｂ，Ｃはそれぞれ蓋ありと蓋なしの下面図、図４Ｄ，Ｅはそれぞれ蓋ありと蓋なしの側面図である。
【００２０】
複眼カメラ付き再生装置（以下、単に「再生装置」と称す）２０は、画像処理装置の一例であり、複眼のレンズ２１Ａ，２１Ｂとシャッターボタン２２を備える。再生装置２０は、ユーザがシャッターボタン２２を押すことで、片方のレンズからの光学像の入力を用いて２次元映像（静止画、動画）の撮影、記録を行うことができる。また、複眼レンズ２１Ａ，２１Ｂからの光学像の入力を用いて３次元映像（静止画、動画）の撮影、記録も行うことができる。なお、以下では、レンズにより取り込まれた光学像に対応する静止画および動画を総称して「映像」と称し、その映像のデータを「映像データ」と称する。
【００２１】
本実施の形態では、撮影された映像は、図４Ｂに示す底面の蓋２３を開けたところに存在する、図４Ｃに示すメモリカード２４に記録される。また図４Ｃに示すように、バッテリー２５を備え、外出先などでも使用が可能にしてある。また図４Ｄに示す側面の蓋２６を開けたところに存在する、図４Ｅに示す電源端子２７にＡＣ電源を接続して電力を供給し、バッテリー２５を挿入せずとも再生装置２０を動作させたり、バッテリー２５を充電したりすることも可能になる。また図４Ｅに示す外部出力端子２８にケーブルを繋ぎ、テレビジョン受像機などの外部出力機器と接続が可能になる。なお、再生装置２０のキー配置や入出力端子等の外観は一例であり、この例に限られない。
【００２２】
［再生装置が設置された光学式タッチパネルの外観］
図５は、再生装置２０を用いた光学式タッチパネルの正面図である。
図５に示すように再生装置２０のレンズ２１Ａ，２１Ｂを下向きにした状態で、再生装置２０を外部出力機器１０の枠体１１上部に設置する。これにより、図５に示すように２つのレンズ２１Ａ，２１Ｂを用いて取得される映像を用い、３点測量により手や指、ペンなどの指示体の位置を捉えることで、タッチＵＩを実現可能になる。上述したとおり、レンズ２１Ａ，２１Ｂ間の距離dとタッチ位置Ａへの角度α、βがわかれば、一般的にタッチ位置を算出することが可能である。
【００２３】
なお、外部出力機器１０は、表示機能を備えていればよく、テレビジョン受像機や液晶表示パネル等のディスプレイ装置を適用できる。
【００２４】
図６は、本発明の一実施の形態で用いられる複眼カメラ付き再生装置の第１変形例の正面図である。
再生装置２０を設置する際には、複眼カメラの両眼（レンズ２１Ａ，２１Ｂ）が外部出力機器１０の画面の４隅を検知できなくてはならない。もし外部出力機器１０が大画面で４隅が入らない場合は、広角のレンズを利用する。あるいは、図６に示すように、再生装置２０を外部出力機器１０の枠体１１上部から離れて設置可能にする治具(クレードルなど)２０Ｐを、枠体１１上部に取り付けるようにしてもよい。
【００２５】
図７は、本発明の一実施の形態で用いられる複眼カメラ付き再生装置の第２変形例の正面図である。
図６例の他、図７に示すように再生装置２０を真ん中から分割して再生装置２０−１，２０−２とし、再生装置２０−１，２０−２をケーブル２０Ｃで接続するようにしてもよい。
【００２６】
図８は、本発明の一実施の形態で用いられる複眼カメラ付き再生装置の第３変形例の正面図である。
また、図８に示すように、再生装置２０−１，２０−２が相互に無線で情報のやり取りを行う形式にして、設置することも可能である。
図９は、本発明の一実施の形態で用いられる複眼カメラ付き再生装置の第４変形例の正面図である。
さらに、２つのレンズの各々が完全に下向きではなく、図９に示すように外部出力機器１０の画面の４隅が捉えられるのであれば、枠体１１の角部付近に斜め方向に設置してもよい。
【００２７】
［大画面の外部出力機器を用いて実現されるタッチＵＩ］
次に、外部出力機器１０で実現されるタッチＵＩについて説明する。
図１０Ａ〜Ｄは、外部出力機器１０におけるタッチＵＩの一例を説明するための図である。なお、図１０Ａ〜Ｄの例では、再生装置２０が図５の形式で外部出力機器１０に設置され、画面の４隅が検知できるものとして説明を進める。
【００２８】
本実施の形態に係る再生装置２０を用いた光学式タッチパネルでは、図１０Ａに示す外部出力機器１０のモード切り替えボタン１０Ｂをユーザが押すことにより、記録モード等の他のモードから再生モードに切り替えることが可能である。
【００２９】
外部出力機器１０は、再生装置２０が撮影機能を有する場合にその撮影機能を利用して記録した映像データや、他の撮影装置などで撮影された映像データを再生することができる。モード切り替えボタン１０Ｂを押して再生モードに切り替えると、メモリカード２４に記録された映像データの一覧が画面に表示される。図１０Ａの例では、６枚のサムネイル画像が画面に表示されている。ここで再生を行いたい場合は、再生したい映像に対応するサムネイル画像に指４を触れることにより、所望の映像が選択される。ここでは、サムネイル画像３０Ｓが選択され、それに対応する選択画像３０が、図１０Ｂに示すように画面全体に表示・再生される。ここで光学式タッチパネルにて図１０Ｃのように指４を例えば左へスライドさせると、指４の動きに伴い選択画像３０が左へ移動し、図１０Ｄのように次に記録した画像３１に表示を切り替えることができる。
【００３０】
スマートフォンと呼ばれるような携帯電話端末、デジタルスチルカメラ、デジタルビデオカメラなどで、直感的な操作が可能なタッチ操作が主流になりつつある。そんな中、テレビジョン受像機やパーソナルコンピュータと接続したディスプレイ装置などの外部出力機器にもその動きが広がっており、最近になって市販されたＯＳ（Operating System）ではタッチＵＩ機能が標準搭載されるようになった。それによりテレビジョン受像機やパーソナルコンピュータと接続したディスプレイ装置などの外部出力機器では、大画面ならではの直感的操作が可能になっている。
【００３１】
図１１Ａ〜Ｃは、外部出力機器１０におけるタッチＵＩの他の例を説明するための図（１）である。
ここでは、大画面を有する外部出力機器１０に再生装置２０が接続される、もしくは外部出力機器１０に搭載されているメモリカードリーダーに、映像データが記録されたメモリカードが挿入された場合を想定する。図１１Ａに示すように、外部出力機器１０では、記録された映像データのサムネイル画像がカテゴリに分けられて机の上にばら撒かれたような表示がされる。図１１Ａの例では、運動会カテゴリ、旅行カテゴリ、同窓会カテゴリに属するサムネイル画像群３２−１〜３２−３が表示されている。
【００３２】
例えば画面上の旅行カテゴリの山に対応する部分に指４をタッチして選択すると、図１１Ｂに示すように、旅行関連の写真が、旅行の時期や場所等によって分類されて表示される。この例では旅行Ａ、旅行Ｂ、旅行Ｃの３つのカテゴリのサムネイル画像群３３−１〜３３−３が表示されている。ここで旅行Ｂについてのサムネイル画像群３３−２に対応する部分に指４をタッチして選択すると、図１１Ｃのように選択された旅行Ｂについてのサムネイル画像群３３−２のみが画面に残る。
【００３３】
図１２Ａ〜Ｃは、外部出力機器１０におけるタッチＵＩの他の例を説明するための図（２）である。
ここでは、図１２Ａに示すように、旅行Ｂのサムネイル画像群３３−２の中で詳細に見たい部分について、まるで机上で写真の束からある程度の塊となった束を移動させるかのような操作が可能である。すなわち、画面上で旅行Ｂのサムネイル画像群３３−２に対応する部分から他の部分へ指４をスライドさせると、図１２Ａのように、指４をスライドした方向にサムネイル画像がいくつかの束となったサムネイル画像群３４−１〜３４−３を移動させることができる。
【００３４】
そして、移動させたサムネイル画像群３４−１〜３４−３の中で興味があるサムネイル画像群の部分に、指を触れる。例えば、サムネイル画像群３４−１の部分に指を触れると、図１２Ｂに示すように、選択されたサムネイル画像群３４−１以外のサムネイル画像群は画面から消去される。その後、図１２Ｃのように、選択したサムネイル画像群３４−１に含まれるサムネイル画像３５−１〜３５−６が画面全体に広がって表示される。
【００３５】
図１３Ａ〜Ｃは、外部出力機器１０におけるタッチＵＩの他の例を説明するための図（３）である。
図１２Ｃに示すサムネイル画像３５−１〜３５−６の中から見たいサムネイル画像を選択すると、図１３Ａに示すように、選択したサムネイル画像を拡大した選択画像３６がフル画面表示される。そして、図１３Ｂに示すように、画面上で指４などを例えば左へスライドさせると、指４の動きに伴い選択画像３６が左へ移動し、図１３Ｃに示すように次の画像３７に切り替わる。
【００３６】
このような多数の画像から直感的に選ぶことのできるＵＩは、モバイル機器のような小さな画面では実現が困難であり、大画面ならではのＵＩとなっている。つまり、このＵＩを実現するにはタッチパネルを実装した大画面のテレビジョン受像機やパーソナルコンピュータと接続したディスプレイ装置などの外部出力機器が必要である。しかし、本発明に係る複眼カメラ付き再生装置を接続することで、タッチパネルが搭載されていない既存の通常の外部出力機器でもタッチＵＩが実現可能となる。
【００３７】
［複眼カメラ付き再生装置の内部構成］
図１４は、本発明の一実施の形態に係る複眼カメラ付き再生装置２０の内部構成例を示すブロック図である。
再生装置２０は、主に「再生機能」、「位置検出機能」、「指示入力機能」の３つの機能を有し、それぞれの機能は更に以下の各種機能から構成される。
再生機能として、記録メディア制御部１０１、記録データデコード部１０２、画像データ格納部１０３、サムネイルデータ格納部１０４、出力画像作成部１０５、外部出力部１０６、設問表示生成部１１７および制御信号生成部１１６の機能を備えている。
また位置検出機能として、撮像部１０７（右）、撮像部１０８（左）、撮像データ信号処理部１０９（右）、撮像データ信号処理部１１０（左）、位置検出部１１１、調整値記憶部１１８および制御信号生成部１１６の機能を備えている。
そして指示入力機能として、入力部１１２、加速度センサ１１３、角度センサ１１４、外部出力デバイス検出部１１５および制御信号生成部１１６の機能を備えている。
【００３８】
まず再生機能が備える各種機能を説明する。
記録メディア制御部１０１は、再生装置２０が一形態として備える撮影機能もしくはその他の撮影装置を使って撮影記録を行った映像データが記録された記録メディア１００の制御を行い、映像データの読み出しを行うものである。記録メディア制御部１０１によって記録メディア１００から読み出された映像データは、記録データデコード部１０２に転送される。
なお、記録メディア１００としては、半導体メモリ、ＣＤ／ＤＶＤ／Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）などのディスク媒体、ハードディスクなどを利用できる。また、図１４の例では、記録メディア１００は外部媒体として書かれているが、再生装置２０に内蔵されていてもよい。また映像データは、再生装置２０と無線により通信可能に接続されていたネットワーク上に存在するサーバなどに記録されていてもよい。
【００３９】
記録データデコード部１０２は、記録メディア１００から読み出された映像データを記録メディア制御部１０１から受け取り、映像データのデコードを行うものである。複数の静止画データを必要とする場合や、動画データを扱う場合は、半導体メモリなどで構成される記録データデコード部１０２内に存在する一時格納部に複数の静止画データ、動画データの複数フレーム分を格納した後にデコードを行う場合もある。そして映像データは、記録データデコード部１０２から画像データ格納部１０３へ転送され、サムネイルデータはサムネイルデータ格納部１０４へ転送される。
【００４０】
画像データ格納部１０３は、半導体メモリなどで構成され、１枚以上の静止画データや１フレーム以上の動画データを一時記録することができるものである。ここに格納された映像データは、出力画像作成部１０５へ転送される。
【００４１】
サムネイルデータ格納部１０４は、半導体メモリなどで構成され、１枚以上のサムネイル画像のデータを一時記録することができるものである。ここに格納されたサムネイル画像のデータは出力画像作成部１０５へ転送される。
【００４２】
出力画像作成部１０５は、画像生成部の一例である。この出力画像作成部１０５は、画像データ格納部１０３から転送された映像データ、サムネイルデータ格納部１０４から転送されたサムネイルデータ、設問表示生成部１１７より転送された設問データおよび選択肢ボタンデータ、位置検出部１１１から制御信号生成部１１６を通じて送信されるタッチ位置情報により、出力画像の作成を行う。
【００４３】
例えば映像データに対応する画像のフル画面表示を行う場合や、映像データに対応する画像の複数表示を行う場合には、画像データ格納部１０３から転送された映像データを使用して出力画像を作成する。また、サムネイル一覧画面を作成したい場合は、サムネイルデータ格納部１０４から転送されたサムネイルデータを使用して出力画像を作成する。また、設問表示を行いたい場合は、設問表示生成部１１７から送出される設問データおよび選択肢ボタンデータを組み合わせて出力画像を作成する。また、複数パターンの組み合わせ画像を出力したい場合は、画像データ格納部１０３、サムネイルデータ格納部１０４、設問表示生成部１１７からデータを取得し、これらを組み合わせて出力画像を作成する。
【００４４】
さらに、出力画像作成部１０５は、指示体に関するタッチ位置情報により、外部出力機器１０の画面に表示された各映像データに対応する画像の表示位置や表示内容等を変化させたりもする。そして、出力画像作成部１０５は、作成した出力画像のデータを外部出力部１０６へ転送する。なお、出力画像作成部１０５は、表示画面（本例では外部出力機器１０）への画像表示を制御する画像表示制御部を構成する要素の一つでもある。
【００４５】
設問表示生成部１１７は、出力画像作成部１０５とともに画像生成部を構成している。この設問表示生成部１１７は、制御信号生成部１１６からの設問表示命令により、表示するべき設問とアイコンで表示される選択肢ボタンの位置を決定し、出力画像作成部１０５に設問データと選択肢ボタンデータを転送する。
【００４６】
外部出力部１０６は、出力画像作成部１０５にて作成した出力画像データを外部（本例では、外部出力機器１０）へ出力するものであり、出力画像作成部１０５とともに画像表示制御部を構成する。この外部出力部１０６は、外部出力機器１０に対してＨＤＭＩ（High-Definition Multimedia Interface）などにより接続して、出力画像作成部１０５にて作成した出力画像データを表示させる機能を備える。接続方法としてはＨＤＭＩなどのようにケーブルによる接続だけでなく、ＵＷＢ（Ultra Wide Band）などの無線通信を利用して接続してもよい。
【００４７】
次に、位置検出機能が備える各種機能を説明する。
撮像部１０７は、再生装置２０が左右に備える撮像装置の右側である。この撮像部１０７は内蔵するＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの撮像素子の上に被写体の光学像を結像させ、撮像素子上に蓄積された電気信号を撮像データ信号処理部１０９へ転送するものである。
【００４８】
撮像部１０８は、再生装置２０が左右に備える撮像装置の左側であり、その機能は撮像部１０７と同様である。
【００４９】
撮像データ信号処理部１０９は、撮像部１０７より受信した撮像データに対して解像度変換や補正処理などを行い、各種処理を施した撮像データを位置検出部１１１へ転送するものである。
【００５０】
撮像データ信号処理部１１０は、撮像データ信号処理部１０９と同様に、撮像部１０８より受信した撮像データに対して各種処理を施して位置検出部１１１へ転送するものである。
【００５１】
調整値記憶部１１８は、位置情報記憶部の一例であり、半導体メモリなどで構成され、キャリブレーション時には位置検出部１１１より受信した補正データ（補正値）の記録を行うものである。またタッチ位置検出時には記録された補正データを位置検出部１１１へ転送する。調整値記憶部１１８は、半導体メモリなどで構成される。
【００５２】
位置検出部１１１は、撮像データ信号処理部１０９および撮像データ信号処理部１１０より受信した画像情報、調整値記憶部１１８より受信した補正データより、画面上の指示体の位置（タッチ位置）の算出を行うものである。算出された位置情報は制御信号生成部１１６へ転送される。
【００５３】
次に、指示入力機能が備える各種機能を説明する。
入力部１１２は、ユーザの指示入力に応じて再生装置２０に搭載されている、各種入力デバイスからの入力信号を受信してデコードし、入力信号に含まれる命令を制御信号生成部１１６へ転送するものである。なお、入力デバイスの例として、プッシュスイッチやタッチパネル、リモートコントローラ（赤外線／無線ＬＡＮなど）などが挙げられる。
【００５４】
加速度センサ１１３は、再生装置２０の加速度を測定し、測定された加速度を制御信号生成部１１６へ転送するものである。
【００５５】
角度センサ１１４は、加速度センサ、重力センサなどで構成され、再生装置２０の向きの角度状態を測定し、測定した角度の情報を制御信号生成部１１６へ転送するものである。
【００５６】
外部出力デバイス検出部１１５は、再生装置２０が外部出力機器１０と接続されたことを検知し、制御信号生成部１１６へ通知するものである。なお、ＨＤＭＩ−ＣＥＣ（HDMI-Consumer Electronics Control）などの技術を利用して外部出力機器１０の機器情報を受信できる場合は、受け取った機器情報をも制御信号生成部１１６へ転送する。
【００５７】
最後に、制御信号生成部１１６は、制御部の一例であり、再生機能、位置検出機能、指示入力機能などの制御を司るものである。すなわち、入力部１１２、加速度センサ１１３、角度センサ１１４、外部出力デバイス検出部１１５、位置検出部１１１から受信した情報を元に制御信号を生成し、各部に対して制御信号を発行する。この制御信号生成部１１６は、例えばＣＰＵ（Central Processing Unit）などから構成することができ、半導体メモリなどからなる不揮発性メモリ１１９に記録された制御用のコンピュータプログラムをワークメモリ（図示略）に読み出して実行することにより、各部の機能を実現している。なお、メモリカード２４（図４参照）にコンピュータプログラムが記憶されていて、制御信号生成部１１６がメモリカード２４からコンピュータプログラムを読み出して実行するようにしてもよい。
【００５８】
［複眼カメラ付き再生装置の動作］
図１５は、図１４に示した複眼カメラ付き再生装置２０の動作の概要を示すフローチャートである。
まずステップＳ１において、制御信号生成部１１６は、入力デバイスからユーザの起動指示に応じた入力信号を受信し、再生装置２０の電源を起動してステップＳ２に移行する。
【００５９】
ステップＳ２において、制御信号生成部１１６は、再生装置２０が外部出力機器１０と通信可能に接続されている旨の通知を外部出力デバイス検出部１１５から受信し、ステップＳ３に移行する。この処理の詳細については後述する。
【００６０】
ステップＳ３において、制御信号生成部１１６は、モードの選択や設定についての選択肢ボタン（アイコン）を含む画像を外部出力機器１０の画面に表示させ、ユーザに選択や設定を促す。そして、位置検出部１１１により検出される画面上の指示体の位置に基づいて、該指示体により複数のアイコンのうちいずれのアイコンが選択されたかを特定する。次に、選択されたと特定されたアイコンに対応する、調整値記憶部１１８に記憶されたアイコンの位置に基づいて、位置検出部１１１で検出される指示体の位置のキャリブレーションを実行する。制御信号生成部１１６は、ユーザが画面に表示された選択肢を含む画像を見ながら所望の選択肢ボタンの選択や設定を行うのと並行して、その裏で光学式タッチパネルのキャリブレーションを実行し、ステップＳ４に移行する。この処理の詳細については後述する。
【００６１】
ステップＳ４において、制御信号生成部１１６は、キャリブレーションが成功したか否かの判定を行う。キャリブレーションが成功ならばステップＳ６へ、失敗であればステップＳ５へ移行する。
【００６２】
ステップＳ５において、制御信号生成部１１６は、再びキャリブレーションを行うか否かの判定を行う。
判定の基準は、例えばユーザが選択肢ボタンを操作して再キャリブレーションを選択したことを検出したことでもよい。または、外部出力機器１０に対して再キャリブレーションの実行の可否をユーザに選択させるための左右選択画面を出力し、撮像部１０７，１０８で撮影して左右のいずれに指等の指示体があるかを認識して選択方向を捉えてもよい。あるいは、初期設定として、３回まではキャリブレーションを失敗しても繰り返し、４回目は終了などと決めておいても構わない。この判定処理で、再びキャリブレーションを行うことを選択したならばステップＳ３へ移行する。再びキャリブレーションを行わないのであればステップＳ９へ移行し、処理を終了する。
【００６３】
ステップＳ６において、制御信号生成部１１６は、ユーザによってタッチＵＩ再生モードが選択されたか否かの判定を行う。もしもタッチＵＩ再生モードが選択されればステップＳ７へ、選択されていなければステップＳ８へ移行する。
【００６４】
ステップＳ７において、制御信号生成部１１６は、タッチＵＩ再生モードを動作させる。タッチＵＩ再生モードが終了するとステップＳ９へ移行する。この処理の詳細については後述する。
【００６５】
ステップＳ８において、制御信号生成部１１６は、通常再生モードを動作させる。通常再生モードが終了するとステップＳ９へ移行する。この処理の詳細については後述する。
【００６６】
ステップＳ９において、制御信号生成部１１６は、電源がオフにされたり、モードを切り替えられたり、再生装置２０が外部出力機器１０と切断されるなどを検出すると、動作を終了する。
【００６７】
［再生装置と外部出力機器との接続処理］
次に、図１６のフローチャートを参照して、図１５のステップＳ２における再生装置２０と外部出力機器１０との接続処理について説明する。
まずステップＳ１１において、再生装置２０の電源がオンのとき当該動作が開始する。
【００６８】
ステップＳ１２において、再生装置２０にＨＤＭＩケーブルなどを用いて外部出力機器１０に物理的に接続する。すると外部出力デバイス検出部１１５は、外部出力機器１０との接続を検知して、制御信号生成部１１６に外部出力機器接続信号を転送する。制御信号生成部１１６は、外部出力デバイス検出部１１５から転送された外部出力機器接続信号を受信すると、ステップＳ１３に移行する。外部出力機器１０が接続されなければ外部出力機器１０が接続されるまで待つ。
【００６９】
ステップＳ１３においては、前提として外部出力機器１０の枠体１１の上部に再生装置２０を下向きに設置されることを想定する。設置の際には、外部出力機器１０側に再生装置２０との接続用の接続部（コネクタ等）が存在する場合や、再生装置２０側に外部出力機器１０に挟み込むためのクリップなどがついていて、それらを利用して設置する。外部出力機器１０側に再生装置２０との接続用の接続部がある場合は、ケーブルではなく、それを通じて外部出力機器１０側と接続を行う場合もある。
【００７０】
ここで制御信号生成部１１６は、角度センサ１１４からの角度情報により、再生装置２０が下向きになっているか否かを確認する。もしも再生装置２０が下向きであると判断されれば、角度センサ１１４から制御信号生成部１１６に対して下向き信号を転送し、ステップＳ１４に移行する。下向きでなければステップＳ１２に移行する。
【００７１】
ステップＳ１４において、制御信号生成部１１６は、加速度センサ１１３からの加速度情報により、再生装置２０が静止状態かどうかを確認する。もしも再生装置２０が静止状態と判断されれば、加速度センサ１１３から制御信号生成部１１６に対して静止状態信号を転送し、ステップＳ１５に移行する。静止状態でなければステップＳ１２に移行する。
【００７２】
そして、ステップＳ１５において、制御信号生成部１１６は、本フローチャートによる動作を終了する。
【００７３】
なお、本実施の形態では、再生装置２０が外部出力機器１０に接続されたことや、再生装置２０が外部出力機器１０上部に設置されたこと等を認識した上で、図１５のステップＳ２が終了し、ステップＳ３に移行する例を説明した。しかし、外部出力機器１０に接続後に再生装置２０が自装置の状態を認識するのではなく、ユーザから再生装置２０上のボタンなどを押された場合に、ステップＳ３に移行しても構わない。
【００７４】
また、再生装置２０の設置の形態は、図５〜図９にて述べたような形態が考えられるが、ここでは、図５の形態にて設置されたものとして説明を行う。
【００７５】
再生装置２０の設置が終了すると、前述のように光学式タッチパネルのキャリブレーションを取る必要がある。再生装置２０は、このキャリブレーションをユーザにメニューなどを選択させている間に、ユーザにキャリブレーションを意識させずにキャリブレーション行わせるという特徴がある。
【００７６】
［キャリブレーションモード］
次に、図１７のフローチャートを参照して、図１５のステップＳ３におけるモード選択・設定（キャリブレーション）について説明する。
【００７７】
まずステップＳ２１において、再生装置２０と外部出力機器１０の接続、外部出力機器１０上への再生装置２０の設置が行われると、制御信号生成部１１６より、再生装置設置完了信号が各部へ転送され、ステップＳ２２へ移行する。
【００７８】
ステップＳ２２において、制御信号生成部１１６より再生装置設置完了信号を設問表示生成部１１７が受信すると、設問表示生成部１１７が設問を例えばＯＳＤ（On Screen Display）として生成し、その設問データを出力画像作成部１０５に転送する。
出力画像作成部１０５は、設問表示生成部１１７から受信した設問、左上ボタン、右上ボタンなどのＯＳＤデータを適切に配置して画面出力を構成する。
【００７９】
ここで「設問、左上ボタン、右上ボタン」のＯＳＤデータに対応する画像とは、例えば図１８に示すような構成である。ここでの設問は「タッチＵＩモードならば左、通常モードならば右のボタンにタッチしてください。」という内容であるが、この例に限られない。この出力画像は、出力画像作成部１０５から外部出力部１０６へ転送され、外部出力部１０６により外部出力機器１０に転送される。そして、外部出力機器１０の画面に設問と選択肢ボタンが表示される。制御信号生成部１１６は、設問表示の処理が完了するとステップＳ２３へ移行する。
【００８０】
ステップＳ２３において、右用の撮像部１０７、左用の撮像部１０８が撮像データを取得し、それぞれ撮像データ信号処理部１０９、撮像データ信号処理部１１０へ転送する。撮像データ信号処理部１０９，１１０はそれぞれ、撮像部１０７，１０８から取得した撮像データに対して、ノイズ除去や解像度変換などの処理を行う。
【００８１】
ここで、撮像データ信号処理部１０９，１１０が実行する処理の一つであるマスク処理を説明する。
【００８２】
図２５は、枠体１１上部に再生装置２０が設置された外部出力機器１０（図５参照）のＡ−Ａ線断面図である。また図２６は、再生装置２０の撮像部１０７，１０８で取得される画像の一例である。
撮像部１０７，１０８で取得される画像のうち、外部出力機器１０と逆方向の部分の領域Ｍについてマスク処理をする（図２６の暗部）。図２６に示す領域ＮＭは、有効領域であって、枠体１１に対応する画像１３１と外部出力機器１０の画面に対応する画像１３２から構成される。
【００８３】
外部出力機器１０の画面上をタッチする指やペン等の指示体を撮像部１０７，１０８からの撮像データより検出するが、外部出力機器１０から離れた方向にある画像はノイズにしかならないので必要ない。そのため、予めマスク処理を行うことで、より正確に位置検出ができるようになる。撮像データ信号処理部１０９，１１０で得られた撮像データを位置検出部１１１へ転送する。
【００８４】
ユーザが、図１８に示した画面上の左上ボタンか右上ボタンを指やペンなどの指示体でタッチすると、撮像部１０７および撮像部１０８がその指示体を撮像し、上記説明どおりに位置検出部１１１に撮像データが転送される。
【００８５】
そして、指示体によりタッチされた選択肢ボタンの場所が左か右かを位置検出部１１１にて検出する。位置検出部１１１は撮像部１０７、撮像部１０８が捕えた撮像データの中心に対して、どちら側に指示体が検出されたかで確認する。画像診断による物体検出方法は様々な方法が知られている。
例えば、指示体の色を元に検出したり、これまで動いていたものが停止することで検出したり、数フレーム前の画像を検出し、数フレーム前には認識できなかったものが認識できるようになったものについて検出したり等の方法がある。さらに、図１を参照して説明したように、赤外線などを照射し、外部出力機器１０の枠体１１に反射板を貼りつけておき、その反射が来なかった部分を認識するなど、どのような方法を用いてもよい。
【００８６】
撮像部１０７、撮像部１０８の撮像データがそれぞれ、図２７Ａのように物体１３３が画面に対応する画像１３２の中心から左側にあれば、位置検出部１１１は物体１３３左側に存在することを認識できる。また、図２７Ｂように物体１３３が画面に対応する画像１３２の中心から右側にあれば、位置検出部１１１は物体１３３が右側に存在することを認識できる。
【００８７】
ステップＳ２３において、位置検出部１１１で左側の選択肢ボタンが選択されたと判断できればステップＳ２５へ、そうでなければステップＳ２４へ移行する。
【００８８】
ステップＳ２４において、位置検出部１１１が、右側の選択肢ボタンが選択されていることを確認できればステップＳ４０へ、確認できなければステップＳ５１へ移行する。
【００８９】
ステップＳ２５において、位置検出部１１１はステップＳ２３により検出した選択肢ボタンの場所を左上の場所として記憶するように、左上位置記憶命令を調整値記憶部１１８に発行し、位置の記憶を行う。過去に書き込まれた左上位置データは最新のものに置き換わる。位置の記憶が完了するとステップＳ２６へ移行する。
【００９０】
ステップＳ２６において、図１４の各部がステップＳ２２と同様の動作を行い、設問と右上ボタン、右下ボタンを、例えば図２１のような形式で外部出力機器１０に表示を行う。ここでの設問は「タッチＵＩモードＡを表示ならば赤ボタンに、タッチＵＩモードＢならば青ボタンにタッチしてください。」という内容であるが、この例に限られない。制御信号生成部１１６は、表示が完了するとステップＳ２７へ移行する。
【００９１】
ステップＳ２７において、図１４の各部がステップＳ２３と同様の動作を行い、位置検出部１１１が、上側の選択肢ボタンが選択されていることを確認するとステップＳ２９へ、そうでない場合はステップＳ２８へ移行する。
【００９２】
ステップＳ２８において、位置検出部１１１が、下側の選択肢ボタンが選択されていることを確認するとステップＳ３５へ、そうでなければステップＳ５１へ移行する。
【００９３】
ステップＳ２９において、位置検出部１１１はステップＳ２７により検出した場所を右上の場所として記憶するように、右上位置記憶命令を調整値記憶部１１８に発行し、位置の記憶を行う。過去に書き込まれた右上位置データは最新のものに置き換わる。位置の記憶が完了するとステップＳ３０へ移行する。
【００９４】
ステップＳ３０において、図１４の各部がステップＳ２２と同様の動作を行い、設問と左下ボタン、右下ボタンを、例えば図２０のような形式で外部出力機器１０に表示を行う。ここでの設問は「タッチＵＩモードに切り替えますか？」という内容であるが、この例に限られない。
ここで、タッチパネルにおいてのキャリブレーションは最低３点の場所がわかればよいので、左下ボタン、右下ボタンの選択式ではなく、例えば図２２に示すような同意式の１箇所のボタンを左下か右下に表示し、ユーザに押させる形でも構わない。制御信号生成部１１６は、表示が完了するとステップＳ３１へ移行する。
【００９５】
ステップＳ３１において、図１４の各部がステップＳ２３と同様の動作を行い、位置検出部１１１が、右側の選択肢ボタンが選択されていることを確認するとステップＳ３３へ、そうでなければステップＳ３２へ移行する。
【００９６】
ステップＳ３２において、位置検出部１１１が、左側の選択肢ボタンが選択されていることを確認するとステップＳ３４へ、そうでなければステップＳ５１へ移行する。
【００９７】
ステップＳ３３において、位置検出部１１１はステップＳ３１により検出した選択肢ボタンの場所を右下の場所として記憶するように、右下位置記憶命令を調整値記憶部１１８に発行し、位置の記憶を行う。過去に書き込まれた右下位置データは最新のものに置き換わる。制御信号生成部１１６は、位置の記憶が完了するとステップＳ５２へ移行する。
【００９８】
ステップＳ３４において、位置検出部１１１はステップＳ３２により検出した選択肢ボタンの場所を左下の場所として記憶するように、左下位置記憶命令を調整値記憶部１１８に発行し、位置の記憶を行う。過去に書き込まれた左下位置データは最新のものに置き換わる。制御信号生成部１１６は、位置の記憶が完了するとステップＳ５２へ移行する。
【００９９】
ステップＳ３５において、位置検出部１１１はステップＳ２８により検出した選択肢ボタンの場所を右下の場所として記憶するように、右下位置記憶命令を調整値記憶部１１８に発行し、位置の記憶を行う。過去に書き込まれた右下位置データは最新のものに置き換わる。制御信号生成部１１６は、位置の記憶が完了するとステップＳ３６へ移行する。
【０１００】
ステップＳ３６において、図１４の各部がステップＳ２２と同様の動作を行い、設問と左下ボタン、右上ボタンを例えば図２３のような形式で外部出力機器１０に表示を行う。ここでタッチパネルにおいてのキャリブレーションは最低３点の場所がわかればよいので、左下ボタン、右上ボタンの選択式ではなく、図２２に示すような同意式の１箇所のボタンを左下か右上に表示し、ユーザに押させる形でも構わない。制御信号生成部１１６は、表示が完了するとステップＳ３７へ移行する。
【０１０１】
ステップＳ３７において、図１の各部がステップＳ２３と同様の動作を行い、位置検出部１１１が、左下側の選択肢ボタンが選択されていることを確認するとステップＳ３４へ、そうでなければステップＳ３８へ移行する。
【０１０２】
ステップＳ３８において、位置検出部１１１が、右下側の選択肢ボタンが選択されていることを確認するとステップＳ３９へ、そうでなければステップＳ５１へ移行する。
【０１０３】
ステップＳ３９において、位置検出部１１１はステップＳ３８により検出した選択肢ボタンの場所を右上の場所として記憶するように、右上位置記憶命令を調整値記憶部１１８に発行し、位置の記憶を行う。過去に書き込まれた右上位置データは最新のものに置き換わる。制御信号生成部１１６は、位置の記憶が完了するとステップＳ５２へ移行する。
【０１０４】
ステップＳ４０において、位置検出部１１１はステップＳ２４により検出した選択肢ボタンの場所を右上の場所として記憶するように、右上位置記憶命令を調整値記憶部１１８に発行し、位置の記憶を行う。過去に書き込まれた右上位置データは最新のものに置き換わる。制御信号生成部１１６は、位置の記憶が完了するとステップＳ４１へ移行する。
【０１０５】
ステップＳ４１において、図１４の各部がステップＳ２２と同様の動作を行い、設問と左上ボタン、左下ボタンを例えば図１９のような形式で外部出力機器１０に表示を行う。制御信号生成部１１６は、表示が完了するとステップＳ４２へ移行する。
【０１０６】
ステップＳ４２において、図１４の各部がステップＳ２３と同様の動作を行い、位置検出部１１１が、上側の選択肢ボタンが選択されていることを確認するとステップＳ４４へ、そうでない場合はステップＳ４３へ移行する。
【０１０７】
ステップＳ４３において、位置検出部１１１が、下側の選択肢ボタンが選択されていることを確認するとステップＳ４５へ、そうでなければステップＳ５１へ移行する。
【０１０８】
ステップＳ４４において、位置検出部１１１はステップＳ４２により検出した選択肢ボタンの場所を左上の場所として記憶するように、左上位置記憶命令を調整値記憶部１１８に発行し、位置の記憶を行う。過去に書き込まれた左上位置データは最新のものに置き換わる。制御信号生成部１１６は、位置の記憶が完了するとステップＳ３０へ移行する。
【０１０９】
ステップＳ４５において、位置検出部１１１はステップＳ４３により検出した選択肢ボタンの場所を左下の場所として記憶するように、左下位置記憶命令を調整値記憶部１１８に発行し、位置の記憶を行う。過去に書き込まれた左下位置データは最新のものに置き換わる。制御信号生成部１１６は、位置の記憶が完了するとステップＳ４６へ移行する。
【０１１０】
ステップＳ４６において、図１４の各部がステップＳ２２と同様の動作を行い、設問と右下ボタン、左上ボタンを例えば図２４のような形式で外部出力機器１０に表示を行う。ここでタッチパネルにおいてのキャリブレーションは最低３点の場所がわかればよいので、右下ボタン、左上ボタンの選択式ではなく、図２２に示すような同意式の１箇所のボタンを右下か左上に表示し、ユーザに押させる形でも構わない。制御信号生成部１１６は、表示が完了するとステップＳ４７へ移行する。
【０１１１】
ステップＳ４７において、図１４の各部がステップＳ４３と同様の動作を行い、位置検出部１１１が、右下側の選択肢ボタンが選択されていることを確認するとステップＳ４９へ、そうでなければステップＳ４８へ移行する。
【０１１２】
ステップＳ４８において、位置検出部１１１が、左上側の選択ボタンが選択されていることを確認するとステップＳ５０へ、そうでなければステップＳ５１へ移行する。
【０１１３】
ステップＳ４９において、位置検出部１１１はステップＳ４７により検出した選択肢ボタンの場所を右下の場所として記憶するように、右下位置記憶命令を調整値記憶部１１８に発行し、位置の記憶を行う。過去に書き込まれた右下位置データは最新のものに置き換わる。制御信号生成部１１６は、位置の記憶が完了するとステップＳ５２へ移行する。
【０１１４】
ステップＳ５０において、位置検出部１１１はステップＳ４８により検出した選択肢ボタンの場所を左上の場所として記憶するように、左上位置記憶命令を調整値記憶部１１８に発行し、位置の記憶を行う。過去に書き込まれた左上位置データは最新のものに置き換わる。制御信号生成部１１６は、位置の記憶が完了するとステップＳ５２へ移行する。
【０１１５】
ステップＳ５１において、各ステップでの判断処理の結果、位置検出部１１１は正しい場所を算出できないため、制御信号生成部１１６に対してエラー信号を送信する。次に、制御信号生成部１１６は、設問表示生成部１１７に対してエラー表示命令を送信する。設問表示生成部１１７は、エラー表示命令を受信するとエラーメッセージを生成し、出力画像作成部１０５に送信し、エラーメッセージを画像として組み合わせる。そして、出力画像作成部１０５は、外部出力部１０６を通じて作成した画像を外部出力機器に転送し、画面にエラーメッセージを表示する。制御信号生成部１１６は、エラーメッセージの表示が完了するとステップＳ５２へ移行する。
【０１１６】
ステップＳ５２において、制御信号生成部１１６は、キャリブレーション処理を終了する。
【０１１７】
［タッチＵＩ再生モード］
次に、図１５のステップＳ７におけるタッチＵＩ再生モードについて説明する。
この段階では、キャリブレーションを実行したことにより、指や手、ペンなどの指示体の位置を検出可能になっている。そのため、例えば［大画面の外部出力機器を用いて実現されるタッチＵＩ］のような操作が、タッチパネルなしの通常のディスプレイ装置等の外部出力機器でも、再生装置２０を外部出力機器上部に設置するだけで、実現可能になる。
【０１１８】
タッチＵＩによる操作の概要について、図１４を参照して説明する。図１７のキャリブレーションモード処理を経てキャリブレーションが完了し、タッチＵＩ再生モードが選択された場合に、制御信号生成部１１６よりタッチＵＩ再生モードスタート信号が発行される。
それにより各部がタッチＵＩ再生モードに切り替わり、記録メディア制御部１０１は記録メディア１００より映像データの読み出しを開始する。その際にメタデータ等に基づいてカテゴリ順に映像データを読み出す。例えば図１１Ａのように、運動会カテゴリ、同窓会カテゴリ、旅行カテゴリなどに分けての読み出しが可能である。
【０１１９】
読み出された映像データは記録データデコード部１０２へ転送され、サムネイルデータのデコードを行い、サムネイルデータ格納部１０４へ転送される。転送されたサムネイルデータは出力画像作成部１０５に転送され、図１１Ａのようなカテゴリごとに分類された画像を生成し、外部出力部１０６を通じて外部出力機器１０へ出力する。
【０１２０】
ここで例えば旅行のサムネイル画像群を手でタッチする。すると撮像部１０７、撮像部１０８が撮像データ信号処理部１０９、１１０を通じて位置検出部１１１へ撮像されたデータを転送する。位置検出部１１１は検出した位置に対して、キャリブレーション時に記憶したキャリブレーション情報を調整値記憶部１１８より読み出し、キャリブレーション前より正確な位置の検出を可能にする。位置の補正方法もいくつか知られているが、以下に簡単な説明を行う。
【０１２１】
［位置補正方法］
図２８Ａ，Ｂは、複眼カメラを外部出力機器１０上部の中心に設置した時の、当該複眼カメラによる光学式タッチパネルの左下隅と右下隅の認識を説明するための図である。また図２９Ａ，Ｂは、複眼カメラを外部出力機器１０上部の中心からずれて設置した時の、当該複眼カメラによる光学式タッチパネルの左下隅と右下隅の物体認識を説明するための図である。
【０１２２】
例えば、画面上の左下のポイント１３４Ｌ、右下ポイント１３４Ｒは、左用の撮像部１０８で撮像した画像１３２Ｌ、右用の撮像部１０７で撮像した画像１３２Ｒにおいて、図２８Ａ，Ｂに示すような正しい位置に認識される。
【０１２３】
ここで、例えば図２９Ａ，Ｂのように外部出力機器１０上部に対して再生装置２０がやや左寄に設置されてしまったとする。なお、図２９Ａ，Ｂの例において、再生装置２０は、外部出力機器１０の画面と平行に取り付けられているとする。
このとき、左下，右下のポイント１３４Ｌ，１３４Ｒは、左用の撮像部１０８で撮像した画像１３２Ｌ´、右用の撮像部１０７で撮像した画像１３２Ｒ´において、図２９Ａ，Ｂに示すような位置に認識される。すなわち、再生装置２０が左寄りに設置されてしまった場合、左下，右下のポイント１３４Ｌ，１３４Ｒは、再生装置２０が中央に設置した場合と異なる位置に認識される。
【０１２４】
もしもここで再生装置２０が中央に置かれたときの状態を真の状態であると、再生装置２０自身が検出したと想定する。そうすると、図２９Ａ，Ｂの例のように再生装置２０が左にずれて設置された場合、再生装置２０は全てのポイントが実際よりも右側をタッチされたかのように認識してしまう。ここでキャリブレーション時にこの左下を認識した場合に左用の撮像部１０８ではどの位置に認識するか、右下を認識した場合に右用の撮像部１０７ではどの位置に認識するかを記憶しておく。それにより左隅と記憶した場所と右隅と認識した場所の中央の位置に認識したら、現在は中央にタッチされているなどと求めることが可能になる。すなわち、表示画面の表面における指示体の位置と、撮影により取得した画像上における指示体の位置との対応関係を調整することができる。
【０１２５】
これを最低三点、横方向と縦方向の位置を知ることにより、タッチ位置を認識可能になる。もちろん三点以上のポイントを使ってキャリブレーション可能であれば、より正確な位置検出が可能になる。
【０１２６】
位置検出部１１１が、位置を検出したらその位置情報を制御信号生成部１１６に送信し、その場所に表示しているものが何かを検索し、選択されたことを認識する。これにより、例えば今回のように旅行カテゴリのサムネイル画像群をタッチするとそれを認識し、次のカテゴリの表示命令を制御信号生成部１１６より各部に発行することで、記録メディア制御部１０１が記録メディア１００からの読み出しを開始する。
【０１２７】
このような手順で画像データの読み出し、タッチ位置の認識を行い、再生装置２０を使ってタッチパネル機能なしの通常のディスプレイ装置等の外部出力機器でも、前述したような［大画面の外部出力機器を用いて実現されるタッチＵＩ］が実現可能になる。
【０１２８】
［通常再生モード］
次に、図１５のステップＳ６における通常再生モードについて説明する。
これは光学式タッチパネルとして再生装置２０を使わないモードで、例えば一般に市販されているデジタルスチルカメラなどと同じ操作モードとなる。外部出力機器と再生装置を接続し、その操作は光学式タッチパネルを使って行うのではなく、接続した再生装置の表示パネル上で操作を行う。
【０１２９】
例えば図１０Ａ〜Ｄについて［大画面の外部出力機器を用いて実現されるタッチＵＩ］で説明したような動作を行うと、それと同じ画面が液晶表示パネル上に表示されたり、液晶表示パネル上にサムネイル画像などが並んで表示されたりする。表示された画面内の画像の選択は、再生装置上の表示パネルにカーソルキーやＯＫボタン、キャンセルボタン等を含むコントローラを表示して、そのコントローラを操作する。再生装置本体に配置された操作スイッチによる操作やリモートコントローラなどの外部コントローラ、または接続先のディスプレイ装置などから操作することもある。しかしながら、大画面ならではの直感的な操作であるタッチＵＩを行うには、タッチＵＩが可能な大画面の外部出力機器を用意する必要がある。
【０１３０】
＜２．その他＞
選択肢ボタンの自動サイズ変更について説明する。
キャリブレーションポイントとして用いる選択肢ボタンは、大きいとユーザがキャリブレーション時、設問選択時に押す範囲が広いため、その分だけ光学式タッチパネルの位置検出精度が落ちる。つまりは、より大画面の外部出力機器に選択肢ボタンを表示することにより、大画面でない通常ディスプレイ装置と同じようにして出力画像を表示すると選択肢ボタンの大きさが大きくなってしまう。
【０１３１】
図３０Ａは、複眼カメラ付き再生装置を用いた光学式タッチパネルを大画面の外部出力機器に適用した場合の選択肢ボタンの例を示している。Ａは、キャリブレーションモードのとき表示される選択肢ボタン（左上、右上）の例であり、Ｂは、大きさ補正後の選択肢ボタン（左上、右上）の例である。
例えば図１８のような表示を大画面の外部出力機器２００に表示すると、図３０Ａのように選択肢ボタンが大きくなり、キャリブレーションの精度が落ちてしまう。そこで外部出力機器２００側の画面サイズのインチ数を例えばＨＤＭＩ ＣＥＣなどの制御信号により取得することで、画面サイズのインチ数に応じて選択肢ボタンの大きさを変化させる。また、選択肢ボタンを表示するために使用するピクセル数を決めておいてもよい。図３０Ｂは、選択肢ボタンを適切な大きさに変化させて表示した例である。図３０Ｂの例では、画面サイズが大きくなっても選択肢ボタンの大きさは大きくならないので、キャリブレーションを精度よく行うことができる。
【０１３２】
ところで、上述したように、これまで詳細なキャリブレーションを行うにあたっては、３点以上の多くのポイントを押す必要があった。そこで、例えば３０点押さなくてはならない場合、本発明のキャリブレーション手法で５点については設問形式により裏でキャリブレーションを行い、残り２５点は入力ポイントを表示して強制的に押させる通常のキャリブレーションをやらせる形式をとってもよい。この組み合わせの手法により、従来よりも幾分かはユーザの負担を軽減できる。
【０１３３】
外部出力機器上にある再生装置が、当該外部出力機器から動かされたことを図１４の加速度センサ１１３や角度センサ１１４にて検知すると、制御信号生成部１１６は再度キャリブレーション実行命令を発行し、各部をキャリブレーションモードにして、自動再キャリブレーションを実行するようにしてもよい。
【０１３４】
上述した実施の形態によれば、例えばモード設定などのキャリブレーション専用の設問とは異なる（キャリブレーション作業を連想させない）設問と複数の選択肢ボタンを画面に表示する。そして、ユーザに選択肢ボタンを選択させ、並行してその裏でキャリブレーションを実行することにより、ユーザの一の選択動作で、設定処理とキャリブレーションに必要な情報を同時に取得することができ、ユーザの負担を大幅に軽減できる。例えば、モード切替時にどのモードを選択するか、例えば外部出力機器にケーブルを接続したとしても外部出力機器にプレビュー画像を映しての撮影がやりたいのか、再生モードにしたいのかなど、何点か設定の選択が必要となる。そのとき、設問と選択肢ボタンを画面に表示し、その選択時に裏でキャリブレーションを行うということで実使用にあたってユーザに新たな作業追加なく、キャリブレーションも行うことができるため、ユーザの負担を軽減される。
【０１３５】
また、従来のタッチセンサなしの外部出力機器を使用しながらもタッチＵＩを実現できるというだけでなく、さらにキャリブレーションという億劫な作業について各種設定を行うと同時に実行される。そのため、ユーザへの負担を軽減しながら、直感的でわかりやすいタッチ操作が可能になる。また逆の視点で考えればキャリブレーションを行いながら同時に設定作業が可能という利点もある。
【０１３６】
また本発明の再生装置は外部出力機器に対する設置位置がずれた際、初めて設置した際に自動的にキャリブレーションモード、設問表示モードに切り替わるので、ユーザにキャリブレーションを忘れずに行わせることが可能である。
【０１３７】
なお、本発明に係る再生装置はカメラを用いたタッチＵＩ技術を適用しているため、奥行き、左右程度の認識はキャリブレーション前でも認識可能なため、設問によるキャリブレーションが可能である。
【０１３８】
以上、本発明の各実施の形態の例について説明したが、本発明は上記各実施の形態例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含むことはいうまでもない。
【０１３９】
例えば、上述した実施の形態においては、再生装置２０（図４，図１４参照）は、外部出力機器１０の表示画面を撮影するための撮像機能（レンズ、撮像部、撮像データ信号処理部）を２つ備える構成としたが、この例に限られない。例えば、再生装置としては撮像機能を少なくとも一つ備えていればよく、一つの撮像機能を持つ再生装置で取得した一つの撮像データと、他のカメラで当該表示画面を撮影して得た撮像データとを利用して、光学式タッチパネルを実現するようにしてもよい。
【０１４０】
また、上述した実施の形態においては、設問とユーザに選択されたアイコンとに対応する設定処理を行い、並行してキャリブレーションを行うようにしたが、設定処理とキャリブレーションに必要な情報を同時に取得できれば実行の順番はこの例に限られない。例えば、設定処理に先行してキャリブレーションを実行してもよい。勿論、設問とユーザに選択されたアイコンとに対応する設定処理を実行した後、キャリブレーションを実行するようにしてもよい。
【０１４１】
また、上述した実施の形態においては、再生装置２０が、撮像部１０７，１０８から供給される表示画面の撮像データに基づいてキャリブレーションを実行する構成としたが、この例に限られない。例えば、タッチパネルを実装した大画面のテレビジョン受像機やパーソナルコンピュータと接続したディスプレイ装置などの外部出力機器において、表示画面の撮像データに基づいてキャリブレーションを実行するようにしてもよい。
【０１４２】
また、本明細書において時系列的な処理を記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。
【符号の説明】
【０１４３】
１０、２００…外部出力機器、１１…枠体、２０…複眼カメラ付き再生装置、２１Ａ，２１Ｂ…レンズ、１０５…出力画像作成部、１０６…外部出力部、１０７，１０８…撮像部、１０９，１１０…撮像データ信号処理部、１１１…位置検出部、１１２…入力部、１１５…外部出力デバイス検出部、１１７…制御信号生成部、１１８…設問表示生成部、１１９…調整値記憶部
【特許請求の範囲】
【請求項１】
表示画面への画像表示を制御する画像表示制御部と、
設問と該設問に対して任意に選択可能な複数のアイコンからなる選択肢ボタンとを含む設問画像を生成する画像生成部と、
前記表示画面を撮影した撮像データから、当該表示画面上に存在する指示体の位置を検出する位置検出部と、
前記画像生成部で生成された前記設問画像を前記表示画面に表示したときの前記複数のアイコンの位置を記憶する位置情報記憶部と、
前記位置検出部により検出される前記指示体の位置に基づいて前記指示体によって前記複数のアイコンのうちいずれのアイコンが選択されたかを特定し、選択されたと特定された前記アイコンに対応する、前記位置情報記憶部に記憶された前記アイコンの位置に基づいて、前記位置検出部で検出される前記指示体の位置のキャリブレーションを実行する制御部と、
を備える画像処理装置。
【請求項２】
前記設問は、キャリブレーション専用の設問とは異なる設問である
請求項１に記載の画像処理装置。
【請求項３】
前記制御部は、前記設問と前記選択されたと特定された前記アイコンとに対応する設定処理を実行し、並行して前記キャリブレーションを実行する
請求項２に記載の画像処理装置。
【請求項４】
前記制御部は、前記表示画面の画面サイズ情報を取得し、前記画像生成部に対して前記画面サイズ情報に応じて前記選択肢ボタンのサイズを変更させる
請求項２に記載の画像処理装置。
【請求項５】
加速度センサおよび角度センサを、さらに備え、
前記制御部は、前記加速度センサおよび前記角度センサの出力に基づいて、当該画像処理装置の設置位置が前記表示画面の基準の位置からずれたことを検出した場合、前記画像生成部に前記設問画像を生成させ、前記表示画面に表示させる
請求項１に記載の画像処理装置。
【請求項６】
前記表示画面を撮影する撮像部を少なくとも一つ備える
請求項１に記載の画像処理装置。
【請求項７】
画像処理装置が備える画像生成部により、設問と該設問に対して任意に選択可能な複数のアイコンからなる選択肢ボタンとを含む設問画像を生成するステップと、
前記画像処理装置が備える位置検出部により、前記画像処理装置が備える画像表示制御部によって画像表示が制御される表示画面を撮影した撮像データから、当該表示画面上に存在する指示体の位置を検出するステップと、
前記画像処理装置が備える制御部により、前記位置検出部によって検出される前記指示体の位置に基づいて前記指示体により前記複数のアイコンのうちいずれのアイコンが選択されたかを特定するステップと、
選択されたと特定された前記アイコンに対応する、前記画像処理装置が備える位置情報記憶部に記憶されている前記画像生成部で生成された前記設問画像を前記表示画面に表示したときの前記アイコンの位置に基づいて、前記位置検出部で検出される前記指示体の位置のキャリブレーションを実行するステップと、
を含む画像表示方法。
【請求項８】
コンピュータを、
表示画面への画像表示を制御する画像表示制御手段と、
設問と該設問に対して任意に選択可能な複数のアイコンからなる選択肢ボタンとを含む設問画像を生成する画像生成手段と、
前記表示画面を撮影した撮像データから、当該表示画面上に存在する指示体の位置を検出する位置検出手段と、
前記画像生成手段で生成された前記設問画像を前記表示画面に表示したときの前記複数のアイコンの位置を記憶する位置情報記憶手段と、
前記位置検出手段により検出される前記指示体の位置に基づいて前記指示体によって前記複数のアイコンのうちいずれのアイコンが選択されたかを特定し、選択されたと特定された前記アイコンに対応する、前記位置情報記憶手段に記憶されている前記アイコンの位置に基づいて、前記位置検出手段で検出される前記指示体の位置のキャリブレーションを実行する制御手段
として機能させるための画像表示プログラム。
【請求項９】
請求項８に記載された画像表示プログラムが記録された記録媒体。
【請求項１】
表示画面への画像表示を制御する画像表示制御部と、
設問と該設問に対して任意に選択可能な複数のアイコンからなる選択肢ボタンとを含む設問画像を生成する画像生成部と、
前記表示画面を撮影した撮像データから、当該表示画面上に存在する指示体の位置を検出する位置検出部と、
前記画像生成部で生成された前記設問画像を前記表示画面に表示したときの前記複数のアイコンの位置を記憶する位置情報記憶部と、
前記位置検出部により検出される前記指示体の位置に基づいて前記指示体によって前記複数のアイコンのうちいずれのアイコンが選択されたかを特定し、選択されたと特定された前記アイコンに対応する、前記位置情報記憶部に記憶された前記アイコンの位置に基づいて、前記位置検出部で検出される前記指示体の位置のキャリブレーションを実行する制御部と、
を備える画像処理装置。
【請求項２】
前記設問は、キャリブレーション専用の設問とは異なる設問である
請求項１に記載の画像処理装置。
【請求項３】
前記制御部は、前記設問と前記選択されたと特定された前記アイコンとに対応する設定処理を実行し、並行して前記キャリブレーションを実行する
請求項２に記載の画像処理装置。
【請求項４】
前記制御部は、前記表示画面の画面サイズ情報を取得し、前記画像生成部に対して前記画面サイズ情報に応じて前記選択肢ボタンのサイズを変更させる
請求項２に記載の画像処理装置。
【請求項５】
加速度センサおよび角度センサを、さらに備え、
前記制御部は、前記加速度センサおよび前記角度センサの出力に基づいて、当該画像処理装置の設置位置が前記表示画面の基準の位置からずれたことを検出した場合、前記画像生成部に前記設問画像を生成させ、前記表示画面に表示させる
請求項１に記載の画像処理装置。
【請求項６】
前記表示画面を撮影する撮像部を少なくとも一つ備える
請求項１に記載の画像処理装置。
【請求項７】
画像処理装置が備える画像生成部により、設問と該設問に対して任意に選択可能な複数のアイコンからなる選択肢ボタンとを含む設問画像を生成するステップと、
前記画像処理装置が備える位置検出部により、前記画像処理装置が備える画像表示制御部によって画像表示が制御される表示画面を撮影した撮像データから、当該表示画面上に存在する指示体の位置を検出するステップと、
前記画像処理装置が備える制御部により、前記位置検出部によって検出される前記指示体の位置に基づいて前記指示体により前記複数のアイコンのうちいずれのアイコンが選択されたかを特定するステップと、
選択されたと特定された前記アイコンに対応する、前記画像処理装置が備える位置情報記憶部に記憶されている前記画像生成部で生成された前記設問画像を前記表示画面に表示したときの前記アイコンの位置に基づいて、前記位置検出部で検出される前記指示体の位置のキャリブレーションを実行するステップと、
を含む画像表示方法。
【請求項８】
コンピュータを、
表示画面への画像表示を制御する画像表示制御手段と、
設問と該設問に対して任意に選択可能な複数のアイコンからなる選択肢ボタンとを含む設問画像を生成する画像生成手段と、
前記表示画面を撮影した撮像データから、当該表示画面上に存在する指示体の位置を検出する位置検出手段と、
前記画像生成手段で生成された前記設問画像を前記表示画面に表示したときの前記複数のアイコンの位置を記憶する位置情報記憶手段と、
前記位置検出手段により検出される前記指示体の位置に基づいて前記指示体によって前記複数のアイコンのうちいずれのアイコンが選択されたかを特定し、選択されたと特定された前記アイコンに対応する、前記位置情報記憶手段に記憶されている前記アイコンの位置に基づいて、前記位置検出手段で検出される前記指示体の位置のキャリブレーションを実行する制御手段
として機能させるための画像表示プログラム。
【請求項９】
請求項８に記載された画像表示プログラムが記録された記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２０１１−２１０１８８（Ｐ２０１１−２１０１８８Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７９６９６（Ｐ２０１０−７９６９６）
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]