Notice: Undefined variable: fterm_desc_sub in /mnt/www/biblio_conv.php on line 353
画像処理装置および方法、並びにプログラム
説明

画像処理装置および方法、並びにプログラム

【課題】アイコンなどに割り当てられた機能を表示画面に触れることなく選択、実行することができるようにする。
【解決手段】近接判定部181は、近接パネルから出力される近接検知信号に基づいて、タッチスクリーンに対するユーザの指などの近接の度合を判定する。視差調整部182は、ユーザの指などの近接の度合に基づいて3D画像生成部183により生成される3D画像の視差を設定する。また、3D表示させるべきオブジェクトが特定され中心位置に基準点を設定する。3D画像生成部183は、視差に対応して定まる距離であって、上述した基準点から同一距離だけ離間している左右の領域の各データを、左目用画像のデータ、および右目用画像のデータとして生成する。選択実行指令部184は、当該オブジェクトに対応する機能の実行を指令する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、アイコンなどに割り当てられた機能を表示画面に触れることなく選択、実行することができるようにする画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【0002】
従来より、GUI(Graphical User Interface)の機能の拡充が図られている。
【0003】
例えば、アイコンを採用するGUIとしては、例えば、アイコン等を表示する液晶パネル等の表示パネルと、ユーザの指等のタッチを検出するタッチパネルとが一体的に構成されたタッチスクリーンに表示されるGUIがある。
【0004】
タッチスクリーンを用いたGUIでは、タッチスクリーンに表示されたアイコンに、タッチがされると、そのアイコンに割り当てられた機能が実行される。
【0005】
また、例えば、表示画面と指の近接を感知し、アイコンを拡大表示することができるようにする技術も提案されている(例えば、特許文献1、特許文献2参照)。
【0006】
【特許文献1】特開2006−236143号公報
【特許文献2】特開2005−51876号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1および特許文献2では、アイコンに割り当てられた機能を選択、実行するためには、そのアイコンが表示されている表示画面に触れる必要があった。
【0008】
このように、液晶パネルなどの表示画面に指を触れるなどすると、表面に皮脂などの汚れが付きやすい。あるいはまた、何度も強く押下されることで液晶パネルなどが破損することもあった。
【0009】
一方で、表示画面に触れさせることなく、アイコンに割り当てられた機能が実行されるようにした場合、例えば、ユーザがアイコンの選択などを実感するためのフィードバックを返すことが難しいという問題があった。
【0010】
本発明は、このような状況に鑑みてなされたものであり、アイコンなどに割り当てられた機能を表示画面に触れることなく選択、実行することができるようにするものである。
【課題を解決するための手段】
【0011】
本発明の一側面は、GUI部品を表示する表示部に対して、前記GUI部品を操作するための物体が近接したか否かを検知する近接検知部と、前記物体が近接した場合、操作される前記GUI部品を特定する部品特定部と、特定された前記GUI部品が前記物体へ近づいて見えるように、前記表示部の奥行き表示を制御するための画像データを生成する画像データ生成部とを備える画像処理装置である。
【0012】
前記画像データ生成部は、前記物体が前記表示部に近接した度合に応じて、前記表示部の奥行き表示を制御するための前記画像データを生成するようにすることができる。
【0013】
前記近接の度合を予め設定された閾値と比較することで、前記比較の結果に対応して前記表示部の奥行き表示の制御に用いられる視差が設定されるようにすることができる。
【0014】
前記画像データ生成部は、特定された前記GUI部品が拡大表示されるように、前記画像データを生成するようにすることができる。
【0015】
前記画像データ生成部は、特定された前記GUI部品の色が変化するように、前記画像データを生成するようにすることができる。
【0016】
前記画像データ生成部により前記画像データが生成された後、特定された前記GUI部品に割り当てられた機能を実行する機能実行部をさらに備えるようにすることができる。
【0017】
前記表示は、視差バリア方式を採用した3Dディスプレイであるようにすることができる。
【0018】
前記近接検知部は、タッチスクリーンであるようにすることができる。
【0019】
前記画像データ生成部は、前記GUI部品の表示位置に対応する基準点に基づいて、所定の視差を有する左目用画像のデータ、および右目用画像のデータを生成することで、前記画像データを生成するようにすることができる。
【0020】
本発明の一側面は、近接検知部が、GUI部品を表示する表示部に対して、前記GUI部品を操作するための物体が近接したか否かを検知し、部品特定部が、前記物体が近接した場合、操作される前記GUI部品を特定し、画像データ生成部が、特定された前記GUI部品が前記物体へ近づいて見えるように、前記表示部の奥行き表示を制御するための画像データを生成するステップを含む操作画面表示方法である。
【0021】
本発明の一側面は、コンピュータを、GUI部品を表示する表示部に対して、前記GUI部品を操作するための物体が近接したか否かを検知する近接検知部と、前記物体が近接した場合、操作される前記GUI部品を特定する部品特定部と、特定された前記GUI部品が前記物体へ近づいて見えるように、前記表示部の奥行き表示を制御するための画像データを生成する画像データ生成部とを備える画像処理装置として機能させるプログラムである。
【0022】
本発明の一側面においては、GUI部品を表示する表示部に対して、前記GUI部品を操作するための物体が近接したか否かが検知され、前記物体が近接した場合、操作される前記GUI部品が特定され、特定された前記GUI部品が前記物体へ近づいて見えるように、前記表示部の奥行き表示を制御するための画像データが生成される。
【発明の効果】
【0023】
本発明によれば、アイコンなどに割り当てられた機能を表示画面に触れることなく選択、実行することができる。
【図面の簡単な説明】
【0024】
【図1】3D画像の生成手法について説明する図である。
【図2】3D画像を表示するディスプレイの構成例を示す図である。
【図3】視差バリアをONにして画像を表示した場合の例を示す図である。
【図4】視差バリアをOFFにして画像を表示した場合の例を示す図である。
【図5】本技術が適用される画像処理装置の一実施の形態としての撮像装置の外観構成例を示す図である。
【図6】図5の撮像装置の内部構成例を示すブロック図である。
【図7】CPUにより実行されるソフトウェアの機能的構成例を示すブロック図である。
【図8】タッチスクリーンに表示される画像の例を示す図である。
【図9】アイコンが選択される場合のタッチスクリーンの表示画面の遷移を説明する図である。
【図10】アイコンが選択される場合のタッチスクリーンの表示画面の遷移を説明する図である。
【図11】アイコンが選択される場合のタッチスクリーンの表示画面の遷移を説明する図である。
【図12】アイコン選択表示制御処理の例を説明する図である。
【図13】アイコン選択表示制御処理の別の例を説明する図である。
【図14】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【0025】
以下、図面を参照して、本発明の実施の形態について説明する。
【0026】
以下に説明する実施の形態は、3D画像(3次元で表現された画像)を表示する。そこで、本発明の実施の形態の理解を容易なものとすべく、本発明の実施形態の説明の前に、左目用画像及び右目用画像から構成される3D画像の生成手法の概略について説明する。
【0027】
図1は、3D画像の生成手法について説明する図である。
【0028】
第1の生成手法は、2つのレンズが設けられた撮像装置を用いる手法である。すなわち、第1の生成手法では、ユーザ等は、このような撮像装置を、2つのレンズが略水平方向に配置されるように保持して、撮影を1度行う。すると、2つのレンズのうち、左側に位置するレンズを透過した光によって左目用画像のデータが生成され、右側に位置するレンズを透過した光によって右目用画像のデータが生成される。
【0029】
なお、撮像装置などを用いずに、CG(Computer Graphics)により生成された画像に対応させて、左目用画像のデータ、および右目用画像のデータが生成されるようにしてもよい。
【0030】
このようにして生成された左目用画像及び右目用画像の各々には、対応するオブジェクトが、撮像装置の2つのレンズ間の距離に応じた分だけ離間した位置にそれぞれ含まれる。ここで、左目用画像及び右目用画像の各々に含まれる対応するオブジェクトの略水平方向の配置位置の差分(すなわち、距離)を、以下、視差と称する。このような、視差が大きくなるほど、3D表示されるオブジェクトの奥行きが深くなる、すなわち、凹凸の度合いが強くなる、という特徴がある。従って、かかる特徴を有する視差は、3D表示されるオブジェクトの凹凸の度合いを決定づけるパラメータとして使用することができる。
【0031】
図2は、上述したような3D画像を表示するディスプレイの構成例を示す図である。同図に示されるディスプレイは、いわゆる視差バリア方式と称される方式で3D画像を表示する3Dディスプレイ30であり、ユーザに3Dディスプレイ30を裸眼で観察させることにより、3D表示されるオブジェクトの凹凸を感じさせることができる。
【0032】
図2に示されるように、3Dディスプレイ30は、表示層31と視差バリア層32により構成されている。表示層31には、水平方向に単位画素数(1列)毎に左目用の画像と右目用の画像が交互に表示されるようになされている。同図において、表示層31の左目用の画像が表示されている列は「L」と表示されており、右目用の画像が表示されている列は「R」と表示されている。
【0033】
視差バリア層32は、表示層31の画像の列と同じ周期の列を有する格子状のバリアとされ、バリアの開口部の幅が表示層31の1列の画像の幅と等しく設定されている。ユーザが、視差バリア層32を介して表示層31に表示された画像を所定の距離から見ると、ユーザの左右の目に「L」と「R」の画像をそれぞれ分離して提示することができるので視差が発生する。
【0034】
例えば、図3に示されるように、ユーザ40が、視差バリア層32を介して表示層31に表示された画像を所定の距離から見ると、ユーザ40の左目には、左目用の画像の列のみにより構成される画像が提示され、ユーザ40の右目には、右目用の画像の列のみにより構成される画像が提示される。同図の例では、ユーザ40の左目には、「L1(左目用の画像の第1列目を表している)」、・・・「Ln(左目用の画像の第n列目を表している)」、・・・「LN(左目用の画像の第N列目を表している)」の各列により構成される画像が提示されている。また、ユーザ40の右目には、「R1(右目用の画像の第1列目を表している)」、・・・「Rn(右目用の画像の第n列目を表している)」、・・・「RN(右目用の画像の第N列目を表している)」の各列により構成される画像が提示されている。
【0035】
このように、ユーザ40に3Dディスプレイ30を裸眼で観察させることで、3D表示されるオブジェクトの凹凸を感じさせることができる。なお、視差バリア層32を介して観察される画像は、表示層31が本来有する水平方向の解像度の1/2の解像度しか表現することはできない。このため、3Dディスプレイ30は、図3に示されるように視差バリアをONにして画像を表示させることができるとともに、図4に示されるように視差バリアをOFFにして画像を表示させることもできるようになされている。
【0036】
図4は、視差バリアをOFFにして画像を表示した場合の例を示す図である。図4の例の場合、表示層31の各列に表示された画像が、ユーザ40の左目および右目にそれぞれ提示されるようになされている。従って、視差バリアをOFFして画像を表示する場合、表示層31の各列に、左右の両目に提示させる画像「LR1」、「LR2」、・・・を表示させることで、表示層31が本来有する水平方向の解像度で画像を表示させることができる。ただし、図4に示される場合、ユーザに、視差を有する画像を提示することができないので、画像を3D表示させることはできず、2次元での表示(2D表示)のみさせることができる。
【0037】
このように、3Dディスプレイ30は、図3に示されるように画像を3D表示させたり、図4に示されるように画像を2D表示させたりすることができるようになされている。
【0038】
図5は、本技術が適用される画像処理装置の一実施の形態としての撮像装置50の外観構成例を示す図である。
【0039】
図5Aは、撮像装置50の正面を、図5Bは、その背面をそれぞれ示している。
【0040】
図5Aに示されるように、例えばデジタルカメラとして構成される撮像装置50の正面の向かって右側には、レンズ部111が設けられている。レンズ部111は、被写体からの光を集光するレンズやフォーカス(ピント)の調整をするためのフォーカスレンズ、絞り等の光学系その他から構成されている(いずれも図示せず)。レンズ部111は、撮像装置50の電源がオンにされたときに撮像装置50の筐体から突出し、撮像装置50の電源がオフにされたときに、撮像装置50の筐体内部に収納されるようになっている。図5Aでは、レンズ部111は、撮像装置50の筐体内部に収納された状態になっている。
【0041】
撮像装置50の正面の、レンズ部111の右上には、AF(Auto Focus)補助光投光部112が設けられている。AF補助光投光部112は、レンズ部111の光学系の光軸方向に向かって、AF補助光としての光を照射することにより、被写体を照明する。これにより、例えば、暗い場所でも、被写体の画像を撮像して、その画像に基づいて、被写体にフォーカス(ピント)を合わせる、いわゆるオートフォーカス機能が働くようになっている。
【0042】
撮像装置50の正面の中央上方には、ストロボ113が配置されている。
【0043】
撮像装置50の上面の、正面側から見て右側には、電源をオン/オフするときに操作される電源ボタン114が設けられ、正面側から見て左側には、撮像されている画像を記録するときに操作されるシャッタボタン(レリーズボタン)115とが設けられている。
【0044】
図5Bに示されるように、撮像装置50の背面の右上には、ズームボタン116が設けられている。
【0045】
例えば、ユーザが、撮像装置50を用いて被写体を撮像する場合、望遠(Tele)の指示を行うときには、ズームボタン116のうちの「T」と印字された部分(以下、Tボタンと称する)を押下する。一方、ユーザは、広角(Wide)の指示を行うときには、ズームボタン116のうちの「W」と印字された部分(以下、Wボタンと称する)を押下する。なお、ユーザは、Tボタン又はWボタンの押下状態を継続することによって、望遠(Tele)又は広角(Wide)の連続指示を行うことができる。
【0046】
ズームボタン116の下方には、モードダイヤル117が設けられている。モードダイヤル117は、撮像装置50の各種モードを選択するとき等に操作される。撮像装置50の動作モードとしては、例えば、被写体を撮影する撮影モードや、被写体が撮影された結果得られる撮影画像を表示させる画像表示モードが存在する。また、撮影モード時の各種操作に関連するモードとして、ストロボ113の発光を強制的にオン又はオフにするモードや、セルフタイマを使用するモード、後述する液晶パネル120にメニュー画面を表示するモード等が存在する。
【0047】
モードダイヤル117の下方には、操作ボタン118が設けられている。操作ボタン118は、予め割り当てられた指示操作をユーザが行う場合に用いられる。
【0048】
例えば、ユーザは、操作ボタン118を操作することで、メニュー画面におけるカーソルを移動させ、カーソルの配置位置に存在する項目を選択することができる。
【0049】
タッチスクリーン119は、液晶パネル120とその上に配置された近接パネル121とが一体的になったもので、液晶パネル120によって各種の画像を表示するとともに、近接パネル121によって、ユーザの操作を受け付けることができる。
【0050】
液晶パネル120は、例えば、図2乃至図4を参照して上述した3Dディスプレイ30と同様の構成を有するディスプレイとされ、必要に応じて画像を3D表示または2D表示することができるようになされている。
【0051】
近接パネル121は、例えば、静電容量方式のタッチスクリーンと同様の方式により、静電容量の変化を検出し、ユーザの指などが近接したことを検出するようになされている。近接パネル121は、パネル上の所定の位置における静電容量の変化を検出し、その位置において、ユーザの指などがどの程度近接しているのかを表す信号を出力するようになされている。
【0052】
図6は、図5の撮像装置50の内部構成例を示すブロック図である。
【0053】
なお、図6では、図5のAF補助光投光部112、及びストロボ113の図示は、省略してある。
【0054】
CCD(Charge Coupled Device)131は、タイミングジェネレータ(TG)141から供給されるタイミング信号に従って動作することにより、レンズ部111を介して入射する被写体からの光を受光して光電変換を行い、受光量に応じた電気信号としてのアナログの画像信号を、アナログ信号処理部132に供給する。
【0055】
アナログ信号処理部132は、CPU(Central Processing Unit)136の制御にしたがい、CCD131からのアナログの画像信号を増幅等するアナログ信号処理を行い、そのアナログ信号処理の結果得られる画像信号を、A/D(Analog/Digital)変換部133に供給する。
【0056】
A/D変換部133は、CPU136の制御にしたがい、アナログ信号処理部132からのアナログ信号の画像信号をA/D変換し、その結果得られるデジタル信号の画像のデータを、デジタル信号処理部134に供給する。
【0057】
デジタル信号処理部134は、CPU136の制御にしたがい、A/D変換部133からの画像のデータに対し、ノイズ除去処理等のデジタル信号処理を施し、処理後の画像のデータを液晶パネル120に供給する。これにより、液晶パネル120には、供給された画像のデータに対応する画像、すなわち、撮影中の撮影画像(以下、スルー画と称する)が表示される。また、デジタル信号処理部134は、A/D変換部133からの画像のデータを、例えば、JPEG(Joint Photographic Experts Group)方式等で圧縮符号化し、その結果得られる圧縮符号化データを、記録デバイス135に供給して記録させる。さらに、デジタル信号処理部134は、記録デバイス135に記録された圧縮符号化データを伸張復号し、その結果得られる画像のデータを液晶パネル120に供給する。これにより、液晶パネル120には、供給された画像のデータに対応する画像、すなわち、記録された撮影画像が表示される。
【0058】
また、デジタル信号処理部134は、CPU136の制御にしたがい、液晶パネル120に表示させるGUI(例えば、後述するメニュー画面)の表示を制御する。
【0059】
記録デバイス135は、例えば、DVD(Digital Versatile Disc)等のディスクや、メモリカード等の半導体メモリその他のリムーバブルなリムーバブル記録媒体であり、撮像装置50に対して、容易に着脱可能になっている。記録デバイス135には、撮影画像のデータが記録される。
【0060】
CPU136は、プログラムROM(Read Only Memory)139に記録されているプログラムを実行することにより、撮像装置50を構成する各部を制御し、また、近接パネル121からの信号や、操作部137からの信号に応じて、各種の処理を行う。
【0061】
操作部137は、ユーザによって操作され、その操作に対応した信号を、CPU136に供給する。なお、操作部137には、図5に示した、電源ボタン114、シャッタボタン115、ズームボタン116、モードダイヤル117、操作ボタン118等が含まれる。
【0062】
EEPROM(Electrically Erasable Programmable ROM)138は、CPU136の制御にしたがい、撮像装置50に設定された各種の情報その他の、撮像装置50の電源がオフにされたときも保持しておく必要があるデータ等を記憶する。
【0063】
プログラムROM139は、CPU136が実行するプログラム、さらには、CPU136がプログラムを実行する上で必要なデータを記憶している。RAM(Read Only Memory)140は、CPU136が各種の処理を行う上で必要なプログラムやデータを一時記憶する。
【0064】
タイミングジェネレータ141は、CPU136の制御にしたがい、タイミング信号を、CCD131に供給する。タイミングジェネレータ141からCCD131に供給されるタイミング信号によって、CCD131における露出時間(シャッタスピード)等が制御される。
【0065】
モータドライバ142は、CPU136の制御にしたがい、モータにより構成されるアクチュエータ143を駆動する。アクチュエータ143が駆動されることにより、レンズ部111は、撮像装置50の筐体から突出し、あるいは、撮像装置50の筐体内部に収納される。また、アクチュエータ143が駆動されることにより、レンズ部111を構成する絞りの調整や、レンズ部111を構成するフォーカスレンズの移動が行われる。
【0066】
以上のように構成される撮像装置50においては、CCD131が、レンズ部111を介して入射する被写体からの光を受光して光電変換を行い、その結果得られるアナログの画像信号を出力する。CCD131が出力するアナログの画像信号は、アナログ信号処理部132及びA/D変換部133を介することにより、デジタル信号の画像のデータとされ、デジタル信号処理部134に供給される。
【0067】
デジタル信号処理部34は、A/D変換部133からの画像のデータを、液晶パネル120に供給し、これにより、液晶パネル120では、いわゆるスルー画が表示される。
【0068】
その後、ユーザが、シャッタボタン115(図5)を操作すると、その操作に応じた信号が、操作部137からCPU136に供給される。CPU136は、操作部137から、シャッタボタン115の操作に応じた信号が供給されると、デジタル信号処理部134を制御し、そのときA/D変換部133からデジタル信号処理部134に供給された画像のデータを圧縮させ、その結果得られる圧縮画像のデータを、記録デバイス135に記録させる。
【0069】
以上のようにして、いわゆる写真撮影が行われる。
【0070】
また、CPU136は、所定のプログラムを実行することにより、3D画像の画像データを生成するようになされている。
【0071】
3D画像を生成する場合、CPU136は、視差dを設定する。視差dが大きい値として設定された場合、視差を有する画像に表示されるオブジェクトの遠近感(3D表示されるオブジェクトの凹凸の度合い)も大きくなる。例えば、視差dが大きい値として設定された場合、画面を観察するユーザから見て、オブジェクトが画面から手前に大きく飛び出している(または画面の奥深くに引き込まれている)ように感じられる。
【0072】
一方、視差dが小さい値として設定された場合、視差を有する画像に表示されるオブジェクトの遠近感(3D表示されるオブジェクトの凹凸の度合い)も小さくなる。例えば、視差dが小さい値として設定された場合、画面を観察するユーザから見て、オブジェクトが画面とほぼ同じ位置にあるように感じられる。
【0073】
CPU136は、3D画像の生成の元となる画像のデータを取得し、3D表示させるべきオブジェクトが表示された処理対象領域を設定し、処理対象領域の水平方向の所定位置に基準点Pを設定する。そして、CPU136は、基準点Pに対して視差dに対応して定まる距離であって、同一距離だけ離間している左右の領域の各データを、左目用画像のデータ、および右目用画像のデータとして生成する。
【0074】
このようにして生成された視差dを有する左目用画像のデータ、および右目用画像のデータに対応する画像を、タッチスクリーン119に表示させることにより、ユーザに3D画像を観察させることができる。
【0075】
図7は、CPU136により実行されるプログラムなどのソフトウェアの機能的構成例を示すブロック図である。
【0076】
近接判定部181は、近接パネル121から出力される近接検知信号に基づいて、タッチスクリーン119に対するユーザの指などの近接の度合を判定する。近接判定部181は、例えば、タッチスクリーン119からの距離が所定の閾値未満となるまでユーザの指などが近接した場合、近接判定部181はその旨を表す所定のデータを生成して出力する。また、近接していたユーザの指などがタッチスクリーン119からの距離が所定の閾値以上となるまで遠ざかった場合、近接判定部181はその旨を表すデータを生成して出力する。なお、近接判定部181により生成されるデータには、タッチスクリーン119(近接パネル121)のどの部分において、ユーザの指などが近接しているのかを表す情報も含まれている。
【0077】
視差調整部182は、3D画像生成部183により生成される3D画像の視差を設定する。3D画像の視差は、例えば、近接判定部181から出力されるデータに基づいて、ユーザの指などの近接の度合が特定され、その近接の度合に基づいて設定される。例えば、ユーザの指が第1の閾値未満の距離まで近接していると特定された場合、視差d1が設定され、ユーザの指が第1の閾値より小さい第2の閾値未満の距離まで近接していると特定された場合、視差d1より大きい視差d2が設定される。
【0078】
また、視差調整部182は、3D画像の生成の元となる画像(例えば、後述するメニュー画面の画像)のデータを取得し、3D表示させるべきオブジェクトが表示された処理対象領域を特定する。このとき、例えば、近接判定部181から出力されたデータに含まれるタッチスクリーン119のどの部分において、ユーザの指などが近接しているのかを表す情報に基づいて3D表示させるべきオブジェクト(例えば、後述するメニュー画面に表示されるアイコン)が特定される。そして、視差調整部182は、例えば、3D表示させるべきオブジェクトの中心位置に基準点Pを設定する。
【0079】
3D画像生成部183は、上述したように、視差に対応して定まる距離であって、上述した基準点から同一距離だけ離間している左右の領域の各データを、左目用画像のデータ、および右目用画像のデータとして生成する。これにより、3D画像のデータが生成されたことになる。
【0080】
選択実行指令部184は、近接判定部181から出力されるデータに基づいて、3D表示させるべきオブジェクトとユーザの指などの近接の度合が特定され、その近接の度合に基づいて、当該オブジェクトが選択されたものとし、当該オブジェクトに対応する機能の実行を指令する。例えば、後述するメニュー画面に表示された所定のアイコンが選択されたものとし、当該アイコンに対応する機能の実行が指令される。
【0081】
図8は、タッチスクリーン119に表示される画像の例を示している。同図は、例えば、撮像装置50において、上述したモードダイヤル117によりメニュー画面を表示するモードが選択されているときに表示されるメニュー画面とされる。
【0082】
このメニュー画面には、各種のアイコンが表示されている。例えば、「かんたんモード」と表示されたアイコン201、「スマイルシャッター」と表示されたアイコン202、・・・「表示設定」と表示されたアイコン208が表示されている。
【0083】
ユーザは、タッチスクリーン119に表示されたアイコンに指を近接することで、所望のアイコンを選択することができる。アイコンが選択されると、そのアイコンに対応する機能が実行されたり、所定の設定が行われたりするようになされている。
【0084】
例えば、ユーザがアイコン207に指を近接させた場合、当該アイコンが選択されて「顔検出」の機能が実行される。ここで、「顔検出」は、CCD131から出力される画像信号に対応する画像に写った被写体の中の人間の顔を自動的に検出し、さらに検出された顔にピントが合うようにオートフォーカスさせる機能とされる。
【0085】
図9乃至図11を参照して、ユーザによりアイコン207が選択される場合のタッチスクリーン119の表示画面の遷移について説明する。
【0086】
図9Aは、ユーザの視線からタッチスクリーン119を見た画像の例を示す図である。図9Aに示されるように、ユーザが指221をタッチスクリーン119のアイコン207が表示されている部分に近接させる。いまの場合、まだ、指221は、タッチスクリーン119に十分に近接していないものとする。例えば、指221のタッチスクリーン119からの距離が閾値Th1以上であるものとする。
【0087】
図9Bは、ユーザがタッチスクリーン119を観察した結果感じられる、タッチスクリーン119のアイコン207と指221との仮想的な距離の感覚を説明する図であり、タッチスクリーン119を図9Aの図中左方向から見た図である。なお、同図は、3D画像によりユーザが感じる遠近感を説明するものであり、実際には、アイコン207は、タッチスクリーン119の表面に表示されている画像(すなわち、厚みや奥行がない平面的存在)にすぎない。
【0088】
図9Bに示されるように、アイコン207は、タッチスクリーン119から飛び出していない。すなわち、指221のタッチスクリーン119からの距離が閾値Th1以上であるため、視差のある画像が生成されず、ユーザから見たアイコン207は、タッチスクリーン119の表面上に位置しているように見えるのである。
【0089】
図10Aは、ユーザの視線からタッチスクリーン119を見た画像の別の例を示す図である。図10Aに示されるように、ユーザが指221をタッチスクリーン119のアイコン207が表示されている部分にさらに近接させる。いまの場合、例えば、指221のタッチスクリーン119からの距離が閾値Th1未満、閾値Th2以上であるものとする。
【0090】
図10Bは、ユーザがタッチスクリーン119を観察した結果感じられる、タッチスクリーン119のアイコン207と指221との仮想的な距離の感覚を説明する図であり、タッチスクリーン119を図10Aの図中左方向から見た図である。なお、同図は、3D画像によりユーザが感じる遠近感を説明するものであり、実際には、アイコン207は、タッチスクリーン119の表面に表示されている画像(すなわち、厚みや奥行がない平面的存在)にすぎない。
【0091】
図10Bに示されるように、アイコン207が、タッチスクリーン119から飛び出し、指221に近づいている。すなわち、指221のタッチスクリーン119からの距離が閾値Th1未満となったため、視差のある画像が生成され、ユーザから見たアイコン207は、タッチスクリーン119から飛び出しているように見えるのである。
【0092】
図11Aは、ユーザの視線からタッチスクリーン119を見た画像のさらに別の例を示す図である。図11Aに示されるように、ユーザが指221をタッチスクリーン119のアイコン207が表示されている部分にさらに近接させる。いまの場合、例えば、指221のタッチスクリーン119からの距離が閾値Th2未満であるものとする。
【0093】
図11Bは、ユーザがタッチスクリーン119を観察した結果感じられる、タッチスクリーン119のアイコン207と指221との仮想的な距離の感覚を説明する図であり、タッチスクリーン119を図11Aの図中左方向から見た図である。なお、同図は、3D画像によりユーザが感じる遠近感を説明するものであり、実際には、アイコン207は、タッチスクリーン119の表面に表示されている画像(すなわち、厚みや奥行がない平面的存在)にすぎない。
【0094】
図11Bに示されるように、アイコン207が、タッチスクリーン119から飛び出し、指221と接触している。すなわち、指221のタッチスクリーン119からの距離が閾値Th2未満となったため、さらに大きい視差のある画像が生成され、ユーザから見たアイコン207は、タッチスクリーン119からさらに飛び出しているように見えるのである。
【0095】
なお、図10A、図11Aに示されるアイコン207が拡大して表示されるようにしてもよい。つまり、ユーザにとって、アイコン207がタッチスクリーン119から飛び出しているように見えるとともに、アイコン207が他のアイコンより大きくなっているように見えるようにしてもよい。このようにすることで、ユーザに、アイコン207が選択されることを確実に実感させることができる。
【0096】
図11に示される状態となったとき、アイコン207に割り当てられた機能が実行される。すなわち、CCD131から出力される画像信号に対応する画像に写った被写体の中の人間の顔を自動的に検出し、さらに検出された顔にピントが合うようにオートフォーカスさせる機能(「顔検出」)が実行されることになる。
【0097】
また、アイコン207に割り当てられた機能が実行された場合、例えば、アイコン207の色が変化するようにしてもよい。あるいはまた、アイコン207に割り当てられた機能が実行された場合、例えば、アイコン207が徐々に消えていくように(フェードアウト)アニメーション表示されるようにしてもよい。このようにすることで、ユーザは、アイコン207が選択されることを確実に実感することができる。このようにすることで、ユーザに対してアイコンの選択操作をフィードバックさせることができ、アイコン207が選択されることを確実に実感させることができる。
【0098】
さらに、メニュー画面が3D表示される際、または、アイコンの機能が実行される際に、所定の効果音などが出力されるようにしてもよい。
【0099】
次に、図12のフローチャートを参照して、撮像装置50によるアイコン選択表示制御処理の例について説明する。この処理は、例えば、撮像装置50が、タッチスクリーン119を介してユーザの操作を受け付けるとき実行される。
【0100】
ステップS21において、CPU136は、デジタル信号処理部134を制御して、液晶パネル120(タッチスクリーン119)にメニュー画面を表示させる。
【0101】
これにより、例えば、図8を参照して上述したようなメニュー画面が表示される。
【0102】
ステップS22において、近接判定部181は、ユーザの指221の近接を検知したか否かを判定し、まだ、近接していないと判定された場合、処理は、ステップS21に戻る。例えば、図9に示されるような状態の場合、ユーザの指221がまだ近接していないと判定される。
【0103】
ステップS22において、ユーザの指221の近接を検知したと判定された場合、処理は、ステップS23に進む。例えば、図10に示されるような状態の場合、ユーザの指221の近接を検知したと判定される。例えば、指221のタッチスクリーン119からの距離が閾値Th1未満となった場合、ユーザの指221の近接を検知したと判定される。
【0104】
ステップS23において、視差調整部182は、3D表示させるアイコンを特定する。このとき、例えば、近接判定部181から出力されたデータに含まれる情報であって、タッチスクリーン119のどの部分において、ユーザの指221が近接しているのかを表す情報に基づいて3D表示させるべきアイコンが特定される。そして、例えば、3D表示させるべきアイコンの中心位置に基準点Pが設定される。
【0105】
ステップS24において、視差調整部182は、タッチスクリーン119と指221との距離を特定する。タッチスクリーン119と指221との距離は、例えば、近接判定部181から出力されるデータに基づいて得られる近接の度合に基づいて特定される。
【0106】
ステップS25において、視差調整部182は、3D画像生成部183により生成される3D画像の視差を設定する。このとき、例えば、ステップS24で特定された距離に対応する視差が設定される。例えば、ユーザの指が第1の閾値未満の距離まで近接していると特定された場合、視差d1が設定され、ユーザの指が第1の閾値より小さい第2の閾値未満の距離まで近接していると特定された場合、視差d1より大きい視差d2が設定される。
【0107】
ステップS26において、3D画像生成部183は、ステップS25の処理で設定された視差と、ステップS23の処理にともなって設定された基準点に基づいて、左目用画像のデータ、および右目用画像のデータとして生成する。これにより、3D画像のデータが生成されたことになる。そして、3D画像のデータに基づいて、タッチスクリーン119のメニュー画面が3D表示される。
【0108】
ステップS27において、視差調整部182は、タッチスクリーン119と指221との距離が変化したか否かを判定し、タッチスクリーン119と指221との距離が変化していないと判定された場合、処理は、ステップS26に戻る。
【0109】
ステップS27において、タッチスクリーン119と指221との距離が変化したと判定された場合、処理は、ステップS28に進む。
【0110】
ステップS28において、視差調整部182は、タッチスクリーン119と指221との距離が十分小さいか否かを判定する。例えば、タッチスクリーン119と指221との距離が閾値Th2未満であった場合、ステップS28では、タッチスクリーン119と指221との距離が十分小さいと判定される。
【0111】
ステップS28において、タッチスクリーン119と指221との距離が十分小さくないと判定された場合、処理は、ステップS22に戻る。一方、ステップS28において、タッチスクリーン119と指221との距離が十分小さいと判定された場合、処理は、ステップS29に進む。
【0112】
例えば、図11に示されるような状態である場合、ステップS28において、タッチスクリーン119と指221との距離が十分小さいと判定される。例えば、指221のタッチスクリーン119からの距離が閾値Th2未満となった場合、ユーザの指221との距離が十分小さいと判定される。
【0113】
ステップS29において、視差調整部182は、3D画像生成部183により生成される3D画像の視差として、より大きい視差を設定する。
【0114】
ステップS30において、3D画像生成部183は、ステップS29の処理で設定された視差に対応して左目用画像のデータ、および右目用画像のデータとして生成する。これにより、3D画像のデータが生成され、タッチスクリーン119のメニュー画面が3D表示される。
【0115】
ステップS31において、選択実行指令部184は、ステップS23の処理で特定されたアイコンの選択を確定させる。
【0116】
ステップS32において、選択実行指令部184は、ステップS31で選択が確定されたアイコンの機能を実行する。このとき、例えば、図11に示されるように、アイコン207が選択され、CCD131から出力される画像信号に対応する画像に写った被写体の中の人間の顔を自動的に検出し、さらに検出された顔にピントが合うようにオートフォーカスさせる機能(「顔検出」)が実行されることになる。
【0117】
このようにして、アイコン選択表示制御処理が実行される。このようにすることで、例えば、図9乃至図11を参照して上述したように、ユーザが指221を近接させるとアイコン207がタッチスクリーン119から飛び出すように感じられる。そして、ユーザが指221をさらに近接させると、アイコン207がタッチスクリーン119からさらに飛び出して指221に接触するように感じられる。
【0118】
従って、指221をタッチスクリーン119に触れさせることなく、ユーザにアイコン207が選択されたこと、および、そのアイコンの機能が実行されたとこを実感させることができる。
【0119】
なお、上述した例では、指を近接させるとタッチスクリーンからアイコンが飛び出して見えるように表示させる例について説明したが、別の方式で表示されるようにしてもよい。例えば、タッチスクリーンの奥に沈んでいるように見えたアイコンが、指を近接させると浮き上がってくるように見えるように表示させてもよい。要は、指を近接させるとアイコンが近づいてくるように見える表示データが生成されるようにすればよい。
【0120】
ところで、図12を参照して上述した例においては、例えば、指221のタッチスクリーン119からの距離が閾値Th1未満となった場合、近接が検知され、閾値Th2未満となった場合、アイコンの選択が確定されるものとした。つまり、指221のタッチスクリーン119からの距離の判定を2段階行うようにした。
【0121】
しかし、指221のタッチスクリーン119からの距離の判定は、3段階以上で行われるようにしてもよい。このようにすれば、よりリアリティーのある3D表示を行うことができる。
【0122】
また、指221のタッチスクリーン119からの距離の判定は、単一の閾値を用いて判定されるようにしてもよい。このようにすることで、アイコン選択表示制御処理をより簡素化することができる。
【0123】
図13は、撮像装置50によるアイコン選択表示制御処理の別の例を説明するフローチャートである。この処理は、例えば、図12のアイコン選択表示制御処理をより簡素化したものとされる。
【0124】
ステップS51において、CPU136は、デジタル信号処理部134を制御して、液晶パネル120(タッチスクリーン119)にメニュー画面を表示させる。
【0125】
ステップS52において、近接判定部181は、ユーザの指221の近接を検知したか否かを判定し、まだ、近接していないと判定された場合、処理は、ステップS51に戻る。例えば、図9に示されるような状態の場合、ユーザの指221がまだ近接していないと判定される。
【0126】
ステップS52において、ユーザの指221の近接を検知したと判定された場合、処理は、ステップS53に進む。例えば、指221のタッチスクリーン119からの距離が閾値Th1未満となった場合、ユーザの指221の近接を検知したと判定される。
【0127】
ステップS53において、視差調整部182は、3D表示させるアイコンを特定する。このとき、例えば、近接判定部181から出力されたデータに含まれるタッチスクリーン119のどの部分において、ユーザの指221が近接しているのかを表す情報に基づいて3D表示させるべきアイコンが特定される。そして、例えば、3D表示させるべきアイコンの中心位置に基準点Pが設定される。
【0128】
ステップS54において、視差調整部182は、3D画像生成部183により生成される3D画像の視差を設定する。このとき、例えば、予め定められた視差が設定される。
【0129】
ステップS55において、3D画像生成部183は、ステップS54の処理で設定された視差と、ステップS53の処理にともなって設定された基準点に基づいて、左目用画像のデータ、および右目用画像のデータとして生成する。これにより、3D画像のデータが生成されたことになる。そして、3D画像のデータに基づいて、タッチスクリーン119のメニュー画面が3D表示される。
【0130】
ステップS56において、選択実行指令部184は、ステップS53の処理で特定されたアイコンの選択を確定させる。
【0131】
ステップS57において、選択実行指令部184は、ステップS31で選択が確定されたアイコンの機能を実行する。このとき、例えば、図11に示されるように、アイコン207が選択され、CCD131から出力される画像信号に対応する画像に写った被写体の中の人間の顔を自動的に検出し、さらに検出された顔にピントが合うようにオートフォーカスさせる機能(「顔検出」)が実行されることになる。
【0132】
このようにして、アイコン選択表示制御処理が実行されるようにしてもよい。
【0133】
以上においては、本技術を撮像装置50に適用する例について説明したが、撮像装置以外の別の電子機器に本技術を適用してもよい。タッチスクリーンなどを用いた操作を行う機器であれば、本技術を適用することが可能である。
【0134】
また、以上においては、指でタッチスクリーンに表示されたアイコンなどを操作する例について説明したが、例えば、スタイラスペンなどを用いてタッチスクリーンに表示されたアイコンなどを操作する場合であっても、本技術を適用することができる。
【0135】
さらに、以上においては、タッチスクリーンに表示されたメニュー画面の中のアイコンが選択される際に3D表示が行われる例について説明したが、本技術の適用はこれに限られるものではない。要は、タッチスクリーンに何等かのGUIが表示されており、GUIの部品が操作されるものであれば、本技術を適用することが可能である。
【0136】
また、以上においては、視差バリア方式が採用された3Dディスプレイを有するタッチスクリーンにより3D表示させる場合の例について説明したが、視差バリア方式以外の方式で3D表示させる場合であっても、本発明を適用することができる。例えば、レンチキュラー方式を採用した3Dディスプレイを有するタッチスクリーンが用いられるようにしてもよい。
【0137】
あるいはまた、ユーザに裸眼で観察させる3Dディスプレイではなく、ユーザに特殊なメガネなどを装着させて観察させる3Dディスプレイを有するタッチスクリーンが用いられるようにしてもよい。
【0138】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図14に示されるような汎用のパーソナルコンピュータ700などに、ネットワークや記録媒体からインストールされる。
【0139】
図14において、CPU(Central Processing Unit)701は、ROM(Read Only Memory)702に記憶されているプログラム、または記憶部708からRAM(Random Access Memory)703にロードされたプログラムに従って各種の処理を実行する。RAM703にはまた、CPU701が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0140】
CPU701、ROM702、およびRAM703は、バス704を介して相互に接続されている。このバス704にはまた、入出力インタフェース705も接続されている。
【0141】
入出力インタフェース705には、キーボード、マウスなどよりなる入力部706、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部707、ハードディスクなどより構成される記憶部708、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部709が接続されている。通信部709は、インターネットを含むネットワークを介しての通信処理を行う。
【0142】
入出力インタフェース705にはまた、必要に応じてドライブ710が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア711が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部708にインストールされる。
【0143】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア711などからなる記録媒体からインストールされる。
【0144】
なお、この記録媒体は、図14に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク(フロッピディスク(登録商標)を含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)(登録商標)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア711により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM702や、記憶部708に含まれるハードディスクなどで構成されるものも含む。
【0145】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0146】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【0147】
50 撮像装置, 119 タッチスクリーン, 120 液晶パネル, 121 近接パネル 134 デジタル信号処理部, 136 CPU, 137 操作部, 138 EEPROM, 139 プログラムROM, 140 RAM, 181 近接判定部, 182 視差調整部, 183 3D画像生成部, 184 選択実行部 201乃至208 アイコン

【特許請求の範囲】
【請求項1】
GUI部品を表示する表示部に対して、前記GUI部品を操作するための物体が近接したか否かを検知する近接検知部と、
前記物体が近接した場合、操作される前記GUI部品を特定する部品特定部と、
特定された前記GUI部品が前記物体へ近づいて見えるように、前記表示部の奥行き表示を制御するための画像データを生成する画像データ生成部と
を備える画像処理装置。
【請求項2】
前記画像データ生成部は、
前記物体が前記表示部に近接した度合に応じて、前記表示部の奥行き表示を制御するための前記画像データを生成する
請求項1に記載の画像処理装置。
【請求項3】
前記近接の度合を予め設定された閾値と比較することで、前記比較の結果に対応して前記表示部の奥行き表示の制御に用いられる視差が設定される
請求項2に記載の画像処理装置。
【請求項4】
前記画像データ生成部は、
特定された前記GUI部品が拡大表示されるように、前記画像データを生成する
請求項1に記載の画像処理装置。
【請求項5】
前記画像データ生成部は、
特定された前記GUI部品の色が変化するように、前記画像データを生成する
請求項1に記載の画像処理装置。
【請求項6】
前記画像データ生成部により前記画像データが生成された後、特定された前記GUI部品に割り当てられた機能を実行する機能実行部をさらに備える
請求項1に記載の画像処理装置。
【請求項7】
前記表示は、視差バリア方式を採用した3Dディスプレイである
請求項1に記載の画像処理装置。
【請求項8】
前記近接検知部は、タッチスクリーンである
請求項1に記載の画像処理装置。
【請求項9】
前記画像データ生成部は、
前記GUI部品の表示位置に対応する基準点に基づいて、所定の視差を有する左目用画像のデータ、および右目用画像のデータを生成することで、前記画像データを生成する
請求項1に記載の画像処理装置。
【請求項10】
近接検知部が、GUI部品を表示する表示部に対して、前記GUI部品を操作するための物体が近接したか否かを検知し、
部品特定部が、前記物体が近接した場合、操作される前記GUI部品を特定し、
画像データ生成部が、特定された前記GUI部品が前記物体へ近づいて見えるように、前記表示部の奥行き表示を制御するための画像データを生成するステップ
を含む操作画面表示方法。
【請求項11】
コンピュータを、
GUI部品を表示する表示部に対して、前記GUI部品を操作するための物体が近接したか否かを検知する近接検知部と、
前記物体が近接した場合、操作される前記GUI部品を特定する部品特定部と、
特定された前記GUI部品が前記物体へ近づいて見えるように、前記表示部の奥行き表示を制御するための画像データを生成する画像データ生成部とを備える画像処理装置として機能させる
プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2012−190183(P2012−190183A)
【公開日】平成24年10月4日(2012.10.4)
【国際特許分類】
【出願番号】特願2011−52085(P2011−52085)
【出願日】平成23年3月9日(2011.3.9)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】