情報処理装置及びプログラム
【課題】ユーザが手を使わずに入力操作をすることが可能な情報処理装置及びプログラムを提供すること
【解決手段】本技術の情報処理装置は、撮像部と、表示部と、検出部と、制御部とを具備する。撮像部は、画像を撮像して撮像画像を取得する。表示部は、表示面が撮像部の撮像方向と同一方向に面する。検出部は、撮像画像に画像処理を施して撮像画像におけるユーザの目の開き具合を検出する。制御部は、検出部の検出結果に基づいて、表示部の表示を制御する。
【解決手段】本技術の情報処理装置は、撮像部と、表示部と、検出部と、制御部とを具備する。撮像部は、画像を撮像して撮像画像を取得する。表示部は、表示面が撮像部の撮像方向と同一方向に面する。検出部は、撮像画像に画像処理を施して撮像画像におけるユーザの目の開き具合を検出する。制御部は、検出部の検出結果に基づいて、表示部の表示を制御する。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、撮像部及び表示部を備える情報処理装置及びそのプログラムに関する。
に関する。
【背景技術】
【0002】
PC(Personal compute)等の情報処理装置において、ユーザはキーボードやマウスといった入力装置を手や指で操作することによって入力操作を実行する。また、普及が進んでいるタブレット型PCや携帯型情報端末等では、画面を指あるいは操作子で操作するタッチパネルによる入力も一般的となっている。
【0003】
また、近年、ユーザが情報処理装置に接触することなく入力操作をすることが可能な情報処理装置が開発されている。例えば特許文献1には、測距センサーを備え、ユーザの手によるジェスチャーによって入力操作が可能な情報処理装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−79662号公報(段落[0017]、図1)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、手や指を用いて入力操作を実施する場合には、同時に実行できる操作に限りがあり、例えば文章を入力しながら画面をスクロールさせたい場合には、文書入力を少なくとも短時間は中断する必要がある。特に、タブレット型PCや携帯型情報端末等のハンドヘルド型情報処理装置では、ユーザは片方の手によって情報処理装置を把持していることが多く、手や指を利用しない入力手段があれば利便性が高い。
【0006】
以上のような事情に鑑み、本技術の目的は、ユーザが手を使わずに入力操作をすることが可能な情報処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、撮像部と、表示部と、検出部と、制御部とを具備する。
上記撮像部は、画像を撮像して撮像画像を取得する。
上記表示部は、表示面が上記撮像部の撮像方向と同一方向に面する。
上記検出部は、上記撮像画像に画像処理を施して上記撮像画像におけるユーザの目の開き具合を検出する。
上記制御部は、上記記検出部の検出結果に基づいて上記表示部の表示を制御する。
【0008】
この構成によれば、ユーザが表示部を見ようとすると、表示面が面する方向を撮像方向とする撮像部によってユーザの顔が撮像される。検出部が撮像画像に含まれるユーザの目の開き具合を検出し、制御部が検出部により検出された目の開き具合に基づいて表示部の表示を制御することにより、ユーザの目の開き具合が情報処理装置の制御に反映される。即ちユーザは、目の開き具合によって情報処理装置を操作することが可能となる。
【0009】
上記検出部は、上記撮像画像におけるユーザの顔の領域である顔領域を検出し、上記顔領域においてユーザの目が存在すると予測される目探索領域を設定し、上記目探索領域について上記画像処理を実行してもよい。
【0010】
この構成によれば、検出部は目探索領域に画像処理を施してユーザの目を検出することが可能であり、目の開き具合の検出を高速かつ高精度に実行することが可能となる。なお、検出部は、ヒトの顔を検出するアルゴリズムにより顔領域を検出することが可能であり、当該顔領域における位置関係から目が存在すると予測される目探索領域を設定することが可能である。
【0011】
上記制御部は、上記目の開き具合の経時変化に基づいて上記表示部の表示を制御してもよい。
【0012】
この構成によれば、ユーザが目の開き具合を経時的に変化させることにより表示部を制御することが可能である。
【0013】
上記制御部は、ユーザの左右両目の上記目の開き具合の差異に基づいて上記表示部の表示を制御してもよい。
【0014】
この構成によれば、ユーザが左右両目の開き具合によって表示部を制御することが可能である。
【0015】
上記検出部は、ユーザの目の領域である目領域の面積を上記目の開き具合として検出し、上記制御部は、上記目領域の面積変化量又は縦幅変化量に応じて上記表示部の表示を制御してもよい。
【0016】
この構成によれば、ユーザが目の開き具合を経時的に変化させることにより表示部を制御することが可能である。
【0017】
上記検出部は、ユーザの目の領域である目領域の面積を上記目の開き具合として検出し、
上記制御部は、ユーザの左右両目の上記目領域の面積比又は縦幅比に応じて上記表示部の表示を制御してもよい。
【0018】
この構成によれば、ユーザが左右両目の開き具合によって表示部を制御することが可能である。
【0019】
上記制御部は、上記面積変化量又は上記縦幅変化量に応じて、表示対象画像の表示倍率を変更して上記表示部に表示させてもよい。
【0020】
この構成によれば、ユーザが目の開き具合を経時的に変化させることによって表示対象画像の表示倍率を変更させることが可能となる。
【0021】
上記制御部は、ユーザによる操作入力がされた場合には、上記表示倍率を固定してもよい。
【0022】
この構成によれば、ユーザが表示対象画像の表示倍率を変更させているときに任意の表示倍率で固定させることが可能となる。
【0023】
上記制御部は、上記面積変化量又は上記縦幅変化量が所定値以上の場合には、表示対象画像の特定のレイアウト領域を上記表示部に表示させてもよい。
【0024】
この構成によれば、ユーザが複数のレイアウト領域(画像や文章を含むレイアウトの単位領域)有する表示対象画像において、目の開き具合によって表対象画像全体を表示部に表示させるか、特定のレイアウト領域のみを表示部に表示させるかを切り替えることが可能となる。
【0025】
上記制御部は、上記表示対象画像において表示部の中心に位置するレイアウト領域を上記特定のレイアウト領域として上記表示部に表示させてもよい。
【0026】
この構成によれば、ユーザが目の開き具合を変化させることによって表示部の中心に位置するレイアウト領域のみを表示部に表示させることが可能となる。
【0027】
上記制御部は、上記面積比又は上記縦幅比が所定値以上の場合には、上記表示部に表示される表示画像を生成するアプリケーションを変更してもよい。
【0028】
この構成によれば、ユーザが左右の目の開き具合によって、表示画像を生成するアプリケーション、例えばマルチタスクで動作中のアプリケーションの中から表示画像を生成するアプリケーションを切り替えることが可能となる。
【0029】
上記制御部は、ユーザによる操作入力がされた場合には、以後の上記面積比又は上記縦幅比に係わらず表示画像を生成するアプリケーションを固定してもよい。
【0030】
この構成によれば、ユーザがその時点で表示画像を生成しているアプリケーションを操作することによって、それ以降は目の開き具合の変化によって意図せずにアプリケーションが切り替わることを防止することが可能となる。
【0031】
上記制御部は、上記検出部によって上記目の開き具合が検出されている場合には、目の開き具合が検出されていることを示す表示を表示部に表示する
【0032】
この構成によれば、ユーザが目の開き具合が有効であることを確認した上で目の開き具合による情報処理装置の操作を実施することが可能となる。
【0033】
上記制御部は、所定時間の間の上記目の開き具合の最大値からユーザの目の大きさのキャリブレーションを実行する
【0034】
この構成によれば、制御部が、ある時点での目の開き具合がそのユーザの通常時の目の開き具合に比してどの程度であるかを判断することが可能となる。
【0035】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、検出部と、制御部とを具備する。
上記検出部は、撮像部によって取得された撮像画像に画像処理を施して上記撮像画像におけるユーザの目の開き具合を検出する。
上記制御部は、上記検出部の検出結果に基づいて、表示面が上記撮像部の撮像方向と同一方向に面する表示部の表示を制御する。
【発明の効果】
【0036】
以上のように本技術によれば、ユーザが手を使わずに入力操作をすることが可能な情報処理装置及びプログラムを提供することが可能である。
【図面の簡単な説明】
【0037】
【図1】本技術の実施形態に係る情報処理装置の機能的構成を示すブロック図である。
【図2】同情報処理装置のハードウェア構成を示すブロック図である。
【図3】同情報処理装置の外観を示す斜視図である。
【図4】同情報処理装置の動作を示すフローチャートである。
【図5】同情報処理装置の動作を示す模式図である。
【図6】同情報処理装置の動作を示す模式図である。
【図7】同情報処理装置の動作を示す模式図である。
【図8】同情報処理装置の制御例に係る動作を示す模式図である。
【図9】同情報処理装置の制御例に係る動作を示す模式図である。
【図10】同情報処理装置の制御例に係る動作を示す模式図である。
【図11】同情報処理装置の目の開き具合の検出に利用する輝度分布を示すグラフである。
【発明を実施するための形態】
【0038】
本技術の実施形態に係る情報処理装置について説明する。
【0039】
<情報処理装置の構成>
図1は情報処理装置1の機能的構成を示すブロック図であり、図2は情報処理装置1の
ハードウェア構成を示すブロック図である。図3は情報処理装置1の外観を示す斜視図である。以下、情報処理装置1の具体例としてタブレット型PCを例にとって説明するが、情報処理装置1はこれに限られず、例えば携帯型情報端末や据え置き型PCであるものとすることも可能である。
【0040】
図1に示すように、情報処理装置1は、カメラ11、検出部12、制御部13及びディスプレイ14有し、これらは相互に接続されている。
【0041】
カメラ11は、デジタル画像を撮像することが可能なカメラである。カメラ11は、静止画の連続として動画を撮像することが可能なカメラとすることができ、例えばCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)等の撮像素子を用いたものとすることができる。以下、カメラ11によって撮像された画像を「撮像画像」する。
【0042】
検出部12は、上記撮像画像に画像処理を施し、撮像画像におけるユーザの「目の開き具合」を検出する。検出部12の具体的な検出動作については後述する。検出部12は、検出した目の開き具合を制御部13に出力する。
【0043】
制御部13は、検出部12において検出された目の開き具合に基づいて、ディスプレイ14の表示を制御する。具体的には制御部13は、ディスプレイ14に表示される表示画像を生成するソフトウェアを制御するものとすることができる。なお、ソフトウェアには、OS(Operating System)等のシステムソフトウェアや、システムソフトウェア上で動作するアプリケーションソフトウェアが含まれる。制御部13によるディスプレイ14の表表示の具体的な制御については後述する。
【0044】
ディスプレイ14は、画像を表示することが可能なデバイスである。ディスプレイ14は、液晶ディスプレイやEL(Electroluminescence)ディスプレイ等の直視型ディスプレイであってもよく、プロジェクタ等の投影型ディスプレイであってもよい。
【0045】
ディスプレイ14は、表示面(ディスプレイ画面、プロジェクタ投影面等)が上記カメラ11の撮像方向と同一方向に面するものである(図3参照)。即ち、ディスプレイ14はカメラ11に対して、ユーザが表示面に対向した場合にユーザの顔がカメラ11の撮像範囲に入る位置関係となる。
【0046】
以上のような情報処理装置1の機能的構成は、図2に示すハードウェア構成によって実現される。図2に示すように情報処理装置1は、上記カメラ11及び上記ディスプレイ14に加え、ストレージ15、メモリ16、CPU(Central Processing Unit)17及び入力IF(interface)18を有するものとすることができる。各構成は、バス19によって相互に接続されている。なお、ここに示す情報処理装置1のハードウェア構成は一例であり、上記情報処理装置1の機能的構成を実現することが可能な各種構成を採用することが可能である。
【0047】
ストレージ15は、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の補助記憶装置であり、CPU17によって演算処理されるプログラム、後述する「表示画像」となるデータ等が記憶されている。
【0048】
メモリ16は、DRAM(Dynamic Random Access Memory)等の主記憶装置であり、ストレージ15からCPU17によって読み出されたプログラムや演算処理結果等を記憶する。
【0049】
CPU17は、メモリ16からプログラムを読み出し、演算処理を実行する。即ち、情報処理装置1はCPU17が動作主体となって機能する。
【0050】
入力IF18は、情報処理装置1の入力インターフェイスであり、タッチパネル、キーボードやマウス等の入力装置とすることができる。特に、ディスプレイ14が直視型ディスプレイの場合にはタッチパネルとすることができる。
【0051】
図3に示す情報処理装置1は、筐体20にディスプレイ14とカメラ11が設けられている。入力IF18はディスプレイ14に一体的に設けられ、ストレージ15、メモリ16、CPU17、入力IF18及びバス19は筐体20に収容されている。
【0052】
<情報処理装置の動作>
情報処理装置1の動作について説明する。
図4は、情報処理装置1の動作を示すフローチャートである。図5及び図6は情報処理装置1の動作を説明する図である。以下、図4に示すフローチャートの各ステップ(St)毎に情報処理装置の動作を説明する。
【0053】
まず、カメラ11がその撮像方向を撮像し、撮像画像を取得する(St1)。カメラ11による撮像は、連続的(動画として撮像)であってもよく、断続的(例えば、毎秒数枚程度)でもよい。ここで、図5(a)に示す撮像画像Sがカメラ11によって撮像されたものとする。なお、撮像画像Sは、情報処理装置1において内部的に処理される画像であり、ディスプレイ14に表示される画像ではない。カメラ11は、撮像画像Sを検出部12に出力する。
【0054】
ここで、上記のように情報処理装置1のディスプレイ14とカメラ11は、カメラ11の撮像方向とディスプレイ14の表示面が同一方向となる位置関係を有する。したがって、ユーザが表示面を過度に斜めの角度から見ているような場合を除いて、ユーザがディスプレイ14を見ている場合にはカメラ11の撮像範囲にユーザの顔が含まれ、即ち撮像画像Sにユーザの顔が含まれることとなる。
【0055】
検出部12は、撮像画像Sにおいてユーザ目の検出処理を実行する(St2)。具体的には、検出部12はまず、撮像画像Sにおいて「顔領域」を検出する。顔領域とは、撮像画像Sにおいてユーザの顔として検出された領域である。図5(b)に、図5(a)に例示する撮像画像Sに対して検出部12が設定する顔領域R1を模式的に示す。検出部12は、ヒトの顔の特徴的パターン(テンプレート)を用いたテンプレートマッチングにより顔領域R1を検出するものとすることができる。また、検出部12はこれ以外のアルゴリズムにより顔領域R1を検出することも可能である。
【0056】
次に検出部12は、顔領域R1において「目探索領域」を設定する。図5(b)に目探索領域R2を示す。目探索領域は、検出部12が顔領域R1において目が存在すると予測する領域である。検出部12は、顔領域R1の大きさや向き、縦横比等に基づいて目探索領域を設定することができる。ヒトの顔に対する目の配置は、個人差が存在するとはいえ、概ね一定範囲となるからである。
【0057】
続いて検出部12は、目探索領域R2に含まれる画像領域に対して「特徴点」の検出処理を行う。図5(c)は、特徴点Pの検出結果を示す模式図である。特徴点Pは、当該画像領域において画素の輝度についての特徴的な点である。検出部12は、例えばエッジ検出により検出された2本のエッジの交点を特徴点Pとすることができる。また、検出部12は、この他の各種アルゴリズムにより特徴点Pを検出するものとすることができる。
【0058】
検出部12は、上記目探索領域に含まれる画像領域のみに対して特徴点の検出処理を実行すればよいので、画像全体に対して同処理を実行する場合に比べて、高精度かつ高速に特徴点Pを検出することが可能である。
【0059】
検出部12はこのようにして検出された特徴点Pによって囲まれる領域をユーザの目の領域(以下、「目領域」とする)と判断することができる。図6(a)は、撮像画像Sにおいて検出部12によって検出された目領域R3を示す模式図である。図6(b)は、撮像画像Sと異なる撮像画像(ユーザが片目を閉じている撮像画像)において検出部12によって検出された目領域R3を示す模式図である。
【0060】
検出部12は目領域R3から「目の開き具合」を抽出する。目の開き具合は、目領域R3の面積、目領域R3の縦幅又はこれらの組み合わせによって規定することができる。図6(a)及び図6(b)に、目領域R3の縦幅(右目領域の縦幅hR及び左目領域の縦幅hL)を示す。検出部12は、目領域R3の目の開き具合を制御部13に出力する。
【0061】
制御部13は、上記目の開き具合に基づいてディスプレイ14の表示を制御する(St3)。制御部13は、ユーザの目の開き具合、具体的には目の開き具合の経時変化やユーザの左右両目の目の開き具合の差異に基づいて、ディスプレイ14の表示を制御するものとすることができる。目の開き具合の経時変化は、目領域R3の面積変化量や縦幅変化量とすることができる。また、ユーザの左右両目の目の開き具合の差異は、左右の目領域R3の面積比又は縦幅比とすることができる。ユーザの目の開き具合の応じた制御部13の具体的な制御例については後述する。この後、再び撮像画像の取得(St1)からプロセスが繰り返される。
【0062】
情報処理装置1は以上のようにして動作する。なお、制御部13は、上述したプロセスにおいて次のような動作を追加的に実施することも可能である。
【0063】
[瞬きの除去]
上述のように制御部13は、ある瞬間に撮像された撮像画像において検出されたユーザの目の開き具合に基づいてディスプレイ14の表示を制御する。しかし、ユーザが情報処理装置1の操作を意図せずに瞬きをしてしまう場合があり、その瞬間に撮像された撮像画像における目の開き具合に基づいてディスプレイ14の表示の制御が実行されれば不都合である。
【0064】
そこで、情報処理装置1は、このようなユーザの瞬きによる影響を除去するものとすることができる。具体的には、制御部13は、検出部12から出力されたユーザの両目の開き具合が、一定時間以内に開−閉−開と遷移した場合には、「閉」の状態を無視することによりユーザの瞬きをディスプレイ14の表示の制御に反映しないものとすることができる。
【0065】
[目の大きさのキャリブレーション]
情報処理装置1では、ユーザの目の開き具合に応じてディスプレイ14の表示の制御が実行されるとしたが、目の大きさはユーザ個人によって異なる。即ち、ある撮像画像において検出された目の開き具合が、そのユーザの通常の目の開き具合であるか、目を細めている状態の目の開き具合であるかは、当該ユーザの通常時の目の大きさを基準とする必要がある。
【0066】
そこで、情報処理装置1は、ユーザの通常の目の大きさによるキャリブレーションを実施するものとすることができる。具体的には、制御部13は、所定時間にわたるユーザの目の大きさの値を保持しておき、その最大値をユーザの通常の目の大きさとすることが可能である。また、当該情報処理装置1を複数のユーザで使用する場合には、制御部13は、任意の顔識別アルゴリズムにより撮像画像に含まれたユーザ個人を識別し、ユーザ個人と目の大きさの最大値を関連付けて利用してもよい。
【0067】
[目の開き具合のナビゲーション]
上述の目の大きさのキャリブレーションにおいて、情報処理装置1はユーザに対して目の開き具合のナビゲーションを実施してもよい。具体的には、情報処理装置1はディスプレイ14に、「目を最大に開いてください。」「目を細めてください。」等といったメッセージを表示し、その際に得られた目の大きさを上記キャリブレーションに利用することも可能である。
【0068】
[目による操作が有効である旨の表示]
制御部13は、検出部12から目の開き具合が出力されている場合、即ちカメラ11の撮像範囲にユーザの顔が含まれている場合には、目による操作が可能であることを示す表示をディスプレイ14に表示するものとすることができる。
【0069】
図7は当該表示の具体例を示す。図7(a)が検出部12によってユーザの目が検出されていないときにディスプレイ14に表示される表示画像の例であり、図7(b)が検出部12によってユーザの目が検出されているときにディスプレイ14に表示される表示画像の例である。図7(b)に示すように制御部13は、ステータスバー等に目が検出されていることを示すアイコンCをディスプレイ14に表示させることが可能である。
【0070】
この表示によりユーザは、目の開き具合によって情報処理装置1を操作することが可能であるかをディスプレイ14を一見して把握することが可能となる。
【0071】
<制御部による制御例>
制御部13による、ユーザの目の開き具合に応じたディスプレイ14の表示の制御例について説明する。
【0072】
[制御例1:表示させるアプリケーションの切替]
図8は、制御例1に係る情報処理装置1の動作を示す模式図である。ユーザがディスプレイ14を見ており、カメラ11によって撮像画像S1(図8(a))が撮像されているとする。上述のように検出部12は目の開き具合を制御部13に出力している。制御部13は、実行中の第1のアプリケーション(例えば音声ファイル再生アプリケーション)の画像を表示画像G1(図8(b))としてディスプレイ14に表示させている。
【0073】
次に、ユーザが片目を閉じ、カメラ11によって撮像画像S2(図8(c))が撮像されているとする。制御部13は、目の開き具合からユーザが片目を閉じていると判定し、マルチタスクで実行中の第2のアプリケーション(例えばチャットアプリケーション)の画像を表示画像G2(図8(d))としてディスプレイ14に表示させる。制御部13は、例えば左右の目領域R3の面積比又は縦幅比が所定値以上の場合には、表示画像を生成するアプリケーションを第1のアプリケーションから第2のアプリケーションに切り替えるものとすることができる。
【0074】
即ちユーザは、第1のアプリケーションをディスプレイ14に表示させている状態で片目を閉じることにより、情報処理装置1を手や指で操作することなく第2のアプリケーションをディスプレイ14に表示させることが可能となる。ユーザは、例えばチャットにおいて新たなメッセージの有無を確認することができる。
【0075】
再びユーザが両目を開けると、検出部12から出力される目の開き具合から、制御部13はユーザの両目が開いていると判定し、表示画像G1をディスプレイ14に表示させる。
【0076】
なお、ユーザが片目を閉じ、即ち表示画像G2が表示されている状態でタッチパネル等を操作した場合(ユーザが第2のアプリケーションを操作しようとしている場合)、制御部13はそれ以降、目の開き具合に係わらず表示画像G2を生成している第2のアプリケーションを固定するものとすることも可能である。
【0077】
この制御例では、制御部13はユーザが片目を閉じることによって第1のアプリケーションと第2のアプリケーションの表示を切り替えるものとしたが、例えばユーザが両目を閉じることによって両アプリケーションの表示を切り替えるものとすることもできる。また、ユーザが閉じた目が右目と左目のいずれであるかによって表示させるアプリケーションを切り替えてもよい。
【0078】
またこの制御例では、制御部13が目の開き具合によって2つのアプリケーションの表示を切り替えるものとしたが、これに限られない。制御部13は目の開き具合によって同一のアプリケーションにおけるメインコンテンツとサブコンテンツ、例えば文書とそのブックマーク、動画とその操作インターフェイス等を切り替えるものすることも可能である。さらに、制御部13は、目の開き具合によってアプリケーションの起動や終了を制御するものとしてもよい。
【0079】
[制御例2:表示倍率の拡大縮小]
図9は、制御例2に係る情報処理装置1の動作を示す模式図である。ユーザがディスプレイ14を見ており、カメラ11によって撮像画像S3(図9(a))が撮像されているとする。上述のように検出部12は、撮像画像S1における目の開き具合を制御部13に出力している。制御部13は特定の画像(表示対象画像)を所定の表示倍率で表示画像G3(図9(b))としてディスプレイ14に表示させている。
【0080】
次に、ユーザが目を細め、カメラ11によって撮像画像S4(図9(c))が撮像されているとする。制御部13は、目の開き具合に応じて表示対象画像の表示倍率を拡大した画像を表示画像G4(図9(c))としてディスプレイ14に表示させる。制御部13は表示対象画像の倍率を、目の開き具合に応じて段階的に変更してもよくシームレスに変更してもよい。制御部13は、例えば左右の目領域R3の面積変化量又は縦幅変化量に応じて表示倍率を変更するものとすることができる。
【0081】
即ちユーザは、任意の画像をディスプレイ14に表示させている状態で目を細めることにより、情報処理装置1を手や指で操作することなく当該表示画像を拡大させることが可能となる。
【0082】
再びユーザが目を大きく開けると、制御部13は検出部12から出力された目の開き具合に応じて表示対象画像の表示倍率を元の倍率に戻し、表示画像G3をディスプレイ14に表示させる。
【0083】
なお、表示画像が所定の表示倍率であるときにユーザがタッチパネル等を操作した場合、制御部13は表示倍率をその倍率で固定し、それ以降、目の開き具合に係わらずその表示倍率の表示画像を表示させるものとすることも可能である。
【0084】
この制御例では制御部13は、ユーザが目を細めたときに表示倍率を拡大するものとしたが、その逆、即ちユーザが目を細めたとき表示倍率を縮小するものとすることも可能である。
【0085】
[制御例3:レイアウト領域の拡大]
図10は、制御例3に係る情報処理装置1の動作を示す模式図である。ユーザがディスプレイ14を見ており、カメラ11によって撮像画像S5(図10(a))が撮像されているとする。上述のように検出部12は、撮像画像S1における目の開き具合を制御部13に出力している。
【0086】
制御部13は「複数のレイアウト領域を有する画像」(表示対象画像)を表示画像G5(図10(b))としてディスプレイ14に表示させる。レイアウト領域は画像や文章を含むレイアウトの単位領域を意味し、複数のレイアウト領域を有する画像は例えばウェブサイトの画像である。典型的には、ニュースサイトの画像が複数のレイアウト領域を有する画像であり、ニュースサイトのひとつの記事がレイアウト領域である。図10(c)に示す表示画像G5では、ひとつのレイアウト領域Aを破線で示した。
【0087】
次に、ユーザが目を細め、カメラ11によって撮像画像S6(図10(c))が撮像されているとする。制御部13は、撮像画像S5と撮像画像S6の間における目の開き具合によって、表示対象画像の特定のレイアウト領域のみを表示画像G6(図10(c))としてディスプレイ14に表示させる。表示画像G6とするレイアウト領域は、例えば表示画像G5において画像の中心に最も近く、画像占有率が最も大きいレイアウト領域とすることができる。制御部13は、例えば左右の目領域R3の面積変化量又は縦幅変化量が所定値以上の場合には、上記特定のレイアウト領域をディスプレイ14に表示させるものとすることが
【0088】
即ちユーザは、ウェブサイト等の複数のレイアウト領域を有する画像を閲覧している状態で目を細めることにより、情報処理装置1を手や指で操作することなく所定のレイアウト領域のみを表示させることが可能となる。
【0089】
再びユーザが目を大きく開けると、制御部13は複数のレイアウト領域を有する表示対象画像を表示画像G5としてディスプレイ14に表示させる。
【0090】
以上の各制御例で説明したように、制御部13は、検出部12によって出力される目の開き具合に基づいて、ディスプレイ14の表示を制御することが可能である。
【0091】
<変形例1>
上述の説明において、検出部2は特徴点を設定して目の開き具合を検出するものとしたが、検出部2は「輝度分布」を用いて目の開き具合を検出するものとすることも可能である。具体的には、検出部2は次のように動作する。
【0092】
まず、検出部2は上述のようにテンプレートマッチング等により顔領域R1を検出し、顔領域R1大きさや向き、縦横比等に基づいて目探索領域R2を設定する(図5(b)参照)。
【0093】
次に、検出部2は目探索領域R2に含まれる画素の輝度分布を取得する。図11は、目探索領域R2に含まれる画素の輝度分布を示す概念図である。同図に示すように、ユーザが目を開いているときは、白目と黒目の存在により輝度分布は「明」と「暗」にそれぞれピークを有する。一方、ユーザの目が閉じられている場合には白目と黒目が存在しないため、輝度分布には「明」と「暗」の中間にピークを有する。また、目が細められている場合には2つのプロットの中間的なプロットとなる。即ち、検出部2は、ピークの位置により目の開き具合を判定することができる。
【0094】
したがって検出部12は、この輝度分布により撮像画像に含まれるユーザの目の開き具合を検出することが可能であり、制御部13がこの目の開き具合に基づいてディスプレイ14の表示を制御することが可能となる。
【0095】
<変形例2>
上述の説明において、検出部12は特徴点を設定して目の開き具合を検出するものとしたが、検出部2は「テンプレートマッチング」を用いて目の開き具合を検出するものとすることも可能である。具体的には、検出部2は次のように動作する。
【0096】
まず、検出部2は上述のようにテンプレートマッチング等により顔領域R1を検出し、顔領域R1大きさや向き、縦横比等に基づいて目探索領域R2を設定する(図5(b)参照)。なお、本変形例においては目探索領域R2の設定は必須ではないが、設定したほうがテンプレートマッチングに要する時間を短縮させることが可能である。
【0097】
次に、検出部2は目探索領域R2、又は撮像画像全体に対して目のテンプレートを用いたテンプレートマッチングを実行する。例えば、検出部2は、目の開き具合が異なる複数のテンプレートを用いることにより、目の開き具合を判定することが可能である。
【0098】
したがって検出部2は、テンプレートマッチングにより撮像画像に含まれるユーザの目の開き具合を検出することが可能であり、制御部13がこの目の開き具合に基づいてディスプレイ14の表示を制御することが可能となる。
【0099】
本技術は上記各実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において変更することが可能である。
【0100】
なお、本技術は以下のような構成も採ることができる。
【0101】
(1)
画像を撮像して撮像画像を取得する撮像部と、
表示面が上記撮像部の撮像方向と同一方向に面する表示部と、
上記撮像画像に画像処理を施して前記撮像画像におけるユーザの目の開き具合を検出する検出部と、
上記検出部の検出結果に基づいて、上記表示部の表示を制御する制御部と、
【0102】
(2)
上記(1)に記載の情報処理装置であって、
上記検出部は、上記撮像画像におけるユーザの顔の領域である顔領域を検出し、上記顔領域においてユーザの目が存在すると予測される目探索領域を設定し、上記目探索領域について上記画像処理を実行する
情報処理装置。
【0103】
(3)
上記(1)又は(2)に記載の情報処理装置であって、
上記制御部は、上記目の開き具合の経時変化に基づいて上記表示部の表示を制御する
情報処理装置。
【0104】
(4)
上記(1)から(3)のいずれかに記載の情報処理装置であって、
上記制御部は、ユーザの左右両目の上記目の開き具合の差異に基づいて上記表示部の表示を制御する
情報処理装置。
【0105】
(5)
上記(1)から(4)のいずれかに記載の情報処理装置であって、
上記検出部は、ユーザの目の領域である目領域の面積を上記目の開き具合として検出し、
上記制御部は、上記目領域の面積変化量又は縦幅変化量に応じて上記表示部の表示を制御する
情報処理装置。
【0106】
(6)
上記(1)から(5)のいずれかに記載の情報処理装置であって、
上記検出部は、ユーザの目の領域である目領域の面積を上記目の開き具合として検出し、
上記制御部は、ユーザの左右両目の上記目領域の面積比又は縦幅比に応じて上記表示部の表示を制御する
情報処理装置。
【0107】
(7)
上記(1)から(6)のいずれかに記載の情報処理装置であって、
上記制御部は、上記面積変化量又は上記縦幅変化量に応じて、表示対象画像の表示倍率を変更して上記表示部に表示させる
情報処理装置。
【0108】
(8)
上記(1)から(7)のいずれかに記載の情報処理装置であって、
上記制御部は、ユーザによる操作入力がされた場合には、上記表示倍率を固定する
情報処理装置。
【0109】
(9)
上記(1)から(8)のいずれかに記載の情報処理装置であって、
上記制御部は、上記面積変化量又は上記縦幅変化量が所定値以上の場合には、表示対象画像の特定のレイアウト領域を上記表示部に表示させる
情報処理装置。
【0110】
(10)
上記(1)から(9)のいずれかに記載の情報処理装置であって、
上記制御部は、上記表示対象画像において表示部の中心に位置するレイアウト領域を上記特定のレイアウト領域として上記表示部に表示させる
情報処理装置。
【0111】
(11)
上記(1)から(10)のいずれかに記載の情報処理装置であって、
上記制御部は、上記面積比又は上記縦幅比が所定値以上の場合には、上記表示部に表示される表示画像を生成するアプリケーションを変更する
情報処理装置。
【0112】
(12)
上記(1)から(11)のいずれかに記載の情報処理装置であって、
上記制御部は、ユーザによる操作入力がされた場合には、以後の上記面積比又は上記縦幅比に係わらず表示画像を生成するアプリケーションを固定する
情報処理装置。
【0113】
(13)
上記(1)から(12)のいずれかに記載の情報処理装置であって、
上記制御部は、上記検出部によって上記目の開き具合が検出されている場合には、目の開き具合が検出されていることを示す表示を表示部に表示する
情報処理装置。
【0114】
(14)
上記(1)から(13)のいずれかに記載の情報処理装置であって、
上記制御部は、所定時間の間の上記目の開き具合の最大値からユーザの目の大きさのキャリブレーションを実行する
情報処理装置。
【0115】
(15)
撮像部によって取得された撮像画像に画像処理を施して上記撮像画像におけるユーザの目の開き具合を検出する検出部と、
上記検出部の検出結果に基づいて、表示面が上記撮像部の撮像方向と同一方向に面する表示部の表示を制御する制御部と
としてコンピュータを機能させるプログラム。
【符号の説明】
【0116】
1…情報処理装置
11…カメラ
12…検出部
13…制御部
14…ディスプレイ
【技術分野】
【0001】
本技術は、撮像部及び表示部を備える情報処理装置及びそのプログラムに関する。
に関する。
【背景技術】
【0002】
PC(Personal compute)等の情報処理装置において、ユーザはキーボードやマウスといった入力装置を手や指で操作することによって入力操作を実行する。また、普及が進んでいるタブレット型PCや携帯型情報端末等では、画面を指あるいは操作子で操作するタッチパネルによる入力も一般的となっている。
【0003】
また、近年、ユーザが情報処理装置に接触することなく入力操作をすることが可能な情報処理装置が開発されている。例えば特許文献1には、測距センサーを備え、ユーザの手によるジェスチャーによって入力操作が可能な情報処理装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−79662号公報(段落[0017]、図1)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、手や指を用いて入力操作を実施する場合には、同時に実行できる操作に限りがあり、例えば文章を入力しながら画面をスクロールさせたい場合には、文書入力を少なくとも短時間は中断する必要がある。特に、タブレット型PCや携帯型情報端末等のハンドヘルド型情報処理装置では、ユーザは片方の手によって情報処理装置を把持していることが多く、手や指を利用しない入力手段があれば利便性が高い。
【0006】
以上のような事情に鑑み、本技術の目的は、ユーザが手を使わずに入力操作をすることが可能な情報処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、撮像部と、表示部と、検出部と、制御部とを具備する。
上記撮像部は、画像を撮像して撮像画像を取得する。
上記表示部は、表示面が上記撮像部の撮像方向と同一方向に面する。
上記検出部は、上記撮像画像に画像処理を施して上記撮像画像におけるユーザの目の開き具合を検出する。
上記制御部は、上記記検出部の検出結果に基づいて上記表示部の表示を制御する。
【0008】
この構成によれば、ユーザが表示部を見ようとすると、表示面が面する方向を撮像方向とする撮像部によってユーザの顔が撮像される。検出部が撮像画像に含まれるユーザの目の開き具合を検出し、制御部が検出部により検出された目の開き具合に基づいて表示部の表示を制御することにより、ユーザの目の開き具合が情報処理装置の制御に反映される。即ちユーザは、目の開き具合によって情報処理装置を操作することが可能となる。
【0009】
上記検出部は、上記撮像画像におけるユーザの顔の領域である顔領域を検出し、上記顔領域においてユーザの目が存在すると予測される目探索領域を設定し、上記目探索領域について上記画像処理を実行してもよい。
【0010】
この構成によれば、検出部は目探索領域に画像処理を施してユーザの目を検出することが可能であり、目の開き具合の検出を高速かつ高精度に実行することが可能となる。なお、検出部は、ヒトの顔を検出するアルゴリズムにより顔領域を検出することが可能であり、当該顔領域における位置関係から目が存在すると予測される目探索領域を設定することが可能である。
【0011】
上記制御部は、上記目の開き具合の経時変化に基づいて上記表示部の表示を制御してもよい。
【0012】
この構成によれば、ユーザが目の開き具合を経時的に変化させることにより表示部を制御することが可能である。
【0013】
上記制御部は、ユーザの左右両目の上記目の開き具合の差異に基づいて上記表示部の表示を制御してもよい。
【0014】
この構成によれば、ユーザが左右両目の開き具合によって表示部を制御することが可能である。
【0015】
上記検出部は、ユーザの目の領域である目領域の面積を上記目の開き具合として検出し、上記制御部は、上記目領域の面積変化量又は縦幅変化量に応じて上記表示部の表示を制御してもよい。
【0016】
この構成によれば、ユーザが目の開き具合を経時的に変化させることにより表示部を制御することが可能である。
【0017】
上記検出部は、ユーザの目の領域である目領域の面積を上記目の開き具合として検出し、
上記制御部は、ユーザの左右両目の上記目領域の面積比又は縦幅比に応じて上記表示部の表示を制御してもよい。
【0018】
この構成によれば、ユーザが左右両目の開き具合によって表示部を制御することが可能である。
【0019】
上記制御部は、上記面積変化量又は上記縦幅変化量に応じて、表示対象画像の表示倍率を変更して上記表示部に表示させてもよい。
【0020】
この構成によれば、ユーザが目の開き具合を経時的に変化させることによって表示対象画像の表示倍率を変更させることが可能となる。
【0021】
上記制御部は、ユーザによる操作入力がされた場合には、上記表示倍率を固定してもよい。
【0022】
この構成によれば、ユーザが表示対象画像の表示倍率を変更させているときに任意の表示倍率で固定させることが可能となる。
【0023】
上記制御部は、上記面積変化量又は上記縦幅変化量が所定値以上の場合には、表示対象画像の特定のレイアウト領域を上記表示部に表示させてもよい。
【0024】
この構成によれば、ユーザが複数のレイアウト領域(画像や文章を含むレイアウトの単位領域)有する表示対象画像において、目の開き具合によって表対象画像全体を表示部に表示させるか、特定のレイアウト領域のみを表示部に表示させるかを切り替えることが可能となる。
【0025】
上記制御部は、上記表示対象画像において表示部の中心に位置するレイアウト領域を上記特定のレイアウト領域として上記表示部に表示させてもよい。
【0026】
この構成によれば、ユーザが目の開き具合を変化させることによって表示部の中心に位置するレイアウト領域のみを表示部に表示させることが可能となる。
【0027】
上記制御部は、上記面積比又は上記縦幅比が所定値以上の場合には、上記表示部に表示される表示画像を生成するアプリケーションを変更してもよい。
【0028】
この構成によれば、ユーザが左右の目の開き具合によって、表示画像を生成するアプリケーション、例えばマルチタスクで動作中のアプリケーションの中から表示画像を生成するアプリケーションを切り替えることが可能となる。
【0029】
上記制御部は、ユーザによる操作入力がされた場合には、以後の上記面積比又は上記縦幅比に係わらず表示画像を生成するアプリケーションを固定してもよい。
【0030】
この構成によれば、ユーザがその時点で表示画像を生成しているアプリケーションを操作することによって、それ以降は目の開き具合の変化によって意図せずにアプリケーションが切り替わることを防止することが可能となる。
【0031】
上記制御部は、上記検出部によって上記目の開き具合が検出されている場合には、目の開き具合が検出されていることを示す表示を表示部に表示する
【0032】
この構成によれば、ユーザが目の開き具合が有効であることを確認した上で目の開き具合による情報処理装置の操作を実施することが可能となる。
【0033】
上記制御部は、所定時間の間の上記目の開き具合の最大値からユーザの目の大きさのキャリブレーションを実行する
【0034】
この構成によれば、制御部が、ある時点での目の開き具合がそのユーザの通常時の目の開き具合に比してどの程度であるかを判断することが可能となる。
【0035】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、検出部と、制御部とを具備する。
上記検出部は、撮像部によって取得された撮像画像に画像処理を施して上記撮像画像におけるユーザの目の開き具合を検出する。
上記制御部は、上記検出部の検出結果に基づいて、表示面が上記撮像部の撮像方向と同一方向に面する表示部の表示を制御する。
【発明の効果】
【0036】
以上のように本技術によれば、ユーザが手を使わずに入力操作をすることが可能な情報処理装置及びプログラムを提供することが可能である。
【図面の簡単な説明】
【0037】
【図1】本技術の実施形態に係る情報処理装置の機能的構成を示すブロック図である。
【図2】同情報処理装置のハードウェア構成を示すブロック図である。
【図3】同情報処理装置の外観を示す斜視図である。
【図4】同情報処理装置の動作を示すフローチャートである。
【図5】同情報処理装置の動作を示す模式図である。
【図6】同情報処理装置の動作を示す模式図である。
【図7】同情報処理装置の動作を示す模式図である。
【図8】同情報処理装置の制御例に係る動作を示す模式図である。
【図9】同情報処理装置の制御例に係る動作を示す模式図である。
【図10】同情報処理装置の制御例に係る動作を示す模式図である。
【図11】同情報処理装置の目の開き具合の検出に利用する輝度分布を示すグラフである。
【発明を実施するための形態】
【0038】
本技術の実施形態に係る情報処理装置について説明する。
【0039】
<情報処理装置の構成>
図1は情報処理装置1の機能的構成を示すブロック図であり、図2は情報処理装置1の
ハードウェア構成を示すブロック図である。図3は情報処理装置1の外観を示す斜視図である。以下、情報処理装置1の具体例としてタブレット型PCを例にとって説明するが、情報処理装置1はこれに限られず、例えば携帯型情報端末や据え置き型PCであるものとすることも可能である。
【0040】
図1に示すように、情報処理装置1は、カメラ11、検出部12、制御部13及びディスプレイ14有し、これらは相互に接続されている。
【0041】
カメラ11は、デジタル画像を撮像することが可能なカメラである。カメラ11は、静止画の連続として動画を撮像することが可能なカメラとすることができ、例えばCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)等の撮像素子を用いたものとすることができる。以下、カメラ11によって撮像された画像を「撮像画像」する。
【0042】
検出部12は、上記撮像画像に画像処理を施し、撮像画像におけるユーザの「目の開き具合」を検出する。検出部12の具体的な検出動作については後述する。検出部12は、検出した目の開き具合を制御部13に出力する。
【0043】
制御部13は、検出部12において検出された目の開き具合に基づいて、ディスプレイ14の表示を制御する。具体的には制御部13は、ディスプレイ14に表示される表示画像を生成するソフトウェアを制御するものとすることができる。なお、ソフトウェアには、OS(Operating System)等のシステムソフトウェアや、システムソフトウェア上で動作するアプリケーションソフトウェアが含まれる。制御部13によるディスプレイ14の表表示の具体的な制御については後述する。
【0044】
ディスプレイ14は、画像を表示することが可能なデバイスである。ディスプレイ14は、液晶ディスプレイやEL(Electroluminescence)ディスプレイ等の直視型ディスプレイであってもよく、プロジェクタ等の投影型ディスプレイであってもよい。
【0045】
ディスプレイ14は、表示面(ディスプレイ画面、プロジェクタ投影面等)が上記カメラ11の撮像方向と同一方向に面するものである(図3参照)。即ち、ディスプレイ14はカメラ11に対して、ユーザが表示面に対向した場合にユーザの顔がカメラ11の撮像範囲に入る位置関係となる。
【0046】
以上のような情報処理装置1の機能的構成は、図2に示すハードウェア構成によって実現される。図2に示すように情報処理装置1は、上記カメラ11及び上記ディスプレイ14に加え、ストレージ15、メモリ16、CPU(Central Processing Unit)17及び入力IF(interface)18を有するものとすることができる。各構成は、バス19によって相互に接続されている。なお、ここに示す情報処理装置1のハードウェア構成は一例であり、上記情報処理装置1の機能的構成を実現することが可能な各種構成を採用することが可能である。
【0047】
ストレージ15は、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の補助記憶装置であり、CPU17によって演算処理されるプログラム、後述する「表示画像」となるデータ等が記憶されている。
【0048】
メモリ16は、DRAM(Dynamic Random Access Memory)等の主記憶装置であり、ストレージ15からCPU17によって読み出されたプログラムや演算処理結果等を記憶する。
【0049】
CPU17は、メモリ16からプログラムを読み出し、演算処理を実行する。即ち、情報処理装置1はCPU17が動作主体となって機能する。
【0050】
入力IF18は、情報処理装置1の入力インターフェイスであり、タッチパネル、キーボードやマウス等の入力装置とすることができる。特に、ディスプレイ14が直視型ディスプレイの場合にはタッチパネルとすることができる。
【0051】
図3に示す情報処理装置1は、筐体20にディスプレイ14とカメラ11が設けられている。入力IF18はディスプレイ14に一体的に設けられ、ストレージ15、メモリ16、CPU17、入力IF18及びバス19は筐体20に収容されている。
【0052】
<情報処理装置の動作>
情報処理装置1の動作について説明する。
図4は、情報処理装置1の動作を示すフローチャートである。図5及び図6は情報処理装置1の動作を説明する図である。以下、図4に示すフローチャートの各ステップ(St)毎に情報処理装置の動作を説明する。
【0053】
まず、カメラ11がその撮像方向を撮像し、撮像画像を取得する(St1)。カメラ11による撮像は、連続的(動画として撮像)であってもよく、断続的(例えば、毎秒数枚程度)でもよい。ここで、図5(a)に示す撮像画像Sがカメラ11によって撮像されたものとする。なお、撮像画像Sは、情報処理装置1において内部的に処理される画像であり、ディスプレイ14に表示される画像ではない。カメラ11は、撮像画像Sを検出部12に出力する。
【0054】
ここで、上記のように情報処理装置1のディスプレイ14とカメラ11は、カメラ11の撮像方向とディスプレイ14の表示面が同一方向となる位置関係を有する。したがって、ユーザが表示面を過度に斜めの角度から見ているような場合を除いて、ユーザがディスプレイ14を見ている場合にはカメラ11の撮像範囲にユーザの顔が含まれ、即ち撮像画像Sにユーザの顔が含まれることとなる。
【0055】
検出部12は、撮像画像Sにおいてユーザ目の検出処理を実行する(St2)。具体的には、検出部12はまず、撮像画像Sにおいて「顔領域」を検出する。顔領域とは、撮像画像Sにおいてユーザの顔として検出された領域である。図5(b)に、図5(a)に例示する撮像画像Sに対して検出部12が設定する顔領域R1を模式的に示す。検出部12は、ヒトの顔の特徴的パターン(テンプレート)を用いたテンプレートマッチングにより顔領域R1を検出するものとすることができる。また、検出部12はこれ以外のアルゴリズムにより顔領域R1を検出することも可能である。
【0056】
次に検出部12は、顔領域R1において「目探索領域」を設定する。図5(b)に目探索領域R2を示す。目探索領域は、検出部12が顔領域R1において目が存在すると予測する領域である。検出部12は、顔領域R1の大きさや向き、縦横比等に基づいて目探索領域を設定することができる。ヒトの顔に対する目の配置は、個人差が存在するとはいえ、概ね一定範囲となるからである。
【0057】
続いて検出部12は、目探索領域R2に含まれる画像領域に対して「特徴点」の検出処理を行う。図5(c)は、特徴点Pの検出結果を示す模式図である。特徴点Pは、当該画像領域において画素の輝度についての特徴的な点である。検出部12は、例えばエッジ検出により検出された2本のエッジの交点を特徴点Pとすることができる。また、検出部12は、この他の各種アルゴリズムにより特徴点Pを検出するものとすることができる。
【0058】
検出部12は、上記目探索領域に含まれる画像領域のみに対して特徴点の検出処理を実行すればよいので、画像全体に対して同処理を実行する場合に比べて、高精度かつ高速に特徴点Pを検出することが可能である。
【0059】
検出部12はこのようにして検出された特徴点Pによって囲まれる領域をユーザの目の領域(以下、「目領域」とする)と判断することができる。図6(a)は、撮像画像Sにおいて検出部12によって検出された目領域R3を示す模式図である。図6(b)は、撮像画像Sと異なる撮像画像(ユーザが片目を閉じている撮像画像)において検出部12によって検出された目領域R3を示す模式図である。
【0060】
検出部12は目領域R3から「目の開き具合」を抽出する。目の開き具合は、目領域R3の面積、目領域R3の縦幅又はこれらの組み合わせによって規定することができる。図6(a)及び図6(b)に、目領域R3の縦幅(右目領域の縦幅hR及び左目領域の縦幅hL)を示す。検出部12は、目領域R3の目の開き具合を制御部13に出力する。
【0061】
制御部13は、上記目の開き具合に基づいてディスプレイ14の表示を制御する(St3)。制御部13は、ユーザの目の開き具合、具体的には目の開き具合の経時変化やユーザの左右両目の目の開き具合の差異に基づいて、ディスプレイ14の表示を制御するものとすることができる。目の開き具合の経時変化は、目領域R3の面積変化量や縦幅変化量とすることができる。また、ユーザの左右両目の目の開き具合の差異は、左右の目領域R3の面積比又は縦幅比とすることができる。ユーザの目の開き具合の応じた制御部13の具体的な制御例については後述する。この後、再び撮像画像の取得(St1)からプロセスが繰り返される。
【0062】
情報処理装置1は以上のようにして動作する。なお、制御部13は、上述したプロセスにおいて次のような動作を追加的に実施することも可能である。
【0063】
[瞬きの除去]
上述のように制御部13は、ある瞬間に撮像された撮像画像において検出されたユーザの目の開き具合に基づいてディスプレイ14の表示を制御する。しかし、ユーザが情報処理装置1の操作を意図せずに瞬きをしてしまう場合があり、その瞬間に撮像された撮像画像における目の開き具合に基づいてディスプレイ14の表示の制御が実行されれば不都合である。
【0064】
そこで、情報処理装置1は、このようなユーザの瞬きによる影響を除去するものとすることができる。具体的には、制御部13は、検出部12から出力されたユーザの両目の開き具合が、一定時間以内に開−閉−開と遷移した場合には、「閉」の状態を無視することによりユーザの瞬きをディスプレイ14の表示の制御に反映しないものとすることができる。
【0065】
[目の大きさのキャリブレーション]
情報処理装置1では、ユーザの目の開き具合に応じてディスプレイ14の表示の制御が実行されるとしたが、目の大きさはユーザ個人によって異なる。即ち、ある撮像画像において検出された目の開き具合が、そのユーザの通常の目の開き具合であるか、目を細めている状態の目の開き具合であるかは、当該ユーザの通常時の目の大きさを基準とする必要がある。
【0066】
そこで、情報処理装置1は、ユーザの通常の目の大きさによるキャリブレーションを実施するものとすることができる。具体的には、制御部13は、所定時間にわたるユーザの目の大きさの値を保持しておき、その最大値をユーザの通常の目の大きさとすることが可能である。また、当該情報処理装置1を複数のユーザで使用する場合には、制御部13は、任意の顔識別アルゴリズムにより撮像画像に含まれたユーザ個人を識別し、ユーザ個人と目の大きさの最大値を関連付けて利用してもよい。
【0067】
[目の開き具合のナビゲーション]
上述の目の大きさのキャリブレーションにおいて、情報処理装置1はユーザに対して目の開き具合のナビゲーションを実施してもよい。具体的には、情報処理装置1はディスプレイ14に、「目を最大に開いてください。」「目を細めてください。」等といったメッセージを表示し、その際に得られた目の大きさを上記キャリブレーションに利用することも可能である。
【0068】
[目による操作が有効である旨の表示]
制御部13は、検出部12から目の開き具合が出力されている場合、即ちカメラ11の撮像範囲にユーザの顔が含まれている場合には、目による操作が可能であることを示す表示をディスプレイ14に表示するものとすることができる。
【0069】
図7は当該表示の具体例を示す。図7(a)が検出部12によってユーザの目が検出されていないときにディスプレイ14に表示される表示画像の例であり、図7(b)が検出部12によってユーザの目が検出されているときにディスプレイ14に表示される表示画像の例である。図7(b)に示すように制御部13は、ステータスバー等に目が検出されていることを示すアイコンCをディスプレイ14に表示させることが可能である。
【0070】
この表示によりユーザは、目の開き具合によって情報処理装置1を操作することが可能であるかをディスプレイ14を一見して把握することが可能となる。
【0071】
<制御部による制御例>
制御部13による、ユーザの目の開き具合に応じたディスプレイ14の表示の制御例について説明する。
【0072】
[制御例1:表示させるアプリケーションの切替]
図8は、制御例1に係る情報処理装置1の動作を示す模式図である。ユーザがディスプレイ14を見ており、カメラ11によって撮像画像S1(図8(a))が撮像されているとする。上述のように検出部12は目の開き具合を制御部13に出力している。制御部13は、実行中の第1のアプリケーション(例えば音声ファイル再生アプリケーション)の画像を表示画像G1(図8(b))としてディスプレイ14に表示させている。
【0073】
次に、ユーザが片目を閉じ、カメラ11によって撮像画像S2(図8(c))が撮像されているとする。制御部13は、目の開き具合からユーザが片目を閉じていると判定し、マルチタスクで実行中の第2のアプリケーション(例えばチャットアプリケーション)の画像を表示画像G2(図8(d))としてディスプレイ14に表示させる。制御部13は、例えば左右の目領域R3の面積比又は縦幅比が所定値以上の場合には、表示画像を生成するアプリケーションを第1のアプリケーションから第2のアプリケーションに切り替えるものとすることができる。
【0074】
即ちユーザは、第1のアプリケーションをディスプレイ14に表示させている状態で片目を閉じることにより、情報処理装置1を手や指で操作することなく第2のアプリケーションをディスプレイ14に表示させることが可能となる。ユーザは、例えばチャットにおいて新たなメッセージの有無を確認することができる。
【0075】
再びユーザが両目を開けると、検出部12から出力される目の開き具合から、制御部13はユーザの両目が開いていると判定し、表示画像G1をディスプレイ14に表示させる。
【0076】
なお、ユーザが片目を閉じ、即ち表示画像G2が表示されている状態でタッチパネル等を操作した場合(ユーザが第2のアプリケーションを操作しようとしている場合)、制御部13はそれ以降、目の開き具合に係わらず表示画像G2を生成している第2のアプリケーションを固定するものとすることも可能である。
【0077】
この制御例では、制御部13はユーザが片目を閉じることによって第1のアプリケーションと第2のアプリケーションの表示を切り替えるものとしたが、例えばユーザが両目を閉じることによって両アプリケーションの表示を切り替えるものとすることもできる。また、ユーザが閉じた目が右目と左目のいずれであるかによって表示させるアプリケーションを切り替えてもよい。
【0078】
またこの制御例では、制御部13が目の開き具合によって2つのアプリケーションの表示を切り替えるものとしたが、これに限られない。制御部13は目の開き具合によって同一のアプリケーションにおけるメインコンテンツとサブコンテンツ、例えば文書とそのブックマーク、動画とその操作インターフェイス等を切り替えるものすることも可能である。さらに、制御部13は、目の開き具合によってアプリケーションの起動や終了を制御するものとしてもよい。
【0079】
[制御例2:表示倍率の拡大縮小]
図9は、制御例2に係る情報処理装置1の動作を示す模式図である。ユーザがディスプレイ14を見ており、カメラ11によって撮像画像S3(図9(a))が撮像されているとする。上述のように検出部12は、撮像画像S1における目の開き具合を制御部13に出力している。制御部13は特定の画像(表示対象画像)を所定の表示倍率で表示画像G3(図9(b))としてディスプレイ14に表示させている。
【0080】
次に、ユーザが目を細め、カメラ11によって撮像画像S4(図9(c))が撮像されているとする。制御部13は、目の開き具合に応じて表示対象画像の表示倍率を拡大した画像を表示画像G4(図9(c))としてディスプレイ14に表示させる。制御部13は表示対象画像の倍率を、目の開き具合に応じて段階的に変更してもよくシームレスに変更してもよい。制御部13は、例えば左右の目領域R3の面積変化量又は縦幅変化量に応じて表示倍率を変更するものとすることができる。
【0081】
即ちユーザは、任意の画像をディスプレイ14に表示させている状態で目を細めることにより、情報処理装置1を手や指で操作することなく当該表示画像を拡大させることが可能となる。
【0082】
再びユーザが目を大きく開けると、制御部13は検出部12から出力された目の開き具合に応じて表示対象画像の表示倍率を元の倍率に戻し、表示画像G3をディスプレイ14に表示させる。
【0083】
なお、表示画像が所定の表示倍率であるときにユーザがタッチパネル等を操作した場合、制御部13は表示倍率をその倍率で固定し、それ以降、目の開き具合に係わらずその表示倍率の表示画像を表示させるものとすることも可能である。
【0084】
この制御例では制御部13は、ユーザが目を細めたときに表示倍率を拡大するものとしたが、その逆、即ちユーザが目を細めたとき表示倍率を縮小するものとすることも可能である。
【0085】
[制御例3:レイアウト領域の拡大]
図10は、制御例3に係る情報処理装置1の動作を示す模式図である。ユーザがディスプレイ14を見ており、カメラ11によって撮像画像S5(図10(a))が撮像されているとする。上述のように検出部12は、撮像画像S1における目の開き具合を制御部13に出力している。
【0086】
制御部13は「複数のレイアウト領域を有する画像」(表示対象画像)を表示画像G5(図10(b))としてディスプレイ14に表示させる。レイアウト領域は画像や文章を含むレイアウトの単位領域を意味し、複数のレイアウト領域を有する画像は例えばウェブサイトの画像である。典型的には、ニュースサイトの画像が複数のレイアウト領域を有する画像であり、ニュースサイトのひとつの記事がレイアウト領域である。図10(c)に示す表示画像G5では、ひとつのレイアウト領域Aを破線で示した。
【0087】
次に、ユーザが目を細め、カメラ11によって撮像画像S6(図10(c))が撮像されているとする。制御部13は、撮像画像S5と撮像画像S6の間における目の開き具合によって、表示対象画像の特定のレイアウト領域のみを表示画像G6(図10(c))としてディスプレイ14に表示させる。表示画像G6とするレイアウト領域は、例えば表示画像G5において画像の中心に最も近く、画像占有率が最も大きいレイアウト領域とすることができる。制御部13は、例えば左右の目領域R3の面積変化量又は縦幅変化量が所定値以上の場合には、上記特定のレイアウト領域をディスプレイ14に表示させるものとすることが
【0088】
即ちユーザは、ウェブサイト等の複数のレイアウト領域を有する画像を閲覧している状態で目を細めることにより、情報処理装置1を手や指で操作することなく所定のレイアウト領域のみを表示させることが可能となる。
【0089】
再びユーザが目を大きく開けると、制御部13は複数のレイアウト領域を有する表示対象画像を表示画像G5としてディスプレイ14に表示させる。
【0090】
以上の各制御例で説明したように、制御部13は、検出部12によって出力される目の開き具合に基づいて、ディスプレイ14の表示を制御することが可能である。
【0091】
<変形例1>
上述の説明において、検出部2は特徴点を設定して目の開き具合を検出するものとしたが、検出部2は「輝度分布」を用いて目の開き具合を検出するものとすることも可能である。具体的には、検出部2は次のように動作する。
【0092】
まず、検出部2は上述のようにテンプレートマッチング等により顔領域R1を検出し、顔領域R1大きさや向き、縦横比等に基づいて目探索領域R2を設定する(図5(b)参照)。
【0093】
次に、検出部2は目探索領域R2に含まれる画素の輝度分布を取得する。図11は、目探索領域R2に含まれる画素の輝度分布を示す概念図である。同図に示すように、ユーザが目を開いているときは、白目と黒目の存在により輝度分布は「明」と「暗」にそれぞれピークを有する。一方、ユーザの目が閉じられている場合には白目と黒目が存在しないため、輝度分布には「明」と「暗」の中間にピークを有する。また、目が細められている場合には2つのプロットの中間的なプロットとなる。即ち、検出部2は、ピークの位置により目の開き具合を判定することができる。
【0094】
したがって検出部12は、この輝度分布により撮像画像に含まれるユーザの目の開き具合を検出することが可能であり、制御部13がこの目の開き具合に基づいてディスプレイ14の表示を制御することが可能となる。
【0095】
<変形例2>
上述の説明において、検出部12は特徴点を設定して目の開き具合を検出するものとしたが、検出部2は「テンプレートマッチング」を用いて目の開き具合を検出するものとすることも可能である。具体的には、検出部2は次のように動作する。
【0096】
まず、検出部2は上述のようにテンプレートマッチング等により顔領域R1を検出し、顔領域R1大きさや向き、縦横比等に基づいて目探索領域R2を設定する(図5(b)参照)。なお、本変形例においては目探索領域R2の設定は必須ではないが、設定したほうがテンプレートマッチングに要する時間を短縮させることが可能である。
【0097】
次に、検出部2は目探索領域R2、又は撮像画像全体に対して目のテンプレートを用いたテンプレートマッチングを実行する。例えば、検出部2は、目の開き具合が異なる複数のテンプレートを用いることにより、目の開き具合を判定することが可能である。
【0098】
したがって検出部2は、テンプレートマッチングにより撮像画像に含まれるユーザの目の開き具合を検出することが可能であり、制御部13がこの目の開き具合に基づいてディスプレイ14の表示を制御することが可能となる。
【0099】
本技術は上記各実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において変更することが可能である。
【0100】
なお、本技術は以下のような構成も採ることができる。
【0101】
(1)
画像を撮像して撮像画像を取得する撮像部と、
表示面が上記撮像部の撮像方向と同一方向に面する表示部と、
上記撮像画像に画像処理を施して前記撮像画像におけるユーザの目の開き具合を検出する検出部と、
上記検出部の検出結果に基づいて、上記表示部の表示を制御する制御部と、
【0102】
(2)
上記(1)に記載の情報処理装置であって、
上記検出部は、上記撮像画像におけるユーザの顔の領域である顔領域を検出し、上記顔領域においてユーザの目が存在すると予測される目探索領域を設定し、上記目探索領域について上記画像処理を実行する
情報処理装置。
【0103】
(3)
上記(1)又は(2)に記載の情報処理装置であって、
上記制御部は、上記目の開き具合の経時変化に基づいて上記表示部の表示を制御する
情報処理装置。
【0104】
(4)
上記(1)から(3)のいずれかに記載の情報処理装置であって、
上記制御部は、ユーザの左右両目の上記目の開き具合の差異に基づいて上記表示部の表示を制御する
情報処理装置。
【0105】
(5)
上記(1)から(4)のいずれかに記載の情報処理装置であって、
上記検出部は、ユーザの目の領域である目領域の面積を上記目の開き具合として検出し、
上記制御部は、上記目領域の面積変化量又は縦幅変化量に応じて上記表示部の表示を制御する
情報処理装置。
【0106】
(6)
上記(1)から(5)のいずれかに記載の情報処理装置であって、
上記検出部は、ユーザの目の領域である目領域の面積を上記目の開き具合として検出し、
上記制御部は、ユーザの左右両目の上記目領域の面積比又は縦幅比に応じて上記表示部の表示を制御する
情報処理装置。
【0107】
(7)
上記(1)から(6)のいずれかに記載の情報処理装置であって、
上記制御部は、上記面積変化量又は上記縦幅変化量に応じて、表示対象画像の表示倍率を変更して上記表示部に表示させる
情報処理装置。
【0108】
(8)
上記(1)から(7)のいずれかに記載の情報処理装置であって、
上記制御部は、ユーザによる操作入力がされた場合には、上記表示倍率を固定する
情報処理装置。
【0109】
(9)
上記(1)から(8)のいずれかに記載の情報処理装置であって、
上記制御部は、上記面積変化量又は上記縦幅変化量が所定値以上の場合には、表示対象画像の特定のレイアウト領域を上記表示部に表示させる
情報処理装置。
【0110】
(10)
上記(1)から(9)のいずれかに記載の情報処理装置であって、
上記制御部は、上記表示対象画像において表示部の中心に位置するレイアウト領域を上記特定のレイアウト領域として上記表示部に表示させる
情報処理装置。
【0111】
(11)
上記(1)から(10)のいずれかに記載の情報処理装置であって、
上記制御部は、上記面積比又は上記縦幅比が所定値以上の場合には、上記表示部に表示される表示画像を生成するアプリケーションを変更する
情報処理装置。
【0112】
(12)
上記(1)から(11)のいずれかに記載の情報処理装置であって、
上記制御部は、ユーザによる操作入力がされた場合には、以後の上記面積比又は上記縦幅比に係わらず表示画像を生成するアプリケーションを固定する
情報処理装置。
【0113】
(13)
上記(1)から(12)のいずれかに記載の情報処理装置であって、
上記制御部は、上記検出部によって上記目の開き具合が検出されている場合には、目の開き具合が検出されていることを示す表示を表示部に表示する
情報処理装置。
【0114】
(14)
上記(1)から(13)のいずれかに記載の情報処理装置であって、
上記制御部は、所定時間の間の上記目の開き具合の最大値からユーザの目の大きさのキャリブレーションを実行する
情報処理装置。
【0115】
(15)
撮像部によって取得された撮像画像に画像処理を施して上記撮像画像におけるユーザの目の開き具合を検出する検出部と、
上記検出部の検出結果に基づいて、表示面が上記撮像部の撮像方向と同一方向に面する表示部の表示を制御する制御部と
としてコンピュータを機能させるプログラム。
【符号の説明】
【0116】
1…情報処理装置
11…カメラ
12…検出部
13…制御部
14…ディスプレイ
【特許請求の範囲】
【請求項1】
画像を撮像して撮像画像を取得する撮像部と、
表示面が前記撮像部の撮像方向と同一方向に面する表示部と、
前記撮像画像に画像処理を施して前記撮像画像におけるユーザの目の開き具合を検出する検出部と、
前記検出部の検出結果に基づいて、前記表示部の表示を制御する制御部と
を具備する情報処理装置。
【請求項2】
請求項1に記載の情報処理装置であって、
前記検出部は、前記撮像画像におけるユーザの顔の領域である顔領域を検出し、前記顔領域においてユーザの目が存在すると予測される目探索領域を設定し、前記目探索領域について前記画像処理を実行する
情報処理装置。
【請求項3】
請求項1に記載の情報処理装置であって、
前記制御部は、前記目の開き具合の経時変化に基づいて前記表示部の表示を制御する
情報処理装置。
【請求項4】
請求項1に記載の情報処理装置であって、
前記制御部は、ユーザの左右両目の前記目の開き具合の差異に基づいて前記表示部の表示を制御する
情報処理装置。
【請求項5】
請求項3に記載の情報処理装置であって、
前記検出部は、ユーザの目の領域である目領域の面積を前記目の開き具合として検出し、
前記制御部は、前記目領域の面積変化量又は縦幅変化量に応じて前記表示部の表示を制御する
情報処理装置。
【請求項6】
請求項4に記載の情報処理装置であって、
前記検出部は、ユーザの目の領域である目領域の面積を前記目の開き具合として検出し、
前記制御部は、ユーザの左右両目の前記目領域の面積比又は縦幅比に応じて前記表示部の表示を制御する
情報処理装置。
【請求項7】
請求項5に記載の情報処理装置であって、
前記制御部は、前記面積変化量又は前記縦幅変化量に応じて、表示対象画像の表示倍率を変更して前記表示部に表示させる
情報処理装置。
【請求項8】
請求項7に記載の情報処理装置であって、
前記制御部は、ユーザによる操作入力がされた場合には、前記表示倍率を固定する
情報処理装置。
【請求項9】
請求項5に記載の情報処理装置であって、
前記制御部は、前記面積変化量又は前記縦幅変化量が所定値以上の場合には、表示対象画像の特定のレイアウト領域を前記表示部に表示させる
情報処理装置。
【請求項10】
請求項9に記載の情報処理装置であって、
前記制御部は、前記表示対象画像において表示部の中心に位置するレイアウト領域を前記特定のレイアウト領域として前記表示部に表示させる
情報処理装置。
【請求項11】
請求項6に記載の情報処理装置であって、
前記制御部は、前記面積比又は前記縦幅比が所定値以上の場合には、前記表示部に表示される表示画像を生成するアプリケーションを変更する
情報処理装置。
【請求項12】
請求項11に記載の情報処理装置であって、
前記制御部は、ユーザによる操作入力がされた場合には、以後の前記面積比又は前記縦幅比に係わらず表示画像を生成するアプリケーションを固定する
情報処理装置。
【請求項13】
請求項1に記載の情報処理装置であって
前記制御部は、前記検出部によって前記目の開き具合が検出されている場合には、目の開き具合が検出されていることを示す表示を表示部に表示する
情報処理装置。
【請求項14】
請求項1に記載の情報処理装置であって、
前記制御部は、所定時間の間の前記目の開き具合の最大値からユーザの目の大きさのキャリブレーションを実行する
情報処理装置。
【請求項15】
撮像部によって取得された撮像画像に画像処理を施して前記撮像画像おけるユーザの目の開き具合を検出する検出部と、
前記検出部の検出結果に基づいて、表示面が前記撮像部の撮像方向と同一方向に面する表示部の表示を制御する制御部と
としてコンピュータを機能させるプログラム。
【請求項1】
画像を撮像して撮像画像を取得する撮像部と、
表示面が前記撮像部の撮像方向と同一方向に面する表示部と、
前記撮像画像に画像処理を施して前記撮像画像におけるユーザの目の開き具合を検出する検出部と、
前記検出部の検出結果に基づいて、前記表示部の表示を制御する制御部と
を具備する情報処理装置。
【請求項2】
請求項1に記載の情報処理装置であって、
前記検出部は、前記撮像画像におけるユーザの顔の領域である顔領域を検出し、前記顔領域においてユーザの目が存在すると予測される目探索領域を設定し、前記目探索領域について前記画像処理を実行する
情報処理装置。
【請求項3】
請求項1に記載の情報処理装置であって、
前記制御部は、前記目の開き具合の経時変化に基づいて前記表示部の表示を制御する
情報処理装置。
【請求項4】
請求項1に記載の情報処理装置であって、
前記制御部は、ユーザの左右両目の前記目の開き具合の差異に基づいて前記表示部の表示を制御する
情報処理装置。
【請求項5】
請求項3に記載の情報処理装置であって、
前記検出部は、ユーザの目の領域である目領域の面積を前記目の開き具合として検出し、
前記制御部は、前記目領域の面積変化量又は縦幅変化量に応じて前記表示部の表示を制御する
情報処理装置。
【請求項6】
請求項4に記載の情報処理装置であって、
前記検出部は、ユーザの目の領域である目領域の面積を前記目の開き具合として検出し、
前記制御部は、ユーザの左右両目の前記目領域の面積比又は縦幅比に応じて前記表示部の表示を制御する
情報処理装置。
【請求項7】
請求項5に記載の情報処理装置であって、
前記制御部は、前記面積変化量又は前記縦幅変化量に応じて、表示対象画像の表示倍率を変更して前記表示部に表示させる
情報処理装置。
【請求項8】
請求項7に記載の情報処理装置であって、
前記制御部は、ユーザによる操作入力がされた場合には、前記表示倍率を固定する
情報処理装置。
【請求項9】
請求項5に記載の情報処理装置であって、
前記制御部は、前記面積変化量又は前記縦幅変化量が所定値以上の場合には、表示対象画像の特定のレイアウト領域を前記表示部に表示させる
情報処理装置。
【請求項10】
請求項9に記載の情報処理装置であって、
前記制御部は、前記表示対象画像において表示部の中心に位置するレイアウト領域を前記特定のレイアウト領域として前記表示部に表示させる
情報処理装置。
【請求項11】
請求項6に記載の情報処理装置であって、
前記制御部は、前記面積比又は前記縦幅比が所定値以上の場合には、前記表示部に表示される表示画像を生成するアプリケーションを変更する
情報処理装置。
【請求項12】
請求項11に記載の情報処理装置であって、
前記制御部は、ユーザによる操作入力がされた場合には、以後の前記面積比又は前記縦幅比に係わらず表示画像を生成するアプリケーションを固定する
情報処理装置。
【請求項13】
請求項1に記載の情報処理装置であって
前記制御部は、前記検出部によって前記目の開き具合が検出されている場合には、目の開き具合が検出されていることを示す表示を表示部に表示する
情報処理装置。
【請求項14】
請求項1に記載の情報処理装置であって、
前記制御部は、所定時間の間の前記目の開き具合の最大値からユーザの目の大きさのキャリブレーションを実行する
情報処理装置。
【請求項15】
撮像部によって取得された撮像画像に画像処理を施して前記撮像画像おけるユーザの目の開き具合を検出する検出部と、
前記検出部の検出結果に基づいて、表示面が前記撮像部の撮像方向と同一方向に面する表示部の表示を制御する制御部と
としてコンピュータを機能させるプログラム。
【図1】
【図2】
【図3】
【図4】
【図7】
【図11】
【図5】
【図6】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図7】
【図11】
【図5】
【図6】
【図8】
【図9】
【図10】
【公開番号】特開2013−3647(P2013−3647A)
【公開日】平成25年1月7日(2013.1.7)
【国際特許分類】
【出願番号】特願2011−131120(P2011−131120)
【出願日】平成23年6月13日(2011.6.13)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成25年1月7日(2013.1.7)
【国際特許分類】
【出願日】平成23年6月13日(2011.6.13)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]