命令信号送信装置およびその動作方法
【課題】操作が容易で、ロバスト性が高い命令信号送信装置およびその動作方法を提供する。
【解決手段】画像取得部14が、カメラ12で撮像された画像を取得し、画像特徴検出部15が、カメラ12の前の空間の少なくとも一部が塞がれることにより画像に生じる特徴を検出する。検出された特徴が予め定められた条件を満たすなら、命令読出部16が、命令記憶部13から命令を読み出し、命令信号送信部17が、命令を示す命令信号をコンピュータ(112)に送信する。
【解決手段】画像取得部14が、カメラ12で撮像された画像を取得し、画像特徴検出部15が、カメラ12の前の空間の少なくとも一部が塞がれることにより画像に生じる特徴を検出する。検出された特徴が予め定められた条件を満たすなら、命令読出部16が、命令記憶部13から命令を読み出し、命令信号送信部17が、命令を示す命令信号をコンピュータ(112)に送信する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、命令信号送信装置およびその動作方法に関するものである。
【背景技術】
【0002】
従来において、例えば、指を使ってコンピュータに命令信号を送信し、命令信号に応じた動作をコンピュータに実行させる技術がある。
【0003】
例えば、多くのスマートフォンは、図12(a)のように、タッチディスプレイ111にボタンBTを表示し、ボタンBTを指でタッチすることで操作が実現できる。
【0004】
また、特許文献1、2に記載のように、指のジェスチャを非接触で識別する方法を用い、特定操作に関連づけたジェスチャをスマートフォンのカメラで撮影することで、スマートフォンを操作する方法もある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−15294号公報
【特許文献2】特開2005−321966号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
(1)操作難易度が高い問題
前述の、タッチディスプレイにボタンを表示する方法は、ボタンが表示される位置によっては操作の難易度が上がるという問題がある。特に、荷物で片手がふさがっていて、片手でスマートフォンを操作する場合等にこの問題は深刻である。
【0007】
例えば、右手が塞がっており、左手だけでスマートフォンを操作する場合を考える。
【0008】
図12(a)のように、ボタンBTがタッチディスプレイ111の下部に表示されていれば、親指でボタンBTを簡単に押すことができる。しかし、図12(b)のように、ボタンBTがタッチディスプレイ111の上部に表示されていると、親指を目一杯伸ばしてボタンBTを押すか、図12(c)のようにスマートフォンを持ち直してボタンBTを押す必要があり、操作の難易度が上がるだけでなく、操作の際にスマートフォンを落としてしまう危険性もある。
【0009】
(2)ロバスト性が低い問題
前述の、特定操作に関連づけた指のジェスチャでスマートフォンを操作する方法は、ジェスチャを認識する際のロバスト性が低いという問題がある。
【0010】
例えば、右手が塞がっており、左手だけでスマートフォンを操作する場合を考える。
【0011】
この場合、図13(a)、(b)のように、左手でスマートフォンを持ち、スマートフォンの背面11bのカメラ12で、左手人差し指のジェスチャを認識する方法が考えられる。特許文献1の方法は、カメラ12で撮像された画像中の色情報等を用いて単色物体領域を特定するため、条件によっては指のジェスチャを認識できる可能性がある。
【0012】
しかし、指のジェスチャを行っている背景に手の色に近い物体が写った場合、この方法では認識精度が低下してしまう。また、カメラ12と指の距離が近いため、指に上手くカメラのフォーカスが合わなかったり、指がカメラ12の撮影領域から外れてしまったりすることが多く、指ジェスチャの認識精度は低下しやすい。
【0013】
色情報に加えて、空間中の他の物体の位置情報を用いる特許文献2の方法は、色情報のみを用いる方法よりロバスト性が高くなる。しかし、この方法は、空間中の他の物体の位置情報をシステムに予め登録しておく必要があるため、移動しながら操作するスマートフォンには適用にしにくい。
【0014】
以上のように、指を使ってコンピュータに命令信号を送信する技術においては、操作難易度が高く、ロバスト性が低く、そのため、操作が容易で、ロバスト性が高い命令信号送信装置およびその動作方法の実現が望まれる。
【課題を解決するための手段】
【0015】
上記の課題を解決するために、第1の本発明は、コンピュータに所望の動作を行わせるための命令を示す命令信号を当該コンピュータに送信する命令信号送信装置であって、本体と、前記本体に設けられ、前記本体の外側の方向を撮像するカメラと、予め命令が記憶される命令記憶部と、前記カメラで撮像された画像を取得する画像取得部と、前記カメラの前の空間の少なくとも一部が塞がれることにより前記画像に生じる特徴を検出する画像特徴検出部と、前記検出された特徴が予め定められた条件を満たすなら前記命令記憶部から命令を読み出す命令読出部と、前記命令を示す命令信号をコンピュータに送信する命令信号送信部とを備えることを特徴とする命令信号送信装置をもって解決手段とする。
【0016】
第1の本発明において、例えば、前記命令記憶部は、前記画像における予め定められた閾値以下の明度を有する低明度領域が占める面積の割合が予め定められた条件を満たした場合に読み出すべき命令が記憶されるものであり、前記画像特徴検出部は、前記画像における低明度領域が占める面積の割合を求め、当該面積の割合が前記条件を満たすか否かを判定する。
【0017】
第1の本発明において、例えば、前記命令記憶部は、前記画像における予め定められた閾値以下の明度を有する低明度領域の位置を示す位置識別子に対応づけて命令が記憶されるものであり、前記画像特徴検出部は、前記画像における低明度領域の位置を求め、前記命令読出部は、当該位置を示す位置識別子に対応づけられた命令を読み出す。
【0018】
第2の本発明は、コンピュータに所望の動作を行わせるための命令を示す命令信号を当該コンピュータに送信する命令信号送信装置の動作方法であって、前記命令信号送信装置は、本体と、前記本体に設けられ、前記本体の外側の方向を撮像するカメラと、予め命令が記憶される命令記憶部とを備え、前記動作方法は、前記命令信号送信装置の画像取得部が、前記カメラで撮像された画像を取得するステップと、前記命令信号送信装置の画像特徴検出部が、前記カメラの前の空間の少なくとも一部が塞がれることにより前記画像に生じる特徴を検出するステップと、前記命令信号送信装置の命令読出部が、前記検出された特徴が予め定められた条件を満たすなら前記命令記憶部から命令を読み出すステップと、前記命令信号送信装置の命令信号送信部が、前記命令を示す命令信号をコンピュータに送信するステップとを備えることを特徴とする命令信号送信装置の動作方法をもって解決手段とする。
【0019】
第2の本発明において、例えば、前記命令記憶部は、前記画像における予め定められた閾値以下の明度を有する低明度領域が占める面積の割合が予め定められた条件を満たした場合に読み出すべき命令が記憶されるものであり、前記画像特徴検出部は、前記画像における低明度領域が占める面積の割合を求め、当該面積の割合が前記条件を満たすか否かを判定する。
【0020】
第2の本発明において、例えば、前記命令記憶部は、前記画像における予め定められた閾値以下の明度を有する低明度領域の位置を示す位置識別子に対応づけて命令が記憶されるものであり、前記画像特徴検出部は、前記画像における低明度領域の位置を求め、前記命令読出部は、当該位置を示す位置識別子に対応づけられた命令を読み出す。
【発明の効果】
【0021】
本発明によれば、操作が容易で、ロバスト性が高い命令信号送信装置およびその動作方法を提供することができる。
【図面の簡単な説明】
【0022】
【図1】第1の実施の形態に係る命令信号送信装置を組み込んだスマートフォンの外観を示す図である。
【図2】第1の実施の形態に係る命令信号送信装置の概略構成を示すブロック図である。
【図3】命令信号送信装置10の動作の流れを示すフローチャートである。
【図4】画像の典型例を示す図である。
【図5】画像取得部14から明度判定部151に送信される配列データの一例を示す図である。
【図6】明度判定部151が行う図5のステップS9での動作の一例を示すフローチャートである。
【図7】明度判定部151から低明度領域割合判定部152に送信される配列データの一例を示す図である。
【図8】第2の実施の形態に係る命令信号送信装置の概略構成を示すブロック図である。
【図9】命令信号送信装置100の動作の流れを示すフローチャートである。
【図10】画像の典型例を示す図である。
【図11】画像特徴検出部15Aが行う図10のステップSS11での動作の一例を示すフローチャートである。
【図12】従来のスマートフォンを操作する方法の一例を示す図である。
【図13】従来のスマートフォンを操作する別な方法の一例を示す図である。
【発明を実施するための形態】
【0023】
以下、本発明の実施の形態について図面を参照して説明する。
【0024】
[第1の実施の形態]
図1は、第1の実施の形態に係る命令信号送信装置を組み込んだスマートフォンの外観を示す図である。
【0025】
スマートフォン1は、本体11と、本体11の外側の方向を撮像するカメラ12と、本体11の内部に設けられた構成要素(詳しくは後述する)を備える。
【0026】
スマートフォン1を自然に持つと、本体11の前面11aからは、図1(a)のように見え、本体11の背面11bからは、図1(b)のように見える。前面11aには、タッチディスプレイ111が設けられ、カメラ12のレンズ12aは、背面11bに設けられている。
【0027】
カメラ12は、特に指を伸ばしたり、持ち方を変えたりすることなく、人差し指UPがレンズ12aの前の空間を塞ぐことができるような位置に配置される。
【0028】
図2は、第1の実施の形態に係る命令信号送信装置の概略構成を示すブロック図である。
【0029】
命令信号送信装置10は、前述のスマートフォン1に組み込まれ、同じくスマートフォン1に組み込まれた前述のタッチディスプレイ111およびタッチディスプレイ111を制御するコンピュータであるタッチディスプレイ制御部112とともに使用される。
【0030】
命令信号送信装置10は、前述の本体11(同図では省略する)と、カメラ12と、タッチディスプレイ111を制御するための命令が予め記憶された命令記憶部13と、カメラ12で撮像された画像(以下、画像とは当該画像をいう)を取得する画像取得部14と、カメラ12の前の空間の少なくとも一部が塞がれることにより画像に生じる特徴を検出する画像特徴検出部15と、検出された特徴が予め定められた条件を満たすなら命令記憶部13から命令を読み出す命令読出部16と、読み出された命令を示す命令信号をタッチディスプレイ制御部112に送信する命令信号送信部17とを備える。
【0031】
画像特徴検出部15は、画像を構成する各ピクセルの明度が予め定められた閾値以下か否かを判定する明度判定部151と、当該閾値以下の明度を有するピクセルで構成される領域(低明度領域という)が画像に占める面積の割合(低明度領域割合という)を計算し、低明度領域割合が予め定められた閾値以上か否かを判定する低明度領域割合判定部152とを備える。
【0032】
命令記憶部13には、低明度領域の面積の割合が予め定められた閾値より大きい場合に読み出すべき命令が記憶されている。この命令は、ここでは、「タッチディスプレイ111の表示をオフする」ための命令であることとする。
【0033】
(第1の実施の形態の動作)
次に、命令信号送信装置10の動作の一例を説明する。ここでは、図1の人差し指UPを用いて、タッチディスプレイ111の表示をオフする動作について説明する。
【0034】
図3は、命令信号送信装置10の動作の流れを示すフローチャートである。
【0035】
まず、ユーザは、人差し指UPでレンズ12aの前の空間を塞ぐ(S1)。
【0036】
次に、カメラ12が、人差し指UPで塞がれたレンズ12aの前の空間を示す画像を生成する、つまり、レンズ12aの前の空間を撮像する(S3)。
【0037】
次に、画像取得部14が、カメラ12で撮像された画像を取得する(S5)。
【0038】
図4は、画像の典型例を示す図である。
【0039】
多くの場合、レンズ12aの前の空間のうち、人差し指UPで塞がれた部分Bは黒くなり、塞がれていない部分Wは白くなる。部分Wには、レンズ12aの先にある景色や物体が映るが、人差し指UPで塞がれていないので、外光が入り、人差し指UPで塞がれていない部分Wは、塞がれた部分Bより明るく映る。
【0040】
図3に戻り、画像取得部14は、画像を配列データに変換し、配列データを画像特徴検出部15の明度判定部151に送信する(S7)。
【0041】
図5は、画像取得部14から明度判定部151に送信される配列データの一例を示す図である。
【0042】
配列データは、画像を構成する各ピクセルに関する行を含んで構成される。
各行は、対応するピクセルを示すピクセルIDと、当該ピクセルの画像における位置を示す座標と、当該ピクセルの色を構成する各色成分量つまり赤、緑、青の成分量を示すR値、G値、B値とを含む。
【0043】
ピクセルIDは、1〜N(整数)の整数値で表現される。Nは、画像内の総ピクセル数、換言すれば、配列データの総行数である。
【0044】
座標は、画像の左上隅を基準としたピクセルの横方向の座標、縦方向の座標からなる。R値、G値、B値は、それぞれ例えば、0〜255の整数値で表現される。
【0045】
図3に戻り、次に、明度判定部151は、画像の各ピクセルにつき、ピクセルの明度が予め定められた閾値以下か否かを判定し、判定結果を配列データに書き込み、配列データを低明度領域割合判定部152に送信する(S9)。
【0046】
図6は、明度判定部151が行う図5のステップS9での動作の一例を示すフローチャートである。ここでは、R値が閾値Th(R)以下であり、かつ、G値が閾値Th(G)以下であり、かつ、B値が閾値Th(B)以下である場合には、かかるR値、G値、B値を有するピクセルの明度は、ある閾値以下であることが予め判っており、明度判定部151は、閾値Th(R)、Th(G)、Th(B)を予め記憶していることとする。つまり、実質的に、明度の閾値が記憶されているのである。例えば、閾値Th(R)、Th(G)、Th(B)は、共に30である。なお、各閾値は、スマートフォン1の周囲環境が明るい場合は高く、暗い場合は低く設定するのが好ましい。
【0047】
また、明度判定部151は、例えば、配列データの総行数つまり、画像を構成する総ピクセル数Nを計数し、これを記憶していることとする。
【0048】
図6(a)に示すように、まず、明度判定部151は、ピクセルIDについての変数iを1に初期化する(T1)。
【0049】
次に、明度判定部151は、変数iが総ピクセル数N以下か否かを判定する(T3)。 明度判定部151は、変数iが総ピクセル数N以下なら(T3:YES)、変数iに対応するピクセルの明度が閾値以下か否かを判定し、判定結果を配列データの該当行に書き込む(T5)。続いて、明度判定部151は、変数iに1を加え(T7)、制御をステップT3に戻す。
【0050】
一方、明度判定部151は、変数iが総ピクセル数Nより大きいなら(T3:NO)、配列データを低明度領域割合判定部152に送信し(T9)、処理を終える。
【0051】
図6(b)に示すように、ステップT5では、明度判定部151は、まず、変数iに等しいピクセルIDを含む行を配列データから読み出す(T51)。
【0052】
次に、明度判定部151は、読み出した行のR値が閾値Th(R)以下か否かを判定する(T52)。
【0053】
明度判定部151は、R値が閾値Th(R)以下なら(T52:YES)、読み出した行のG値が閾値Th(G)以下か否かを判定する(T53)。
【0054】
明度判定部151は、G値が閾値Th(G)以下なら(T53:YES)、読み出した行のB値が閾値Th(B)以下か否かを判定する(T54)。
【0055】
明度判定部151は、B値が閾値Th(B)以下なら(T54:YES)、読み出した行に対し、ピクセルの明度が閾値以下であることを示す低明度フラグ「1」を書き込み(T55)、制御をステップT7に進める。
【0056】
一方、明度判定部151は、R値が閾値Th(R)より大きいなら(T52:NO)、または、G値が閾値Th(G)より大きいなら(T53:NO)、または、B値が閾値Th(B)より大きいなら(T53:NO)、読み出した行に対し、ピクセルの明度が閾値より大きいことを示す低明度フラグ「0」を書き込み(T56)、制御をステップT7に進める。
【0057】
図7は、明度判定部151から低明度領域割合判定部152に送信される配列データの一例を示す図である。
【0058】
例えば、ピクセルID「1」の行には、R値「0」が30(閾値Th(R))以下であり、かつ、G値「0」が30(閾値Th(G))以下であり、かつ、B値「0」が30(閾値Th(B))以下であることから、低明度フラグ「1」が書き込まれている。ピクセルID「2」、「3」の行も、かかる条件を満たすので、低明度フラグ「1」が書き込まれている。
【0059】
一方、ピクセルID「1001」の行には、例えば、R値「40」が30(閾値Th(R))より大きいことから、低明度フラグ「0」が書き込まれている。ピクセルID「1002」、「1003」の行も、R値、G値、B値のいずれかが、かかる条件を満たすので、低明度フラグ「0」が書き込まれている。
【0060】
図3に戻り、低明度領域割合判定部152は、明度について定められた閾値(上記のように閾値Th(R)などにより間接的にしかし実質的には定められている閾値)以下の明度を有するピクセルで構成される低明度領域が占める面積の割合である低明度領域割合を計算し、低明度領域割合が予め定められた閾値以上か否かを判定し、判定結果を命令読出部16に通知する(S11)。
【0061】
具体的には、低明度領域割合判定部152は、配列データにおいて、低明度フラグ「1」を含む行数を総行数で除した値つまり低明度領域割合を計算し、低明度領域割合が予め定められた閾値(例えば、0.8)以上か否かを判定し、判定結果を命令読出部16に通知する(S11)。低明度フラグ「1」を含む行数が1700、総行数が2000の場合、低明度領域割合は、1700/2000=0.85となる。この場合、判定結果は、「低明度領域割合は閾値以上である」となる。
【0062】
次に、命令読出部16は、判定結果が「低明度領域割合が閾値以上である」なら(S13:YES)、命令記憶部13から命令つまり「タッチディスプレイ111の表示をオフする」ための命令を読みだし、命令を命令信号送信部17に送信し(S15)、一方、判定結果が「低明度領域割合が閾値未満である」なら(S13:NO)、処理を終える。
【0063】
命令信号送信部17は、ステップS15の命令を受信したなら、かかる命令を示す命令信号をタッチディスプレイ制御部112に送信する(S17)。
【0064】
タッチディスプレイ制御部112は、かかる命令信号を受信したなら、命令にしたがい、つまり、タッチディスプレイ111を制御することで、その表示をオフ(消去)させ(S19)、処理が終わる。
【0065】
以上説明したように、第1の実施の形態に係る命令信号送信装置10は、コンピュータ(112)に所望の動作を行わせるための命令を示す命令信号を当該コンピュータ(112)に送信するものであり、本体11と、本体11に設けられ、本体11の外側の方向を撮像するカメラ12と、予め命令が記憶される命令記憶部13と、カメラ12で撮像された画像を取得する画像取得部14と、カメラ12の前の空間の少なくとも一部が塞がれることにより画像に生じる特徴を検出する画像特徴検出部15と、検出された特徴が予め定められた条件を満たす(S13:YES)なら、命令記憶部13から命令を読み出す命令読出部16と、命令を示す命令信号をコンピュータ(112)に送信する命令信号送信部17とを備えることで、カメラ12の前の空間の少なくとも一部を塞ぐという容易な操作で、しかも、高いロバスト性をもって、コンピュータ(112)に命令信号を送信することができる。
【0066】
具体的には、命令記憶部13は、画像における予め定められた閾値以下の明度を有する低明度領域が占める面積の割合が予め定められた条件を満たした場合に読み出すべき命令が記憶されるものであり、画像特徴検出部15は、画像における低明度領域が占める面積の割合を求め、当該面積の割合が前記条件を満たすか否かを判定する(S11)ので、低明度領域が占める面積の割合が条件を満たすようにカメラ12の前の空間を塞ぐことで、コンピュータ(112)に命令信号を送信することができる。
【0067】
なお、第1の実施の形態においては、命令信号送信装置10をスマートフォン1に組み込んだが、命令信号送信装置10は、他の装置に組み込んでもよいし、単独で存在していてもよい。また、命令信号送信装置10の構成要素を複数の装置に適宜分散させて配置してもよい。
【0068】
また、第1の実施の形態では、ピクセルの明度が閾値以下であるかを判定するのに、R値、G値、B値を用いたが、その他の表色方式を用いてもよい。
【0069】
[第2の実施の形態]
次に、本発明の第2の実施の形態について説明する。第2の実施の形態では、第1の実施の形態に同一または類似の装置および装置構成を用い、同一または類似のものについては第1の実施の形態で使用した符号を使用して重複説明を略し、第1の実施の形態とは異なる事項を中心に説明を行う。
【0070】
命令信号送信装置は、図1のように、本体11とカメラ12を備えるスマートフォン1に組み込まれる。
【0071】
図8は、第2の実施の形態に係る命令信号送信装置の概略構成を示すブロック図である。
【0072】
命令信号送信装置100は、スマートフォン1に組み込まれたウェブブラウザ115およびウェブブラウザ115を制御するコンピュータであるウェブブラウザ制御部116とともに使用される。
【0073】
命令信号送信装置10は、前述の本体11(同図では省略)と、カメラ12と、ウェブブラウザ115を制御するための命令が画像における予め定められた閾値以下の明度を有する低明度領域の位置を示す位置識別子に対応づけて予め記憶される命令記憶部13Aと、画像を取得する画像取得部14と、カメラ12の前の空間の少なくとも一部が塞がれることにより画像に生じる特徴を検出する画像特徴検出部15Aと、検出された特徴が予め定められた条件を満たすなら命令を命令記憶部13Aから読み出す、つまり、画像の特徴である低明度領域の位置を示す位置識別子に対応づけられた命令を命令記憶部13Aから読み出す命令読出部16Aと、命令信号をウェブブラウザ制御部116に送信する命令信号送信部17とを備える。
【0074】
画像特徴検出部15Aは、画像を構成する各ピクセルの明度が予め定められた閾値以下か否かを判定する明度判定部151Aと、低明度領域が画像の横方向の中心に対して左、右のいずれに存在するかを判定する低明度領域位置判定部152Aとを備える。
【0075】
命令記憶部13Aは、画像における低明度領域の位置に対応づけて命令が記憶されるものであり、ここでは、低明度領域が画像の横方向の中心に対して左に存在するという特徴を示す位置識別子(位置識別子Lという)に対応づけて、ウェブブラウザ115のいわゆる「戻る」の動作に対応する命令が記憶され、低明度領域が画像の横方向の中心に対して右に存在するという特徴を示す位置識別子(位置識別子Rという)に対応づけて、ウェブブラウザ115のいわゆる「進む」の動作に対応する命令が記憶されている。
【0076】
(第2の実施の形態の動作)
次に、命令信号送信装置100の動作の一例を説明する。ここでは、図1の人差し指UPを用いて、ウェブブラウザ115に「戻る」や「進む」を実行させる動作について説明する。
【0077】
図9は、命令信号送信装置100の動作の流れを示すフローチャートである。
【0078】
まず、ユーザは、人差し指UPでレンズ12aの前の空間を塞ぐ(SS1)。
次に、カメラ12が、人差し指UPで塞がれたレンズ12aの前の空間を示す画像を生成する、つまり、レンズ12aの前の空間を撮像する(SS3)。
【0079】
次に、画像取得部14が、カメラ12で撮像された画像を取得する(SS5)。
【0080】
図10は、画像の典型例を示す図である。
ユーザは、ウェブブラウザ115に「戻る」の動作をさせたい場合は、レンズ12aの前の空間の左側を塞ぎ、これにより、図10(a)に示すような画像が得られる。
【0081】
一方、ユーザは、ウェブブラウザ115に「進む」の動作をさせたい場合は、レンズ12aの前の空間の右側を塞ぎ、これにより、図10(b)に示すような画像が得られる。 図9に戻り、画像取得部14は、画像を配列データに変換し、配列データを画像特徴検出部15Aに送信する(SS7)。配列データは、図5のような形式のデータである。
【0082】
画像特徴検出部15Aは、配列データに基づき、画像における低明度領域の位置を示す位置識別子を求め、位置識別子を命令読出部16Aに送信する(SS11)。
【0083】
図11は、画像特徴検出部15Aが行う図10のステップSS11での動作の一例を示すフローチャートである。ここでは、R値が閾値Th(R)以下であり、かつ、G値が閾値Th(G)以下であり、かつ、B値が閾値Th(B)以下である場合には、かかるR値、G値、B値を有するピクセルの明度は、ある閾値以下であることが予め判っており、明度判定部151Aは、閾値Th(R)、Th(G)、Th(B)を予め記憶していることとする。つまり、実質的に、明度の閾値が記憶されているのである。例えば、閾値Th(R)、Th(G)、Th(B)は、共に30である。なお、各閾値は、スマートフォン1の周囲環境が明るい場合は高く、暗い場合は低く設定するのが好ましい。
【0084】
また、明度判定部151Aは、例えば、画像を構成する総ピクセル数Nを計数し、これを記憶していることとする。また、明度判定部151Aは、横方向の総ピクセル数Wを計数し、これを記憶していることとする。
【0085】
図11(a)に示すように、まず、明度判定部151Aは、ピクセルIDについての変数iを1に初期化し、また、2つの変数つまり、画像の左半分に存在しかつ閾値以下の明度を有するピクセルの数を示す変数Count(L)および画像の右半分に存在しかつ閾値以下の明度を有するピクセルの数を示す変数Count(R)を0に初期化する(TT1)。
【0086】
次に、明度判定部151Aは、変数iが総ピクセル数N以下か否かを判定する(TT3)。
【0087】
明度判定部151Aは、変数iが総ピクセル数N以下なら(TT3:YES)、変数iに対応するピクセルの明度が閾値以下か否かを判定し、明度が閾値以下なら、低明度領域位置判定部152Aが、当該ピクセルの位置に応じて変数Count(L)または変数Count(R)を更新する(TT5)。続いて、明度判定部151Aは、変数iに1を加え(TT7)、ステップTT3に戻る。
【0088】
一方、変数iが総ピクセル数Nより大きいなら(TT3:NO)、低明度領域位置判定部152Aが、変数Count(L)と変数Count(R)を比較する(TT9)。つまり、低明度領域位置判定部152Aは、低明度領域が画像の横方向の中心に対して左、右のいずれに存在するかを判定する(TT9)。
【0089】
低明度領域位置判定部152Aは、変数Count(L)が変数Count(R)より大きいなら、つまり、低明度領域が画像の左部分にあるなら(TT9:YES)、位置識別子Lを命令読出部16Aに送信して(TT11)、処理を終える。
【0090】
一方、低明度領域位置判定部152Aは、変数Count(L)が変数Count(R)以下なら、つまり、低明度領域が画像の右部分にあるなら(TT9:NO)、位置識別子Rを命令読出部16Aに送信して(TT13)、処理を終える。
【0091】
図11(b)に示すように、ステップTT5では、明度判定部151Aは、図6(b)に示した明度判定部151の動作と同様に、ステップT51〜T54を行い、R値が閾値Th(R)より大きいなら(T52:NO)、または、G値が閾値Th(G)より大きいなら(T53:NO)、または、B値が閾値Th(B)より大きいなら(T53:NO)、制御をステップTT7に進める。
【0092】
一方、低明度領域位置判定部152Aは、R値が閾値Th(R)以下(T52:YES)、かつ、G値が閾値Th(G)以下(T53:YES)、かつ、B値が閾値Th(B)以下(T54:YES)なら、配列データの変数iと同じピクセルIDを含む行から横方向の座標を読み出し、この座標が総ピクセル数Wを2で割った値未満か否かを判定する(TT61)。
【0093】
低明度領域位置判定部152Aは、横方向の座標が総ピクセル数Wを2で割った値未満なら(TT61:YES)、変数Count(L)に1を加算し(TT63)、制御をステップTT7に進める。
【0094】
一方、低明度領域位置判定部152Aは、横方向の座標が総ピクセル数Wを2で割った値以上なら(TT61:NO)、変数Count(R)に1を加算し(TT65)、制御をステップTT7に進める。
【0095】
図9に戻り、命令読出部16Aは、低明度領域位置判定部152Aから位置識別子Lを受信したなら、命令記憶部13Aから位置識別子Lに対応づけられた命令、つまり、ウェブブラウザ115のいわゆる「戻る」に対応する命令を読みだし、命令を命令信号送信部17に送信する一方、位置識別子Rを受信したなら、命令記憶部13から位置識別子Rに対応づけられた命令、つまり、ウェブブラウザ115のいわゆる「進む」に対応する命令を読みだし、命令を命令信号送信部17に送信する(SS15)。
【0096】
命令信号送信部17は、ステップSS15の命令を受信したなら、かかる命令を示す命令信号をウェブブラウザ制御部116に送信する(SS17)。
【0097】
ウェブブラウザ制御部116は、かかる命令信号を受信したなら、命令信号に対応する命令にしたがい、つまり、ウェブブラウザ115を制御することで、ウェブブラウザ115に「戻る」または「進む」の動作をさせ(SS19)、処理が終わる。
【0098】
以上説明したように、第2の実施の形態に係る命令信号送信装置100は、コンピュータ(116)に所望の動作を行わせるための命令を示す命令信号を当該コンピュータ(116)に送信するものであり、本体11と、本体11に設けられ、本体11の外側の方向を撮像するカメラ12と、予め命令が記憶される命令記憶部13Aと、カメラ12で撮像された画像を取得する画像取得部14と、カメラ12の前の空間の少なくとも一部が塞がれることにより画像に生じる特徴を検出する画像特徴検出部15Aと、検出された特徴が予め定められた条件を満たす(TT9:YESなど)なら、命令記憶部13Aから命令を読み出す命令読出部16Aと、命令を示す命令信号をコンピュータ(116)に送信する命令信号送信部17とを備えることで、カメラ12の前の空間の少なくとも一部を塞ぐという容易な操作で、しかも、高いロバスト性をもって、コンピュータ(116)に命令信号を送信することができる。
【0099】
具体的には、命令記憶部13Aは、画像における予め定められた閾値以下の明度を有する低明度領域の位置を示す位置識別子L、Rに対応づけて命令が記憶されるものであり、画像特徴検出部15Aは、画像における低明度領域の位置を求め(TT9)、命令読出部16Aは、当該位置を示す位置識別子に対応づけられた命令を読み出す(SS15)ので、低明度領域が予め定められた位置に存在するようにカメラ12の前の空間を塞ぐことで、コンピュータ(116)に命令信号を送信することができる。
【0100】
なお、第2の実施の形態では、低明度領域が画像の右に存在するか左に存在するかを判定したが、画像を複数の部分に分割し、低明度領域がどの部分に存在するかを判定してもよい。
【0101】
なお、各実施の形態に係る命令信号送信装置としてコンピュータを機能させるためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。
【符号の説明】
【0102】
1…スマートフォン
10、100…命令信号送信装置
11…本体
12…カメラ
12a…レンズ
13、13A…命令記憶部
14…画像取得部
15、15A…画像特徴検出部
16、16A…命令読出部
17…命令信号送信部
111…タッチディスプレイ
112…タッチディスプレイ制御部
115…ウェブブラウザ
116…ウェブブラウザ制御部
151、151A…明度判定部
152…低明度領域割合判定部
152A…低明度領域位置判定部
L、R…位置識別子
【技術分野】
【0001】
本発明は、命令信号送信装置およびその動作方法に関するものである。
【背景技術】
【0002】
従来において、例えば、指を使ってコンピュータに命令信号を送信し、命令信号に応じた動作をコンピュータに実行させる技術がある。
【0003】
例えば、多くのスマートフォンは、図12(a)のように、タッチディスプレイ111にボタンBTを表示し、ボタンBTを指でタッチすることで操作が実現できる。
【0004】
また、特許文献1、2に記載のように、指のジェスチャを非接触で識別する方法を用い、特定操作に関連づけたジェスチャをスマートフォンのカメラで撮影することで、スマートフォンを操作する方法もある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−15294号公報
【特許文献2】特開2005−321966号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
(1)操作難易度が高い問題
前述の、タッチディスプレイにボタンを表示する方法は、ボタンが表示される位置によっては操作の難易度が上がるという問題がある。特に、荷物で片手がふさがっていて、片手でスマートフォンを操作する場合等にこの問題は深刻である。
【0007】
例えば、右手が塞がっており、左手だけでスマートフォンを操作する場合を考える。
【0008】
図12(a)のように、ボタンBTがタッチディスプレイ111の下部に表示されていれば、親指でボタンBTを簡単に押すことができる。しかし、図12(b)のように、ボタンBTがタッチディスプレイ111の上部に表示されていると、親指を目一杯伸ばしてボタンBTを押すか、図12(c)のようにスマートフォンを持ち直してボタンBTを押す必要があり、操作の難易度が上がるだけでなく、操作の際にスマートフォンを落としてしまう危険性もある。
【0009】
(2)ロバスト性が低い問題
前述の、特定操作に関連づけた指のジェスチャでスマートフォンを操作する方法は、ジェスチャを認識する際のロバスト性が低いという問題がある。
【0010】
例えば、右手が塞がっており、左手だけでスマートフォンを操作する場合を考える。
【0011】
この場合、図13(a)、(b)のように、左手でスマートフォンを持ち、スマートフォンの背面11bのカメラ12で、左手人差し指のジェスチャを認識する方法が考えられる。特許文献1の方法は、カメラ12で撮像された画像中の色情報等を用いて単色物体領域を特定するため、条件によっては指のジェスチャを認識できる可能性がある。
【0012】
しかし、指のジェスチャを行っている背景に手の色に近い物体が写った場合、この方法では認識精度が低下してしまう。また、カメラ12と指の距離が近いため、指に上手くカメラのフォーカスが合わなかったり、指がカメラ12の撮影領域から外れてしまったりすることが多く、指ジェスチャの認識精度は低下しやすい。
【0013】
色情報に加えて、空間中の他の物体の位置情報を用いる特許文献2の方法は、色情報のみを用いる方法よりロバスト性が高くなる。しかし、この方法は、空間中の他の物体の位置情報をシステムに予め登録しておく必要があるため、移動しながら操作するスマートフォンには適用にしにくい。
【0014】
以上のように、指を使ってコンピュータに命令信号を送信する技術においては、操作難易度が高く、ロバスト性が低く、そのため、操作が容易で、ロバスト性が高い命令信号送信装置およびその動作方法の実現が望まれる。
【課題を解決するための手段】
【0015】
上記の課題を解決するために、第1の本発明は、コンピュータに所望の動作を行わせるための命令を示す命令信号を当該コンピュータに送信する命令信号送信装置であって、本体と、前記本体に設けられ、前記本体の外側の方向を撮像するカメラと、予め命令が記憶される命令記憶部と、前記カメラで撮像された画像を取得する画像取得部と、前記カメラの前の空間の少なくとも一部が塞がれることにより前記画像に生じる特徴を検出する画像特徴検出部と、前記検出された特徴が予め定められた条件を満たすなら前記命令記憶部から命令を読み出す命令読出部と、前記命令を示す命令信号をコンピュータに送信する命令信号送信部とを備えることを特徴とする命令信号送信装置をもって解決手段とする。
【0016】
第1の本発明において、例えば、前記命令記憶部は、前記画像における予め定められた閾値以下の明度を有する低明度領域が占める面積の割合が予め定められた条件を満たした場合に読み出すべき命令が記憶されるものであり、前記画像特徴検出部は、前記画像における低明度領域が占める面積の割合を求め、当該面積の割合が前記条件を満たすか否かを判定する。
【0017】
第1の本発明において、例えば、前記命令記憶部は、前記画像における予め定められた閾値以下の明度を有する低明度領域の位置を示す位置識別子に対応づけて命令が記憶されるものであり、前記画像特徴検出部は、前記画像における低明度領域の位置を求め、前記命令読出部は、当該位置を示す位置識別子に対応づけられた命令を読み出す。
【0018】
第2の本発明は、コンピュータに所望の動作を行わせるための命令を示す命令信号を当該コンピュータに送信する命令信号送信装置の動作方法であって、前記命令信号送信装置は、本体と、前記本体に設けられ、前記本体の外側の方向を撮像するカメラと、予め命令が記憶される命令記憶部とを備え、前記動作方法は、前記命令信号送信装置の画像取得部が、前記カメラで撮像された画像を取得するステップと、前記命令信号送信装置の画像特徴検出部が、前記カメラの前の空間の少なくとも一部が塞がれることにより前記画像に生じる特徴を検出するステップと、前記命令信号送信装置の命令読出部が、前記検出された特徴が予め定められた条件を満たすなら前記命令記憶部から命令を読み出すステップと、前記命令信号送信装置の命令信号送信部が、前記命令を示す命令信号をコンピュータに送信するステップとを備えることを特徴とする命令信号送信装置の動作方法をもって解決手段とする。
【0019】
第2の本発明において、例えば、前記命令記憶部は、前記画像における予め定められた閾値以下の明度を有する低明度領域が占める面積の割合が予め定められた条件を満たした場合に読み出すべき命令が記憶されるものであり、前記画像特徴検出部は、前記画像における低明度領域が占める面積の割合を求め、当該面積の割合が前記条件を満たすか否かを判定する。
【0020】
第2の本発明において、例えば、前記命令記憶部は、前記画像における予め定められた閾値以下の明度を有する低明度領域の位置を示す位置識別子に対応づけて命令が記憶されるものであり、前記画像特徴検出部は、前記画像における低明度領域の位置を求め、前記命令読出部は、当該位置を示す位置識別子に対応づけられた命令を読み出す。
【発明の効果】
【0021】
本発明によれば、操作が容易で、ロバスト性が高い命令信号送信装置およびその動作方法を提供することができる。
【図面の簡単な説明】
【0022】
【図1】第1の実施の形態に係る命令信号送信装置を組み込んだスマートフォンの外観を示す図である。
【図2】第1の実施の形態に係る命令信号送信装置の概略構成を示すブロック図である。
【図3】命令信号送信装置10の動作の流れを示すフローチャートである。
【図4】画像の典型例を示す図である。
【図5】画像取得部14から明度判定部151に送信される配列データの一例を示す図である。
【図6】明度判定部151が行う図5のステップS9での動作の一例を示すフローチャートである。
【図7】明度判定部151から低明度領域割合判定部152に送信される配列データの一例を示す図である。
【図8】第2の実施の形態に係る命令信号送信装置の概略構成を示すブロック図である。
【図9】命令信号送信装置100の動作の流れを示すフローチャートである。
【図10】画像の典型例を示す図である。
【図11】画像特徴検出部15Aが行う図10のステップSS11での動作の一例を示すフローチャートである。
【図12】従来のスマートフォンを操作する方法の一例を示す図である。
【図13】従来のスマートフォンを操作する別な方法の一例を示す図である。
【発明を実施するための形態】
【0023】
以下、本発明の実施の形態について図面を参照して説明する。
【0024】
[第1の実施の形態]
図1は、第1の実施の形態に係る命令信号送信装置を組み込んだスマートフォンの外観を示す図である。
【0025】
スマートフォン1は、本体11と、本体11の外側の方向を撮像するカメラ12と、本体11の内部に設けられた構成要素(詳しくは後述する)を備える。
【0026】
スマートフォン1を自然に持つと、本体11の前面11aからは、図1(a)のように見え、本体11の背面11bからは、図1(b)のように見える。前面11aには、タッチディスプレイ111が設けられ、カメラ12のレンズ12aは、背面11bに設けられている。
【0027】
カメラ12は、特に指を伸ばしたり、持ち方を変えたりすることなく、人差し指UPがレンズ12aの前の空間を塞ぐことができるような位置に配置される。
【0028】
図2は、第1の実施の形態に係る命令信号送信装置の概略構成を示すブロック図である。
【0029】
命令信号送信装置10は、前述のスマートフォン1に組み込まれ、同じくスマートフォン1に組み込まれた前述のタッチディスプレイ111およびタッチディスプレイ111を制御するコンピュータであるタッチディスプレイ制御部112とともに使用される。
【0030】
命令信号送信装置10は、前述の本体11(同図では省略する)と、カメラ12と、タッチディスプレイ111を制御するための命令が予め記憶された命令記憶部13と、カメラ12で撮像された画像(以下、画像とは当該画像をいう)を取得する画像取得部14と、カメラ12の前の空間の少なくとも一部が塞がれることにより画像に生じる特徴を検出する画像特徴検出部15と、検出された特徴が予め定められた条件を満たすなら命令記憶部13から命令を読み出す命令読出部16と、読み出された命令を示す命令信号をタッチディスプレイ制御部112に送信する命令信号送信部17とを備える。
【0031】
画像特徴検出部15は、画像を構成する各ピクセルの明度が予め定められた閾値以下か否かを判定する明度判定部151と、当該閾値以下の明度を有するピクセルで構成される領域(低明度領域という)が画像に占める面積の割合(低明度領域割合という)を計算し、低明度領域割合が予め定められた閾値以上か否かを判定する低明度領域割合判定部152とを備える。
【0032】
命令記憶部13には、低明度領域の面積の割合が予め定められた閾値より大きい場合に読み出すべき命令が記憶されている。この命令は、ここでは、「タッチディスプレイ111の表示をオフする」ための命令であることとする。
【0033】
(第1の実施の形態の動作)
次に、命令信号送信装置10の動作の一例を説明する。ここでは、図1の人差し指UPを用いて、タッチディスプレイ111の表示をオフする動作について説明する。
【0034】
図3は、命令信号送信装置10の動作の流れを示すフローチャートである。
【0035】
まず、ユーザは、人差し指UPでレンズ12aの前の空間を塞ぐ(S1)。
【0036】
次に、カメラ12が、人差し指UPで塞がれたレンズ12aの前の空間を示す画像を生成する、つまり、レンズ12aの前の空間を撮像する(S3)。
【0037】
次に、画像取得部14が、カメラ12で撮像された画像を取得する(S5)。
【0038】
図4は、画像の典型例を示す図である。
【0039】
多くの場合、レンズ12aの前の空間のうち、人差し指UPで塞がれた部分Bは黒くなり、塞がれていない部分Wは白くなる。部分Wには、レンズ12aの先にある景色や物体が映るが、人差し指UPで塞がれていないので、外光が入り、人差し指UPで塞がれていない部分Wは、塞がれた部分Bより明るく映る。
【0040】
図3に戻り、画像取得部14は、画像を配列データに変換し、配列データを画像特徴検出部15の明度判定部151に送信する(S7)。
【0041】
図5は、画像取得部14から明度判定部151に送信される配列データの一例を示す図である。
【0042】
配列データは、画像を構成する各ピクセルに関する行を含んで構成される。
各行は、対応するピクセルを示すピクセルIDと、当該ピクセルの画像における位置を示す座標と、当該ピクセルの色を構成する各色成分量つまり赤、緑、青の成分量を示すR値、G値、B値とを含む。
【0043】
ピクセルIDは、1〜N(整数)の整数値で表現される。Nは、画像内の総ピクセル数、換言すれば、配列データの総行数である。
【0044】
座標は、画像の左上隅を基準としたピクセルの横方向の座標、縦方向の座標からなる。R値、G値、B値は、それぞれ例えば、0〜255の整数値で表現される。
【0045】
図3に戻り、次に、明度判定部151は、画像の各ピクセルにつき、ピクセルの明度が予め定められた閾値以下か否かを判定し、判定結果を配列データに書き込み、配列データを低明度領域割合判定部152に送信する(S9)。
【0046】
図6は、明度判定部151が行う図5のステップS9での動作の一例を示すフローチャートである。ここでは、R値が閾値Th(R)以下であり、かつ、G値が閾値Th(G)以下であり、かつ、B値が閾値Th(B)以下である場合には、かかるR値、G値、B値を有するピクセルの明度は、ある閾値以下であることが予め判っており、明度判定部151は、閾値Th(R)、Th(G)、Th(B)を予め記憶していることとする。つまり、実質的に、明度の閾値が記憶されているのである。例えば、閾値Th(R)、Th(G)、Th(B)は、共に30である。なお、各閾値は、スマートフォン1の周囲環境が明るい場合は高く、暗い場合は低く設定するのが好ましい。
【0047】
また、明度判定部151は、例えば、配列データの総行数つまり、画像を構成する総ピクセル数Nを計数し、これを記憶していることとする。
【0048】
図6(a)に示すように、まず、明度判定部151は、ピクセルIDについての変数iを1に初期化する(T1)。
【0049】
次に、明度判定部151は、変数iが総ピクセル数N以下か否かを判定する(T3)。 明度判定部151は、変数iが総ピクセル数N以下なら(T3:YES)、変数iに対応するピクセルの明度が閾値以下か否かを判定し、判定結果を配列データの該当行に書き込む(T5)。続いて、明度判定部151は、変数iに1を加え(T7)、制御をステップT3に戻す。
【0050】
一方、明度判定部151は、変数iが総ピクセル数Nより大きいなら(T3:NO)、配列データを低明度領域割合判定部152に送信し(T9)、処理を終える。
【0051】
図6(b)に示すように、ステップT5では、明度判定部151は、まず、変数iに等しいピクセルIDを含む行を配列データから読み出す(T51)。
【0052】
次に、明度判定部151は、読み出した行のR値が閾値Th(R)以下か否かを判定する(T52)。
【0053】
明度判定部151は、R値が閾値Th(R)以下なら(T52:YES)、読み出した行のG値が閾値Th(G)以下か否かを判定する(T53)。
【0054】
明度判定部151は、G値が閾値Th(G)以下なら(T53:YES)、読み出した行のB値が閾値Th(B)以下か否かを判定する(T54)。
【0055】
明度判定部151は、B値が閾値Th(B)以下なら(T54:YES)、読み出した行に対し、ピクセルの明度が閾値以下であることを示す低明度フラグ「1」を書き込み(T55)、制御をステップT7に進める。
【0056】
一方、明度判定部151は、R値が閾値Th(R)より大きいなら(T52:NO)、または、G値が閾値Th(G)より大きいなら(T53:NO)、または、B値が閾値Th(B)より大きいなら(T53:NO)、読み出した行に対し、ピクセルの明度が閾値より大きいことを示す低明度フラグ「0」を書き込み(T56)、制御をステップT7に進める。
【0057】
図7は、明度判定部151から低明度領域割合判定部152に送信される配列データの一例を示す図である。
【0058】
例えば、ピクセルID「1」の行には、R値「0」が30(閾値Th(R))以下であり、かつ、G値「0」が30(閾値Th(G))以下であり、かつ、B値「0」が30(閾値Th(B))以下であることから、低明度フラグ「1」が書き込まれている。ピクセルID「2」、「3」の行も、かかる条件を満たすので、低明度フラグ「1」が書き込まれている。
【0059】
一方、ピクセルID「1001」の行には、例えば、R値「40」が30(閾値Th(R))より大きいことから、低明度フラグ「0」が書き込まれている。ピクセルID「1002」、「1003」の行も、R値、G値、B値のいずれかが、かかる条件を満たすので、低明度フラグ「0」が書き込まれている。
【0060】
図3に戻り、低明度領域割合判定部152は、明度について定められた閾値(上記のように閾値Th(R)などにより間接的にしかし実質的には定められている閾値)以下の明度を有するピクセルで構成される低明度領域が占める面積の割合である低明度領域割合を計算し、低明度領域割合が予め定められた閾値以上か否かを判定し、判定結果を命令読出部16に通知する(S11)。
【0061】
具体的には、低明度領域割合判定部152は、配列データにおいて、低明度フラグ「1」を含む行数を総行数で除した値つまり低明度領域割合を計算し、低明度領域割合が予め定められた閾値(例えば、0.8)以上か否かを判定し、判定結果を命令読出部16に通知する(S11)。低明度フラグ「1」を含む行数が1700、総行数が2000の場合、低明度領域割合は、1700/2000=0.85となる。この場合、判定結果は、「低明度領域割合は閾値以上である」となる。
【0062】
次に、命令読出部16は、判定結果が「低明度領域割合が閾値以上である」なら(S13:YES)、命令記憶部13から命令つまり「タッチディスプレイ111の表示をオフする」ための命令を読みだし、命令を命令信号送信部17に送信し(S15)、一方、判定結果が「低明度領域割合が閾値未満である」なら(S13:NO)、処理を終える。
【0063】
命令信号送信部17は、ステップS15の命令を受信したなら、かかる命令を示す命令信号をタッチディスプレイ制御部112に送信する(S17)。
【0064】
タッチディスプレイ制御部112は、かかる命令信号を受信したなら、命令にしたがい、つまり、タッチディスプレイ111を制御することで、その表示をオフ(消去)させ(S19)、処理が終わる。
【0065】
以上説明したように、第1の実施の形態に係る命令信号送信装置10は、コンピュータ(112)に所望の動作を行わせるための命令を示す命令信号を当該コンピュータ(112)に送信するものであり、本体11と、本体11に設けられ、本体11の外側の方向を撮像するカメラ12と、予め命令が記憶される命令記憶部13と、カメラ12で撮像された画像を取得する画像取得部14と、カメラ12の前の空間の少なくとも一部が塞がれることにより画像に生じる特徴を検出する画像特徴検出部15と、検出された特徴が予め定められた条件を満たす(S13:YES)なら、命令記憶部13から命令を読み出す命令読出部16と、命令を示す命令信号をコンピュータ(112)に送信する命令信号送信部17とを備えることで、カメラ12の前の空間の少なくとも一部を塞ぐという容易な操作で、しかも、高いロバスト性をもって、コンピュータ(112)に命令信号を送信することができる。
【0066】
具体的には、命令記憶部13は、画像における予め定められた閾値以下の明度を有する低明度領域が占める面積の割合が予め定められた条件を満たした場合に読み出すべき命令が記憶されるものであり、画像特徴検出部15は、画像における低明度領域が占める面積の割合を求め、当該面積の割合が前記条件を満たすか否かを判定する(S11)ので、低明度領域が占める面積の割合が条件を満たすようにカメラ12の前の空間を塞ぐことで、コンピュータ(112)に命令信号を送信することができる。
【0067】
なお、第1の実施の形態においては、命令信号送信装置10をスマートフォン1に組み込んだが、命令信号送信装置10は、他の装置に組み込んでもよいし、単独で存在していてもよい。また、命令信号送信装置10の構成要素を複数の装置に適宜分散させて配置してもよい。
【0068】
また、第1の実施の形態では、ピクセルの明度が閾値以下であるかを判定するのに、R値、G値、B値を用いたが、その他の表色方式を用いてもよい。
【0069】
[第2の実施の形態]
次に、本発明の第2の実施の形態について説明する。第2の実施の形態では、第1の実施の形態に同一または類似の装置および装置構成を用い、同一または類似のものについては第1の実施の形態で使用した符号を使用して重複説明を略し、第1の実施の形態とは異なる事項を中心に説明を行う。
【0070】
命令信号送信装置は、図1のように、本体11とカメラ12を備えるスマートフォン1に組み込まれる。
【0071】
図8は、第2の実施の形態に係る命令信号送信装置の概略構成を示すブロック図である。
【0072】
命令信号送信装置100は、スマートフォン1に組み込まれたウェブブラウザ115およびウェブブラウザ115を制御するコンピュータであるウェブブラウザ制御部116とともに使用される。
【0073】
命令信号送信装置10は、前述の本体11(同図では省略)と、カメラ12と、ウェブブラウザ115を制御するための命令が画像における予め定められた閾値以下の明度を有する低明度領域の位置を示す位置識別子に対応づけて予め記憶される命令記憶部13Aと、画像を取得する画像取得部14と、カメラ12の前の空間の少なくとも一部が塞がれることにより画像に生じる特徴を検出する画像特徴検出部15Aと、検出された特徴が予め定められた条件を満たすなら命令を命令記憶部13Aから読み出す、つまり、画像の特徴である低明度領域の位置を示す位置識別子に対応づけられた命令を命令記憶部13Aから読み出す命令読出部16Aと、命令信号をウェブブラウザ制御部116に送信する命令信号送信部17とを備える。
【0074】
画像特徴検出部15Aは、画像を構成する各ピクセルの明度が予め定められた閾値以下か否かを判定する明度判定部151Aと、低明度領域が画像の横方向の中心に対して左、右のいずれに存在するかを判定する低明度領域位置判定部152Aとを備える。
【0075】
命令記憶部13Aは、画像における低明度領域の位置に対応づけて命令が記憶されるものであり、ここでは、低明度領域が画像の横方向の中心に対して左に存在するという特徴を示す位置識別子(位置識別子Lという)に対応づけて、ウェブブラウザ115のいわゆる「戻る」の動作に対応する命令が記憶され、低明度領域が画像の横方向の中心に対して右に存在するという特徴を示す位置識別子(位置識別子Rという)に対応づけて、ウェブブラウザ115のいわゆる「進む」の動作に対応する命令が記憶されている。
【0076】
(第2の実施の形態の動作)
次に、命令信号送信装置100の動作の一例を説明する。ここでは、図1の人差し指UPを用いて、ウェブブラウザ115に「戻る」や「進む」を実行させる動作について説明する。
【0077】
図9は、命令信号送信装置100の動作の流れを示すフローチャートである。
【0078】
まず、ユーザは、人差し指UPでレンズ12aの前の空間を塞ぐ(SS1)。
次に、カメラ12が、人差し指UPで塞がれたレンズ12aの前の空間を示す画像を生成する、つまり、レンズ12aの前の空間を撮像する(SS3)。
【0079】
次に、画像取得部14が、カメラ12で撮像された画像を取得する(SS5)。
【0080】
図10は、画像の典型例を示す図である。
ユーザは、ウェブブラウザ115に「戻る」の動作をさせたい場合は、レンズ12aの前の空間の左側を塞ぎ、これにより、図10(a)に示すような画像が得られる。
【0081】
一方、ユーザは、ウェブブラウザ115に「進む」の動作をさせたい場合は、レンズ12aの前の空間の右側を塞ぎ、これにより、図10(b)に示すような画像が得られる。 図9に戻り、画像取得部14は、画像を配列データに変換し、配列データを画像特徴検出部15Aに送信する(SS7)。配列データは、図5のような形式のデータである。
【0082】
画像特徴検出部15Aは、配列データに基づき、画像における低明度領域の位置を示す位置識別子を求め、位置識別子を命令読出部16Aに送信する(SS11)。
【0083】
図11は、画像特徴検出部15Aが行う図10のステップSS11での動作の一例を示すフローチャートである。ここでは、R値が閾値Th(R)以下であり、かつ、G値が閾値Th(G)以下であり、かつ、B値が閾値Th(B)以下である場合には、かかるR値、G値、B値を有するピクセルの明度は、ある閾値以下であることが予め判っており、明度判定部151Aは、閾値Th(R)、Th(G)、Th(B)を予め記憶していることとする。つまり、実質的に、明度の閾値が記憶されているのである。例えば、閾値Th(R)、Th(G)、Th(B)は、共に30である。なお、各閾値は、スマートフォン1の周囲環境が明るい場合は高く、暗い場合は低く設定するのが好ましい。
【0084】
また、明度判定部151Aは、例えば、画像を構成する総ピクセル数Nを計数し、これを記憶していることとする。また、明度判定部151Aは、横方向の総ピクセル数Wを計数し、これを記憶していることとする。
【0085】
図11(a)に示すように、まず、明度判定部151Aは、ピクセルIDについての変数iを1に初期化し、また、2つの変数つまり、画像の左半分に存在しかつ閾値以下の明度を有するピクセルの数を示す変数Count(L)および画像の右半分に存在しかつ閾値以下の明度を有するピクセルの数を示す変数Count(R)を0に初期化する(TT1)。
【0086】
次に、明度判定部151Aは、変数iが総ピクセル数N以下か否かを判定する(TT3)。
【0087】
明度判定部151Aは、変数iが総ピクセル数N以下なら(TT3:YES)、変数iに対応するピクセルの明度が閾値以下か否かを判定し、明度が閾値以下なら、低明度領域位置判定部152Aが、当該ピクセルの位置に応じて変数Count(L)または変数Count(R)を更新する(TT5)。続いて、明度判定部151Aは、変数iに1を加え(TT7)、ステップTT3に戻る。
【0088】
一方、変数iが総ピクセル数Nより大きいなら(TT3:NO)、低明度領域位置判定部152Aが、変数Count(L)と変数Count(R)を比較する(TT9)。つまり、低明度領域位置判定部152Aは、低明度領域が画像の横方向の中心に対して左、右のいずれに存在するかを判定する(TT9)。
【0089】
低明度領域位置判定部152Aは、変数Count(L)が変数Count(R)より大きいなら、つまり、低明度領域が画像の左部分にあるなら(TT9:YES)、位置識別子Lを命令読出部16Aに送信して(TT11)、処理を終える。
【0090】
一方、低明度領域位置判定部152Aは、変数Count(L)が変数Count(R)以下なら、つまり、低明度領域が画像の右部分にあるなら(TT9:NO)、位置識別子Rを命令読出部16Aに送信して(TT13)、処理を終える。
【0091】
図11(b)に示すように、ステップTT5では、明度判定部151Aは、図6(b)に示した明度判定部151の動作と同様に、ステップT51〜T54を行い、R値が閾値Th(R)より大きいなら(T52:NO)、または、G値が閾値Th(G)より大きいなら(T53:NO)、または、B値が閾値Th(B)より大きいなら(T53:NO)、制御をステップTT7に進める。
【0092】
一方、低明度領域位置判定部152Aは、R値が閾値Th(R)以下(T52:YES)、かつ、G値が閾値Th(G)以下(T53:YES)、かつ、B値が閾値Th(B)以下(T54:YES)なら、配列データの変数iと同じピクセルIDを含む行から横方向の座標を読み出し、この座標が総ピクセル数Wを2で割った値未満か否かを判定する(TT61)。
【0093】
低明度領域位置判定部152Aは、横方向の座標が総ピクセル数Wを2で割った値未満なら(TT61:YES)、変数Count(L)に1を加算し(TT63)、制御をステップTT7に進める。
【0094】
一方、低明度領域位置判定部152Aは、横方向の座標が総ピクセル数Wを2で割った値以上なら(TT61:NO)、変数Count(R)に1を加算し(TT65)、制御をステップTT7に進める。
【0095】
図9に戻り、命令読出部16Aは、低明度領域位置判定部152Aから位置識別子Lを受信したなら、命令記憶部13Aから位置識別子Lに対応づけられた命令、つまり、ウェブブラウザ115のいわゆる「戻る」に対応する命令を読みだし、命令を命令信号送信部17に送信する一方、位置識別子Rを受信したなら、命令記憶部13から位置識別子Rに対応づけられた命令、つまり、ウェブブラウザ115のいわゆる「進む」に対応する命令を読みだし、命令を命令信号送信部17に送信する(SS15)。
【0096】
命令信号送信部17は、ステップSS15の命令を受信したなら、かかる命令を示す命令信号をウェブブラウザ制御部116に送信する(SS17)。
【0097】
ウェブブラウザ制御部116は、かかる命令信号を受信したなら、命令信号に対応する命令にしたがい、つまり、ウェブブラウザ115を制御することで、ウェブブラウザ115に「戻る」または「進む」の動作をさせ(SS19)、処理が終わる。
【0098】
以上説明したように、第2の実施の形態に係る命令信号送信装置100は、コンピュータ(116)に所望の動作を行わせるための命令を示す命令信号を当該コンピュータ(116)に送信するものであり、本体11と、本体11に設けられ、本体11の外側の方向を撮像するカメラ12と、予め命令が記憶される命令記憶部13Aと、カメラ12で撮像された画像を取得する画像取得部14と、カメラ12の前の空間の少なくとも一部が塞がれることにより画像に生じる特徴を検出する画像特徴検出部15Aと、検出された特徴が予め定められた条件を満たす(TT9:YESなど)なら、命令記憶部13Aから命令を読み出す命令読出部16Aと、命令を示す命令信号をコンピュータ(116)に送信する命令信号送信部17とを備えることで、カメラ12の前の空間の少なくとも一部を塞ぐという容易な操作で、しかも、高いロバスト性をもって、コンピュータ(116)に命令信号を送信することができる。
【0099】
具体的には、命令記憶部13Aは、画像における予め定められた閾値以下の明度を有する低明度領域の位置を示す位置識別子L、Rに対応づけて命令が記憶されるものであり、画像特徴検出部15Aは、画像における低明度領域の位置を求め(TT9)、命令読出部16Aは、当該位置を示す位置識別子に対応づけられた命令を読み出す(SS15)ので、低明度領域が予め定められた位置に存在するようにカメラ12の前の空間を塞ぐことで、コンピュータ(116)に命令信号を送信することができる。
【0100】
なお、第2の実施の形態では、低明度領域が画像の右に存在するか左に存在するかを判定したが、画像を複数の部分に分割し、低明度領域がどの部分に存在するかを判定してもよい。
【0101】
なお、各実施の形態に係る命令信号送信装置としてコンピュータを機能させるためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。
【符号の説明】
【0102】
1…スマートフォン
10、100…命令信号送信装置
11…本体
12…カメラ
12a…レンズ
13、13A…命令記憶部
14…画像取得部
15、15A…画像特徴検出部
16、16A…命令読出部
17…命令信号送信部
111…タッチディスプレイ
112…タッチディスプレイ制御部
115…ウェブブラウザ
116…ウェブブラウザ制御部
151、151A…明度判定部
152…低明度領域割合判定部
152A…低明度領域位置判定部
L、R…位置識別子
【特許請求の範囲】
【請求項1】
コンピュータに所望の動作を行わせるための命令を示す命令信号を当該コンピュータに送信する命令信号送信装置であって、
本体と、
前記本体に設けられ、前記本体の外側の方向を撮像するカメラと、
予め命令が記憶される命令記憶部と、
前記カメラで撮像された画像を取得する画像取得部と、
前記カメラの前の空間の少なくとも一部が塞がれることにより前記画像に生じる特徴を検出する画像特徴検出部と、
前記検出された特徴が予め定められた条件を満たすなら前記命令記憶部から命令を読み出す命令読出部と、
前記命令を示す命令信号をコンピュータに送信する命令信号送信部と
を備えることを特徴とする命令信号送信装置。
【請求項2】
前記命令記憶部は、
前記画像における予め定められた閾値以下の明度を有する低明度領域が占める面積の割合が予め定められた条件を満たした場合に読み出すべき命令が記憶されるものであり、
前記画像特徴検出部は、
前記画像における低明度領域が占める面積の割合を求め、当該面積の割合が前記条件を満たすか否かを判定する
ことを特徴とする請求項1記載の命令信号送信装置。
【請求項3】
前記命令記憶部は、
前記画像における予め定められた閾値以下の明度を有する低明度領域の位置を示す位置識別子に対応づけて命令が記憶されるものであり、
前記画像特徴検出部は、
前記画像における低明度領域の位置を求め、
前記命令読出部は、
当該位置を示す位置識別子に対応づけられた命令を読み出す
ことを特徴とする請求項1記載の命令信号送信装置。
【請求項4】
コンピュータに所望の動作を行わせるための命令を示す命令信号を当該コンピュータに送信する命令信号送信装置の動作方法であって、
前記命令信号送信装置は、本体と、前記本体に設けられ、前記本体の外側の方向を撮像するカメラと、予め命令が記憶される命令記憶部とを備え、
前記動作方法は、
前記命令信号送信装置の画像取得部が、前記カメラで撮像された画像を取得するステップと、
前記命令信号送信装置の画像特徴検出部が、前記カメラの前の空間の少なくとも一部が塞がれることにより前記画像に生じる特徴を検出するステップと、
前記命令信号送信装置の命令読出部が、前記検出された特徴が予め定められた条件を満たすなら前記命令記憶部から命令を読み出すステップと、
前記命令信号送信装置の命令信号送信部が、前記命令を示す命令信号をコンピュータに送信するステップと
を備えることを特徴とする命令信号送信装置の動作方法。
【請求項5】
前記命令記憶部は、
前記画像における予め定められた閾値以下の明度を有する低明度領域が占める面積の割合が予め定められた条件を満たした場合に読み出すべき命令が記憶されるものであり、
前記画像特徴検出部は、
前記画像における低明度領域が占める面積の割合を求め、当該面積の割合が前記条件を満たすか否かを判定する
ことを特徴とする請求項4記載の命令信号送信装置の動作方法。
【請求項6】
前記命令記憶部は、
前記画像における予め定められた閾値以下の明度を有する低明度領域の位置を示す位置識別子に対応づけて命令が記憶されるものであり、
前記画像特徴検出部は、
前記画像における低明度領域の位置を求め、
前記命令読出部は、
当該位置を示す位置識別子に対応づけられた命令を読み出す
ことを特徴とする請求項4記載の命令信号送信装置の動作方法。
【請求項7】
請求項1ないし3のいずれかに記載の命令信号送信装置としてコンピュータを動作させるためのコンピュータプログラム。
【請求項1】
コンピュータに所望の動作を行わせるための命令を示す命令信号を当該コンピュータに送信する命令信号送信装置であって、
本体と、
前記本体に設けられ、前記本体の外側の方向を撮像するカメラと、
予め命令が記憶される命令記憶部と、
前記カメラで撮像された画像を取得する画像取得部と、
前記カメラの前の空間の少なくとも一部が塞がれることにより前記画像に生じる特徴を検出する画像特徴検出部と、
前記検出された特徴が予め定められた条件を満たすなら前記命令記憶部から命令を読み出す命令読出部と、
前記命令を示す命令信号をコンピュータに送信する命令信号送信部と
を備えることを特徴とする命令信号送信装置。
【請求項2】
前記命令記憶部は、
前記画像における予め定められた閾値以下の明度を有する低明度領域が占める面積の割合が予め定められた条件を満たした場合に読み出すべき命令が記憶されるものであり、
前記画像特徴検出部は、
前記画像における低明度領域が占める面積の割合を求め、当該面積の割合が前記条件を満たすか否かを判定する
ことを特徴とする請求項1記載の命令信号送信装置。
【請求項3】
前記命令記憶部は、
前記画像における予め定められた閾値以下の明度を有する低明度領域の位置を示す位置識別子に対応づけて命令が記憶されるものであり、
前記画像特徴検出部は、
前記画像における低明度領域の位置を求め、
前記命令読出部は、
当該位置を示す位置識別子に対応づけられた命令を読み出す
ことを特徴とする請求項1記載の命令信号送信装置。
【請求項4】
コンピュータに所望の動作を行わせるための命令を示す命令信号を当該コンピュータに送信する命令信号送信装置の動作方法であって、
前記命令信号送信装置は、本体と、前記本体に設けられ、前記本体の外側の方向を撮像するカメラと、予め命令が記憶される命令記憶部とを備え、
前記動作方法は、
前記命令信号送信装置の画像取得部が、前記カメラで撮像された画像を取得するステップと、
前記命令信号送信装置の画像特徴検出部が、前記カメラの前の空間の少なくとも一部が塞がれることにより前記画像に生じる特徴を検出するステップと、
前記命令信号送信装置の命令読出部が、前記検出された特徴が予め定められた条件を満たすなら前記命令記憶部から命令を読み出すステップと、
前記命令信号送信装置の命令信号送信部が、前記命令を示す命令信号をコンピュータに送信するステップと
を備えることを特徴とする命令信号送信装置の動作方法。
【請求項5】
前記命令記憶部は、
前記画像における予め定められた閾値以下の明度を有する低明度領域が占める面積の割合が予め定められた条件を満たした場合に読み出すべき命令が記憶されるものであり、
前記画像特徴検出部は、
前記画像における低明度領域が占める面積の割合を求め、当該面積の割合が前記条件を満たすか否かを判定する
ことを特徴とする請求項4記載の命令信号送信装置の動作方法。
【請求項6】
前記命令記憶部は、
前記画像における予め定められた閾値以下の明度を有する低明度領域の位置を示す位置識別子に対応づけて命令が記憶されるものであり、
前記画像特徴検出部は、
前記画像における低明度領域の位置を求め、
前記命令読出部は、
当該位置を示す位置識別子に対応づけられた命令を読み出す
ことを特徴とする請求項4記載の命令信号送信装置の動作方法。
【請求項7】
請求項1ないし3のいずれかに記載の命令信号送信装置としてコンピュータを動作させるためのコンピュータプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2013−65253(P2013−65253A)
【公開日】平成25年4月11日(2013.4.11)
【国際特許分類】
【出願番号】特願2011−204664(P2011−204664)
【出願日】平成23年9月20日(2011.9.20)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
【公開日】平成25年4月11日(2013.4.11)
【国際特許分類】
【出願日】平成23年9月20日(2011.9.20)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
[ Back to top ]