説明

命令信号送信装置およびその動作方法

【課題】操作が容易で、ロバスト性が高い命令信号送信装置およびその動作方法を提供する。
【解決手段】画像取得部14が、カメラ12で撮像された画像を取得し、遮蔽時間長特徴検出部15が、連続的に取得された複数の画像を基にカメラ12の前の空間が塞がれている時間の長さの特徴を検出する。検出された特徴が予め定められた条件を満たすなら、命令読出部16が、命令記憶部13から命令を読み出し、命令信号送信部が、命令を示す命令信号をコンピュータに送信する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、命令信号送信装置およびその動作方法に関するものである。
【背景技術】
【0002】
従来において、例えば、指を使ってコンピュータに命令信号を送信し、命令信号に応じた動作をコンピュータに実行させる技術がある。
【0003】
例えば、多くのスマートフォンは、図19(a)のように、タッチディスプレイ111にボタンBTを表示し、ボタンBTを指でタッチすることで操作が実現できる。
【0004】
また、特許文献1、2に記載のように、指のジェスチャを非接触で識別する方法を用い、特定操作に関連づけたジェスチャをスマートフォンのカメラで撮影することで、スマートフォンを操作する方法もある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−15294号公報
【特許文献2】特開2005−321966号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
(1)操作難易度が高い問題
前述の、タッチディスプレイにボタンを表示する方法は、ボタンが表示される位置によっては操作の難易度が上がるという問題がある。特に、荷物で片手がふさがっていて、片手でスマートフォンを操作する場合等にこの問題は深刻である。
【0007】
例えば、右手が塞がっており、左手だけでスマートフォンを操作する場合を考える。
【0008】
図19(a)のように、ボタンBTがタッチディスプレイ111の下部に表示されていれば、親指でボタンBTを簡単に押すことができる。しかし、図19(b)のように、ボタンBTがタッチディスプレイ111の上部に表示されていると、親指を目一杯伸ばしてボタンBTを押すか、図19(c)のようにスマートフォンを持ち直してボタンBTを押す必要があり、操作の難易度が上がるだけでなく、操作の際にスマートフォンを落としてしまう危険性もある。
【0009】
(2)ロバスト性が低い問題
前述の、特定操作に関連づけた指のジェスチャでスマートフォンを操作する方法は、ジェスチャを認識する際のロバスト性が低いという問題がある。
【0010】
例えば、右手が塞がっており、左手だけでスマートフォンを操作する場合を考える。
【0011】
この場合、図20(a)、(b)のように、左手でスマートフォンを持ち、スマートフォンの背面11bのカメラ12で、左手人差し指のジェスチャを認識する方法が考えられる。特許文献1の方法は、カメラ12で撮像された画像中の色情報等を用いて単色物体領域を特定するため、条件によっては指のジェスチャを認識できる可能性がある。
【0012】
しかし、指のジェスチャを行っている背景に手の色に近い物体が写った場合、この方法では認識精度が低下してしまう。また、カメラ12と指の距離が近いため、指に上手くカメラのフォーカスが合わなかったり、指がカメラ12の撮影領域から外れてしまったりすることが多く、指ジェスチャの認識精度は低下しやすい。
【0013】
色情報に加えて、空間中の他の物体の位置情報を用いる特許文献2の方法は、色情報のみを用いる方法よりロバスト性が高くなる。しかし、この方法は、空間中の他の物体の位置情報をシステムに予め登録しておく必要があるため、移動しながら操作するスマートフォンには適用にしにくい。
【0014】
以上のように、指を使ってコンピュータに命令信号を送信する技術においては、操作難易度が高く、ロバスト性が低く、そのため、操作が容易で、ロバスト性が高い命令信号送信装置およびその動作方法の実現が望まれる。
【課題を解決するための手段】
【0015】
上記の課題を解決するために、第1の本発明は、コンピュータに所望の動作を行わせるための命令を示す命令信号を当該コンピュータに送信する命令信号送信装置であって、本体と、前記本体に設けられ、前記本体の外側の方向を撮像するカメラと、予め命令が記憶される命令記憶部と、前記カメラで撮像された画像を取得する画像取得部と、連続的に取得された複数の前記画像を基に前記カメラの前の空間が塞がれている時間の長さの特徴を検出する遮蔽時間長特徴検出部と、前記検出された特徴が予め定められた条件を満たすなら前記命令記憶部から命令を読み出す命令読出部と、前記命令を示す命令信号をコンピュータに送信する命令信号送信部とを備えることを特徴とする命令信号送信装置をもって解決手段とする。
【0016】
第1の本発明において、例えば、前記命令記憶部は、前記カメラの前の空間が塞がれている時間の長さにおいて異なる複数種の遮蔽状態がどのような順序で生じたかを示す遮蔽パターン情報に対応づけて命令が記憶されるものであり、前記遮蔽時間長特徴検出部は、連続的に取得された複数の前記画像を基に前記遮蔽パターン情報を求める。
【0017】
第1の本発明において、例えば、前記命令記憶部は、前記カメラの前の空間が予め定められた第1の閾値以上の時間の長さにわたって塞がれている状態である長期遮蔽状態と、前記カメラの前の空間が前記第1の閾値より短くかつ前記第1の閾値より短い第2の閾値以上の時間の長さにわたって塞がれている状態である短期遮蔽状態とがどのような順序で生じたかを示す遮蔽パターン情報に対応づけて命令が記憶されるものであり、前記遮蔽時間長特徴検出部は、連続的に取得された複数の前記画像を基に前記遮蔽パターン情報を求める。
【0018】
第2の本発明は、コンピュータに所望の動作を行わせるための命令を示す命令信号を当該コンピュータに送信する命令信号送信装置の動作方法であって、前記命令信号送信装置は、本体と、前記本体に設けられ、前記本体の外側の方向を撮像するカメラと、予め命令が記憶される命令記憶部とを備え、前記動作方法は、前記命令信号送信装置の画像取得部が、前記カメラで撮像された画像を取得するステップと、前記命令信号送信装置の遮蔽時間長特徴検出部が、連続的に取得された複数の前記画像を基に前記カメラの前の空間が塞がれている時間の長さの特徴を検出するステップと、前記命令信号送信装置の命令読出部が、前記検出された特徴が予め定められた条件を満たすなら前記命令記憶部から命令を読み出すステップと、前記命令信号送信装置の命令信号送信部が、前記命令を示す命令信号をコンピュータに送信するステップとを備えることを特徴とする命令信号送信装置の動作方法をもって解決手段とする。
【0019】
第2の本発明において、例えば、前記命令記憶部は、前記カメラの前の空間が塞がれている時間の長さにおいて異なる複数種の遮蔽状態がどのような順序で生じたかを示す遮蔽パターン情報に対応づけて命令が記憶されるものであり、前記遮蔽時間長特徴検出部は、連続的に取得された複数の前記画像を基に前記遮蔽パターン情報を求める。
【0020】
第2の本発明において、例えば、前記命令記憶部は、前記カメラの前の空間が予め定められた第1の閾値以上の時間の長さにわたって塞がれている状態である長期遮蔽状態と、前記カメラの前の空間が前記第1の閾値より短くかつ前記第1の閾値より短い第2の閾値以上の時間の長さにわたって塞がれている状態である短期遮蔽状態とがどのような順序で生じたかを示す遮蔽パターン情報に対応づけて命令が記憶されるものであり、前記遮蔽時間長特徴検出部は、連続的に取得された複数の前記画像を基に前記遮蔽パターン情報を求める。
【発明の効果】
【0021】
本発明によれば、操作が容易で、ロバスト性が高い命令信号送信装置およびその動作方法を提供することができる。
【図面の簡単な説明】
【0022】
【図1】第1の実施の形態に係る命令信号送信装置を組み込んだスマートフォンの外観を示す図である。
【図2】第1の実施の形態に係る命令信号送信装置の概略構成を示すブロック図である。
【図3】命令記憶部13の構成の一例を示す図である。
【図4】命令信号送信装置10において並行して実行される2つの動作の一方の動作の流れを示すフローチャートである。
【図5】画像取得部14から遮蔽判定部151に送信される配列データの一例を示す図である。
【図6】遮蔽判定部151が行う図5のステップS2、S3での動作の一例を示すフローチャートである。
【図7】遮蔽判定部151が遮蔽判定結果記憶部152に記憶させる行の一例を示す図である。
【図8】遮蔽判定結果記憶部152の一例を示す図である。
【図9】命令信号送信装置10において並行して実行される2つの動作の他方の動作の流れを示すフローチャートである。
【図10】連続遮蔽時間長計算部153が行う図9のステップS11、S13での動作の一例を示すフローチャートである。
【図11】第2の実施の形態に係る命令信号送信装置の概略構成を示すブロック図である。
【図12】命令記憶部13Aの構成の一例を示す図である。
【図13】遮蔽判定結果記憶部152の一例を示す図である。
【図14】命令信号送信装置100において並行して実行される2つの動作の他方の動作の流れを示すフローチャートである。
【図15】遮蔽パターン情報生成部153Aが行う図14のステップSS11、SS13での動作の一例を示すフローチャートである。
【図16】スタックの一例を示す図である。
【図17】遮蔽パターン情報生成部153Aが行う図16のステップUU11での動作の一例を示すフローチャートである。
【図18】遮蔽パターン情報生成部153Aが行う図17のステップUU1121での動作の一例を示すフローチャートである。
【図19】従来のスマートフォンを操作する方法の一例を示す図である。
【図20】従来のスマートフォンを操作する別な方法の一例を示す図である。
【発明を実施するための形態】
【0023】
以下、本発明の実施の形態について図面を参照して説明する。
【0024】
[第1の実施の形態]
図1は、第1の実施の形態に係る命令信号送信装置を組み込んだスマートフォンの外観を示す図である。
【0025】
スマートフォン1は、本体11と、本体11の外側の方向を撮像するカメラ12と、本体11の内部に設けられた構成要素(詳しくは後述する)を備える。
【0026】
スマートフォン1を自然に持つと、本体11の前面11aからは、図1(a)のように見え、本体11の背面11bからは、図1(b)のように見える。前面11aには、タッチディスプレイ111が設けられ、カメラ12のレンズ12aは、背面11bに設けられている。
【0027】
カメラ12は、特に指を伸ばしたり、持ち方を変えたりすることなく、人差し指UPがレンズ12aの前の空間を塞ぐことができるような位置に配置される。
【0028】
図2は、第1の実施の形態に係る命令信号送信装置の概略構成を示すブロック図である。
【0029】
命令信号送信装置10は、前述のスマートフォン1に組み込まれ、同じくスマートフォン1に組み込まれた電源ユニット112および電源ユニット112を制御するコンピュータである電源ユニット制御部113とともに使用される。
【0030】
命令信号送信装置10は、前述の本体11(同図では省略する)と、カメラ12と、電源ユニット112を制御するための命令が予め記憶された命令記憶部13と、カメラ12で撮像された画像(以下、画像とは当該画像をいう)を取得する画像取得部14と、連続的に取得された複数の画像を基にカメラ12の前の空間が塞がれている時間の長さの特徴を検出する遮蔽時間長特徴検出部15と、検出された特徴が予め定められた条件を満たすなら命令記憶部13から命令を読み出す命令読出部16と、読み出された命令を示す命令信号を電源ユニット制御部113に送信する命令信号送信部17とを備える。
【0031】
遮蔽時間長特徴検出部15は、画像を基にカメラ12の前の空間が塞がれているか否かを判定する遮蔽判定部151と、遮蔽判定部151による判定の結果が蓄積される遮蔽判定結果記憶部152と、遮蔽判定結果記憶部152を用いてカメラ12の前の空間が塞がれている時間の長さ(以下、連続遮蔽時間長Tという)を計算する連続遮蔽時間長計算部153とを備える。
【0032】
図3は、命令記憶部13の構成の一例を示す図である。
命令記憶部13には、ここでは、連続遮蔽時間長Tが300ミリ秒以上、かつ、連続遮蔽時間長Tが2秒未満であるという条件に対応づけて、電源ユニット112をスリープ状態とするための命令が記憶され、遮蔽時間長が2秒以上、かつ、遮蔽時間長が5秒未満であるという条件に対応づけて、電源ユニット112からの電力供給を絶つための命令が記憶されていることとする。
【0033】
(第1の実施の形態の動作)
次に、命令信号送信装置10の動作の一例を説明する。ここでは、図1の人差し指UPを用いて、電源ユニット112をスリープ状態としたり、電源ユニット112からの電力供給を絶つ動作について説明する。
【0034】
図4は、命令信号送信装置10において並行して実行される2つの動作の一方の動作の流れを示すフローチャートである。
【0035】
カメラ12は、1ミリ秒ごとに連続的に、レンズ12aの前の空間を撮像し、画像取得部14は、カメラ12による撮像が実行されたなら、カメラ12から画像を取得し、画像を配列データに変換して、遮蔽判定部151に送信する(S1)。遮蔽判定部151は、配列データを受信したなら、配列データを基にカメラ12の前の空間が塞がれているか否かを判定し(S2)、判定の結果を遮蔽判定結果記憶部152に記憶させる(S3)。命令信号送信装置10は、これらの工程を繰り返し行う。
【0036】
図5は、画像取得部14から遮蔽判定部151に送信される配列データの一例を示す図である。
配列データは、画像を構成する各ピクセルに関する行を含んで構成される。
【0037】
各行は、対応するピクセルを示すピクセルIDと、当該ピクセルの画像における位置を示す座標と、当該ピクセルの色を構成する各色成分量つまり赤、緑、青の成分量を示すR値、G値、B値とを含む。
【0038】
ピクセルIDは、1〜N(整数)の整数値で表現される。Nは、画像内の総ピクセル数、換言すれば、配列データの総行数である。
【0039】
座標は、画像の左上隅を基準としたピクセルの横方向の座標、縦方向の座標からなる。 R値、G値、B値は、それぞれ例えば、0〜255の整数値で表現される。
【0040】
図6は、遮蔽判定部151が行う図5のステップS2、S3での動作の一例を示すフローチャートである。ここでは、R値が閾値Th(R)以下であり、かつ、G値が閾値Th(G)以下であり、かつ、B値が閾値Th(B)以下である場合には、かかるR値、G値、B値を有するピクセルの明度は、ある閾値以下であることが予め判っており、遮蔽判定部151は、閾値Th(R)、Th(G)、Th(B)を予め記憶していることとする。つまり、実質的に、明度の閾値が記憶されているのである。例えば、閾値Th(R)、Th(G)、Th(B)は、共に30である。なお、各閾値は、スマートフォン1の周囲環境が明るい場合は高く、暗い場合は低く設定するのが好ましい。
【0041】
また、遮蔽判定部151は、例えば、配列データの総行数つまり、画像を構成する総ピクセル数Nを計数し、これを記憶していることとする。
【0042】
図6(a)に示すように、まず、遮蔽判定部151は、ピクセルIDについての変数iを1に初期化し、閾値以下の明度を有するピクセルの数を示す変数N(d)を0に初期化する(T1)。
【0043】
次に、遮蔽判定部151は、変数iが総ピクセル数N以下か否かを判定する(T3)。 遮蔽判定部151は、変数iが総ピクセル数N以下なら(T3:YES)、変数iに対応するピクセルの明度が閾値以下か否かを判定し、明度が閾値以下なら変数N(d)を更新する(T5)。続いて、遮蔽判定部151は、変数iに1を加え(T7)、制御をステップT3に戻す。
【0044】
一方、遮蔽判定部151は、変数iが総ピクセル数Nより大きいなら(T3:NO)、変数N(d)が予め定められた閾値Th(d)以上であるか否かを判定する(T9)。
【0045】
遮蔽判定部151は、変数N(d)が閾値Th(d)以上である、つまり、カメラ12の前の空間が塞がれているなら(T9:YES)、カメラ12の前の空間が塞がれていることを示す遮蔽フラグ「1」を含む行を、遮蔽判定結果記憶部152に記憶させ(T11)、処理を終える。
【0046】
一方、遮蔽判定部151は、変数N(d)が閾値Th(d)未満である、つまり、カメラ12の前の空間が塞がれていないなら(T9:NO)、カメラ12の前の空間が塞がれていないことを示す遮蔽フラグ「0」を含む行を、遮蔽判定結果記憶部152に記憶させ(T13)、処理を終える。
【0047】
図7は、遮蔽判定部151が遮蔽判定結果記憶部152に記憶させる行の一例を示す図である。
【0048】
図7(a)に示すように、遮蔽判定部151は、変数N(d)が閾値Th(d)以上である、つまり、カメラ12の前の空間が塞がれているなら(T9:YES)、遮蔽フラグ「1」と、撮像時刻と、遮蔽判定結果記憶部152内の各行に含まれる当該行を示す識別子(行IDという)の中の最大のものに1を加えた行ID(ただし、遮蔽判定結果記憶部152に行がない場合は行ID「1」)とを含む行を遮蔽判定結果記憶部152に記憶させる。
【0049】
図7(b)に示すように、遮蔽判定部151は、変数N(d)が閾値Th(d)未満である、つまり、カメラ12の前の空間が塞がれていないなら(T9:NO)、遮蔽フラグ「0」と、撮像時刻と、遮蔽判定結果記憶部152内の各行に含まれる行IDの中の最大のものに1を加えた行ID(ただし、遮蔽判定結果記憶部152に行がない場合は行ID「1」)とを含む行を遮蔽判定結果記憶部152に記憶させる。
【0050】
遮蔽判定部151は、例えば、画像内に含まれる情報(例えば、Exif情報)から撮像時刻を取得する。撮像時刻は、例えば、遮蔽判定部151が画像を取得した時刻としてもよい。
【0051】
図6に戻り、図6(b)に示すように、ステップT5では、遮蔽判定部151は、まず、変数iに等しいピクセルIDを含む行を配列データから読み出す(T51)。
【0052】
次に、遮蔽判定部151は、読み出した行のR値が閾値Th(R)以下か否かを判定する(T52)。
【0053】
遮蔽判定部151は、R値が閾値Th(R)以下なら(T52:YES)、読み出した行のG値が閾値Th(G)以下か否かを判定する(T53)。
【0054】
遮蔽判定部151は、G値が閾値Th(G)以下なら(T53:YES)、読み出した行のB値が閾値Th(B)以下か否かを判定する(T54)。
【0055】
遮蔽判定部151は、B値が閾値Th(B)以下なら(T54:YES)、変数N(d)に1を加え(T55)、制御をステップT7に進める。
【0056】
一方、遮蔽判定部151は、R値が閾値Th(R)より大きいなら(T52:NO)、または、G値が閾値Th(G)より大きいなら(T53:NO)、または、B値が閾値Th(B)より大きいなら(T53:NO)、制御をステップT7に進める。
【0057】
図8は、遮蔽判定結果記憶部152の一例を示す図である。
行ID「1」の行から行ID「101」の行までは、遮蔽フラグ「0」を含むので、行ID「1」の行に含まれた撮影時刻「2011−08−07 15:25:01.003」(2011年8月7日15時25分01.003秒)から、行ID「101」の行に含まれた撮影時刻「2011−08−07 15:25:01.103」(2011年8月7日15時25分01.103秒)までは、カメラ12の前の空間が塞がれていなかったことがわかる。
【0058】
行ID「102」の行から行ID「201」の行までは、遮蔽フラグ「1」を含むので、行ID「102」の行に含まれた撮影時刻「2011−08−07 15:25:01.104」(2011年8月7日15時25分01.104秒)から、行ID「201」の行に含まれた撮影時刻「2011−08−07 15:25:01.203」(2011年8月7日15時25分01.203秒)までは、カメラ12の前の空間が塞がれていたことがわかる。
【0059】
図9は、命令信号送信装置10において並行して実行される2つの動作の他方の動作の流れを示すフローチャートである。
【0060】
遮蔽時間長特徴検出部15の連続遮蔽時間長計算部153は、遮蔽判定結果記憶部152を用いて、カメラ12の前の空間が塞がれている状態から塞がれていない状態への変化を試み(S11)、変化を検出したなら(S11:YES)、連続遮蔽時間長Tを計算し、連続遮蔽時間長Tを命令読出部16に通知する(S13)。
【0061】
図10は、連続遮蔽時間長計算部153が行う図9のステップS11、S13での動作の一例を示すフローチャートである。
【0062】
まず、連続遮蔽時間長計算部153は、遮蔽判定結果記憶部152から最小、最大の行ID(以下、それぞれ最小値Min、最大値Maxという)を検索し、行IDについての変数jを最大値Maxに初期化し、遮蔽フラグ「1」を含む行が連続する行群での最大の行IDを示す変数kを最大値Maxに初期化し、カメラ12の前の空間が塞がれている状態で撮像された画像の数についての変数N(c)を0に初期化し、連続遮蔽時間長Tを0(秒)に初期化する(U1)。
【0063】
次に、連続遮蔽時間長計算部153は、変数jに等しい行IDを含む行内の遮蔽フラグが「0」か否かを判定する(U3)。
【0064】
連続遮蔽時間長計算部153は、変数jに等しい行IDを含む行内の遮蔽フラグが「1」なら(U3:NO)、現在、カメラ12の前の空間が塞がれており、かかる状態がまだ続く可能性があるので、予め定められた時間(例えば10ミリ秒)待機し(U5)、制御をステップU1に戻す。
【0065】
一方、連続遮蔽時間長計算部153は、変数jに等しい行IDを含む行内の遮蔽フラグが「0」なら(U3:YES)、現在、カメラ12の前の空間が塞がれておらず、つまり、カメラ12の前の空間が塞がれている状態から塞がれていない状態へ変化したので、これ以降、連続遮蔽時間長Tの計算を行う。
【0066】
連続遮蔽時間長計算部153は、まず、変数jが最小値Min以上か否かを判定し(U7)、変数jが最小値Min未満なら(U7:NO)、制御をステップU5に移す。
【0067】
連続遮蔽時間長計算部153は、変数jが最小値Min以上なら(U7:YES)、連続遮蔽時間長Tを計算し(U9)、連続遮蔽時間長Tが0秒より長いか否かを判定する(U11)。
【0068】
連続遮蔽時間長計算部153は、連続遮蔽時間長Tが0秒なら(U11:NO)、変数jから1を減算し(U13)、制御をステップU7に戻す。
【0069】
一方、連続遮蔽時間長計算部153は、連続遮蔽時間長Tが0秒より長いなら(U11:YES)、連続遮蔽時間長Tを命令読出部16に通知し、遮蔽判定結果記憶部152から全行を消去し(U15)、制御を図9のステップS15に進める。
【0070】
図10(b)に示すように、ステップU9では、連続遮蔽時間長計算部153は、まず、変数jに等しい行IDを含む行内の遮蔽フラグが「1」か否かを判定する(U91)。 連続遮蔽時間長計算部153は、変数jに等しい行IDを含む行内の遮蔽フラグが「1」なら(U91:YES)、変数N(c)が0か否かを判定する(U92)。
【0071】
連続遮蔽時間長計算部153は、変数N(c)が0なら(U92:YES)、変数kを変数jに等しく書き換え(U93)、変数N(c)に1を加え(U94)、制御をステップU11へ進める。
【0072】
一方、連続遮蔽時間長計算部153は、変数N(c)が0でないなら(U92:NO)、制御をステップU94へ進める。
【0073】
連続遮蔽時間長計算部153は、変数jに等しい行IDを含む行内の遮蔽フラグが「0」なら(U91:NO)、変数N(c)が予め定められた閾値Th(c)以上であるか否かを判定し(U95)、変数N(c)が閾値Th(c)未満なら(U95:NO)、変数N(c)を0に初期化し(U96)、制御をステップU11へ進める。
【0074】
連続遮蔽時間長計算部153は、変数N(c)が閾値Th(c)以上なら(U95:YES)、変数jに等しい行IDを含む行内の撮像時刻と変数kに等しい行IDを含む行内の撮像時刻との差、つまり、連続遮蔽時間長Tを計算し(U97)、制御をステップU11へ進める。
【0075】
図10(b)に示すように、意図せずにカメラ12の前の空間が塞がれてしまっても、その時間はおそらくは短いので、変数N(c)は閾値Th(c)未満(U95:NO)となる。この場合、変数N(c)は0に初期化され(U96)、変数jから1が減算された(U13)後、変数N(c)が0と判定され(U92:YES)、変数kが変数jに等しく書き換わる(U93)ので、そのようなる期間に対応する行は実質的に無視される。よって、意図してカメラ12の前の空間が塞がれている時間の長さを示す正しい連続遮蔽時間長Tを計算することができる。
【0076】
図9に戻り、命令読出部16は、連続遮蔽時間長計算部153から連続遮蔽時間長Tを通知されたなら、命令記憶部13から連続遮蔽時間長Tを満たす条件に対応づけられた命令を読み出し、命令を命令信号送信部17に送信する(S15)。
【0077】
命令信号送信部17は、命令を受信したなら、かかる命令を示す命令信号を電源ユニット制御部113に送信する(S17)。
【0078】
電源ユニット制御部113は、かかる命令信号を受信したなら、命令にしたがい、つまり、電源ユニット112を制御することで、電源ユニット112をスリープ状態としたり、電源ユニット112からの電力供給を遮断し(S19)、処理が終わる。
【0079】
以上説明したように、第1の実施の形態に係る命令信号送信装置10は、コンピュータに(113)所望の動作を行わせるための命令を示す命令信号を当該コンピュータ(113)に送信するものであり、本体11と、本体11に設けられ、本体11の外側の方向を撮像するカメラ12と、予め命令が記憶される命令記憶部13と、カメラ12で撮像された画像を取得する画像取得部14と、連続的に取得された複数の画像を基にカメラ12の前の空間が塞がれている時間の長さの特徴を検出する遮蔽時間長特徴検出部15と、検出された特徴が予め定められた条件を満たすなら命令記憶部13から命令を読み出す命令読出部16と、命令を示す命令信号をコンピュータ(112)に送信する命令信号送信部17とを備えることで、カメラ12の前の空間を塞ぐという容易な操作で、しかも、高いロバスト性をもって、コンピュータ(112)に命令信号を送信することができる。
【0080】
なお、第1の実施の形態においては、命令信号送信装置10をスマートフォン1に組み込んだが、命令信号送信装置10は、他の装置に組み込んでもよいし、単独で存在していてもよい。また、命令信号送信装置10の構成要素を複数の装置に適宜分散させて配置してもよい。
【0081】
また、第1の実施の形態では、ピクセルの明度が閾値以下であるかを判定するのに、R値、G値、B値を用いたが、その他の表色方式を用いてもよい。
【0082】
[第2の実施の形態]
次に、本発明の第2の実施の形態について説明する。第2の実施の形態では、第1の実施の形態に同一または類似の装置および装置構成を用い、同一または類似のものについては第1の実施の形態で使用した符号を使用して重複説明を略し、第1の実施の形態とは異なる事項を中心に説明を行う。
【0083】
命令信号送信装置は、図1のように、本体11とカメラ12を備えるスマートフォン1に組み込まれる。
【0084】
図11は、第2の実施の形態に係る命令信号送信装置の概略構成を示すブロック図である。
【0085】
命令信号送信装置100は、スマートフォン1に組み込まれたウェブブラウザ115およびウェブブラウザ115を制御するコンピュータであるウェブブラウザ制御部116とともに使用される。
【0086】
命令信号送信装置100は、前述の本体11(同図では省略する)と、カメラ12と、ウェブブラウザ115を制御するための命令が予め記憶された命令記憶部13Aと、画像を取得する画像取得部14と、連続的に取得された複数の画像を基にカメラ12の前の空間が塞がれている時間の長さの特徴を検出する遮蔽時間長特徴検出部15Aと、検出された特徴が予め定められた条件を満たすなら命令記憶部13Aから命令を読み出す命令読出部16Aと、命令信号を電源ユニット制御部113に送信する命令信号送信部17とを備える。
【0087】
遮蔽時間長特徴検出部15Aは、カメラ12の前の空間が塞がれているか否かを判定する遮蔽判定部151と、遮蔽判定部151による判定の結果が蓄積される遮蔽判定結果記憶部152と、遮蔽判定結果記憶部152を用いてカメラ12の前の空間が塞がれている時間の長さにおいて異なる複数種の遮蔽状態がどのような順序で生じたかを示す遮蔽パターン情報(ここでは、カメラ12の前の空間が予め定められた第1の閾値以上の時間の長さにわたって塞がれている状態である長期遮蔽状態と、カメラ12の前の空間が第1の閾値より短くかつ第1の閾値より短い第2の閾値以上の時間の長さにわたって塞がれている状態である短期遮蔽状態とがどのような順序で生じたかを示す遮蔽パターンを示す遮蔽パターン情報)を生成する遮蔽パターン情報生成部153Aとを備える。
【0088】
図12は、命令記憶部13Aの構成の一例を示す図である。
命令記憶部13Aには、ここでは、短期遮蔽状態の次に長期遮蔽状態が訪れたという遮蔽パターンを示す遮蔽パターン情報(要素「短」の次に要素「長」が並んだ情報であり、以下、「短→長」と記載する)に対応づけて、ウェブブラウザ115のいわゆる「戻る」の動作に対応する命令(以下、「戻る」)が記憶され、長期遮蔽状態の次に短期遮蔽状態が訪れたという遮蔽パターンを示す遮蔽パターン情報(要素「長」の次に要素「短」が並んだ情報であり、以下、「長→短」と記載する)に対応づけて、ウェブブラウザ115のいわゆる「進む」の動作に対応する命令(以下、「進む」)が記憶され、短期遮蔽状態の次に長期遮蔽状態が訪れ、次に短期遮蔽状態が訪れたという遮蔽パターンを示す遮蔽パターン情報(要素「短」、「長」、「短」がこの並んだ情報であり、以下、「短→長→短」と記載する)に対応づけて、ウェブブラウザ115のいわゆる「更新」の動作に対応する命令(以下、「更新」)が記憶されていることとする。
【0089】
(第2の実施の形態の動作)
次に、命令信号送信装置100の動作の一例を説明する。ここでは、図1の人差し指UPを用いて、ウェブブラウザ115に「戻る」や「進む」や「更新」を実行させる動作について説明する。
【0090】
まず、命令信号送信装置100において並行して実行される2つの動作の一方の動作は、命令信号送信装置10のものと同様である。つまり、カメラ12、画像取得部14、遮蔽判定部151は、図4に示した動作と同様の動作を実行するが、説明は重複となるので省略する。
【0091】
図13は、遮蔽判定結果記憶部152の一例を示す図である。図13(a)は、遮蔽判定結果記憶部152自体を示すものであり、図13(b)は、遮蔽判定結果記憶部152によりわかる遮蔽パターンを模式的に示した図である。
【0092】
図13(a)に示すように、ID「1」の行からID「1001」の行までは、遮蔽フラグ「0」を含むので、ID「1」の行に含まれた撮影時刻「2011年8月7日15時25分01.003秒」から、ID「1001」の行に含まれた撮影時刻「2011年8月7日15時25分02.103秒」の間の1101ミリ秒(約1秒)は、カメラ12の前の空間が塞がれていなかったことがわかる。図13(b)では、カメラ12の前の空間が塞がれていなかったことを白で示している。
【0093】
また、ID「1002」の行からID「1201」の行までは、遮蔽フラグ「1」を含むので、ID「1002」の行に含まれた撮影時刻「2011年8月7日15時25分02.104秒」から、ID「1201」の行に含まれた撮影時刻「2011年8月7日15時25分02.303秒」の間の200ミリ秒(0.2秒)は、カメラ12の前の空間が塞がれていたことがわかる。図13(b)では、カメラ12の前の空間が塞がれていたことを黒で示している。
【0094】
以下、同様にして、図13(a)は、模式的に表すと図13(b)のようになる。
【0095】
図14は、命令信号送信装置100において並行して実行される2つの動作の他方の動作の流れを示すフローチャートである。
【0096】
遮蔽時間長特徴検出部15Aの遮蔽パターン情報生成部153Aは、遮蔽判定結果記憶部152を用いて、カメラ12の前の空間が塞がれていない状態が一定時間継続したか否かを判定し(SS11)、カメラ12の前の空間が塞がれていない状態が一定時間継続したなら(SS11:YES)、遮蔽パターン情報を生成し、遮蔽パターン情報を命令読出部16Aに送信する(SS13)。
【0097】
図15は、遮蔽パターン情報生成部153Aが行う図14のステップSS11、SS13での動作の一例を示すフローチャートである。
【0098】
まず、遮蔽パターン情報生成部153Aは、遮蔽判定結果記憶部152から最小、最大の行ID(以下、それぞれ最小値Min、最大値Maxという)を検索し、行IDについての変数jを最大値Maxに初期化し、遮蔽フラグ「1」を含む行が連続する行群での最大の行IDを示す変数kを最大値Maxに初期化し、遮蔽パターン情報を生成するための記憶領域(以下、スタックという)を空にする(UU1)。
【0099】
次に、遮蔽パターン情報生成部153Aは、カメラ12の前の空間が塞がれていない状態と判定するための閾値Th(o)を用い、変数jから(閾値Th(o)−1)を減算し、その値に等しい行IDを含む行から変数jに等しい行IDを含む行までの遮蔽フラグが全て「0」か否かを判定する(UU3)。
【0100】
遮蔽パターン情報生成部153Aは、ステップUU3でNOと判定されたなら、現在、カメラ12の前の空間を所望のパターンで塞ぐ動作が継続していることなので、予め定められた時間(例えば10ミリ秒)待機し(UU5)、制御をステップUU1に戻す。
【0101】
一方、遮蔽パターン情報生成部153Aは、ステップUU3でYESと判定されたなら、カメラ12の前の空間を所望のパターンで塞ぐ動作が終了したことになるので、これ以降、遮蔽パターン情報を生成する。
【0102】
遮蔽パターン情報生成部153Aは、まず、遮蔽判定結果記憶部152において遮蔽フラグ「1」を含む全ての行の中から最大の行IDを検索し、変数jを最大の行IDに等しく書き換える(UU7)。
【0103】
次に、遮蔽パターン情報生成部153Aは、カメラ12の前の空間が塞がれている状態で撮像された画像の数についての変数N(c)とカメラ12の前の空間が塞がれていない状態で撮像された画像の数についての変数N(o)を共に0に初期化する(UU9)
次に、遮蔽パターン情報生成部153Aは、スタックの先頭に、遮蔽パターン情報を構成する要素「短」または要素「長」を追加する(UU11)。
【0104】
次に、遮蔽パターン情報生成部153Aは、変数N(o)が閾値Th(o)より大きい、または、変数jが最小値Min未満であるという条件が充足されているか否かを判定する(UU13)。
【0105】
遮蔽パターン情報生成部153Aは、ステップUU13でNOと判定されたなら、制御をステップUU9に戻し、ステップUU13でYESと判定されたなら、スタックを用いて、遮蔽パターン情報を生成し、遮蔽パターン情報を命令読出部16に送信し(UU15)、処理を終える。
【0106】
図16は、スタックの一例を示す図である。
同図のスタックでは、先頭から、短期遮蔽状態を示す要素「短」、次に(末尾に)長期遮蔽状態を示す要素「長」と、2要素がこの順で積み上げられている。スタックでは、先頭に近いほど、古い状態を示すことになる。つまり、同図のスタックによれば、短期遮蔽状態の次に長期遮蔽状態が訪れたという遮蔽パターンがあったことになる。
【0107】
遮蔽パターン情報生成部153Aは、例えば、同図のスタックからは、短期遮蔽状態の次に長期遮蔽状態が訪れたという遮蔽パターンを示す遮蔽パターン情報「短→長」を生成する。
【0108】
図17は、遮蔽パターン情報生成部153Aが行う図16のステップUU11での動作の一例を示すフローチャートである。
【0109】
ここで、カメラ12の前の空間が連続して塞がれている状態は、過去において、何回発生しているかわからないので、遮蔽パターン情報生成部153Aは、かかる状態を新しいものから順に解析する。
【0110】
まず、遮蔽パターン情報生成部153Aは、変数N(c)に1を加算し(UU1101)、変数jから1を減算する(UU1103)。
【0111】
次に、遮蔽パターン情報生成部153Aは、変数jが最小値Min以上か否かを判定する(UU1105)。
【0112】
遮蔽パターン情報生成部153Aは、変数jが最小値Min以上(UU1105:YES)なら、変数jに等しい行IDを含む行の遮蔽フラグが「0」か否かを判定し(UU1107)、遮蔽フラグが「1」なら(UU1107:NO)、制御をステップUU1101に戻す。
【0113】
一方、遮蔽パターン情報生成部153Aは、遮蔽フラグが「0」なら(UU1107:YES)、変数N(o)に1を加算し(UU1111)、変数jから1を減算する(UU1113)。
【0114】
遮蔽パターン情報生成部153Aは、ステップU1101からステップUU1107までにおいて、カメラ12の前の空間が連続して塞がれている最新の期間に撮像された画像数を変数N(c)に格納しているのである。
【0115】
次に、遮蔽パターン情報生成部153Aは、変数jに等しい行IDを含む行の遮蔽フラグが「1」、または、変数jが最小値Min未満であるという条件が充足されているか否かを判定する(UU1115)。
【0116】
遮蔽パターン情報生成部153Aは、ステップUU1115でNOと判定されたなら、制御をステップUU1111に戻す。
【0117】
一方、遮蔽パターン情報生成部153Aは、ステップUU1105でNOと判定されたなら、または、ステップUU1115でYESと判定されたなら、スタックの先頭に追加すべき要素を変数N(c)を用いて求めた、スタックの先頭に追加し(UU1121)、制御をステップUU11に進める。
【0118】
図18は、遮蔽パターン情報生成部153Aが行う図17のステップUU1121での動作の一例を示すフローチャートである。
【0119】
遮蔽パターン情報生成部153Aは、ここでは、図11の説明で言及した第1の閾値(時間の長さを示す予め定められた閾値)に相当する期間に撮像される画像数Th(1)、ならびに、図11の説明で言及した第2の閾値(時間の長さを示す予め定められた閾値)に相当する期間に撮像される画像数Th(2)を使用する。つまり、画像数Th(1)、Th(2)は予め定められ、記憶されている。
【0120】
まず、遮蔽パターン情報生成部153Aは、変数N(c)が画像数Th(2)以上か否かを判定し(UU11211)、変数N(c)が画像数Th(2)未満なら(UU11211:NO)、制御をステップUU11に進める。
【0121】
一方、遮蔽パターン情報生成部153Aは、変数N(c)が画像数Th(2)以上なら(UU11211:YES)、変数N(c)が画像数Th(1)以上か否かを判定する(UU11212)。
【0122】
遮蔽パターン情報生成部153Aは、変数N(c)が画像数Th(1)以上なら(UU11212:YES)、スタックの先頭に要素「長」を追加し(UU11213)、制御をステップUU11に進める。
【0123】
一方、遮蔽パターン情報生成部153Aは、変数N(c)が画像数Th(1)未満なら(UU11212:NO)、スタックの先頭に要素「短」を追加し(UU11214)、制御をステップUU11に進める。
【0124】
図14に戻り、命令読出部16Aは、遮蔽パターン情報を受信したなら、命令記憶部13Aから遮蔽パターン情報に対応づけられた命令を読み出し、命令を命令信号送信部17に送信する(SS15)。
【0125】
命令信号送信部17は、命令を受信したなら、かかる命令を示す命令信号をウェブブラウザ制御部116に送信する(SS17)。
【0126】
ブラウザ制御部116は、かかる命令信号を受信したなら、命令にしたがい、つまり、ウェブブラウザ115を制御することで、ウェブブラウザ115に「戻る」または「進む」または「更新」の動作をさせ(SS19)、処理が終わる。
【0127】
以上説明したように、第2の実施の形態に係る命令信号送信装置100は、コンピュータ(116)に所望の動作を行わせるための命令を示す命令信号を当該コンピュータ(116)に送信するものであり、本体11と、本体11に設けられ、本体11の外側の方向を撮像するカメラ12と、予め命令が記憶される命令記憶部13Aと、カメラ12で撮像された画像を取得する画像取得部14と、連続的に取得された複数の画像を基にカメラ12の前の空間が塞がれている時間の長さの特徴を検出する遮蔽時間長特徴検出部15Aと、検出された特徴が予め定められた条件を満たすなら命令記憶部13Aから命令を読み出す命令読出部16Aと、命令を示す命令信号をコンピュータ(112)に送信する命令信号送信部17とを備えることで、カメラ12の前の空間を塞ぐという容易な操作で、しかも、高いロバスト性をもって、コンピュータ(116)に命令信号を送信することができる。
【0128】
具体的には、命令記憶部13Aは、カメラ12の前の空間が塞がれている時間の長さにおいて異なる2種の遮蔽状態(長期遮蔽状態と短期遮蔽状態)がどのような順序で生じたかを示す遮蔽パターン情報に対応づけて命令が記憶されるものであり、遮蔽時間長特徴検出部15Aは、連続的に取得された複数の画像を基にこのような遮蔽パターン情報を求めるので、遮蔽パターン情報に対応するパターンでカメラ12の前の空間を塞ぐことで、コンピュータ(116)に命令信号を送信することができる。
【0129】
つまり、命令記憶部13Aは、カメラ12の前の空間が予め定められた第1の閾値以上の時間の長さにわたって塞がれている状態である長期遮蔽状態と、カメラ12の前の空間が前記第1の閾値より短くかつ前記第1の閾値より短い第2の閾値以上の時間の長さにわたって塞がれている状態である短期遮蔽状態とがどのような順序で生じたかを示す遮蔽パターン情報に対応づけて命令が記憶されるものであり、遮蔽時間長特徴検出部15Aは、連続的に取得された複数の画像を基に遮蔽パターン情報を求めるので、遮蔽パターン情報に対応するパターンでカメラ12の前の空間を塞ぐことで、コンピュータ(116)に命令信号を送信することができる。
【0130】
なお、第2の実施の形態では、命令記憶部13Aは、カメラ12の前の空間が塞がれている時間の長さにおいて異なる3種以上の遮蔽状態がどのような順序で生じたかを示す遮蔽パターン情報に対応づけて命令を記憶し、遮蔽時間長特徴検出部15Aは、連続的に取得された複数の画像を基にこのような遮蔽パターン情報を求めてもよい。
【0131】
例えば、命令記憶部13Aは、時間の長さにおいて異なる長、中、短の3種類の遮蔽状態がどのような順序で生じたかを示す遮蔽パターン情報に対応づけて命令を記憶し、遮蔽時間長特徴検出部15Aが、このような遮蔽パターン情報を求めてもよい。
【0132】
また、各実施の形態に係る命令信号送信装置としてコンピュータを機能させるためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。
【符号の説明】
【0133】
1…スマートフォン
10、100…命令信号送信装置
11…本体
12…カメラ
12a…レンズ
13、13A…命令記憶部
14…画像取得部
15、15A…遮蔽時間長特徴検出部
16、16A…命令読出部
17…命令信号送信部
111…タッチディスプレイ
112…電源ユニット
113…電源ユニット制御部
115…ウェブブラウザ
116…ウェブブラウザ制御部
151…遮蔽判定部
152…遮蔽判定結果記憶部
153…連続遮蔽時間長計算部
153A…遮蔽パターン情報生成部

【特許請求の範囲】
【請求項1】
コンピュータに所望の動作を行わせるための命令を示す命令信号を当該コンピュータに送信する命令信号送信装置であって、
本体と、
前記本体に設けられ、前記本体の外側の方向を撮像するカメラと、
予め命令が記憶される命令記憶部と、
前記カメラで撮像された画像を取得する画像取得部と、
連続的に取得された複数の前記画像を基に前記カメラの前の空間が塞がれている時間の長さの特徴を検出する遮蔽時間長特徴検出部と、
前記検出された特徴が予め定められた条件を満たすなら前記命令記憶部から命令を読み出す命令読出部と、
前記命令を示す命令信号をコンピュータに送信する命令信号送信部と
を備えることを特徴とする命令信号送信装置。
【請求項2】
前記命令記憶部は、
前記カメラの前の空間が塞がれている時間の長さにおいて異なる複数種の遮蔽状態がどのような順序で生じたかを示す遮蔽パターン情報に対応づけて命令が記憶されるものであり、
前記遮蔽時間長特徴検出部は、
連続的に取得された複数の前記画像を基に前記遮蔽パターン情報を求める
ことを特徴とする請求項1記載の命令信号送信装置。
【請求項3】
前記命令記憶部は、
前記カメラの前の空間が予め定められた第1の閾値以上の時間の長さにわたって塞がれている状態である長期遮蔽状態と、前記カメラの前の空間が前記第1の閾値より短くかつ前記第1の閾値より短い第2の閾値以上の時間の長さにわたって塞がれている状態である短期遮蔽状態とがどのような順序で生じたかを示す遮蔽パターン情報に対応づけて命令が記憶されるものであり、
前記遮蔽時間長特徴検出部は、
連続的に取得された複数の前記画像を基に前記遮蔽パターン情報を求める
ことを特徴とする請求項1記載の命令信号送信装置。
【請求項4】
コンピュータに所望の動作を行わせるための命令を示す命令信号を当該コンピュータに送信する命令信号送信装置の動作方法であって、
前記命令信号送信装置は、本体と、前記本体に設けられ、前記本体の外側の方向を撮像するカメラと、予め命令が記憶される命令記憶部とを備え、
前記動作方法は、
前記命令信号送信装置の画像取得部が、前記カメラで撮像された画像を取得するステップと、
前記命令信号送信装置の遮蔽時間長特徴検出部が、連続的に取得された複数の前記画像を基に前記カメラの前の空間が塞がれている時間の長さの特徴を検出するステップと、
前記命令信号送信装置の命令読出部が、前記検出された特徴が予め定められた条件を満たすなら前記命令記憶部から命令を読み出すステップと、
前記命令信号送信装置の命令信号送信部が、前記命令を示す命令信号をコンピュータに送信するステップと
を備えることを特徴とする命令信号送信装置の動作方法。
【請求項5】
前記命令記憶部は、
前記カメラの前の空間が塞がれている時間の長さにおいて異なる複数種の遮蔽状態がどのような順序で生じたかを示す遮蔽パターン情報に対応づけて命令が記憶されるものであり、
前記遮蔽時間長特徴検出部は、
連続的に取得された複数の前記画像を基に前記遮蔽パターン情報を求める
ことを特徴とする請求項4記載の命令信号送信装置の動作方法。
【請求項6】
前記命令記憶部は、
前記カメラの前の空間が予め定められた第1の閾値以上の時間の長さにわたって塞がれている状態である長期遮蔽状態と、前記カメラの前の空間が前記第1の閾値より短くかつ前記第1の閾値より短い第2の閾値以上の時間の長さにわたって塞がれている状態である短期遮蔽状態とがどのような順序で生じたかを示す遮蔽パターン情報に対応づけて命令が記憶されるものであり、
前記遮蔽時間長特徴検出部は、
連続的に取得された複数の前記画像を基に前記遮蔽パターン情報を求める
ことを特徴とする請求項4記載の命令信号送信装置の動作方法。
【請求項7】
請求項1ないし3のいずれかに記載の命令信号送信装置としてコンピュータを動作させるためのコンピュータプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate


【公開番号】特開2013−69040(P2013−69040A)
【公開日】平成25年4月18日(2013.4.18)
【国際特許分類】
【出願番号】特願2011−205942(P2011−205942)
【出願日】平成23年9月21日(2011.9.21)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】