説明

モーションによって制御されるディスプレイ装置及びそのモーション制御方法

【課題】 ディスプレイ装置が開示される。
【解決手段】 本装置は、ディスプレイ装置の外部に位置した客体のモーションを認識するモーション認識部及び客体のモーションが認識されると、客体のモーション速度またはモーション距離に応じて多様に決定される変更単位量だけ、客体のモーションに対応する動作を行なう制御部とを含む。これにより、チャネル変更やページ切替を容易に行なうことができるようになる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ディスプレイ装置及びそのモーション制御方法に関し、より詳細には、動作実行程度を多様に調整できるディスプレイ装置及びそのモーション制御方法に関する。
【背景技術】
【0002】
電子技術の発達により、様々な最新の電子機器が開発され普及されている。最新製品には、ユーザが当該製品をより便利にかつ効果的に利用できるようにするための最新技術が適用されている。そのような技術には、例えば、モーション認識技術や音声認識技術などがある。
【0003】
この中のモーション認識技術とは、モーションセンサなどを用いてユーザの動き、即ち、モーションをセンシングした後、そのセンシング結果を用いる技術のことを意味する。
【0004】
このような認識技術は、ユーザが便利に利用することはできるものの、モーションや音声命令語を正確に入力しなければ、意図しない機能を起動させたり、入力そのものが行なわれず、数回繰り返し入力しなければならないという不便さがあった。
【0005】
従って、ユーザが無意識によく取る動作よりは、普段はあまり取らないモーションや、識別力の高いモーションを命令語として設定することが望ましい。
【0006】
一方、ディスプレイ装置の場合、チャネル変更や、ボリューム調整や、ページ切替、その他の属性変更などのように、予め設定された単位(例えば、1つ)に調整可能なメニューが存在する。このようなメニューの場合、複数の単位を一度に調整するためには複数回のモーションを取らなければならないろいう困難さがあった。
【0007】
例えば、チャネル変更の場合、ユーザがディスプレイ装置の前方で手を一方向に移動させると、移動方向に沿ってチャネルが変更されて次のチャネルが選局されてよい。通常、チャネル変更は1のチャネル単位で行なわれる。即ち、10番チャネルを視聴中にユーザが左側に手を移動させるモーションと取ると、11番チャネルが選局されて表示される。従って、ユーザが10番チャネルを視聴中に、50番チャネルを選局しようとする際は、40回モーションを取らなければならないという不便さがあった。
【0008】
このように、全チャネルの数が多かったり、ページの数が多いコンテンツの場合には、モーション認識技術を用いて自分が望むサービスを受けるために、ユーザは数多いモーションを取らなければならず、これにより腕の疲れを感じやすくなるよいう問題があった。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】日本特開第2009−070416号公報
【特許文献2】日本特開第2004−348755号公報
【特許文献3】韓国登録第0486711号
【特許文献4】韓国特開2010−0033242号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、動作実行単位を調整して制御できるディスプレイ装置及びそのモーション制御方法を提供することにある。
【課題を解決するための手段】
【0011】
以上のような目的を達成するための本発明の一実施形態に係るディスプレイ装置は、前記ディスプレイ装置の外部に位置した客体のモーションを認識するモーション認識部と、前記客体のモーションが認識されると、前記客体のモーション速度またはモーション距離に応じて多様に決定される変更単位量だけ、前記客体のモーションに対応する動作を行なう制御部とを含む。
【0012】
本ディスプレイ装置は、放送チャネルを選局するチューナ部と、前記チューナ部で選局された放送チャネルを通じて受信される放送信号を処理する信号処理部と、前記信号処理部で処理された放送データを出力する出力部とを更に含んでよい。ここで、放送チャネル変更を指示する第1モーションが認識されると、前記制御部は前記第1モーションのモーション速度またはモーション距離に応じて多様に決定される変更単位量だけ、前記第1モーションのモーション方向に前記放送チャネルを変更して選局するように、前記チューナ部を制御してよい。
【0013】
一方、前記制御部は、前記モーション速度または前記モーション距離が予め設定された閾値以上である場合、第1変更単位量で前記放送チャネルを変更し、前記閾値未満である場合、前記第1変更単位量より小さい第2変更単位量で前記放送チャネルを変更してよい。
【0014】
なお、前記制御部は、前記変更単位量を前記モーション速度または前記モーション距離に比例して漸進的にまたは段階的に増大するように調整してよい。
【0015】
別の実施形態によると、本ディスプレイ装置は、複数のページを含むコンテンツを表示する出力部を更に含んでよい。ここで、前記制御部は、ページ切替を指示する第2モーションが認識されると、前記第2モーションのモーション速度またはモーション距離に比例して多様に決定される変更単位量だけ、前記第2モーションのモーション方向へページを切り替えるように、前記出力部を制御してよい。
【0016】
そして、前記制御部は、前記モーション速度または前記モーション距離が閾値以上である場合、第1変更単位量で前記コンテンツページを切り替え、前記モーション速度または前記モーション距離が前記閾値未満である場合、前記第1変更単位量より小さい第2変更単位量で前記コンテンツページを切り替えてよい。
【0017】
なお、前記制御部は、前記変更単位量を前記モーション速度または前記モーション距離に比例して漸進的にまたは段階的に増大するように調整してよい。
【0018】
一方、本発明の一実施形態によると、ディスプレイ装置のモーション制御方法は、前記ディスプレイ装置の外部に位置した客体のモーションを認識するステップと、前記客体のモーション速度またはモーション距離に応じて変更単位量を決定するステップと、前記客体のモーションに対応する動作を前記変更単位量だけ行なう実行ステップとを含む。
【0019】
この場合、放送チャネルを選局して放送データを出力するステップを更に含んでよい。そして、前記実行ステップは、前記認識されたモーションが放送チャネル変更を指示するための第1モーションである場合、前記第1モーションのモーション速度またはモーション距離の大きさに応じて多様に決定される変更単位量だけ、前記第1モーションのモーション方向に前記放送チャネルを変更して選局してよい。
【0020】
または、前記実行ステップは、前記モーション速度または前記モーション距離が閾値以上である場合、第1変更単位量で前記放送チャネルを変更し、前記モーション速度または前記モーション距離が前記閾値未満である場合、前記第1変更単位量より小さい第2変更単位量で前記放送チャネルを変更してよい。
【0021】
なお、前記変更単位量を決定するステップは、前記変更単位量を前記モーション速度または前記モーション距離に比例して漸進的にまたは段階的に増大するように調整してよい。
【0022】
一方、本モーション制御方法は、複数のページを含むコンテンツを表示するステップを更に含んでよい。ここで、前記実行ステップは、前記認識されたモーションがページ切替を指示する第2モーションである場合、前記第2モーションのモーション速度またはモーション距離に比例して調整された変更単位量だけ、前記第2モーションのモーション方向へページを切り替えてよい。
【0023】
そして、前記実行ステップは、前記モーション速度または前記モーション距離が閾値以上である場合、第1変更単位量で前記ページを切り替え、前記モーション速度または前記モーション距離が前記閾値未満である場合、前記第1変更単位量より小さい第2変更単位量で前記ページを切り替えてよい。
【0024】
なお、前記変更単位量を決定するステップは、前記変更単位量を前記モーション速度または前記モーション距離に比例して漸進的にまたは段階的に増大するように調整してよい。
【発明の効果】
【0025】
以上のような本発明の多様な実施形態によると、ユーザはモーション速度やモーション距離のような属性を違うようにモーションを取っても、相違した動作実行単位でモーション制御を行なうことができるようになる。
【図面の簡単な説明】
【0026】
【図1】本発明の一実施形態に係るディスプレイ装置の構成を示すブロック図である。
【図2】本発明の多様な実施形態を説明するためのディスプレイ装置の細部構成を示すブロック図である。
【図3】ムービングモーションのモーション速度を計算する過程を説明するための図である。
【図4】スイングモーションのモーション速度を計算する過程を説明するための図である。
【図5】モーション距離を変化させて動作実行程度を多様にする過程を説明するための図である。
【図6】モーション認識モードを開始するためのプッシュモーションを説明するための図である。
【図7】モーション認識モードを終了するための終了モーションの多様な例を示す図である。
【図8】モーション認識モードを終了するための終了モーションの多様な例を示す図である。
【図9】本発明の多様な実施形態に係るディスプレイ装置のモーション制御方法を説明するためのフローチャートである。
【図10】本発明の多様な実施形態に係るディスプレイ装置のモーション制御方法を説明するためのフローチャートである。
【発明を実施するための形態】
【0027】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。
【0028】
図1は、本発明の一実施形態に係るディスプレイ装置の構成を示すブロック図である。本ディスプレイ装置は、テレビや携帯電話やモニタ、ノートパソコン、PC、デジタルフォトフレーム、電子書籍、PDA及びナビゲーションなどで実現できる。図1に示すように、本ディスプレイ装置100は、モーション認識部110及び制御部120を含む。
【0029】
モーション認識部110は、ディスプレイ装置100の外部に位置した客体のモーションを認識する構成である。具体的には、モーション認識部110はディスプレイ装置100を使用しようとするユーザの動きをセンシングし、どのようなモーションが行なわれたか認識する。
【0030】
このために、モーション認識部110は、カメラのような撮影手段を含んでよい。モーション認識部110は、撮影手段の撮影範囲内に存在するユーザなどを撮影し、その撮影イメージデータを分析してユーザがどのようなモーションを取ったかを認識し、その結果を制御部120に提供する。
【0031】
制御部120は、モーション認識部110で認識されたモーションに対応する動作を行なう。ここで、制御部120が行なう動作は、ディスプレイ装置100そのもののパワーオン/オフや、ディスプレイ装置100が備えられた各種機能の実行、属性調整などであってよい。
【0032】
特に、制御部120は、チャネルやボリューム、各種属性設定メニュー、ページ切替などのように予め設定された単位で調整される動作を行なってよい。このような動作を行なうことにおいて、制御部120はユーザのモーションの特性を考慮し、動作の実行単位の大きさを多様に適用してよい。
【0033】
具体的に、モーション速度や、モーション距離、モーション強度、モーションを取る客体の形態、客体の大きさなどのように、多様な値がモーションの特性として考慮されてよい。制御部120は、これらの特性の変化度合いに応じて、実行単位の大きさを多様に調整する。即ち、制御部は、これら特性の変化度合いに基づいて、変更単位量を決定し、その決定された変更単位量で動作を行なう。
【0034】
第1例として、モーション速度やモーション距離を閾値と比較して段階的に変更単位量を決定することができる。具体的に、チャネル変更を指示するモーションが認識される場合を参考に説明すると、以下のとおりである。
【0035】
この場合、制御部120はチャネル変更を指示するモーションの速度と予め設定された閾値、即ち、臨界速度とを比較する。比較の結果、閾値以上である場合、複数個のチャネル単位でチャネル変更を行なう。説明の便宜上、閾値以上である場合の変更単位量を第1変更単位量という。第1変更単位量はユーザの任意で、またはデフォルトで設定されて保存されていてよい。例えば、5、10のチャネル数が第1変更単位量で使われることができる。即ち、10のチャネル数が第1変更単位量で決められた場合なら、20番チャネルを視聴中のユーザが右側から左側に素早く手を振ると、その方向にチャネル変更が行なわれて30番チャネルに直ちに変更される。チャネル変更の単位数は10に限られず多様に変更されてよい。即ち、5や20であってよい。
【0036】
一方、閾値未満である場合、第2変更単位量だけチャネル変更を行なう。第2変更単位量もユーザの任意で、またはデフォルトで設定されてよいが、従来のチャネル変更の場合と同様に1のチャネル単位で変更するのが一般的である。
【0037】
一方、無意味なモーションをフィルタリングするための最小閾値も設定して用いてよい。即ち、最小閾値の第1閾値未満の速度でモーションが行なわれた場合にはモーションを無視して何の動作も取らず、第1閾値以上第2閾値未満である場合には、1のチャネルずつ変更することができる。一方、第2閾値以上である場合は、予め設定された個数、即ち、5や10、20の単位でチャネルが変更されてよい。
【0038】
なお、第2閾値より更に上位の閾値を含む複数の閾値を用いてモーション制御を行なうこともできる。この場合、モーション速度の範囲に応じて、チャネル変更単位量が段階的に変更されてよい。即ち、上述の第2閾値以上第3閾値未満である場合には5のチャネル変更単位量、第3閾値以上第4閾値未満である場合には10のチャネル変更単位量、第4閾値以上である場合には20のチャネル変更単位量などで決定されてよい。このように、チャネル変更単位量は多様な閾値との比較結果に応じて決定されてよい。
【0039】
チャネル変更以外に、ページ切替の場合も同様に適用されることができる。即ち、ユーザが複数のページを含むコンテンツを視聴している状態で、ページ切替を指示するモーションを閾値、即ち、臨界速度未満で行なう場合には、予め設定されたページ単位、仮に、1ページ単位でページ切替を行なう。
【0040】
一方、上述のように、最小閾値が活用されて無意味なモーションをフィルタリングすることもできる。なお、複数の閾値が適用されて段階的にページ切替の変更単位量が調整されてよい。例えば、第1閾値以上第2閾値未満である場合には1ページ単位で切り替え、第2閾値以上第3閾値未満である場合には5ページ単位で切り替え、第3閾値以上第4閾値未満である場合には10ページ単位、それ以上の場合には20ページ単位などで変更単位量が調整されてよい。
【0041】
本明細書では、説明の便宜上、チャネル変更のためのモーションを第1モーション、ページ切替のためのモーションを第2モーションと称する。
【0042】
第2実施形態によると、変更単位量はモーション速度やモーション距離に応じて漸進的に変更されてよい。
【0043】
例えば、チャネル変更の場合、チャネル変更を指示するモーションが基準速度以下で行なわれると、制御部120は1のチャネル単位でチャネル変更を行なう。一方、チャネル変更を指示するモーションが基準速度より更に早くなると、その速度の差に比例するように漸進的に変更単位量を増大させる。即ち、速度の大きさに線形的に比例して2、3、4、…nのチャネル変更単位などでチャネル変更動作が行なわれてよい。
【0044】
ページ切替の場合も同様に、変更単位量が決定されてよい。即ち、通常の速さの場合は1ページ、やや早くなると2ページ、更に速くなるほど3、4、5、…nページ単位でページ切替が行なわれてよい。
【0045】
一方、以上では、チャネル変更とページ切替を例に挙げて説明したが、その他に、ボリュームや、輝度や、鮮明度、カラーバランスなどのような出力属性の調整に対しても、モーション速度やモーション距離に基づいて多様な変更単位量で動作が行なわれることができる。
【0046】
図2は、本発明の多様な実施形態に係るディスプレイ装置の構成を説明するためのブロック図である。図2に示すように、ディスプレイ装置は、モーション認識部110及び制御部120の他に、チューナ部130と、信号処理部140と、出力部150と、入力部160と、保存部170などを含む。
【0047】
チューナ部130は、放送信号チャネルを選局し、それに応じた放送信号を受信し、ダウンコンバートして信号処理部140に提供する構成を意味する。
【0048】
信号処理部140は、チューナ部130から提供される信号に対して複合化、等化(Equalizing)、デコーディング、スケーリングなどの信号処理を行い、出力部150に提供する。
【0049】
出力部150は、信号処理部140で処理された映像信号及び音声信号などをディスプレイユニットやスピーカなどのような出力素子を用いて出力する構成である。
【0050】
入力部160は、電子機器100の本体に備えられたキーまたは外部リモコンに備えられたキーの操作によるユーザ選択信号を入力される構成である。具体的には、入力部160はキーパッド及びIR信号受信ランプなどを含んでよい。
【0051】
保存部170は、ディスプレイ装置で使用される各種プログラムや、データなどを保存する構成要素である。具体的に、保存部170はモーション制御のために設定された各種モーションとそのモーションにマッチングする動作に対する情報を保存することができる。
【0052】
例えば、保存部170には、次の表1のようなデータベースが保存されてよい。
【0053】
【表1】

表1におけるプッシュモーションとは、ディスプレイ装置100の前方に位置したユーザがディスプレイ装置100に向かって手を押す動作を意味する。プッシュモーションが認識されると、制御部120はその後に行なわれる後続モーションを認識し、それによる動作を行なう。
【0054】
終了モーションとは、モーション認識モードを終了させるためのモーションを意味する。終了モーションは多様に決められてよい。一例としては、客体がユーザの手のひらである場合、終了モーションは手のひらの部分がそれ以上認識されないように、客体がユーザの身体や他物に接触するようになるモーションが終了モーションであってよい。それについては後述で図を参照して説明する。
【0055】
ムービングモーションとは、手のひらのような客体を一方向に移動させるモーションを意味する。ムービングモーションが行なわれると、制御部120はその方向及び速度に応じてカーソルやメニューフォーカス状態などを移動させる。
【0056】
スイングモーションとは、ディスプレイ装置100に向かって伸ばした手を一方向にスイングさせるモーションを意味する。制御部120は、スイング方向に沿って現在のページまたは現在のチャネルから次のページまたは次のチャネルに変更する。
【0057】
シェイクモーションとは、ディスプレイ装置100に向かって伸ばした手を振るモーションを意味する。その他にウェーブモーションと称してよい。制御部120は、シェイクモーションが認識されると、現在表示されているページまたは放送画面の以前ページまたは以前放送画面に切り替えたり、現在のページの上位ページが存在する場合は上位ページに切り替える動作を行なってよい。
【0058】
その他に、ホールドとは、手を一定時間以上動かさずに置くモーションを意味する。カーソルやフォーカスが特定メニュー上に位置した状態でホールドが行なわれると、制御部120は当該メニューが選択されたと認識してそのメニューを選択し、その機能を行なってよい。
【0059】
以上のようなモーション及び動作間のマッチング関係は一例に過ぎず、このマッチング関係は必要に応じて変更されてよい。なお、円やその他の文字、数字、記号を描くモーションのように、多様な類型のモーションとそれに対する動作が更に追加されてもよく、上記の表のモーションで一部が省略されてよい。
【0060】
一方、上述のモーションのうち、プッシュモーションや終了モーション、ホールドモーションを除く残りのモーションに対しては、そのモーションの速度や移動範囲などに応じて多様な変更単位量で動作してよい。
【0061】
即ち、ムービングモーションの場合、速く移動すれば、カーソルやフォーカス移動量または速度がより速くなることができる。スーイングモーションが速くなったり大幅に行なわれると、上述のようにページやチャネル変更量を更に大きく増大させることができる。シェイクモーションも同様に、シェイクの速度やシェイク幅に応じて切替量がより増大されることは言うまでもない。
【0062】
一方、保存部170には、モーション認識のための客体に対する情報が別途に保存されてよい。客体に対する情報とは、客体の形態や大きさなどであってよく、ユーザによって適切に変更されてよい。上述のように、ユーザの手のひらが客体として使われる場合、ユーザは自分の手のひらを予めモーション認識部110を介して撮影し、その形態や大きさに対する情報を保存部170に登録しておいてよい。それにより、客体登録されていない他のユーザに対しては、モーション認識制御ができないように設定しておいてよい。これにより、ディスプレイ装置100に対する使用権限または制御権限をユーザのみが有するように実現することができる。
【0063】
または、別の実施形態によると、保存部170に保存される客体関連情報は、ディスプレイ装置100を製作する際にデフォルトで決定されて保存部170に保存されてよく、それに対しては変更が不可能であってよい。
【0064】
一方、図2では示されていないが、ディスプレイ装置100が音声入力モードもサポートする場合であれば、音声入力部が更に含まれてよい。音声入力部(図示せず)はユーザの発音する音声入力を受信する構成である。一例として、単語認識技術が使われる場合、音声入力部は音声入力を収集するマイク部と、収集された音声入力に対して周波数分析などを行なって特徴を抽出する分析部と、抽出された特徴を用いて音声信号をセグメンテーション(Segmentation)して子音及び母音を認識する音韻認識部と、認識された子音及び母音を単語辞書に基づいて組み合わせて単語を抽出する単語認識部などを含んでよい。
【0065】
一方、別の実施形態では、保存部170に予め客体関連情報を保存しておかず、撮影イメージデータ内でまずプッシュモーションを取った部分を追跡し、その部分のモーションによる動作のみを行なうこともできる。これにより、複数のユーザが一緒に視聴する環境で、無闇な制御が行なわれることを防止できるようになる。
【0066】
一方、図2に示すように、モーション認識部110は撮影部111及び判断部112を含む。
【0067】
撮影部111は、ディスプレイ装置100の画面前方を撮影するカメラを含む。カメラは前方に置かれた各種客体から反射される光を受光し、撮影イメージデータを生成する。上述の実施形態のように、プッシュモーションに対する認識が必要な場合であれば、撮影部111は3次元深さカメラ(3D Depth Camera)を用いてもよい。3次元深さカメラは赤外線を放射し、その赤外線が物体に触れてから戻ってくる時間を測定して物体までの距離を算出する。深さカメラより得られたイメージはグレイレベルで出力され、各ピクセル毎に横、縦、距離のような座標値が表現される。即ち、ピクセル毎にデプス情報が設けられた撮影イメージデータを生成する。
【0068】
判断部112は、撮影イメージデータを分析して客体のモーションを認識する。上述の実施形態のように、プッシュモーションによってモーション認識モードが開始される場合であれば、判断部112はプッシュモーションを行なった客体の移動状態を追跡する。具体的には、上述の客体に該当するピクセル群を探索し、当該ピクセル群のデプス情報が変更されたか否かを判断する。この場合、判断部112は客体との距離が電子機器から遠く離れる場合であると判断されると、プッシュモーションと判断せずに、電子機器に近づく場合と判断される場合にのみプッシュモーションであると判断する。
【0069】
別の実施形態によると、判断部112は撮影イメージデータ中に深さ情報の変更された部分があるかを判断する。これにより、深さ情報が変更されてZ軸方向に移動した状態であると判断されると、プッシュモーションが行なわれたと直ちに判断することができる。または、この場合、判断部112は予め登録された客体関連情報があれば、深さ情報の変更されたピクセル群の大きさ及び形態を登録された客体関連情報と比較して類似性の有無について判断する。これにより、マッチングすると見なせるくらいの類似性があればプッシュモーションと判断する。
【0070】
制御部120は、一旦プッシュモーションが認識されてモーション認識モードが開始されると、撮影部111から提供される各フレームを比較し、プッシュモーションを行なった客体の移動距離を確認し、モーション速度やモーション距離などのような属性を分析する。このような分析は実施形態によっては、判断部112で行なわれてもよいが、本明細書では制御部120が行なうものとして説明する。
【0071】
上述のように、制御部120はモーション認識部110で認識されるモーションのモーション速度やモーション距離などに応じて多様な変更単位量で動作を行なうように、チューナ部130と、信号処理部140と、出力部150などの構成要素を制御する。
【0072】
上述のように、変更単位量はモーション速度やモーション距離に応じて、段階的または漸進的に調整されてよい。一例として、チャネル変更の場合、モーションの速度が閾値以上である場合、制御部120は複数のチャネル単位(例えば、5や10など)にジャンプして次のチャネルを選局するようにチューナ部130を制御する。
【0073】
チューナ部130で選局された放送信号が信号処理部140で処理されて出力部150によって出力されると、ユーザはその画面を見ながら次のモーションを取ってチャネル変更を引き続き行なうか、現在のチャネルをそのまま選択して視聴することができる。例えば、10番チャネルを視聴中に、ユーザが33番チャネルを選局しようとする場合、ユーザは手を上げてプッシュモーションを取ってモーション認識モードに進入し、右側から左側方向に手を素早く移動させるモーションを2回、右側から左側方向に手を一般的な速度で移動させるモーションを3回行ない、計5回のモーションだけで33番チャネルを選局できるようになる。従来技術では、23回のモーションを取らなければならず、相対的にモーション制御がずっと容易になったことが確認できる。
【0074】
ページ切替の場合にも同様であるため、それに対する説明については省略する。
【0075】
図3は、ムービングモーションのモーション速度を計算する過程を説明するための図である。図3に示すように、ユーザはディスプレイ装置100に向かって客体11、即ち、手を伸ばしてから、チャネル変更やページ切替を行なおうとする方向に客体11を移動させる。このような移動は、モーション認識部110内の撮影部111によって撮影される。
【0076】
撮影部111の撮影速度が60Hzの場合を例えて説明すると、制御部120は、一番目のフレームで(1)番の位置にあった客体が二番目のフレームでは(2)番の位置に存在すると、その移動速度Vは、その移動距離のXピクセルに時間の1/60を割った値であるため、V=60Xになる。三番目のフレームで再び(3)番の位置に客体が存在する場合、(2)番の位置から(3)番の位置への移動速度はV=60Xになる。このような制御部は、フレーム当たりのイメージの変化量をチェックして計算することができる。
【0077】
図3で客体の移動距離は、現在のフレームと次のフレームをそれぞれ複数のブロックで区分した後、各ブロックの平均ピクセル値や代表ピクセル値などを用いてマッチングするブロックを探索し、その探索されたブロックの位置移動状態を確認して移動距離を演算することができる。
【0078】
図4は、スイングモーションの移動速度を計算する過程を説明するための図である。図4では、(1)のように手のひらがディスプレイ装置100を向くように配置された状態で回転が行なわれつつ、(2)のように手の甲がディスプレイ装置100を向くようになるモーションをスイングモーションとして示したが、その反対の場合もスイングモーションに該当する。なお、手のひらや手の甲が完全にディスプレイ装置100を向かないように回転されるとしてもスイングモーションと見なしてよい。
【0079】
一方、図3や図4において、客体の移動距離は客体の一地点を基準に計算することができる。即ち、現在のフレームの全ブロック中で、客体に該当するピクセル群またはブロック中の中心ピクセルまたは中心ブロックと、次のフレームにおける対応する中心ピクセルまたは中心ブロックとの距離を演算することができる。
【0080】
図5は、モーション距離を多様にし、変更単位量を調整する実施形態を示す図である。図5に示すように、(a)分の距離だけ移動する際は、基本単位量だけチャネルまたはページなどを変更し、(b)のように相対的に更に長い距離を移動する際には、予め設定された複数の変更単位量だけチャネルまたはページなどを変更することができる。
【0081】
一方、以上ではモーション速度とモーション距離を相違する属性として説明したが、モーション速度とモーション距離は実質的にかなりの関連性を有する属性である。即ち、通常、ユーザはモーション距離を更に長くするために更に早く客体を移動させる傾向がある。なお、一つのモーションを認識する単位時間を固定しておくと、その単位時間内に更に遠くに客体を移動させるためには更に早い速度で移動させなければならない。従って、実施形態によっては、モーション速度やモーション距離の双方を考慮して変更単位量を決定することもできる。
【0082】
一方、本ディスプレイ装置100は、その他の多様なモーションを用いてモーションを制御することができる。
【0083】
図6は、このようなモーション認識モードを開始するためのモーションの一例であるプッシュモーションを示す図である。
【0084】
モーション認識部110は、撮影範囲内のユーザ10の一客体11がディスプレイ装置100に向かって移動するプッシュモーションを認識することができる。具体的には、図6に示すように、客体が置かれた地点に3次元座標系を適用すると、ディスプレイ装置100を基準に上側を向くように配置されるY軸、Y軸と直交しつつ右側を向くように配置されるX軸と、X軸及びY軸がなす平面からディスプレイ装置100を向くように配置されるZ軸で説明できる。プッシュモーションとは、Z軸方向へのモーションを意味する。
【0085】
このように、プッシュモーションはZ軸方向への移動であるため、一般モード下でモーション認識部110は撮影イメージデータの深さ情報変化の有無のみをチェックし、プッシュモーションが行なわれたか否かを判断する。これにより、プッシュモーションが行なわれてモーション認識モードに切り替えられると、そこからはモーション認識部110はZ軸だけでなくX軸及びY軸方向への動きも全てチェックして、客体の動きを分析する。
【0086】
制御部120は、プッシュモーションが認識されると、モーション認識モードで動作すると判断し、モーション認識モードに切り替える。即ち、プッシュモーションが認識される前までは一般モードで動作し、ユーザのリモコン操作やディスプレイ装置100本体に備えられたキー操作によるユーザ選択信号を入力部160を介して受信し、それに対応する制御動作を行なう。このような状態で、モーション認識モードに切り替えられると、制御部120はそこからはユーザのモーションを認識してそのモーションに符合する動作を行なう。
【0087】
この場合、制御部120は最初にプッシュモーションを行なった客体の動きを追跡し、当該客体のモーションを認識し、その認識されたモーションに対応する動作を行なう。
【0088】
モーション認識モードに切り替えられた場合、制御部120はモーション以外の入力は収容しなくてもよいが、別の実施形態ではモーション認識モードに切り替えられた状態でも、制御部120はリモコンや本体キー操作があれば、そのキー操作による動作も同時に行なってよい。即ち、モーション認識モードが必ずしもモーションのみによって制御されるモードであるわけではない。
【0089】
図7及び図8は、モーション認識モードを終了させるための終了モーションの多様な例を示す図である。制御部120は、予め設定された特定モーションがモーション認識部110によって認識されると、モーション認識モードを終了する。モーション認識モードを終了させるためのモーションを以下では終了モードと称する。終了モーションは多様に決められてよい。一例としては、客体がユーザの手のひらである場合、終了モーションは手のひらの部分がそれ以上認識されないように、客体がユーザの身体や他物に接触するようになるモーションであってよい。
【0090】
図7は、ユーザが手11を下ろしてユーザの膝のような身体の一部に接触するモーションが終了モーションとして使用される場合を示す。なお、図8は、ユーザの手11を下ろして椅子の肘掛のようなモノに接触するようにする終了モーションを示す。その他に、終了モーションは多様な形態に設定されてよい。
【0091】
上述のように、プッシュモーションを用いてモーション認識モードを開始して手を下ろしつつ終了すると、より便利かつ正確にユーザの意図を理解してモーション認識制御を行なうことができるようになる。このようなプッシュモーションは、手を前に伸ばしてから元に戻すプッシュ/プルモーションや、手を前に伸ばした状態をそのまま維持するプッシュ/ストップモーションなどを含んでよい。
【0092】
その他にも、多様な種類のモーションが使われてよい。即ち、円を描くモーションや、特定のアルファベットなどのような文字を描くモーションを取って、それによる動作を行なうことができる。
【0093】
このような文字は、製作者によってデフォルトで定められたり、ユーザが自分のモーションをモーション認識部110を用いて登録させ、自分だけのモーション命令語として使用することもできる。
【0094】
図9は、本発明の一実施形態に係るディスプレイ装置のモーション制御方法を説明するためのフローチャートである。図9によると、モーションが認識されると(S910)、そのモーションのモーション速度やモーション距離などのような属性を確認して変更単位量を決定する(S920)。ここで、変更単位量は上述のように閾値に比べて段階的に増大するように決定したり、モーション速度やモーション距離の大きさに線形的に比例するように漸進的に増大するように決定することができる。
【0095】
それから、決定された変更単位量だけ、そのモーションに対応する動作を行なう(S930)。例えば、チャネル変更の場合、変更単位量に応じて1、5、10のチャネル単位で変更したり、1、2、3、…、nのように漸進的に多くのチャネル単位で変更を行なうことができる。ページ切替や、ボリューム調整などのような別の動作も同様に変更単位量に応じてその制御程度が変化するのは言うまでもない。
【0096】
図10は、本発明の一実施形態に係るディスプレイ装置のモーション制御方法をより具体的に説明するためのフローチャートである。図10によると、モーション認識が行なわれると(S1010)、そのモーションの速度や距離などが予め設定された第1閾値以上であるか否かを判断する(S1020)。ここにおける第1閾値は判断対象に応じて多様に決定されてよい。即ち、速度を判断する場合には第1臨界速度であってよく、距離を判断する場合には第1臨界距離であってよい。
【0097】
これにより、第1閾値未満であると判断されると、何の動作も行なわずにモーションを無視する。
【0098】
一方、第1閾値以上である場合は再び第2閾値以上であるか否かを判断する(S1030)。第2閾値は、第1閾値より大きい値に設定される。
【0099】
判断の結果、モーション速度やモーション距離が第2閾値以上である場合、変更単位量を増大させて決定する(S1040)。この場合、上述のように段階的に決定してよく、第2閾値との差に比例して漸進的に増大するように決定してよい。
【0100】
一方、モーション速度やモーション距離が第2閾値未満である場合は、変更単位量を基本単位であるデフォルト値に決定できる(S1050)。
【0101】
このように、変更単位量が決定されると、その決定された変更単位量だけモーションに対応する動作を行なう(S1060)。動作の実行方向は、モーション方向と一致してよい。
【0102】
本モーション制御方法に対する実施形態で認識するモーションは、上述の図3ないし図8に示された多様な種類のモーションであってよい。
【0103】
なお、図9及び図10は、モーション認識モードに進入した後に行なわれるステップに対するフローチャートである。従って、上述の実施形態に係るモーション制御方法では、一般モードで動作中にプッシュモーションが行なわれたか否かを判断してプッシュモーションが行なわれるとモーション認識モードに進入するステップ、終了モーションが認識されるとモーション認識モードを終了するステップなどが更に含まれてよい。
【0104】
一方、以上のようなモーション制御方法を行なうためのプログラムコードは多様な類型の記録媒体に保存されることができる。具体的には、上述の電源提供方法を行なうためのコードは、RAM(Random Access Memory)、フラッシュメモリ、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electronically Erasable and Programmable ROM)、レジスタ、ハードディスク、リムーバブルディスク、メモリカード、USBメモリ、CD−ROMなどのように、端末機で読取可能な多様な記録媒体に保存されていてよい。
【0105】
これにより、モーション認識が可能な各種装置に、上述のプログラムコードの記録された記録媒体が接続されたり搭載されるものなら、上述のモーション制御方法がサポートできるようになる。
【0106】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0107】
110 モーション認識部
120 制御部
130 チューナ部
140 信号処理部
150 出力部
160 入力部
170 保存部

【特許請求の範囲】
【請求項1】
ディスプレイ装置において、
前記ディスプレイ装置の外部に位置した客体のモーションを認識するモーション認識部と、
前記客体のモーションが認識されると、前記客体のモーション速度またはモーション距離に応じて多様に決定される変更単位量だけ、前記客体のモーションに対応する動作を行なう制御部と
を含むディスプレイ装置。
【請求項2】
放送チャネルを選局するチューナ部と、
前記チューナ部で選局された放送チャネルを通じて受信される放送信号を処理する信号処理部と、
前記信号処理部で処理された放送データを出力する出力部と
を更に含み、
放送チャネル変更を指示する第1モーションが認識されると、前記制御部は前記第1モーションのモーション速度またはモーション距離に応じて多様に決定される変更単位量だけ、前記第1モーションのモーション方向に前記放送チャネルを変更して選局するように、前記チューナ部を制御することを特徴とする請求項1に記載のディスプレイ装置。
【請求項3】
前記制御部は、
前記モーション速度または前記モーション距離が予め設定された閾値以上である場合、第1変更単位量で前記放送チャネルを変更し、前記閾値未満である場合、前記第1変更単位量より小さい第2変更単位量で前記放送チャネルを変更することを特徴とする請求項2に記載のディスプレイ装置。
【請求項4】
前記制御部は、
前記変更単位量を前記モーション速度または前記モーション距離に比例して漸進的にまたは段階的に増大するように調整することを特徴とする請求項2に記載のディスプレイ装置。
【請求項5】
複数のページを含むコンテンツを表示する出力部を更に含み、
前記制御部は、
ページ切替を指示する第2モーションが認識されると、前記第2モーションのモーション速度またはモーション距離に比例して多様に決定される変更単位量だけ、前記第2モーションのモーション方向へページを切り替えるように、前記出力部を制御することを特徴とする請求項1に記載のディスプレイ装置。
【請求項6】
前記制御部は、
前記モーション速度または前記モーション距離が閾値以上である場合、第1変更単位量で前記コンテンツページを切り替え、前記モーション速度または前記モーション距離が前記閾値未満である場合、前記第1変更単位量より小さい第2変更単位量で前記コンテンツページを切り替えることを特徴とする請求項5に記載のディスプレイ装置。
【請求項7】
前記制御部は、
前記変更単位量を前記モーション速度または前記モーション距離に比例して漸進的にまたは段階的に増大するように調整することを特徴とする請求項5に記載のディスプレイ装置。
【請求項8】
ディスプレイ装置のモーション制御方法において、
前記ディスプレイ装置の外部に位置した客体のモーションを認識するステップと、
前記客体のモーション速度またはモーション距離に応じて変更単位量を決定するステップと、
前記客体のモーションに対応する動作を前記変更単位量だけ行なう実行ステップと
を含むモーション制御方法。
【請求項9】
放送チャネルを選局して放送データを出力するステップを更に含み、
前記実行ステップは、
前記認識されたモーションが放送チャネル変更を指示するための第1モーションである場合、前記第1モーションのモーション速度またはモーション距離の大きさに応じて多様に決定される変更単位量だけ、前記第1モーションのモーション方向に前記放送チャネルを変更して選局することを特徴とする請求項8に記載のモーション制御方法。
【請求項10】
前記実行ステップは、
前記モーション速度または前記モーション距離が閾値以上である場合、第1変更単位量で前記放送チャネルを変更し、前記モーション速度または前記モーション距離が前記閾値未満である場合、前記第1変更単位量より小さい第2変更単位量で前記放送チャネルを変更することを特徴とする請求項9に記載のモーション制御方法。
【請求項11】
前記変更単位量を決定するステップは、
前記変更単位量を前記モーション速度または前記モーション距離に比例して漸進的にまたは段階的に増大するように調整することを特徴とする請求項9に記載のモーション制御方法。
【請求項12】
複数のページを含むコンテンツを表示するステップを更に含み、
前記実行ステップは、
前記認識されたモーションがページ切替を指示する第2モーションである場合、前記第2モーションのモーション速度またはモーション距離に比例して調整された変更単位量だけ、前記第2モーションのモーション方向へページを切り替えることを特徴とする請求項8に記載のモーション制御方法。
【請求項13】
前記実行ステップは、
前記モーション速度または前記モーション距離が閾値以上である場合、第1変更単位量で前記ページを切り替え、前記モーション速度または前記モーション距離が前記閾値未満である場合、前記第1変更単位量より小さい第2変更単位量で前記ページを切り替えることを特徴とする請求項12に記載のモーション制御方法。
【請求項14】
前記変更単位量を決定するステップは、
前記変更単位量を前記モーション速度または前記モーション距離に比例して漸進的にまたは段階的に増大するように調整することを特徴とする請求項12に記載のモーション制御方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2012−146304(P2012−146304A)
【公開日】平成24年8月2日(2012.8.2)
【国際特許分類】
【出願番号】特願2012−696(P2012−696)
【出願日】平成24年1月5日(2012.1.5)
【出願人】(390019839)三星電子株式会社 (8,520)
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【住所又は居所原語表記】129,Samsung−ro,Yeongtong−gu,Suwon−si,Gyeonggi−do,Republic of Korea
【Fターム(参考)】