画像処理システム、及び画像処理プログラム
【課題】カメラの位置や演奏者とカメラとの距離、及び演奏者の立ち位置の制約を低減した画像処理システム、及び画像処理プログラムを提供する。
【解決手段】被写体を撮影することで、被写体を示す動画像データを取得する取得手段と、取得手段により取得された動画像データが示す画像内に予め定められた音を発生させるための１つ以上の演奏領域を特定する領域特定手段と、取得手段により取得された動画像データが示す画像内に存在する特定の被写体を示す特定画像を検出する検出手段と、領域特定手段により特定された演奏領域毎に、検出手段により検出された特定画像が演奏領域に重なった場合に出力する音を割り当てる割当手段と、特定画像が演奏領域と重なった場合に、割当手段により演奏領域に割り当てられた音を示す信号を出力する信号出力手段と、を有する。
【解決手段】被写体を撮影することで、被写体を示す動画像データを取得する取得手段と、取得手段により取得された動画像データが示す画像内に予め定められた音を発生させるための１つ以上の演奏領域を特定する領域特定手段と、取得手段により取得された動画像データが示す画像内に存在する特定の被写体を示す特定画像を検出する検出手段と、領域特定手段により特定された演奏領域毎に、検出手段により検出された特定画像が演奏領域に重なった場合に出力する音を割り当てる割当手段と、特定画像が演奏領域と重なった場合に、割当手段により演奏領域に割り当てられた音を示す信号を出力する信号出力手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、及び画像処理プログラムに係り、特に、画像を用いて音を出力する画像処理システム、及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、画像を用いて音を出力する装置が開示されている。例えば、特許文献１には、複数のクロマキー像によるポインティング操作を行うことができる画像制御装置が開示されている。特許文献１に開示された装置では、目立つ色に着色された手袋、靴下の色を抽出、記憶し、その抽出色が、モニタ画面上に映るビデオ画像の背景に表示された選択楽器の割り当て領域に入った場合、その選択楽器の音が鳴り、かつ、その割り当て領域に入った抽出色ピクセル群の重心と、割り当て領域に入った抽出色ピクセル群の重心との距離により音の強さをコントロールするようになっている。
【０００３】
また、特許文献２には、画面上に示された楽器を鳴らすための記号パターンを示す絵が前もって複数示されていて、それらのひとつを選択した場合、例えば、指の形のパターンを選択した場合、指の形をした映像が楽器を鳴らすための領域である追跡エリアと呼んでいる領域に入った場合に、所定の楽器音が鳴るようにした技術が開示されている。
【０００４】
特許文献２の技術では、表示画面上に設定された複数の入力エリアに、予め選択するための画像パターンが表示されており、前記複数の入力エリアのいずれかを選択することにより、選択された入力エリアに表示されている前記画像パターンが所定のパターンとして指定される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−９２９８０号公報
【特許文献２】特開２００３−２０２８３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された技術では、パターン検出領域を予め画面上に割り当ててあるため、例えば、パターン検出領域が画面上の両側にあるような場合、動画画像は、必ず（操作の都合で）画面中央に映るようにする必要があり、かつ、人物も左右のパターン検出領域を操作し易い大きさに映らなければならない。すなわち、カメラの方向、カメラからの距離、演奏者の立ち位置は、一義的に決まってしまい、それ以外の位置に楽器演奏者が存在するようにカメラが配置された場合は演奏ができないか支障が生ずるという欠点がある。
【０００７】
また、特許文献２に開示された技術では、入力エリア、及び追跡エリアが、予め画面上に割り当ててあるため、動画画像は、必ず（操作の都合を考えて）画面の入力エリア、及び追跡エリアを避けるような位置に映るようにする必要があり、かつ、人物もそれら入力エリア、及び追跡エリアを操作しやすい大きさに映らなければならない。すなわち、カメラの方向、カメラからの距離、演奏者の立ち位置は、あらかじめ描画された表示が存在するため、一義的に決まってしまい、それ以外の位置に楽器演奏者がいるようにカメラが配置された場合は演奏ができないか支障が生ずるという欠点がある。
【０００８】
また、特許文献２に開示された技術では、入力エリアに所定の入力パターンに相当する絵を表示装置上に描かなければ、この発明を実現できないという欠点があり、その描画装置上の描画領域が演奏領域として使えないという欠点があった。
【０００９】
さらに、特許文献２に開示された技術では、例えば、指の形の映像パターンが検出パターンと同じ形状（或いは色）をしていなければ楽器が鳴らないという、撮影時の環境に対するロバストネスが低いという欠点がある。具体的に、例えば、実際のカメラでは、カメラの方向などによって、指を二本出していても一本にしかカメラには見えないことがあるので、指が一本でも二本でも、指らしいと装置が判断して音を鳴らしたり、或いは照明の明るさ、色に対する使っているカメラでどういう色、形で実際は写るのかがかなり異なるので、どのような光線環境、写り方によっても必ず、指定の認識ができるとは言えないという欠点があった。
【００１０】
このように、従来の技術では、楽器を演奏するために必要な操作子を認識するためのパターンの選択メニューや、演奏定義領域を画面上にあらかじめ固定して描画する必要があった。また、実際に動画として画面に映る映像は全く独立したものであり、画面に固定された表示にかからないようにカメラを設定したり、メニューを操作しやすい位置に人物が来るようにカメラ位置を調整しなければならないという問題があった。
【００１１】
すなわち、カメラの位置や演奏者とカメラとの距離、及び演奏者の立ち位置が制約されるという問題点があった。
【００１２】
本発明は上記問題点に鑑み、カメラの位置や演奏者とカメラとの距離、及び演奏者の立ち位置の制約を低減した画像処理システム、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、請求項１の発明は、被写体を撮影することで、該被写体を示す動画像データを取得する取得手段と、前記取得手段により取得された動画像データが示す画像内に予め定められた音を発生させるための１つ以上の演奏領域を特定する領域特定手段と、前記取得手段により取得された動画像データが示す画像内に存在する特定の被写体を示す特定画像を検出する検出手段と、前記領域特定手段により特定された演奏領域毎に、前記検出手段により検出された特定画像が該演奏領域に重なった場合に出力する音を割り当てる割当手段と、前記特定画像が前記演奏領域と重なった場合に、前記割当手段により該演奏領域に割り当てられた音を示す信号を出力する信号出力手段と、を有する。
【００１４】
請求項１の発明によれば、取得手段により、被写体を撮影することで、該被写体を示す動画像データを取得し、領域特定手段により、前記取得手段により取得された動画像データが示す画像内に予め定められた音を発生させるための１つ以上の演奏領域を特定し、検出手段により、前記取得手段により取得された動画像データが示す画像内に存在する特定の被写体を示す特定画像を検出し、割当手段により、前記領域特定手段により特定された演奏領域毎に、前記検出手段により検出された特定画像が該演奏領域に重なった場合に出力する音を割り当て、信号出力手段により、前記特定画像が前記演奏領域と重なった場合に、前記割当手段により該演奏領域に割り当てられた音を示す信号を出力する。このように、請求項１の発明は、カメラの位置や演奏者とカメラとの距離及び演奏者の立ち位置には関係なく、被写体を示す画像内の領域に音を割り当てるので、カメラの位置や演奏者とカメラとの距離、及び演奏者の立ち位置の制約を低減することができる。
【００１５】
また、請求項２の発明は、請求項１の発明において、前記取得手段により取得された動画像データが示す画像を複数の領域に分割する分割手段をさらに有し、前記領域特定手段は、前記分割手段により分割された領域の中から、前記予め定められた音を発生させるための１つ以上の演奏領域を特定する。
【００１６】
請求項２の発明によれば、自動的に演奏領域を分割することができるので、より簡単に演奏することが可能となる。
【００１７】
また、請求項３の発明は、請求項１又は請求項２に記載の発明において、前記割当手段は、複数の前記演奏領域に音を割り当てる場合に、複数の演奏領域の各々に周波数が異なる音の各々を順に割り当てる。
【００１８】
請求項３の発明によれば、複数の演奏領域の各々に周波数が異なる音の各々を順に割り当てることにより、異なる音の各々を示す信号を出力することができる。
【００１９】
また、請求項４の発明は、請求項１〜請求項３のいずれか１項に記載の発明において、前記取得手段により取得された動画像データが示す画像を表示する表示手段をさらに有する。
【００２０】
請求項４の発明によれば、演奏者が表示手段を視認しながら演奏可能となるので、より演奏者が演奏をしやすくすることができる。
【００２１】
また、請求項５の発明は、請求項１〜請求項４のいずれか１項に記載の発明において、前記表示手段は、前記演奏領域の境界線をさらに表示する。
【００２２】
請求項５の発明によれば、表示手段に境界線をさらに表示することにより、演奏者が境界線を視認することが可能となるので、より演奏をしやすくすることができる。
【００２３】
また、請求項６の発明は、請求項１〜請求項５のいずれか１項に記載の発明において、前記被写体には、前記領域特定手段により特定される演奏領域が予め示されており、前記領域特定手段は、該被写体に示される領域の中から、前記予め定められた音を発生させるための１つ以上の演奏領域を特定する。
【００２４】
請求項６の発明によれば、演奏者が演奏しやすい領域を被写体として予め示しておくことで、より演奏者が演奏しやすくすることが可能となる。
【００２５】
請求項７の発明は、請求項１〜請求項６のいずれか１項に記載の発明において、前記特定の被写体は、予め定められた色の被写体、及び予め定められた物体の被写体のうちの少なくとも一方の被写体である。
【００２６】
請求項７の発明によれば、予め定められた色の被写体、及び予め定められた物体のうちの少なくとも一方の被写体を特定の被写体とすることができる。
【００２７】
請求項８の発明は、請求項１〜請求項７のいずれか１項に記載の発明において、前記特定の被写体の動作を、前記検出手段により検出された特定画像により検知する動作検知手段と、前記動作検知手段により検知された前記特定の被写体の動作を示す動作情報を記録する記録手段と、をさらに有し、前記信号出力手段は、前記特定画像が前記割当手段により音が割り当てられた領域に重なり、かつ前記動作検知手段により検知された前記特定の被写体の動きが、前記記録手段により記録された動作情報が示す動作の場合に、音を示す信号を出力する。
【００２８】
請求項８の発明によれば、特定画像が演奏領域に重なり、かつ前記動作検知手段により検知された前記特定の被写体の動きが、前記記録手段により記録された動作情報が示す動作の場合に、音を示す信号を出力することで、誤認識による信号の発生を抑制することができる。
【００２９】
請求項９の発明は、請求項１〜請求項８のいずれか１項に記載の発明において、前記信号出力手段により出力された信号に応じて音を出力する音出力手段をさらに有する。
【００３０】
請求項９の発明によれば、演奏者は実際の音を聞くことが可能となる。
【００３１】
上記目的を達成するために、請求項１０に記載の発明は、コンピュータを、コンピュータを、被写体を撮影することで、該被写体を示す動画像データを取得する取得手段により取得された動画像データが示す画像内に予め定められた音を発生させるための１つ以上の演奏領域を特定する領域特定手段と、前記取得手段により取得された動画像データが示す画像内に存在する特定の被写体を示す特定画像を検出する検出手段と、前記領域特定手段により特定された演奏領域毎に、前記検出手段により検出された特定画像が該演奏領域に重なった場合に出力する音を割り当てる割当手段と、前記特定画像が前記演奏領域と重なった場合に、前記割当手段により該演奏領域に割り当てられた音を示す信号を出力する信号出力手段と、して機能させるための画像処理プログラムである。
【００３２】
請求項１０の発明は、請求項１の発明と同様に作用するので、請求項１の発明と同様の効果が得られる。
【発明の効果】
【００３３】
本発明によれば、カメラの位置や演奏者とカメラとの距離、及び演奏者の立ち位置の制約を低減した画像処理システム、及び画像処理プログラムを提供することができる、という効果が得られる。
【図面の簡単な説明】
【００３４】
【図１】本実施の形態に係る画像処理システムを示す図である。
【図２】画像処理装置のハードウェア構成例を示す図である（その１）。
【図３】画像処理装置のハードウェア構成例を示す図である（その２）。
【図４】画像処理システムの機能ブロック図である。
【図５】特定の被写体の動作例を示す図である。
【図６】検出部の詳細を示す図である。
【図７】分割部により画像を複数の領域に分割し、物体検出部により物体を検出する場合の一例を示す図である。
【図８】分割部による分割をせずに、領域特定部により演奏領域を特定する場合の一例を示す図である。
【図９】プロジェクタ等の被写体に領域を描くことが可能な装置を用いた場合の例を示す図である。
【図１０】領域特定部により演奏領域を特定し、物体検出部により色を示す画像を検出する場合の一例を示す図である。
【図１１】色つきの物体を置く位置を机上に代えて、演奏者の服とした場合の例を示す図である。
【図１２】画像処理全体の流れを示すフローチャートである。
【図１３】分割割当処理の詳細を示すフローチャートである。
【図１４】検出処理の詳細を示すフローチャートである。
【図１５】信号出力処理の詳細を示すフローチャートである（その１）。
【図１６】信号出力処理の詳細を示すフローチャートである（その２）。
【発明を実施するための形態】
【００３５】
以下、図面を参照して、本発明を実施するための最良の形態について詳細に説明する。
【００３６】
図１は、本実施の形態に係る画像処理システム１を示す図である。図１には、画像処理装置１０、動画を撮影するカメラ２０、表示部３０、及びスピーカ４０が示されている。
【００３７】
画像処理装置１０は、画像処理システム１全体を制御するもので、カメラ２０と接続するための端子（ＵＳＢ端子等）、スピーカ４０と接続するための音声出力端子、及び表示部３０と接続するための端子（ＤＶＩ端子等）が設けられている。
【００３８】
カメラ２０は、被写体を撮影することで、該被写体を示す動画像データを取得するもので、ビデオカメラ、或いは動画撮影可能なデジタルカメラなどのカメラである。表示部３０は、カメラ２０により取得された動画像データが示す画像を表示する液晶ディスプレイなどの表示部である。スピーカ４０は、画像処理装置１０から出力された信号に応じて音を出力する。
【００３９】
なお、図１において本発明に係る画像処理システム１としての最小構成は画像処理装置１０とカメラ２０からなる構成である。
【００４０】
次に、上記画像処理装置１０の２種類のハードウェア構成について説明する。図２は、画像処理装置１０のハードウェア構成例（その１：ハードウェアアクセラレータタイプ）を示す図である。画像処理装置１０は、システムコントローラ２００、音制御ロジック２１０、画像処理ロジック２２０、画素情報変換ロジック２３０、画像認識部２４０、表示制御ロジック２６０、ＲＡＭ（Random Access Memory）２７０、ＲＯＭ（Read Only Memory）２８０、及びそれらを接続するバスを含んで構成される。
【００４１】
このうち、ＲＡＭ２７０は、画像処理装置１０の各回路で用いられる一時的な情報が記憶される。また、ＲＯＭ２８０は、システムコントローラ２００を動作させるためのプログラム、音や音楽等の種類、所定の物体の形や特徴等を示す情報が記憶される。
【００４２】
また、上記システムコントローラ２００は、ＣＰＵ（Central Processing Unit）２０１、ＲＡＭ２０２、ＲＯＭ２０３を含んで構成される。このシステムコントローラ２００は、ＲＯＭ２８０からＲＡＭ２０２に転送されたプログラムに従って画像処理装置１０の全体を制御する。ＲＡＭ２０２には、上記プログラム、及び各回路ブロックの制御に関わる一時的な情報が記憶される。ＲＯＭ２０３には、画像を認識するための認識アルリズムを外部からハッキングされないためのＩＤ情報が記憶される。なお、システムコントローラ２００を動作させるためのプログラムを、上述したＲＯＭ２８０に記憶せずに、ＲＯＭ２０３に記憶しておくようにしても良い。
【００４３】
また、システムコントローラ２００は、音制御ロジック２１０に対して、領域に割り当てられた音や音楽、楽器等の種類などを示すコードや、音や音楽を発生させるためのタイミング情報を出力する。
【００４４】
音制御ロジック２１０は、ＲＯＭ２８０に記憶された音に関する情報（ＭＩＤＩ情報や音声波形情報）をシステムコントローラ２００から入力されたコードに従って、スピーカ４０により発生させるための信号を作成する。このとき、音制御ロジック２６０による処理で用いられる一時的な情報の記憶にＲＡＭ２７０が用いられる。
【００４５】
画像処理ロジック２２０は、カメラ２０から出力されたビデオ信号が示す画像に対して、ノイズを除去したり、エッジを強調してよりはっきりとした認識しやすい画面にするようにビデオ信号を補正し、補正されたビデオ信号を画素情報変換ロジック２３０に出力する。このとき、画像処理ロジック２２０による処理で用いられる一時的な情報の記憶にＲＡＭ２７０が用いられる。
【００４６】
画素情報変換ロジック２３０は、画像処理ロジック２２０から出力されたビデオ信号から、画像認識部２４０で扱うための素材情報を抽出する。この素材情報は、各画素の様々なパラメータ情報や、その画素の画面上の位置情報である。パラメータ情報の具体例として、明度情報、彩度情報、色相情報、輝度情報など色に関する情報や、画面間の差（遅延）を利用して得られる画素の動き成分（ベクトル情報）が挙げられる。
【００４７】
画像認識部２４０では、高速画像認識演算専用ロジック２４１により、ＲＯＭ２８０に記憶されたプログラムに従って画像認識が行なわれる。高速画像認識演算専用ロジック２４１による画像認識の例として、入力された輝度情報を二値化することでビデオ信号が示す画像における境界線、線成分を抽出する処理が挙げられる。
【００４８】
また、高速画像認識演算専用ロジック２４１は、抽出した線成分で囲われる同じ色の物体に番号をつけて物体を提起したり（グルーピング）、その物体の位置が過去と比較してどのように変わっていったのか、或いはどの方向に動いているのかを認識したりする。
【００４９】
さらに、高速画像認識演算専用ロジック２４１は、上記ＲＯＭ２８０に記憶された所定の物体の形や特徴等を示す情報を用いて、現在注目している物体の形や特徴がどの程度似ているかなどを演算する。
【００５０】
画像認識部２４０は、上述した高速画像認識演算専用ロジック２４１による処理の認識結果を示す情報が重畳されたビデオ信号を表示制御ロジック２６０に出力する。例えば、注目する動作に四角や丸などのマークが描かれた画像を示すビデオ信号が出力される。
【００５１】
また、画像認識部２４０のＲＡＭ２４２は、高速画像認識演算専用ロジック２４１による処理で用いられる一時的な情報が記憶される。
【００５２】
表示制御ロジック２６０は、入力されたビデオ信号が示す画像に、文字や枠、メニュー等の説明を重畳し、その画像を示すビデオ信号を表示装置に出力する。
【００５３】
以上説明した図２に示されるハードウェアアクセラレータタイプに代えて、図３に示されるハードウェア構成を用いても良い。図３は、画像処理装置１０のハードウェア構成例（その２：多数ＤＳＰ（Digital Signal Processor）の並列演算タイプ）を示す図である。図３に示されるハードウェア構成は、図２で説明した画素情報変換ロジック２３０及び画像認識部２４０に代えて、並列画像処理演算ユニット２９０を設けた点が異なる。この図３において、図２で説明されたブロックと同じブロックには同じ符号が付与されており、処理内容も同一であるので説明を省略する。
【００５４】
画像処理演算ユニット２９０は、ＤＳＰ２９１とＲＡＭ２９２で一組のＤＳＰユニットが多数設けられたユニットであり、ＲＡＭ２９２は、ＤＳＰ２９１による処理で用いられる一時的な情報が記憶される。
【００５５】
図３に示されるように、画像処理ロジック２２０から出力されたビデオ信号は、並列画像処理演算ユニット２９０に入力され、並列画像処理演算ユニット２９０において、図２で説明した画素情報変換ロジック２３０及び画像認識部２４０による処理がビデオ信号に対して行なわれ、その信号が表示制御ロジック２６０に出力される。
【００５６】
以上説明した２種類の構成のうち、図２に示されるハードウェアアクセラレータタイプのメリットとして、画像処理を専用カスタムロジックで行うので、より高速、低消費電力の装置（ＬＳＩ（Large Scale Integration））が実現でき、また専用ロジックであるため、回路が最適化されているため小チップ面積（ローコスト）のＬＳＩが実現できることが挙げられ、デメリットとしては、専用カスタムロジックであるため、汎用性に欠けるということが挙げられる。
【００５７】
一方の図３に示される多数ＤＳＰの並列演算タイプのメリットとして、汎用性が高く、様々な画像認識に対応可能であることが挙げられ、デメリットとして汎用性を高めるため、多くのＤＳＰを使うので、ＬＳＩのチップ面積が大きくなり（コストが高くなる)、また専用ロジックでできていないため、無駄に動作する部分が発生し、専用ロジックほどの高速化実現には大消費電力必要となることが挙げられる。
【００５８】
次の図４は、画像処理システム１の画像認識部２４０又は並列画像処理演算ユニット２９０による画像処理を機能ブロックで表した場合のブロック図である。同図には、カメラ２０、動画像データ取得部５０、分割部６０、領域特定部６５、検出部７０、割当部８０、動作検知部９０、信号出力部１００、表示部３０、及びスピーカ４０が示されている。
【００５９】
このうち、動画像データ取得部５０は、カメラ２０が撮影した被写体を示す動画像データをカメラ２０より取得して、分割部６０及び検出部７０に動画像データを提供する。分割部６０は、カメラ２０により取得された動画像データが示す画像を複数の領域に分割する。具体的に、分割部６０は、動画像データが示す画像を、予め定められたアルゴリズムに従って複数の領域に分割する。予め定められたアルゴリズムとは、例えば画像の左端から右端までをｎ（ｎは自然数）等分、例えば３等分に分割する、等のアルゴリズムである。
【００６０】
領域特定部６５は、動画像データ取得部５０により動画像データが示す画像内に予め定められた音を発生させるための１つ以上の演奏領域を特定する。また、分割部６０により複数の領域に分割された画像が出力された場合には、分割部６０により分割された領域の中から、予め定められた音を発生させるための１つ以上の演奏領域を特定する。
【００６１】
検出部７０は、カメラ２０により取得された動画像データが示す画像内に存在する特定の被写体を示す特定画像を検出する。この特定画像の検出には、予め定められた色、予め定められた物体が用いられるが、色の場合は画素値により特定でき、物体の場合は例えばパターンマッチングにより該当する物体を特定することができる。
【００６２】
割当部８０は、領域特定部６５により特定された演奏領域毎に、検出部７０により検出された特定画像が該演奏領域に重なった場合に出力する音を割り当てる。さらに、割当部８０は、複数の領域に音を割り当てる場合に、該複数の領域の各々に周波数が異なる音の各々を順に割り当てる。例えば、ｎ（ｎは２以上の整数）個の領域に分割された場合には、１個目の領域には音を割り当てず、２個目の領域から順に異なる音の各々を順に割り当てるようにしても良い。
【００６３】
信号出力部１００は、特定画像が演奏領域と重なった場合に、割当部８０により該演奏領域に割り当てられた音を示す信号をスピーカ４０に出力する。本実施の形態に係る音は、メロディ、曲、音声なども含まれる。音声は、例えば後述するように色で領域を分割した場合に、その色の名前を音とすることができる（赤色であれば「あか」、或いは「ＲＥＤ」等）。この場合、本実施の形態に係る画像処理装置を知育玩具や学習機器として提供することができる。
【００６４】
動作検知部９０は、特定の被写体の特殊な動作を、検出部７０により検出された特定画像により検知する。ここでの特殊な動作について、図５を用いて説明する。図５は、特定の被写体の特殊な動作例を示す図である。同図に示されるように、矩形で示されるある領域内で、動作のパターン（特定の被写体（例えば、手や、撥などの演奏道具）を横に小刻みに高速で振る、小さく上下に振る、右、或いは左に振る、或いは小さく円を書く、等動作）を、例えば設定された時間内などにカメラ２０に向かって演奏者が動作する。このような動作を示す動作情報は、動作検知部９０により図２又は図３で説明した例えばＲＯＭ２８０に記録される。動作情報の具体例として、特定の被写体のある時間内での変位などが挙げられる。
【００６５】
この動作情報を演奏前に記録しておくようにする。これにより、その環境（光、形等）に応じて特殊な動作を記録することができ、その結果、誤認識を抑制することができる。この特定の被写体が、記録された動作情報に示される特殊な動作をした場合には、特殊な動作がされたことを示す情報を、信号出力部１００に出力する。この場合、信号出力部１００は、特定画像と割当部８０により音が割り当てられた領域とが重なり、かつ特殊な動作がされた場合に、該音を示す信号をスピーカ４０に出力することとなる。
【００６６】
以上説明したブロック図において、画像処理システム１としての最小構成は表示部３０及び動作検知部９０を除いた構成である。
【００６７】
次に、上述した検出部７０の詳細について、図６を用いて説明する。検出部７０は、色検出部７２、及び物体検出部７４で構成されている。色検出部７２は、特定の被写体として、動画像データ取得部５０から提供された画像から、予め定められた色の被写体を示す画像を検出する。例えば、予め定められた色が赤色の場合は、画像内の赤色の領域を検出する。なお、予め定められた色は複数でも良く、この場合は複数の領域が検出される。
【００６８】
一方、物体検出部７４は、動画像データ取得部５０から提供された画像から、予め定められた物体の被写体を示す画像を検出する。例えば、予め定められた物体として、演奏者の手、撥等が挙げられる。
【００６９】
なお、図６では、色検出部７２と物体検出部７４とが示されているが、いずれか一方のみを備えるようにしても良い。
【００７０】
上述した構成により実行される画像処理の概要を以下に説明する。図７は、上述した分割部６０により画像を複数の領域に分割し、物体検出部７４により物体を検出する場合の一例を示す図である。この例は、机の上にカメラ２０を置いた場合の例を示している。
【００７１】
同図に示されるように、まずカメラ２０を机の上に置くことで、机の縁を含む画像が得られる。その画像において、まず机の縁を水平線として認識する。この画像認識処理は、例えばエッジ検出等の一般的な画像認識技術を用いることで容易に実行できる処理である。なお、図中に示されるＲＯＩは、"Region Of Interest"を示している。
【００７２】
次に、分割部６０は、水平線を基準に画像を水平線に沿った方向に隣接した複数の領域（例えば３つの領域）に分割する。そして、領域特定部６５は、領域１〜３を演奏領域として特定する。割当部８０は、３つの領域に分割した場合には、領域１〜３の各々に、周波数が異なる音を順に割り当てる。図では、高音、中音、低音等の音階に応じた周波数の音が順に割り当てられている。これにより机上楽器が作成されたこととなる。なお、どの領域に対してどの音を割り当てるかを示す情報を予めＲＯＭ２８０に記憶しておき、それを用いて割当部８０が音を割り当てるようにしても良い。
【００７３】
検出部７０は特定の被写体として楽器演奏時に動作する、例えば指を示す特定画像を検出する。そして、信号出力部１００が、特定の被写体と音が割り当てられた領域とが重なった場合に、該音を示す信号をスピーカ４０に出力することで、音が鳴ることとなる。
【００７４】
図７に示すように、分割部６０により画像を複数の領域に分割し、かつ表示部３０が設けられている場合には、分割された領域の境界線をさらに表示するようにしても良い。
【００７５】
図８は、分割部６０による分割をせずに、領域特定部６５により演奏領域を特定する場合の一例を示す図である。この例は、机の上にカメラ２０を置き、さらに分割される領域が予め示されているシートを用いた場合の例を示している。
【００７６】
同図に示されるように、まずカメラ２０を机の上に置くことで、机の縁が含まれる画像が得られる。その画像において、まず机の縁を水平線として認識する。
【００７７】
次に、領域特定部６５は、シートに印刷等によって記録された領域の境界線を認識し、その境界線に沿って囲まれる複数の領域（図では３つ）を演奏領域として特定する。そして、割当部８０は、複数の分割領域の各々、例えば領域１〜３の各々に、周波数が異なる音を順に割り当てる。これにより机上楽器が作成されたこととなる。
【００７８】
検出部７０は特定の被写体として、上記と同様に指を示す特定画像を検出する。そして、信号出力部１００が、特定の被写体と音が割り当てられた領域とが重なった場合に、該音を示す信号をスピーカ４０に出力することで、音が鳴ることとなる。
【００７９】
次の図９は、図８におけるシートに代えて、プロジェクタ等の被写体に領域を描くことが可能な装置を用いた場合の例を示す図である。
【００８０】
この場合、カメラ２０により得られる画像は、シートを用いた場合であってもプロジェクタを用いた場合であっても同様なので、図９で実行される処理は図８で実行される処理と同じものとなる。
【００８１】
図１０は、領域特定部６５により演奏領域を特定し、物体検出部７４により色を示す画像を検出する場合の一例を示す図である。この例は、机の上にカメラ２０を置き、さらに色がついた物体を置いた場合の例を示している。
【００８２】
同図に示されるように、まずカメラ２０を机の上に置くことで、机の縁を含む画像が得られる。その画像において、まず机の縁を水平線として認識する。
【００８３】
次に、領域特定部６５は、色がついた物体及びその近傍を認識し、色がついた物体が存在する領域を演奏領域として特定する。割当部８０は、領域の各々に、周波数が異なる音を順に割り当てる。
【００８４】
検出部７０は特定の被写体として例えば手を示す特定画像を検出する。そして、信号出力部１００が、特定の被写体と音が割り当てられた領域とが重なった場合に、該音を示す信号をスピーカ４０に出力することで、音が鳴ることとなる。
【００８５】
次の図１１は、色つきの物体を置く位置を、図１０における机上に代えて、演奏者の服とした場合の例を示す図である。もっとも、演奏者の服に色つきの物体を置く（貼る）ようにしても良いが、同図に示されるように、予め着色された服を用いるようにしても良い。
【００８６】
この場合、カメラ２０により得られる画像は、机上に置いた場合であっても着色された服を用いた場合であっても同様なので、図１１で実行される処理は図１０で実行される処理と同じものとなる。
【００８７】
上述した処理概要では、机を用いたものとなっているが、上述した処理概要から分かるように、机に限らず、例えばカーテン等を用いても本実施の形態を実行可能なことは言うまでもない。
【００８８】
以上説明した画像処理の流れを画像処理装置１０によって実行されるプログラムを示すフローチャートを用いて説明する。以下に示されるフローチャートは、図２、図３で説明したシステムコントローラ２００又は並列画像処理演算ユニット２９０、及び各ロジックにより実行されるプログラムによる処理の流れを示している。図１２は、画像処理全体の流れを示すフローチャートである。
【００８９】
まず、ステップ１０１で、分割部６０、領域特定部６５、及び割当部８０により、動画像データにより表される画像を複数の領域に分割し、領域特定部６５により、その領域の中から演奏領域を特定し、演奏領域に音を割り当てる分割割当処理が実行される。この分割割当処理では、後述するように分割部６０により分割しない場合の処理も含まれる。
【００９０】
次のステップ１０２で、検出部７０により、カメラ２０により取得された動画像データが示す画像内に存在する特定の被写体を示す特定画像を検出する検出処理が実行される。そして、ステップ１０３で、信号出力部１００により、特定画像が演奏領域と重なった場合に、該音を示す信号をスピーカ４０に出力する信号出力処理が実行され、処理が終了する。
【００９１】
なお、このフローチャートでは、便宜的に分割割当処理の次に検出処理を行なうようになっているが、並行して実行した方が効率的である。すなわち、ソフトウェアで実行する場合は、この２つの処理の各々を別スレッドで起動して並行して処理を実行させるようにしても良い。
【００９２】
上述した各処理の詳細について説明する。図１３は、分割割当処理の詳細を示すフローチャートである。
【００９３】
まずステップ２０１で、動画像データ取得部５０からカメラ２０により取得された画像を取得する。次のステップ２０２で、領域の境界を示す複数の境界線が撮影されているかを判断することにより、被写体に予め示されている領域が存在するか否かを判定する。
【００９４】
ステップ２０３で、肯定判定した場合には、ステップ２０４に進み、否定判定した場合には、上述した所定のアルゴリズムに従って画像を水平線等の基準線に沿って隣接する複数の領域に例えば等間隔で分割して、ステップ２０４の処理に進む。
【００９５】
ステップ２０４で分割された領域、又は被写体に予め示されている領域の中から演奏領域を特定する。そして、ステップ２０５で、音階が構成されるように周波数が異なる音を各々の演奏領域に対して割り当てて、分割割当処理を終了する。
【００９６】
図１４は、検出処理の詳細を示すフローチャートである。この検出処理は特定画像を検出する処理であるが、特定画像の検出には、予め定められた色の被写体を用いた検出と、予め定められた物体の被写体を用いた検出がある。具体的に、例えば手を用いて演奏する場合、手の色（肌色）の被写体を用いて検出する場合と、手の形の被写体を用いて検出する場合とがある。
【００９７】
まずステップ３０１で、動画像データ取得部５０からカメラ２０により取得された画像を取得する。次のステップ３０２で、特定の被写体として、予め定められた色の被写体、及び予め定められた物体の被写体のいずれか一方、又は両方を用いて処理をするかにより分岐する。例えば、手を用いて演奏する場合には、肌色の被写体を検出するか、或いは手の形をした被写体を検出するか、或いは肌色で手の形をした被写体を検出するかのいずれかの検出を行なうこととなる。
【００９８】
まず、特定の被写体として、予め定められた色の被写体を用いて処理をする場合には、ステップ３０３で、予め定められた色と同じ色を持つ画像を特定画像として検出して処理を終了する。一方、特定の被写体として、予め定められた物体の被写体を用いて処理をする場合には、ステップ３０６で、予め定められた物体と同じ物体を示す画像を特定画像として検出して処理を終了する。
【００９９】
そして、両方を用いて処理をする場合には、ステップ３０４で、まず予め定められた色と同じ色を持つ画像を検出し、次のステップ３０５で、検出した画像のうち、予め定められた物体と同じ物体を示す画像を特定画像として検出して処理を終了する。この検出処理は、カメラ２０により取得される画像（フレーム）毎に行なっても良いし、数フレーム毎に行なうようにしても良い。
【０１００】
図１５は、信号出力処理の詳細を示すフローチャートである。まず、ステップ４０１で、検出処理により検出された特定画像、及び分割割当処理により特定された特定領域を取得する。具体的には、特定画像の領域を示す情報と、特定された各々の演奏領域を示す情報を取得する。例えば画像全体をＸＹ座標とした場合、領域を示す情報はＸＹ座標の座標値を用いた情報となる。
【０１０１】
次のステップ４０２で、特定画像が演奏領域に重なったか否か判定し、肯定判定した場合には、ステップ４０３で領域に割り当てられている音を示す信号をスピーカ４０に出力して再びステップ４０２の処理に戻る。音が割り当てられていない領域の場合には、当然に信号は出力されない。一方、ステップ４０２で否定判定した場合も再びステップ４０２の処理に戻る。
【０１０２】
なお、この信号出力処理において、例えば演奏者がある操作をした場合、或いは画像処理装置１０にユーザインタフェースを設けて、ある入力がされた場合に処理を終了するようにしても良い。
【０１０３】
図１６は、上述した知育玩具として本実施の形態に係る画像処理システムを提供する場合の信号出力処理を示すフローチャートである。
【０１０４】
ステップ５０１は、上述したステップ４０１の処理において取得した特定画像、及び分割割当処理により分割された領域に加え、領域の色を取得する。これにより各々の領域と色が関連づけられる。次のステップ５０２で、特定画像が領域に重なったか否か判定し、肯定判定した場合には、ステップ５０３で領域の色に対応する音声を示す信号をスピーカ４０に出力して再びステップ５０２の処理に戻る。一方、ステップ５０２で否定判定した場合も再びステップ４０２の処理に戻る。
【０１０５】
以上説明した実施の形態において、まず被写体には、分割される領域が予め示されている場合と、そうではない場合の２通りの実施形態が存在する。また、表示部３０が設けられている場合と、そうではない場合の２通りの実施形態が存在する。
【０１０６】
さらに、特定の被写体として、予め定められた色の被写体、及び予め定められた物体の被写体のうちの少なくとも一方を用いることで、３通り（色、物体、両方）の実施形態が存在する。また、上述した動作検知部９０が設けられている場合と、そうではない場合の２通りの実施形態が存在する。
【０１０７】
従って、本実施の形態では、２×２×３×２＝２４通りの実施形態が存在することとなる。
【０１０８】
そして、被写体に、分割される領域が予め示されている実施形態では、演奏者が演奏しやすい領域を上述したシートなどにより予め示しておくことで、より演奏しやすくすることが可能となる。一方、被写体に、分割される領域が予め示さない実施形態では、そのような被写体を用意することなく演奏することができる。
【０１０９】
表示部３０が設けられている実施形態では、演奏者が表示部３０を視認しながら演奏可能となるので、より演奏をしやすくすることができる。一方、表示部３０が設けられていない実施形態では、表示部３０を用意することなく演奏することができる。
【０１１０】
特定の被写体として、予め定められた色の被写体を用いる実施形態では、例えば手を用いて演奏する場合、色を肌色としておくことで、より確実に特定画像を検出することができる。特に手を使った音やメロディの演奏においては、予め定められた物体を用いた場合よりもロバスト性が確保される。
【０１１１】
また、特定の被写体として、予め定められた物体の被写体を用いる実施形態では、例えば撥など種々の物体を用いて演奏することが可能となる。さらに、予め定められた色の被写体、及び予め定められた物体の両方を用いた実施形態では、いずれか一方のみでは誤認識の可能性があるが（例えば、色だけだと動きが殆どないものに対する誤動作の可能性もある）、両方を用いることで、操作に対してロバスト性が確保された画像処理システムを提供できる。
【０１１２】
また、動作検知部９０について、特許文献２の技術では、入力エリアに所定の入力パターンに相当する絵を表示装置上に描かなければ実現できないという欠点があり、その描画装置上の描画領域が演奏領域として使えないという欠点があった。また、例えば、指の形の画像が検出するパターンと同じ形状（或いは色）をしていなければ楽器が鳴らないという、撮影時の環境に対するロバスト性が低いという欠点があった。
【０１１３】
これに対し、動作検知部９０により、手や演奏をする道具の色や動きを演奏直前の特定時間内に画像処理システム１に記憶させることが可能となるため、特許文献２に記載の技術のように入力エリアに所定の入力パターンに相当する絵を表示装置上に描く必要が無く、演奏するための領域の自由度が増し、かつ、演奏直前に、手や演奏をする道具の色、動き、或いは両方の検知をする基準をその場の照明環境やカメラに対する手や演奏をする道具のその時々のコンディションに対する固有の写りかたに設定できるため、特許文献２に開示された技術の欠点であった、指の形の映像パターンが検出パターンと同じ形状（或いは色）をしていなければ楽器が鳴らないという、撮影時の環境に対するロバストネスを解消することができる。
【０１１４】
例えば、その場の照明の色や明るさ、外光の入り方で、そのときのカメラで写る実際の映像（色、形）がかなり異なるが、どのような光線環境、写り方になるようになっていたとしても演奏直前に検出する動作の検知が可能となる。
【０１１５】
また、本実施の形態によれば、実際のカメラでは、カメラの方向などによって、指を二本出していても一本にしかカメラは見えないことがあるが、画像処理システム１では、指が一本でも二本でも、指らしいと判断して音やメロディを鳴らすことが可能となる。
【０１１６】
このように、本実施の形態に係る画像処理システム１は、演奏者が演奏をしやすいシステムであり、また利便性、汎用性が高く、高度な楽器演奏が可能となるシステムである。さらに、本実施の形態に係る画像処理システム１は、上述したように、ロバスト性が確保された優れたシステムである。
【０１１７】
なお、上述した実施の形態で示した各フローチャートの処理の流れ（図１２〜図１６）は一例であり、本発明の主旨を逸脱しない範囲内で適宜変更することができることも言うまでもない。
【符号の説明】
【０１１８】
１ 画像処理システム
１０ 画像処理装置
２０ カメラ
３０ 表示部
５０ 動画像データ取得部
６０ 分割部
６５ 領域特定部
７０ 検出部
７２ 色検出部
７４ 物体検出部
２００ システムコントローラ
２０１ ＣＰＵ
２０２、２４２、２７０、２９２ ＲＡＭ
２０３、２８０ ＲＯＭ
２１０ 音制御ロジック
２２０ 画像処理ロジック
２３０ 画素情報変換ロジック
２４０ 認識部
２４１ 高速画像認識演算専用ロジック
２６０ 表示制御ロジック
２９０ 並列画像処理演算ユニット
２９１ ＤＳＰ
【技術分野】
【０００１】
本発明は、画像処理システム、及び画像処理プログラムに係り、特に、画像を用いて音を出力する画像処理システム、及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、画像を用いて音を出力する装置が開示されている。例えば、特許文献１には、複数のクロマキー像によるポインティング操作を行うことができる画像制御装置が開示されている。特許文献１に開示された装置では、目立つ色に着色された手袋、靴下の色を抽出、記憶し、その抽出色が、モニタ画面上に映るビデオ画像の背景に表示された選択楽器の割り当て領域に入った場合、その選択楽器の音が鳴り、かつ、その割り当て領域に入った抽出色ピクセル群の重心と、割り当て領域に入った抽出色ピクセル群の重心との距離により音の強さをコントロールするようになっている。
【０００３】
また、特許文献２には、画面上に示された楽器を鳴らすための記号パターンを示す絵が前もって複数示されていて、それらのひとつを選択した場合、例えば、指の形のパターンを選択した場合、指の形をした映像が楽器を鳴らすための領域である追跡エリアと呼んでいる領域に入った場合に、所定の楽器音が鳴るようにした技術が開示されている。
【０００４】
特許文献２の技術では、表示画面上に設定された複数の入力エリアに、予め選択するための画像パターンが表示されており、前記複数の入力エリアのいずれかを選択することにより、選択された入力エリアに表示されている前記画像パターンが所定のパターンとして指定される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−９２９８０号公報
【特許文献２】特開２００３−２０２８３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された技術では、パターン検出領域を予め画面上に割り当ててあるため、例えば、パターン検出領域が画面上の両側にあるような場合、動画画像は、必ず（操作の都合で）画面中央に映るようにする必要があり、かつ、人物も左右のパターン検出領域を操作し易い大きさに映らなければならない。すなわち、カメラの方向、カメラからの距離、演奏者の立ち位置は、一義的に決まってしまい、それ以外の位置に楽器演奏者が存在するようにカメラが配置された場合は演奏ができないか支障が生ずるという欠点がある。
【０００７】
また、特許文献２に開示された技術では、入力エリア、及び追跡エリアが、予め画面上に割り当ててあるため、動画画像は、必ず（操作の都合を考えて）画面の入力エリア、及び追跡エリアを避けるような位置に映るようにする必要があり、かつ、人物もそれら入力エリア、及び追跡エリアを操作しやすい大きさに映らなければならない。すなわち、カメラの方向、カメラからの距離、演奏者の立ち位置は、あらかじめ描画された表示が存在するため、一義的に決まってしまい、それ以外の位置に楽器演奏者がいるようにカメラが配置された場合は演奏ができないか支障が生ずるという欠点がある。
【０００８】
また、特許文献２に開示された技術では、入力エリアに所定の入力パターンに相当する絵を表示装置上に描かなければ、この発明を実現できないという欠点があり、その描画装置上の描画領域が演奏領域として使えないという欠点があった。
【０００９】
さらに、特許文献２に開示された技術では、例えば、指の形の映像パターンが検出パターンと同じ形状（或いは色）をしていなければ楽器が鳴らないという、撮影時の環境に対するロバストネスが低いという欠点がある。具体的に、例えば、実際のカメラでは、カメラの方向などによって、指を二本出していても一本にしかカメラには見えないことがあるので、指が一本でも二本でも、指らしいと装置が判断して音を鳴らしたり、或いは照明の明るさ、色に対する使っているカメラでどういう色、形で実際は写るのかがかなり異なるので、どのような光線環境、写り方によっても必ず、指定の認識ができるとは言えないという欠点があった。
【００１０】
このように、従来の技術では、楽器を演奏するために必要な操作子を認識するためのパターンの選択メニューや、演奏定義領域を画面上にあらかじめ固定して描画する必要があった。また、実際に動画として画面に映る映像は全く独立したものであり、画面に固定された表示にかからないようにカメラを設定したり、メニューを操作しやすい位置に人物が来るようにカメラ位置を調整しなければならないという問題があった。
【００１１】
すなわち、カメラの位置や演奏者とカメラとの距離、及び演奏者の立ち位置が制約されるという問題点があった。
【００１２】
本発明は上記問題点に鑑み、カメラの位置や演奏者とカメラとの距離、及び演奏者の立ち位置の制約を低減した画像処理システム、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、請求項１の発明は、被写体を撮影することで、該被写体を示す動画像データを取得する取得手段と、前記取得手段により取得された動画像データが示す画像内に予め定められた音を発生させるための１つ以上の演奏領域を特定する領域特定手段と、前記取得手段により取得された動画像データが示す画像内に存在する特定の被写体を示す特定画像を検出する検出手段と、前記領域特定手段により特定された演奏領域毎に、前記検出手段により検出された特定画像が該演奏領域に重なった場合に出力する音を割り当てる割当手段と、前記特定画像が前記演奏領域と重なった場合に、前記割当手段により該演奏領域に割り当てられた音を示す信号を出力する信号出力手段と、を有する。
【００１４】
請求項１の発明によれば、取得手段により、被写体を撮影することで、該被写体を示す動画像データを取得し、領域特定手段により、前記取得手段により取得された動画像データが示す画像内に予め定められた音を発生させるための１つ以上の演奏領域を特定し、検出手段により、前記取得手段により取得された動画像データが示す画像内に存在する特定の被写体を示す特定画像を検出し、割当手段により、前記領域特定手段により特定された演奏領域毎に、前記検出手段により検出された特定画像が該演奏領域に重なった場合に出力する音を割り当て、信号出力手段により、前記特定画像が前記演奏領域と重なった場合に、前記割当手段により該演奏領域に割り当てられた音を示す信号を出力する。このように、請求項１の発明は、カメラの位置や演奏者とカメラとの距離及び演奏者の立ち位置には関係なく、被写体を示す画像内の領域に音を割り当てるので、カメラの位置や演奏者とカメラとの距離、及び演奏者の立ち位置の制約を低減することができる。
【００１５】
また、請求項２の発明は、請求項１の発明において、前記取得手段により取得された動画像データが示す画像を複数の領域に分割する分割手段をさらに有し、前記領域特定手段は、前記分割手段により分割された領域の中から、前記予め定められた音を発生させるための１つ以上の演奏領域を特定する。
【００１６】
請求項２の発明によれば、自動的に演奏領域を分割することができるので、より簡単に演奏することが可能となる。
【００１７】
また、請求項３の発明は、請求項１又は請求項２に記載の発明において、前記割当手段は、複数の前記演奏領域に音を割り当てる場合に、複数の演奏領域の各々に周波数が異なる音の各々を順に割り当てる。
【００１８】
請求項３の発明によれば、複数の演奏領域の各々に周波数が異なる音の各々を順に割り当てることにより、異なる音の各々を示す信号を出力することができる。
【００１９】
また、請求項４の発明は、請求項１〜請求項３のいずれか１項に記載の発明において、前記取得手段により取得された動画像データが示す画像を表示する表示手段をさらに有する。
【００２０】
請求項４の発明によれば、演奏者が表示手段を視認しながら演奏可能となるので、より演奏者が演奏をしやすくすることができる。
【００２１】
また、請求項５の発明は、請求項１〜請求項４のいずれか１項に記載の発明において、前記表示手段は、前記演奏領域の境界線をさらに表示する。
【００２２】
請求項５の発明によれば、表示手段に境界線をさらに表示することにより、演奏者が境界線を視認することが可能となるので、より演奏をしやすくすることができる。
【００２３】
また、請求項６の発明は、請求項１〜請求項５のいずれか１項に記載の発明において、前記被写体には、前記領域特定手段により特定される演奏領域が予め示されており、前記領域特定手段は、該被写体に示される領域の中から、前記予め定められた音を発生させるための１つ以上の演奏領域を特定する。
【００２４】
請求項６の発明によれば、演奏者が演奏しやすい領域を被写体として予め示しておくことで、より演奏者が演奏しやすくすることが可能となる。
【００２５】
請求項７の発明は、請求項１〜請求項６のいずれか１項に記載の発明において、前記特定の被写体は、予め定められた色の被写体、及び予め定められた物体の被写体のうちの少なくとも一方の被写体である。
【００２６】
請求項７の発明によれば、予め定められた色の被写体、及び予め定められた物体のうちの少なくとも一方の被写体を特定の被写体とすることができる。
【００２７】
請求項８の発明は、請求項１〜請求項７のいずれか１項に記載の発明において、前記特定の被写体の動作を、前記検出手段により検出された特定画像により検知する動作検知手段と、前記動作検知手段により検知された前記特定の被写体の動作を示す動作情報を記録する記録手段と、をさらに有し、前記信号出力手段は、前記特定画像が前記割当手段により音が割り当てられた領域に重なり、かつ前記動作検知手段により検知された前記特定の被写体の動きが、前記記録手段により記録された動作情報が示す動作の場合に、音を示す信号を出力する。
【００２８】
請求項８の発明によれば、特定画像が演奏領域に重なり、かつ前記動作検知手段により検知された前記特定の被写体の動きが、前記記録手段により記録された動作情報が示す動作の場合に、音を示す信号を出力することで、誤認識による信号の発生を抑制することができる。
【００２９】
請求項９の発明は、請求項１〜請求項８のいずれか１項に記載の発明において、前記信号出力手段により出力された信号に応じて音を出力する音出力手段をさらに有する。
【００３０】
請求項９の発明によれば、演奏者は実際の音を聞くことが可能となる。
【００３１】
上記目的を達成するために、請求項１０に記載の発明は、コンピュータを、コンピュータを、被写体を撮影することで、該被写体を示す動画像データを取得する取得手段により取得された動画像データが示す画像内に予め定められた音を発生させるための１つ以上の演奏領域を特定する領域特定手段と、前記取得手段により取得された動画像データが示す画像内に存在する特定の被写体を示す特定画像を検出する検出手段と、前記領域特定手段により特定された演奏領域毎に、前記検出手段により検出された特定画像が該演奏領域に重なった場合に出力する音を割り当てる割当手段と、前記特定画像が前記演奏領域と重なった場合に、前記割当手段により該演奏領域に割り当てられた音を示す信号を出力する信号出力手段と、して機能させるための画像処理プログラムである。
【００３２】
請求項１０の発明は、請求項１の発明と同様に作用するので、請求項１の発明と同様の効果が得られる。
【発明の効果】
【００３３】
本発明によれば、カメラの位置や演奏者とカメラとの距離、及び演奏者の立ち位置の制約を低減した画像処理システム、及び画像処理プログラムを提供することができる、という効果が得られる。
【図面の簡単な説明】
【００３４】
【図１】本実施の形態に係る画像処理システムを示す図である。
【図２】画像処理装置のハードウェア構成例を示す図である（その１）。
【図３】画像処理装置のハードウェア構成例を示す図である（その２）。
【図４】画像処理システムの機能ブロック図である。
【図５】特定の被写体の動作例を示す図である。
【図６】検出部の詳細を示す図である。
【図７】分割部により画像を複数の領域に分割し、物体検出部により物体を検出する場合の一例を示す図である。
【図８】分割部による分割をせずに、領域特定部により演奏領域を特定する場合の一例を示す図である。
【図９】プロジェクタ等の被写体に領域を描くことが可能な装置を用いた場合の例を示す図である。
【図１０】領域特定部により演奏領域を特定し、物体検出部により色を示す画像を検出する場合の一例を示す図である。
【図１１】色つきの物体を置く位置を机上に代えて、演奏者の服とした場合の例を示す図である。
【図１２】画像処理全体の流れを示すフローチャートである。
【図１３】分割割当処理の詳細を示すフローチャートである。
【図１４】検出処理の詳細を示すフローチャートである。
【図１５】信号出力処理の詳細を示すフローチャートである（その１）。
【図１６】信号出力処理の詳細を示すフローチャートである（その２）。
【発明を実施するための形態】
【００３５】
以下、図面を参照して、本発明を実施するための最良の形態について詳細に説明する。
【００３６】
図１は、本実施の形態に係る画像処理システム１を示す図である。図１には、画像処理装置１０、動画を撮影するカメラ２０、表示部３０、及びスピーカ４０が示されている。
【００３７】
画像処理装置１０は、画像処理システム１全体を制御するもので、カメラ２０と接続するための端子（ＵＳＢ端子等）、スピーカ４０と接続するための音声出力端子、及び表示部３０と接続するための端子（ＤＶＩ端子等）が設けられている。
【００３８】
カメラ２０は、被写体を撮影することで、該被写体を示す動画像データを取得するもので、ビデオカメラ、或いは動画撮影可能なデジタルカメラなどのカメラである。表示部３０は、カメラ２０により取得された動画像データが示す画像を表示する液晶ディスプレイなどの表示部である。スピーカ４０は、画像処理装置１０から出力された信号に応じて音を出力する。
【００３９】
なお、図１において本発明に係る画像処理システム１としての最小構成は画像処理装置１０とカメラ２０からなる構成である。
【００４０】
次に、上記画像処理装置１０の２種類のハードウェア構成について説明する。図２は、画像処理装置１０のハードウェア構成例（その１：ハードウェアアクセラレータタイプ）を示す図である。画像処理装置１０は、システムコントローラ２００、音制御ロジック２１０、画像処理ロジック２２０、画素情報変換ロジック２３０、画像認識部２４０、表示制御ロジック２６０、ＲＡＭ（Random Access Memory）２７０、ＲＯＭ（Read Only Memory）２８０、及びそれらを接続するバスを含んで構成される。
【００４１】
このうち、ＲＡＭ２７０は、画像処理装置１０の各回路で用いられる一時的な情報が記憶される。また、ＲＯＭ２８０は、システムコントローラ２００を動作させるためのプログラム、音や音楽等の種類、所定の物体の形や特徴等を示す情報が記憶される。
【００４２】
また、上記システムコントローラ２００は、ＣＰＵ（Central Processing Unit）２０１、ＲＡＭ２０２、ＲＯＭ２０３を含んで構成される。このシステムコントローラ２００は、ＲＯＭ２８０からＲＡＭ２０２に転送されたプログラムに従って画像処理装置１０の全体を制御する。ＲＡＭ２０２には、上記プログラム、及び各回路ブロックの制御に関わる一時的な情報が記憶される。ＲＯＭ２０３には、画像を認識するための認識アルリズムを外部からハッキングされないためのＩＤ情報が記憶される。なお、システムコントローラ２００を動作させるためのプログラムを、上述したＲＯＭ２８０に記憶せずに、ＲＯＭ２０３に記憶しておくようにしても良い。
【００４３】
また、システムコントローラ２００は、音制御ロジック２１０に対して、領域に割り当てられた音や音楽、楽器等の種類などを示すコードや、音や音楽を発生させるためのタイミング情報を出力する。
【００４４】
音制御ロジック２１０は、ＲＯＭ２８０に記憶された音に関する情報（ＭＩＤＩ情報や音声波形情報）をシステムコントローラ２００から入力されたコードに従って、スピーカ４０により発生させるための信号を作成する。このとき、音制御ロジック２６０による処理で用いられる一時的な情報の記憶にＲＡＭ２７０が用いられる。
【００４５】
画像処理ロジック２２０は、カメラ２０から出力されたビデオ信号が示す画像に対して、ノイズを除去したり、エッジを強調してよりはっきりとした認識しやすい画面にするようにビデオ信号を補正し、補正されたビデオ信号を画素情報変換ロジック２３０に出力する。このとき、画像処理ロジック２２０による処理で用いられる一時的な情報の記憶にＲＡＭ２７０が用いられる。
【００４６】
画素情報変換ロジック２３０は、画像処理ロジック２２０から出力されたビデオ信号から、画像認識部２４０で扱うための素材情報を抽出する。この素材情報は、各画素の様々なパラメータ情報や、その画素の画面上の位置情報である。パラメータ情報の具体例として、明度情報、彩度情報、色相情報、輝度情報など色に関する情報や、画面間の差（遅延）を利用して得られる画素の動き成分（ベクトル情報）が挙げられる。
【００４７】
画像認識部２４０では、高速画像認識演算専用ロジック２４１により、ＲＯＭ２８０に記憶されたプログラムに従って画像認識が行なわれる。高速画像認識演算専用ロジック２４１による画像認識の例として、入力された輝度情報を二値化することでビデオ信号が示す画像における境界線、線成分を抽出する処理が挙げられる。
【００４８】
また、高速画像認識演算専用ロジック２４１は、抽出した線成分で囲われる同じ色の物体に番号をつけて物体を提起したり（グルーピング）、その物体の位置が過去と比較してどのように変わっていったのか、或いはどの方向に動いているのかを認識したりする。
【００４９】
さらに、高速画像認識演算専用ロジック２４１は、上記ＲＯＭ２８０に記憶された所定の物体の形や特徴等を示す情報を用いて、現在注目している物体の形や特徴がどの程度似ているかなどを演算する。
【００５０】
画像認識部２４０は、上述した高速画像認識演算専用ロジック２４１による処理の認識結果を示す情報が重畳されたビデオ信号を表示制御ロジック２６０に出力する。例えば、注目する動作に四角や丸などのマークが描かれた画像を示すビデオ信号が出力される。
【００５１】
また、画像認識部２４０のＲＡＭ２４２は、高速画像認識演算専用ロジック２４１による処理で用いられる一時的な情報が記憶される。
【００５２】
表示制御ロジック２６０は、入力されたビデオ信号が示す画像に、文字や枠、メニュー等の説明を重畳し、その画像を示すビデオ信号を表示装置に出力する。
【００５３】
以上説明した図２に示されるハードウェアアクセラレータタイプに代えて、図３に示されるハードウェア構成を用いても良い。図３は、画像処理装置１０のハードウェア構成例（その２：多数ＤＳＰ（Digital Signal Processor）の並列演算タイプ）を示す図である。図３に示されるハードウェア構成は、図２で説明した画素情報変換ロジック２３０及び画像認識部２４０に代えて、並列画像処理演算ユニット２９０を設けた点が異なる。この図３において、図２で説明されたブロックと同じブロックには同じ符号が付与されており、処理内容も同一であるので説明を省略する。
【００５４】
画像処理演算ユニット２９０は、ＤＳＰ２９１とＲＡＭ２９２で一組のＤＳＰユニットが多数設けられたユニットであり、ＲＡＭ２９２は、ＤＳＰ２９１による処理で用いられる一時的な情報が記憶される。
【００５５】
図３に示されるように、画像処理ロジック２２０から出力されたビデオ信号は、並列画像処理演算ユニット２９０に入力され、並列画像処理演算ユニット２９０において、図２で説明した画素情報変換ロジック２３０及び画像認識部２４０による処理がビデオ信号に対して行なわれ、その信号が表示制御ロジック２６０に出力される。
【００５６】
以上説明した２種類の構成のうち、図２に示されるハードウェアアクセラレータタイプのメリットとして、画像処理を専用カスタムロジックで行うので、より高速、低消費電力の装置（ＬＳＩ（Large Scale Integration））が実現でき、また専用ロジックであるため、回路が最適化されているため小チップ面積（ローコスト）のＬＳＩが実現できることが挙げられ、デメリットとしては、専用カスタムロジックであるため、汎用性に欠けるということが挙げられる。
【００５７】
一方の図３に示される多数ＤＳＰの並列演算タイプのメリットとして、汎用性が高く、様々な画像認識に対応可能であることが挙げられ、デメリットとして汎用性を高めるため、多くのＤＳＰを使うので、ＬＳＩのチップ面積が大きくなり（コストが高くなる)、また専用ロジックでできていないため、無駄に動作する部分が発生し、専用ロジックほどの高速化実現には大消費電力必要となることが挙げられる。
【００５８】
次の図４は、画像処理システム１の画像認識部２４０又は並列画像処理演算ユニット２９０による画像処理を機能ブロックで表した場合のブロック図である。同図には、カメラ２０、動画像データ取得部５０、分割部６０、領域特定部６５、検出部７０、割当部８０、動作検知部９０、信号出力部１００、表示部３０、及びスピーカ４０が示されている。
【００５９】
このうち、動画像データ取得部５０は、カメラ２０が撮影した被写体を示す動画像データをカメラ２０より取得して、分割部６０及び検出部７０に動画像データを提供する。分割部６０は、カメラ２０により取得された動画像データが示す画像を複数の領域に分割する。具体的に、分割部６０は、動画像データが示す画像を、予め定められたアルゴリズムに従って複数の領域に分割する。予め定められたアルゴリズムとは、例えば画像の左端から右端までをｎ（ｎは自然数）等分、例えば３等分に分割する、等のアルゴリズムである。
【００６０】
領域特定部６５は、動画像データ取得部５０により動画像データが示す画像内に予め定められた音を発生させるための１つ以上の演奏領域を特定する。また、分割部６０により複数の領域に分割された画像が出力された場合には、分割部６０により分割された領域の中から、予め定められた音を発生させるための１つ以上の演奏領域を特定する。
【００６１】
検出部７０は、カメラ２０により取得された動画像データが示す画像内に存在する特定の被写体を示す特定画像を検出する。この特定画像の検出には、予め定められた色、予め定められた物体が用いられるが、色の場合は画素値により特定でき、物体の場合は例えばパターンマッチングにより該当する物体を特定することができる。
【００６２】
割当部８０は、領域特定部６５により特定された演奏領域毎に、検出部７０により検出された特定画像が該演奏領域に重なった場合に出力する音を割り当てる。さらに、割当部８０は、複数の領域に音を割り当てる場合に、該複数の領域の各々に周波数が異なる音の各々を順に割り当てる。例えば、ｎ（ｎは２以上の整数）個の領域に分割された場合には、１個目の領域には音を割り当てず、２個目の領域から順に異なる音の各々を順に割り当てるようにしても良い。
【００６３】
信号出力部１００は、特定画像が演奏領域と重なった場合に、割当部８０により該演奏領域に割り当てられた音を示す信号をスピーカ４０に出力する。本実施の形態に係る音は、メロディ、曲、音声なども含まれる。音声は、例えば後述するように色で領域を分割した場合に、その色の名前を音とすることができる（赤色であれば「あか」、或いは「ＲＥＤ」等）。この場合、本実施の形態に係る画像処理装置を知育玩具や学習機器として提供することができる。
【００６４】
動作検知部９０は、特定の被写体の特殊な動作を、検出部７０により検出された特定画像により検知する。ここでの特殊な動作について、図５を用いて説明する。図５は、特定の被写体の特殊な動作例を示す図である。同図に示されるように、矩形で示されるある領域内で、動作のパターン（特定の被写体（例えば、手や、撥などの演奏道具）を横に小刻みに高速で振る、小さく上下に振る、右、或いは左に振る、或いは小さく円を書く、等動作）を、例えば設定された時間内などにカメラ２０に向かって演奏者が動作する。このような動作を示す動作情報は、動作検知部９０により図２又は図３で説明した例えばＲＯＭ２８０に記録される。動作情報の具体例として、特定の被写体のある時間内での変位などが挙げられる。
【００６５】
この動作情報を演奏前に記録しておくようにする。これにより、その環境（光、形等）に応じて特殊な動作を記録することができ、その結果、誤認識を抑制することができる。この特定の被写体が、記録された動作情報に示される特殊な動作をした場合には、特殊な動作がされたことを示す情報を、信号出力部１００に出力する。この場合、信号出力部１００は、特定画像と割当部８０により音が割り当てられた領域とが重なり、かつ特殊な動作がされた場合に、該音を示す信号をスピーカ４０に出力することとなる。
【００６６】
以上説明したブロック図において、画像処理システム１としての最小構成は表示部３０及び動作検知部９０を除いた構成である。
【００６７】
次に、上述した検出部７０の詳細について、図６を用いて説明する。検出部７０は、色検出部７２、及び物体検出部７４で構成されている。色検出部７２は、特定の被写体として、動画像データ取得部５０から提供された画像から、予め定められた色の被写体を示す画像を検出する。例えば、予め定められた色が赤色の場合は、画像内の赤色の領域を検出する。なお、予め定められた色は複数でも良く、この場合は複数の領域が検出される。
【００６８】
一方、物体検出部７４は、動画像データ取得部５０から提供された画像から、予め定められた物体の被写体を示す画像を検出する。例えば、予め定められた物体として、演奏者の手、撥等が挙げられる。
【００６９】
なお、図６では、色検出部７２と物体検出部７４とが示されているが、いずれか一方のみを備えるようにしても良い。
【００７０】
上述した構成により実行される画像処理の概要を以下に説明する。図７は、上述した分割部６０により画像を複数の領域に分割し、物体検出部７４により物体を検出する場合の一例を示す図である。この例は、机の上にカメラ２０を置いた場合の例を示している。
【００７１】
同図に示されるように、まずカメラ２０を机の上に置くことで、机の縁を含む画像が得られる。その画像において、まず机の縁を水平線として認識する。この画像認識処理は、例えばエッジ検出等の一般的な画像認識技術を用いることで容易に実行できる処理である。なお、図中に示されるＲＯＩは、"Region Of Interest"を示している。
【００７２】
次に、分割部６０は、水平線を基準に画像を水平線に沿った方向に隣接した複数の領域（例えば３つの領域）に分割する。そして、領域特定部６５は、領域１〜３を演奏領域として特定する。割当部８０は、３つの領域に分割した場合には、領域１〜３の各々に、周波数が異なる音を順に割り当てる。図では、高音、中音、低音等の音階に応じた周波数の音が順に割り当てられている。これにより机上楽器が作成されたこととなる。なお、どの領域に対してどの音を割り当てるかを示す情報を予めＲＯＭ２８０に記憶しておき、それを用いて割当部８０が音を割り当てるようにしても良い。
【００７３】
検出部７０は特定の被写体として楽器演奏時に動作する、例えば指を示す特定画像を検出する。そして、信号出力部１００が、特定の被写体と音が割り当てられた領域とが重なった場合に、該音を示す信号をスピーカ４０に出力することで、音が鳴ることとなる。
【００７４】
図７に示すように、分割部６０により画像を複数の領域に分割し、かつ表示部３０が設けられている場合には、分割された領域の境界線をさらに表示するようにしても良い。
【００７５】
図８は、分割部６０による分割をせずに、領域特定部６５により演奏領域を特定する場合の一例を示す図である。この例は、机の上にカメラ２０を置き、さらに分割される領域が予め示されているシートを用いた場合の例を示している。
【００７６】
同図に示されるように、まずカメラ２０を机の上に置くことで、机の縁が含まれる画像が得られる。その画像において、まず机の縁を水平線として認識する。
【００７７】
次に、領域特定部６５は、シートに印刷等によって記録された領域の境界線を認識し、その境界線に沿って囲まれる複数の領域（図では３つ）を演奏領域として特定する。そして、割当部８０は、複数の分割領域の各々、例えば領域１〜３の各々に、周波数が異なる音を順に割り当てる。これにより机上楽器が作成されたこととなる。
【００７８】
検出部７０は特定の被写体として、上記と同様に指を示す特定画像を検出する。そして、信号出力部１００が、特定の被写体と音が割り当てられた領域とが重なった場合に、該音を示す信号をスピーカ４０に出力することで、音が鳴ることとなる。
【００７９】
次の図９は、図８におけるシートに代えて、プロジェクタ等の被写体に領域を描くことが可能な装置を用いた場合の例を示す図である。
【００８０】
この場合、カメラ２０により得られる画像は、シートを用いた場合であってもプロジェクタを用いた場合であっても同様なので、図９で実行される処理は図８で実行される処理と同じものとなる。
【００８１】
図１０は、領域特定部６５により演奏領域を特定し、物体検出部７４により色を示す画像を検出する場合の一例を示す図である。この例は、机の上にカメラ２０を置き、さらに色がついた物体を置いた場合の例を示している。
【００８２】
同図に示されるように、まずカメラ２０を机の上に置くことで、机の縁を含む画像が得られる。その画像において、まず机の縁を水平線として認識する。
【００８３】
次に、領域特定部６５は、色がついた物体及びその近傍を認識し、色がついた物体が存在する領域を演奏領域として特定する。割当部８０は、領域の各々に、周波数が異なる音を順に割り当てる。
【００８４】
検出部７０は特定の被写体として例えば手を示す特定画像を検出する。そして、信号出力部１００が、特定の被写体と音が割り当てられた領域とが重なった場合に、該音を示す信号をスピーカ４０に出力することで、音が鳴ることとなる。
【００８５】
次の図１１は、色つきの物体を置く位置を、図１０における机上に代えて、演奏者の服とした場合の例を示す図である。もっとも、演奏者の服に色つきの物体を置く（貼る）ようにしても良いが、同図に示されるように、予め着色された服を用いるようにしても良い。
【００８６】
この場合、カメラ２０により得られる画像は、机上に置いた場合であっても着色された服を用いた場合であっても同様なので、図１１で実行される処理は図１０で実行される処理と同じものとなる。
【００８７】
上述した処理概要では、机を用いたものとなっているが、上述した処理概要から分かるように、机に限らず、例えばカーテン等を用いても本実施の形態を実行可能なことは言うまでもない。
【００８８】
以上説明した画像処理の流れを画像処理装置１０によって実行されるプログラムを示すフローチャートを用いて説明する。以下に示されるフローチャートは、図２、図３で説明したシステムコントローラ２００又は並列画像処理演算ユニット２９０、及び各ロジックにより実行されるプログラムによる処理の流れを示している。図１２は、画像処理全体の流れを示すフローチャートである。
【００８９】
まず、ステップ１０１で、分割部６０、領域特定部６５、及び割当部８０により、動画像データにより表される画像を複数の領域に分割し、領域特定部６５により、その領域の中から演奏領域を特定し、演奏領域に音を割り当てる分割割当処理が実行される。この分割割当処理では、後述するように分割部６０により分割しない場合の処理も含まれる。
【００９０】
次のステップ１０２で、検出部７０により、カメラ２０により取得された動画像データが示す画像内に存在する特定の被写体を示す特定画像を検出する検出処理が実行される。そして、ステップ１０３で、信号出力部１００により、特定画像が演奏領域と重なった場合に、該音を示す信号をスピーカ４０に出力する信号出力処理が実行され、処理が終了する。
【００９１】
なお、このフローチャートでは、便宜的に分割割当処理の次に検出処理を行なうようになっているが、並行して実行した方が効率的である。すなわち、ソフトウェアで実行する場合は、この２つの処理の各々を別スレッドで起動して並行して処理を実行させるようにしても良い。
【００９２】
上述した各処理の詳細について説明する。図１３は、分割割当処理の詳細を示すフローチャートである。
【００９３】
まずステップ２０１で、動画像データ取得部５０からカメラ２０により取得された画像を取得する。次のステップ２０２で、領域の境界を示す複数の境界線が撮影されているかを判断することにより、被写体に予め示されている領域が存在するか否かを判定する。
【００９４】
ステップ２０３で、肯定判定した場合には、ステップ２０４に進み、否定判定した場合には、上述した所定のアルゴリズムに従って画像を水平線等の基準線に沿って隣接する複数の領域に例えば等間隔で分割して、ステップ２０４の処理に進む。
【００９５】
ステップ２０４で分割された領域、又は被写体に予め示されている領域の中から演奏領域を特定する。そして、ステップ２０５で、音階が構成されるように周波数が異なる音を各々の演奏領域に対して割り当てて、分割割当処理を終了する。
【００９６】
図１４は、検出処理の詳細を示すフローチャートである。この検出処理は特定画像を検出する処理であるが、特定画像の検出には、予め定められた色の被写体を用いた検出と、予め定められた物体の被写体を用いた検出がある。具体的に、例えば手を用いて演奏する場合、手の色（肌色）の被写体を用いて検出する場合と、手の形の被写体を用いて検出する場合とがある。
【００９７】
まずステップ３０１で、動画像データ取得部５０からカメラ２０により取得された画像を取得する。次のステップ３０２で、特定の被写体として、予め定められた色の被写体、及び予め定められた物体の被写体のいずれか一方、又は両方を用いて処理をするかにより分岐する。例えば、手を用いて演奏する場合には、肌色の被写体を検出するか、或いは手の形をした被写体を検出するか、或いは肌色で手の形をした被写体を検出するかのいずれかの検出を行なうこととなる。
【００９８】
まず、特定の被写体として、予め定められた色の被写体を用いて処理をする場合には、ステップ３０３で、予め定められた色と同じ色を持つ画像を特定画像として検出して処理を終了する。一方、特定の被写体として、予め定められた物体の被写体を用いて処理をする場合には、ステップ３０６で、予め定められた物体と同じ物体を示す画像を特定画像として検出して処理を終了する。
【００９９】
そして、両方を用いて処理をする場合には、ステップ３０４で、まず予め定められた色と同じ色を持つ画像を検出し、次のステップ３０５で、検出した画像のうち、予め定められた物体と同じ物体を示す画像を特定画像として検出して処理を終了する。この検出処理は、カメラ２０により取得される画像（フレーム）毎に行なっても良いし、数フレーム毎に行なうようにしても良い。
【０１００】
図１５は、信号出力処理の詳細を示すフローチャートである。まず、ステップ４０１で、検出処理により検出された特定画像、及び分割割当処理により特定された特定領域を取得する。具体的には、特定画像の領域を示す情報と、特定された各々の演奏領域を示す情報を取得する。例えば画像全体をＸＹ座標とした場合、領域を示す情報はＸＹ座標の座標値を用いた情報となる。
【０１０１】
次のステップ４０２で、特定画像が演奏領域に重なったか否か判定し、肯定判定した場合には、ステップ４０３で領域に割り当てられている音を示す信号をスピーカ４０に出力して再びステップ４０２の処理に戻る。音が割り当てられていない領域の場合には、当然に信号は出力されない。一方、ステップ４０２で否定判定した場合も再びステップ４０２の処理に戻る。
【０１０２】
なお、この信号出力処理において、例えば演奏者がある操作をした場合、或いは画像処理装置１０にユーザインタフェースを設けて、ある入力がされた場合に処理を終了するようにしても良い。
【０１０３】
図１６は、上述した知育玩具として本実施の形態に係る画像処理システムを提供する場合の信号出力処理を示すフローチャートである。
【０１０４】
ステップ５０１は、上述したステップ４０１の処理において取得した特定画像、及び分割割当処理により分割された領域に加え、領域の色を取得する。これにより各々の領域と色が関連づけられる。次のステップ５０２で、特定画像が領域に重なったか否か判定し、肯定判定した場合には、ステップ５０３で領域の色に対応する音声を示す信号をスピーカ４０に出力して再びステップ５０２の処理に戻る。一方、ステップ５０２で否定判定した場合も再びステップ４０２の処理に戻る。
【０１０５】
以上説明した実施の形態において、まず被写体には、分割される領域が予め示されている場合と、そうではない場合の２通りの実施形態が存在する。また、表示部３０が設けられている場合と、そうではない場合の２通りの実施形態が存在する。
【０１０６】
さらに、特定の被写体として、予め定められた色の被写体、及び予め定められた物体の被写体のうちの少なくとも一方を用いることで、３通り（色、物体、両方）の実施形態が存在する。また、上述した動作検知部９０が設けられている場合と、そうではない場合の２通りの実施形態が存在する。
【０１０７】
従って、本実施の形態では、２×２×３×２＝２４通りの実施形態が存在することとなる。
【０１０８】
そして、被写体に、分割される領域が予め示されている実施形態では、演奏者が演奏しやすい領域を上述したシートなどにより予め示しておくことで、より演奏しやすくすることが可能となる。一方、被写体に、分割される領域が予め示さない実施形態では、そのような被写体を用意することなく演奏することができる。
【０１０９】
表示部３０が設けられている実施形態では、演奏者が表示部３０を視認しながら演奏可能となるので、より演奏をしやすくすることができる。一方、表示部３０が設けられていない実施形態では、表示部３０を用意することなく演奏することができる。
【０１１０】
特定の被写体として、予め定められた色の被写体を用いる実施形態では、例えば手を用いて演奏する場合、色を肌色としておくことで、より確実に特定画像を検出することができる。特に手を使った音やメロディの演奏においては、予め定められた物体を用いた場合よりもロバスト性が確保される。
【０１１１】
また、特定の被写体として、予め定められた物体の被写体を用いる実施形態では、例えば撥など種々の物体を用いて演奏することが可能となる。さらに、予め定められた色の被写体、及び予め定められた物体の両方を用いた実施形態では、いずれか一方のみでは誤認識の可能性があるが（例えば、色だけだと動きが殆どないものに対する誤動作の可能性もある）、両方を用いることで、操作に対してロバスト性が確保された画像処理システムを提供できる。
【０１１２】
また、動作検知部９０について、特許文献２の技術では、入力エリアに所定の入力パターンに相当する絵を表示装置上に描かなければ実現できないという欠点があり、その描画装置上の描画領域が演奏領域として使えないという欠点があった。また、例えば、指の形の画像が検出するパターンと同じ形状（或いは色）をしていなければ楽器が鳴らないという、撮影時の環境に対するロバスト性が低いという欠点があった。
【０１１３】
これに対し、動作検知部９０により、手や演奏をする道具の色や動きを演奏直前の特定時間内に画像処理システム１に記憶させることが可能となるため、特許文献２に記載の技術のように入力エリアに所定の入力パターンに相当する絵を表示装置上に描く必要が無く、演奏するための領域の自由度が増し、かつ、演奏直前に、手や演奏をする道具の色、動き、或いは両方の検知をする基準をその場の照明環境やカメラに対する手や演奏をする道具のその時々のコンディションに対する固有の写りかたに設定できるため、特許文献２に開示された技術の欠点であった、指の形の映像パターンが検出パターンと同じ形状（或いは色）をしていなければ楽器が鳴らないという、撮影時の環境に対するロバストネスを解消することができる。
【０１１４】
例えば、その場の照明の色や明るさ、外光の入り方で、そのときのカメラで写る実際の映像（色、形）がかなり異なるが、どのような光線環境、写り方になるようになっていたとしても演奏直前に検出する動作の検知が可能となる。
【０１１５】
また、本実施の形態によれば、実際のカメラでは、カメラの方向などによって、指を二本出していても一本にしかカメラは見えないことがあるが、画像処理システム１では、指が一本でも二本でも、指らしいと判断して音やメロディを鳴らすことが可能となる。
【０１１６】
このように、本実施の形態に係る画像処理システム１は、演奏者が演奏をしやすいシステムであり、また利便性、汎用性が高く、高度な楽器演奏が可能となるシステムである。さらに、本実施の形態に係る画像処理システム１は、上述したように、ロバスト性が確保された優れたシステムである。
【０１１７】
なお、上述した実施の形態で示した各フローチャートの処理の流れ（図１２〜図１６）は一例であり、本発明の主旨を逸脱しない範囲内で適宜変更することができることも言うまでもない。
【符号の説明】
【０１１８】
１ 画像処理システム
１０ 画像処理装置
２０ カメラ
３０ 表示部
５０ 動画像データ取得部
６０ 分割部
６５ 領域特定部
７０ 検出部
７２ 色検出部
７４ 物体検出部
２００ システムコントローラ
２０１ ＣＰＵ
２０２、２４２、２７０、２９２ ＲＡＭ
２０３、２８０ ＲＯＭ
２１０ 音制御ロジック
２２０ 画像処理ロジック
２３０ 画素情報変換ロジック
２４０ 認識部
２４１ 高速画像認識演算専用ロジック
２６０ 表示制御ロジック
２９０ 並列画像処理演算ユニット
２９１ ＤＳＰ
【特許請求の範囲】
【請求項１】
被写体を撮影することで、該被写体を示す動画像データを取得する取得手段と、
前記取得手段により取得された動画像データが示す画像内に予め定められた音を発生させるための１つ以上の演奏領域を特定する領域特定手段と、
前記取得手段により取得された動画像データが示す画像内に存在する特定の被写体を示す特定画像を検出する検出手段と、
前記領域特定手段により特定された演奏領域毎に、前記検出手段により検出された特定画像が該演奏領域に重なった場合に出力する音を割り当てる割当手段と、
前記特定画像が前記演奏領域と重なった場合に、前記割当手段により該演奏領域に割り当てられた音を示す信号を出力する信号出力手段と、
を有する画像処理システム。
【請求項２】
前記取得手段により取得された動画像データが示す画像を複数の領域に分割する分割手段をさらに有し、
前記領域特定手段は、前記分割手段により分割された領域の中から、前記予め定められた音を発生させるための１つ以上の演奏領域を特定する請求項１に記載の画像処理システム。
【請求項３】
前記割当手段は、複数の前記演奏領域に音を割り当てる場合に、複数の演奏領域の各々に周波数が異なる音の各々を順に割り当てる請求項１又は請求項２に記載の画像処理システム。
【請求項４】
前記取得手段により取得された動画像データが示す画像を表示する表示手段をさらに有する請求項１〜請求項３のいずれか１項に記載の画像処理システム。
【請求項５】
前記表示手段は、前記演奏領域の境界線をさらに表示する請求項１〜請求項４のいずれか１項に記載の画像処理システム。
【請求項６】
前記被写体には、前記領域特定手段により特定される演奏領域が予め示されており、
前記領域特定手段は、該被写体に示される領域の中から、前記予め定められた音を発生させるための１つ以上の演奏領域を特定する請求項１〜請求項５のいずれか１項に記載の画像処理システム。
【請求項７】
前記特定の被写体は、予め定められた色の被写体、及び予め定められた物体の被写体のうちの少なくとも一方の被写体である請求項１〜請求項６のいずれか１項に記載の画像処理システム。
【請求項８】
前記特定の被写体の動作を、前記検出手段により検出された特定画像により検知する動作検知手段と、
前記動作検知手段により検知された前記特定の被写体の動作を示す動作情報を記録する記録手段と、
をさらに有し、
前記信号出力手段は、前記特定画像が前記割当手段により音が割り当てられた領域に重なり、かつ前記動作検知手段により検知された前記特定の被写体の動きが、前記記録手段により記録された動作情報が示す動作の場合に、音を示す信号を出力する請求項１〜請求項７のいずれか１項に記載の画像処理システム。
【請求項９】
前記信号出力手段により出力された信号に応じて音を出力する音出力手段をさらに有する請求項１〜請求項８のいずれか１項に記載の画像処理システム。
【請求項１０】
コンピュータを、
被写体を撮影することで、該被写体を示す動画像データを取得する取得手段により取得された動画像データが示す画像内に予め定められた音を発生させるための１つ以上の演奏領域を特定する領域特定手段と、
前記取得手段により取得された動画像データが示す画像内に存在する特定の被写体を示す特定画像を検出する検出手段と、
前記領域特定手段により特定された演奏領域毎に、前記検出手段により検出された特定画像が該演奏領域に重なった場合に出力する音を割り当てる割当手段と、
前記特定画像が前記演奏領域と重なった場合に、前記割当手段により該演奏領域に割り当てられた音を示す信号を出力する信号出力手段と、
して機能させるための画像処理プログラム。
【請求項１】
被写体を撮影することで、該被写体を示す動画像データを取得する取得手段と、
前記取得手段により取得された動画像データが示す画像内に予め定められた音を発生させるための１つ以上の演奏領域を特定する領域特定手段と、
前記取得手段により取得された動画像データが示す画像内に存在する特定の被写体を示す特定画像を検出する検出手段と、
前記領域特定手段により特定された演奏領域毎に、前記検出手段により検出された特定画像が該演奏領域に重なった場合に出力する音を割り当てる割当手段と、
前記特定画像が前記演奏領域と重なった場合に、前記割当手段により該演奏領域に割り当てられた音を示す信号を出力する信号出力手段と、
を有する画像処理システム。
【請求項２】
前記取得手段により取得された動画像データが示す画像を複数の領域に分割する分割手段をさらに有し、
前記領域特定手段は、前記分割手段により分割された領域の中から、前記予め定められた音を発生させるための１つ以上の演奏領域を特定する請求項１に記載の画像処理システム。
【請求項３】
前記割当手段は、複数の前記演奏領域に音を割り当てる場合に、複数の演奏領域の各々に周波数が異なる音の各々を順に割り当てる請求項１又は請求項２に記載の画像処理システム。
【請求項４】
前記取得手段により取得された動画像データが示す画像を表示する表示手段をさらに有する請求項１〜請求項３のいずれか１項に記載の画像処理システム。
【請求項５】
前記表示手段は、前記演奏領域の境界線をさらに表示する請求項１〜請求項４のいずれか１項に記載の画像処理システム。
【請求項６】
前記被写体には、前記領域特定手段により特定される演奏領域が予め示されており、
前記領域特定手段は、該被写体に示される領域の中から、前記予め定められた音を発生させるための１つ以上の演奏領域を特定する請求項１〜請求項５のいずれか１項に記載の画像処理システム。
【請求項７】
前記特定の被写体は、予め定められた色の被写体、及び予め定められた物体の被写体のうちの少なくとも一方の被写体である請求項１〜請求項６のいずれか１項に記載の画像処理システム。
【請求項８】
前記特定の被写体の動作を、前記検出手段により検出された特定画像により検知する動作検知手段と、
前記動作検知手段により検知された前記特定の被写体の動作を示す動作情報を記録する記録手段と、
をさらに有し、
前記信号出力手段は、前記特定画像が前記割当手段により音が割り当てられた領域に重なり、かつ前記動作検知手段により検知された前記特定の被写体の動きが、前記記録手段により記録された動作情報が示す動作の場合に、音を示す信号を出力する請求項１〜請求項７のいずれか１項に記載の画像処理システム。
【請求項９】
前記信号出力手段により出力された信号に応じて音を出力する音出力手段をさらに有する請求項１〜請求項８のいずれか１項に記載の画像処理システム。
【請求項１０】
コンピュータを、
被写体を撮影することで、該被写体を示す動画像データを取得する取得手段により取得された動画像データが示す画像内に予め定められた音を発生させるための１つ以上の演奏領域を特定する領域特定手段と、
前記取得手段により取得された動画像データが示す画像内に存在する特定の被写体を示す特定画像を検出する検出手段と、
前記領域特定手段により特定された演奏領域毎に、前記検出手段により検出された特定画像が該演奏領域に重なった場合に出力する音を割り当てる割当手段と、
前記特定画像が前記演奏領域と重なった場合に、前記割当手段により該演奏領域に割り当てられた音を示す信号を出力する信号出力手段と、
して機能させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１４０８２（Ｐ２０１２−１４０８２Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１５２４２２（Ｐ２０１０−１５２４２２）
【出願日】平成２２年７月２日（２０１０．７．２）
【出願人】（３０８０３３７１１）ラピスセミコンダクタ株式会社 (898)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年７月２日（２０１０．７．２）
【出願人】（３０８０３３７１１）ラピスセミコンダクタ株式会社 (898)
【Ｆターム（参考）】
[ Back to top ]