リズムパターンを用いた検索装置
【課題】検索者であるユーザの耳で認識した音声のリズムパターンを入力することによって、対象物の検索を可能にする。
【解決手段】ユーザの耳で認識している鳥等の鳴き声をリズムとしてとらえてこのリズムパターンをタッチパネルディスプレイからタッチ入力する。鳥の鳴き声をリズムパターンに分類して、規定パターンとしてあらかじめデータベース化し、ユーザが入力したリズムパターンと比較して、検索対象物である鳥を特定する。
【解決手段】ユーザの耳で認識している鳥等の鳴き声をリズムとしてとらえてこのリズムパターンをタッチパネルディスプレイからタッチ入力する。鳥の鳴き声をリズムパターンに分類して、規定パターンとしてあらかじめデータベース化し、ユーザが入力したリズムパターンと比較して、検索対象物である鳥を特定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置による検索をユーザのリズムパターンの入力で行う技術に関する。
【背景技術】
【０００２】
パーソナルコンピュータ、PDA(Personal Data Assistant)や電子図鑑等の検索方式としては、検索対象物を文字で入力させたり、音声認識させたり、あるいは写真データを入力させて画像認識を行ったり、さらには形状、色等を入力させるものが一般的であった。
【０００３】
たとえば、特開２００７−１４０４２６号公報（特許文献１）では、携帯電話で録音した鳥の鳴き声を分析して、その鳥を特定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１４０４２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記のような対象物の音声（上記特許文献では鳥の鳴き声）を録音する場合、自然環境の中で検索対象としたい鳥の鳴き声だけを収録することがそもそも困難な場合が多い。特に特許文献に示された携帯電話は人間の音声通話のためのマイクしか備えていないため、このマイクで林や森などの自然環境の中で耳で聞こえている鳥の鳴き声を的確に収録すること自体が困難であった。
【０００６】
したがって、前記特許文献に記載された技術では、収録の際に必然的に自然界の風の音、虫の鳴き声、他の鳥の鳴き声等のノイズも録音されることになってしまうが、携帯電話のアプリケーションプログラムでこれらの自然環境ノイズを含む音データの中から検索対象としたい鳥の鳴き声だけを抽出することも困難であった。
【０００７】
以上の例は鳥の鳴き声に限定した事例で説明したが、これ意外にも何らかの音データを収録してその対象物を特定するような検索方式でも同様の問題があった。
【０００８】
本発明はこのような点に鑑みてなされたものであり、検索者であるユーザの耳で認識した音のリズムパターンを入力することによって、対象物の検索を可能にすることを技術的課題とする。
【課題を解決するための手段】
【０００９】
前記課題を解決するために、本発明では、以下の手段を採用した。
本発明の請求項１は、リズムパターンを入力することにより対象物を特定する検索装置において、ユーザからの連続的または断続的な入力を受け付ける入力部と、検索目的対象物となる複数の規定パターンをあらかじめ記憶しておく記憶部と、前記入力部から入力された音の長短の組み合わせによるリズムパターンを、前記記憶部に記憶された規定パターンと比較するパターンマッチング部と、前記パターンマッチング部において一致または類似パターンと判定された規定パターンに関連付けられた対象物の画像、音（音声、自然音等）、動画または名称を表示または出力する出力部とからなる、リズムパターンを用いた検索装置である。これによれば、ユーザの耳で認識した動物の鳴き声や自然音等のリズムパターンを入力することによって、対象物の検索が可能となる
。
【００１０】
請求項２は、前記入力部は、音の長さを入力するために、表示手段に表示されたシンボル図形に関連付けられた入力手段を有する請求項１記載のリズムパターンを用いた検索装置である。これによれば、音の長さを意味する音符などのシンボル図形で入力させることによって、音の長さを直感的に入力することができる。
【００１１】
請求項３は、前記入力部は、タッチパネルまたは押しボタンであり、当該タッチパネルまたは押しボタンの押圧と離反との繰り返しによって音の長さを入力する請求項１記載のリズムパターンを用いた検索装置である。これによれば、タッチパネルや押しボタンの押圧と離反動作によって長音や短音を直感的に入力させることができる。
【００１２】
請求項４は、前記入力部は、音色を入力する音色入力部を備えている請求項１〜３記載のリズムパターンを用いた検索装置である。これによれば、リズムパターンとともに音色を入力することで検索条件を限定でき、検索精度を高めることができる。
【００１３】
請求項５は、前記音色入力部は、音色の選択手段からなる請求項４記載のリズムパターンを用いた検索装置である。これによれば、音色の選択入力を簡単に行うことができる。
【００１４】
請求項６は、前記音色入力部は、音色入力を連続的に可変入力可能なイコライザである請求項４記載のリズムパターンを用いた検索装置である。これによれば、音色入力を連続的に可変入力できるため、ユーザが耳で聴き取った音色をより正確に入力することができる。
【００１５】
請求項７は、前記入力部は、音の高さを入力する高低入力部を備えている請求項１〜３記載のリズムパターンを用いた検索装置である。これによれば、リズムパターンとともに音の高さを入力することで検索条件を限定でき、検索精度を高めることができる。
【００１６】
請求項８は、前記高低入力部は、音の高低の選択手段からなる請求項７記載のリズムパターンを用いた検索装置である。これによれば、音の高低を選択的に入力させることで音の高低の入力を簡易化できる。
【００１７】
請求項９は、前記高低入力部は、音の高低を連続的に可変入力可能なレベルメータである請求項７記載のリズムパターンを用いた検索装置。これによれば、音の高低を連続的に可変入力できるため、ユーザが耳で聴き取った音の高低をより正確に入力することができる。
【００１８】
請求項１０は、前記入力部は、音の大小を入力する大小入力部を備えている請求項１〜３記載のリズムパターンを用いた検索装置である。これによれば、リズムパターンとともに音の大きさを入力させることで検索条件を限定でき、検索精度を高めることができる。
【００１９】
請求項１１は、前記音の大小を入力する大小入力部は、大小の音の選択手段からなる請求項１０記載のリズムパターンを用いた検索装置である。これによれば、音の大小を選択的に入力させることで、音の大きさの入力を簡易化できる。
【００２０】
請求項１２は、前記音の大小を入力する大小入力部は、音の大きさを連続的に可変入力可能なボリュームである請求項１０記載のリズムパターンを用いた検索装置である。これによれば、音の大きさを連続的に可変入力できるため、ユーザが耳で聴き取った音の大小のレベルをより正確に入力することができる。
【００２１】
また、本発明は、リズムパターン入力を用いた検索方法や検索方法を実現させるプログラムであってもよい。更に、本発明は、そのようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この場合、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。なお、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、又は化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。
【発明の効果】
【００２２】
本発明によれば、ユーザの耳で認識した鳴き声等のリズムパターンを入力することによって、対象物の検索が可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態である情報処理装置のシステム構成を外観図
【図２】実施形態の情報処理装置の内部構成図
【図３】実施形態を説明するためのタッチパネルディスプレイの表示状態を説明するための図（１）
【図４】実施形態を説明するためのタッチパネルディスプレイの表示状態を説明するための図（２）
【図５】実施形態を説明するためのタッチパネルディスプレイの表示状態を説明するための図（３）
【図６】実施形態の規定パターン情報（鳥の鳴き声分析）を示す図
【図７】実施形態を説明するためのタッチパネルディスプレイの表示状態を説明するための図（４）
【図８】実施形態を説明するためのタッチパネルディスプレイの表示状態を説明するための図（５）
【発明を実施するための形態】
【００２４】
以下、本発明の最良の実施形態を図面を用いて説明する。
この実施形態では、情報処理装置としての携帯端末（携帯電話端末）を電子図鑑端末として使った場合で説明するが、情報処理装置はこれらに限定されるものでなく、パーソナルコンピュータや屋内に設置される情報提供端末等であってもよいことは勿論である。
【００２５】
図１は、電子図鑑端末の外観図である。この電子図鑑端末は、iPhone（アイホン社から許諾を受けたアップル社の商標）、Android（米国グーグル社の商標）等のスマートホン
、i-mode（ＮＴＴドコモ社の商標）等のネット接続可能な携帯電話端末等である。
【００２６】
本実施形態の電子図鑑端末を用いた検索方法の特徴は、ユーザの耳で認識している鳥等の鳴き声をリズムとしてとらえてこのリズムパターンをタッチパネルディスプレイ（ＴＤＳＰ）からタッチ入力する点にある。つまり、鳥の鳴き声をリズムパターンに分類して、規定パターンとしてあらかじめデータベース化し、ユーザが入力したリズムパターンと比較して、検索対象物である鳥を特定することにある。
【００２７】
実施形態での電子図鑑端末は、同図に示すように、中央処理装置（ＣＰＵ）を中心に、バス（ＢＵＳ）で接続されたメインメモリ（ＭＭ）、タッチパネルディスプレイ（ＴＤＳＰ）、アプリケーションメモリ（ＡＰＭ）等、通信インターフェース（Ｉ／Ｏ）、スピーカー（図示省略）等を有している。なお、入力手段としては、上記の他に、図示しないマウス等の補助入力手段を備えていてもよい。
【００２８】
アプリケーションメモリ（ＡＰＭ）には、オペレーティングシステム（ＯＳ）とともに
、アプリケーションプログラム（ＡＰＬ）が格納されている。このアプリケーションプログラム（ＡＰＬ）は、たとえば画像、動画、音声等が出力可能な図鑑アプリケーションプログラムであり、このアプリケーションプログラム（ＡＰＬ）がバス（ＢＵＳ）およびメインメモリ（ＭＭ）に読み込まれて中央処理装置（ＣＰＵ）で順次実行処理されることによって、本実施形態の機能が実現される。
【００２９】
また、アプリケーションメモリ（ＡＰＬ）には、図６の「リズム」のカラムに示すような規定パターン情報が登録されている。この規定パターン情報は、鳥や動物の鳴き声からリズムパターンだけを抽出してインデックス化してリズムパターンデータベースとしたものである。タッチパネルから入力されたリズムパターンは規定パターン情報と比較されて規定パターンと一致するか類似するかが判定プログラムによって判定する。
【００３０】
次に、図６の規定パターンについて説明する。規定パターンは、アプリケーションメモリ（ＡＰＭ）に登録されている。たとえば、高原のアトリの鳴き声の可聴パターンは「ちゅ、ちゅ、ぴーー」であり、これをリズムパターンで表現すると「・・―――」（短音＋短音＋長音＋長音）となる。そして、音程としては最初の２つの短音が低音であり、続く長音が高音で定義されている。また、カワラヒワの鳴き声の可聴パターンは「ちちちちちち、ぴょぴょぴょぴょぴょぴよ、じーー」であり、これをリズムパターンで表現すると「・・・・・・ ・・・・・・ ―――」となる。そして、音程としては最初の６つの短音は低音であり、続く６つの短音は高音、最後の長音は高音で定義されている。このように、ここでの鳥の鳴き声の規定パターンは、リズムパターンとして短音「・」と長音「―――」の組み合わせで構成されており、それぞれに高音か低音かが関係付けられて定義されるようになっている。
【００３１】
次に、本実施形態で用いるリズムパターンについて説明する。リズムパターンは、短音「・」と長音「―――」との組み合わせ、またはいずれか一方からなる。
【００３２】
図７は、携帯端末のタッチパネルディスプレイの表示例である。同図では、画面左上に表示された「（Ｒ）」のアイコンボタンにユーザが指先またはタッチペンでタッチすることによってリズムパターンの入力が可能となっている。このアイコンボタンを使って一定のリズムパターンの入力が完了すると、「ＳＴＯＰ」と表示されたアイコンボタンをタッチ（押圧）し、入力を完了するようになっている。前記「ＳＴＯＰ」アイコンボタンの下に表示されている三角形のプレイアイコンボタンをタッチ（押圧）することによって、入力されたリズムパターンが音声情報として再生されるようになっている。
【００３３】
また同図に示すように、携帯端末のタッチパネルディスプレイには、リズムパターンの入力の際に、音の大小を可変連続的に入力するためのスライド式のボリュームが表示されている。この表示状態において、スライダボタンは指先またはタッチペンで上下動させることが可能になっており、この上下動によって音の大小を入力することができるようになっている。
【００３４】
同様に、タッチパネルディスプレイの中央には、音程の上下値を入力するためのスライド式のレベルメータが表示されるようになっている。このレベルメータにもスライダボタンが表示されている。このスライダボタンは指先またはタッチペンで上下動させることが可能になっており、この上下動によって音の高低を入力することができるようになっている。
【００３５】
タッチパネルディスプレイの右側部には、イコライザ設定部が表示されており、周波数帯域毎にイコライザメータが表示されるようになっており、各イコライザメータに表示されたスライダボタンを指先またはタッチペンで上下動させることが可能になっている。ス
ライダボタンの上下動によって音の高低を入力することができるようになっている。
【００３６】
なお、リズムパターンに付随して入力される音の大小、音の高低、音色については、図７に示したユーザインターフェースのタッチパネルに限らず、「大」および「小」のボタン、「高」、「低」のボタンのように選択的に決定できるようにしてもよいことは勿論である。たとえば携帯端末のタッチパネルディスプレイには、「高音」と「低音」の音階ボタンが表示されており、「高音」のボタンを短時間押圧すれば「ちゅ」、「ち」または「ぴょ」に該当する入力が可能となり、長時間押圧すれば「ピー」、「じー」等の長音の入力が可能となる。同様に、「低音」のボタンを短時間押圧すれば「ブッ」という入力が可能となり、長時間押圧すれば「ブー」の入力が可能である。
【００３７】
鳥の鳴き声を検索したい場合、以上説明したように、リズムパターンの入力とともに、音の大きさ、音程の高低、音色等を補助的な情報として入力することによって、より正確な検索結果を得ることができる。
【００３８】
記憶装置には、リズムパターンとともに、あらかじめ規定音量データ、規定高低音データ、規定音色データ等が登録されており、リズムパターンとともに入力された音量データ、高低音データ、音色データがマッチング処理されて対象となる鳥や動物の候補が索出されるようになっている。
【００３９】
なお、図７では少なくとも、リズムパターンの入力（（Ｒ）ボタンアイコンに対して行うタッチ状態と離反状態の入力）と、音の大小、高低、音程をそれぞれ独立して入力するユーザインターフェースで説明したが、これに限らず、たとえば「高音」か「低音」かの音階の指定と、タッチパネルディスプレイへの指先かタッチペンによる押圧状態と離反状態とで短音か長音の指定を組み合わせたリズムパターンとして入力させるようにしてもよい。この場合、タッチパネルディスプレイの「高音」と「低音」のボタン表示部分を指先で押圧・離反させることで、音の高低差のあるリズムパターンの入力を行い、このように入力されたリズムパターンが規定パターンと一致するかあるいは類似するか否かで、検索が行われ、一致した場合にはアプリケーションメモリに登録された索出結果としての鳥（たとえばアトリ）の鳴き声がスピーカから出力され、この鳥の画像がタッチパネルディスプレイに表示されるようにしてもよい。
【００４０】
図３は、さらに別のリズムパターン入力のためのタッチパネルディスプレイの表示例を示したものである。同図に示すように、鳴き声の種類を多角形からなるシンボル図形に対応付けて、これらのシンボル図形をユーザの指先やタッチペンでタッチ操作（押圧・離反）させることによって、検索のためのリズムパターンの入力を行わせてもよい。
【００４１】
また、図４は、シンボル図形を音符としたものである。このように音の長さを直感的に観念できる音符をシンボル図形として用いることにより、リズムパターンの入力に際して音の長さを的確に入力することができ、検索精度を高めることができる。
【００４２】
さらに、図５は、タッチパネルディスプレイ上でのユーザの手指操作またはタッチペン操作によってシンボル図形としての音符を五線譜上に配置させるものであり、リズムパターンの入力に際して音程を的確に入力することができ、検索精度をさらに高めることができる。
【００４３】
以上の説明では、鳥の鳴き声をリズムパターンとして検索する技術で説明したが、本発明はこれに限定されるものではなく、他の動物の鳴き声をリズムパターン化してもよい。さらに、自然界に存在するリズムパターンとして捉えることができるあらゆる音データの検索に用いることができる。
【００４４】
加えて、音楽等のリズムパターンを規定パターンとして登録しておき、ユーザが認識しているリズムパターンを入力することで楽曲の検索を行うようにしてもよい。
【００４５】
また、タッチパネルディスプレイのユーザインターフェースも図３から図５および図７に示したものの他、たとえば図８に示すように、音の大小を入力する大小入力部を、音の大きさを連続的に可変入力可能な物理的な機械式のボリュームのユーザインターフェースにしてもよい。さらにこのボリュームを用いて音程、音色を可変的に制御してもよい。
【産業上の利用可能性】
【００４６】
本発明は、音声等の音情報から抽出したリズムパターンを検索キーとして用いることができる情報処理装置の検索装置、検索事業に利用することができる。
【符号の説明】
【００４７】
ＣＰＵ 中央処理装置
ＭＭ メインメモリ
ＢＵＳ バス
ＴＤＳＰ タッチパネルディスプレイ
ＡＰＭ アプリケーションメモリ
ＯＳ オペレーティングシステム
ＡＰＬ アプリケーションプログラム
Ｉ／Ｏ インターフェース
【技術分野】
【０００１】
本発明は、情報処理装置による検索をユーザのリズムパターンの入力で行う技術に関する。
【背景技術】
【０００２】
パーソナルコンピュータ、PDA(Personal Data Assistant)や電子図鑑等の検索方式としては、検索対象物を文字で入力させたり、音声認識させたり、あるいは写真データを入力させて画像認識を行ったり、さらには形状、色等を入力させるものが一般的であった。
【０００３】
たとえば、特開２００７−１４０４２６号公報（特許文献１）では、携帯電話で録音した鳥の鳴き声を分析して、その鳥を特定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１４０４２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記のような対象物の音声（上記特許文献では鳥の鳴き声）を録音する場合、自然環境の中で検索対象としたい鳥の鳴き声だけを収録することがそもそも困難な場合が多い。特に特許文献に示された携帯電話は人間の音声通話のためのマイクしか備えていないため、このマイクで林や森などの自然環境の中で耳で聞こえている鳥の鳴き声を的確に収録すること自体が困難であった。
【０００６】
したがって、前記特許文献に記載された技術では、収録の際に必然的に自然界の風の音、虫の鳴き声、他の鳥の鳴き声等のノイズも録音されることになってしまうが、携帯電話のアプリケーションプログラムでこれらの自然環境ノイズを含む音データの中から検索対象としたい鳥の鳴き声だけを抽出することも困難であった。
【０００７】
以上の例は鳥の鳴き声に限定した事例で説明したが、これ意外にも何らかの音データを収録してその対象物を特定するような検索方式でも同様の問題があった。
【０００８】
本発明はこのような点に鑑みてなされたものであり、検索者であるユーザの耳で認識した音のリズムパターンを入力することによって、対象物の検索を可能にすることを技術的課題とする。
【課題を解決するための手段】
【０００９】
前記課題を解決するために、本発明では、以下の手段を採用した。
本発明の請求項１は、リズムパターンを入力することにより対象物を特定する検索装置において、ユーザからの連続的または断続的な入力を受け付ける入力部と、検索目的対象物となる複数の規定パターンをあらかじめ記憶しておく記憶部と、前記入力部から入力された音の長短の組み合わせによるリズムパターンを、前記記憶部に記憶された規定パターンと比較するパターンマッチング部と、前記パターンマッチング部において一致または類似パターンと判定された規定パターンに関連付けられた対象物の画像、音（音声、自然音等）、動画または名称を表示または出力する出力部とからなる、リズムパターンを用いた検索装置である。これによれば、ユーザの耳で認識した動物の鳴き声や自然音等のリズムパターンを入力することによって、対象物の検索が可能となる
。
【００１０】
請求項２は、前記入力部は、音の長さを入力するために、表示手段に表示されたシンボル図形に関連付けられた入力手段を有する請求項１記載のリズムパターンを用いた検索装置である。これによれば、音の長さを意味する音符などのシンボル図形で入力させることによって、音の長さを直感的に入力することができる。
【００１１】
請求項３は、前記入力部は、タッチパネルまたは押しボタンであり、当該タッチパネルまたは押しボタンの押圧と離反との繰り返しによって音の長さを入力する請求項１記載のリズムパターンを用いた検索装置である。これによれば、タッチパネルや押しボタンの押圧と離反動作によって長音や短音を直感的に入力させることができる。
【００１２】
請求項４は、前記入力部は、音色を入力する音色入力部を備えている請求項１〜３記載のリズムパターンを用いた検索装置である。これによれば、リズムパターンとともに音色を入力することで検索条件を限定でき、検索精度を高めることができる。
【００１３】
請求項５は、前記音色入力部は、音色の選択手段からなる請求項４記載のリズムパターンを用いた検索装置である。これによれば、音色の選択入力を簡単に行うことができる。
【００１４】
請求項６は、前記音色入力部は、音色入力を連続的に可変入力可能なイコライザである請求項４記載のリズムパターンを用いた検索装置である。これによれば、音色入力を連続的に可変入力できるため、ユーザが耳で聴き取った音色をより正確に入力することができる。
【００１５】
請求項７は、前記入力部は、音の高さを入力する高低入力部を備えている請求項１〜３記載のリズムパターンを用いた検索装置である。これによれば、リズムパターンとともに音の高さを入力することで検索条件を限定でき、検索精度を高めることができる。
【００１６】
請求項８は、前記高低入力部は、音の高低の選択手段からなる請求項７記載のリズムパターンを用いた検索装置である。これによれば、音の高低を選択的に入力させることで音の高低の入力を簡易化できる。
【００１７】
請求項９は、前記高低入力部は、音の高低を連続的に可変入力可能なレベルメータである請求項７記載のリズムパターンを用いた検索装置。これによれば、音の高低を連続的に可変入力できるため、ユーザが耳で聴き取った音の高低をより正確に入力することができる。
【００１８】
請求項１０は、前記入力部は、音の大小を入力する大小入力部を備えている請求項１〜３記載のリズムパターンを用いた検索装置である。これによれば、リズムパターンとともに音の大きさを入力させることで検索条件を限定でき、検索精度を高めることができる。
【００１９】
請求項１１は、前記音の大小を入力する大小入力部は、大小の音の選択手段からなる請求項１０記載のリズムパターンを用いた検索装置である。これによれば、音の大小を選択的に入力させることで、音の大きさの入力を簡易化できる。
【００２０】
請求項１２は、前記音の大小を入力する大小入力部は、音の大きさを連続的に可変入力可能なボリュームである請求項１０記載のリズムパターンを用いた検索装置である。これによれば、音の大きさを連続的に可変入力できるため、ユーザが耳で聴き取った音の大小のレベルをより正確に入力することができる。
【００２１】
また、本発明は、リズムパターン入力を用いた検索方法や検索方法を実現させるプログラムであってもよい。更に、本発明は、そのようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この場合、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。なお、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、又は化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。
【発明の効果】
【００２２】
本発明によれば、ユーザの耳で認識した鳴き声等のリズムパターンを入力することによって、対象物の検索が可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態である情報処理装置のシステム構成を外観図
【図２】実施形態の情報処理装置の内部構成図
【図３】実施形態を説明するためのタッチパネルディスプレイの表示状態を説明するための図（１）
【図４】実施形態を説明するためのタッチパネルディスプレイの表示状態を説明するための図（２）
【図５】実施形態を説明するためのタッチパネルディスプレイの表示状態を説明するための図（３）
【図６】実施形態の規定パターン情報（鳥の鳴き声分析）を示す図
【図７】実施形態を説明するためのタッチパネルディスプレイの表示状態を説明するための図（４）
【図８】実施形態を説明するためのタッチパネルディスプレイの表示状態を説明するための図（５）
【発明を実施するための形態】
【００２４】
以下、本発明の最良の実施形態を図面を用いて説明する。
この実施形態では、情報処理装置としての携帯端末（携帯電話端末）を電子図鑑端末として使った場合で説明するが、情報処理装置はこれらに限定されるものでなく、パーソナルコンピュータや屋内に設置される情報提供端末等であってもよいことは勿論である。
【００２５】
図１は、電子図鑑端末の外観図である。この電子図鑑端末は、iPhone（アイホン社から許諾を受けたアップル社の商標）、Android（米国グーグル社の商標）等のスマートホン
、i-mode（ＮＴＴドコモ社の商標）等のネット接続可能な携帯電話端末等である。
【００２６】
本実施形態の電子図鑑端末を用いた検索方法の特徴は、ユーザの耳で認識している鳥等の鳴き声をリズムとしてとらえてこのリズムパターンをタッチパネルディスプレイ（ＴＤＳＰ）からタッチ入力する点にある。つまり、鳥の鳴き声をリズムパターンに分類して、規定パターンとしてあらかじめデータベース化し、ユーザが入力したリズムパターンと比較して、検索対象物である鳥を特定することにある。
【００２７】
実施形態での電子図鑑端末は、同図に示すように、中央処理装置（ＣＰＵ）を中心に、バス（ＢＵＳ）で接続されたメインメモリ（ＭＭ）、タッチパネルディスプレイ（ＴＤＳＰ）、アプリケーションメモリ（ＡＰＭ）等、通信インターフェース（Ｉ／Ｏ）、スピーカー（図示省略）等を有している。なお、入力手段としては、上記の他に、図示しないマウス等の補助入力手段を備えていてもよい。
【００２８】
アプリケーションメモリ（ＡＰＭ）には、オペレーティングシステム（ＯＳ）とともに
、アプリケーションプログラム（ＡＰＬ）が格納されている。このアプリケーションプログラム（ＡＰＬ）は、たとえば画像、動画、音声等が出力可能な図鑑アプリケーションプログラムであり、このアプリケーションプログラム（ＡＰＬ）がバス（ＢＵＳ）およびメインメモリ（ＭＭ）に読み込まれて中央処理装置（ＣＰＵ）で順次実行処理されることによって、本実施形態の機能が実現される。
【００２９】
また、アプリケーションメモリ（ＡＰＬ）には、図６の「リズム」のカラムに示すような規定パターン情報が登録されている。この規定パターン情報は、鳥や動物の鳴き声からリズムパターンだけを抽出してインデックス化してリズムパターンデータベースとしたものである。タッチパネルから入力されたリズムパターンは規定パターン情報と比較されて規定パターンと一致するか類似するかが判定プログラムによって判定する。
【００３０】
次に、図６の規定パターンについて説明する。規定パターンは、アプリケーションメモリ（ＡＰＭ）に登録されている。たとえば、高原のアトリの鳴き声の可聴パターンは「ちゅ、ちゅ、ぴーー」であり、これをリズムパターンで表現すると「・・―――」（短音＋短音＋長音＋長音）となる。そして、音程としては最初の２つの短音が低音であり、続く長音が高音で定義されている。また、カワラヒワの鳴き声の可聴パターンは「ちちちちちち、ぴょぴょぴょぴょぴょぴよ、じーー」であり、これをリズムパターンで表現すると「・・・・・・ ・・・・・・ ―――」となる。そして、音程としては最初の６つの短音は低音であり、続く６つの短音は高音、最後の長音は高音で定義されている。このように、ここでの鳥の鳴き声の規定パターンは、リズムパターンとして短音「・」と長音「―――」の組み合わせで構成されており、それぞれに高音か低音かが関係付けられて定義されるようになっている。
【００３１】
次に、本実施形態で用いるリズムパターンについて説明する。リズムパターンは、短音「・」と長音「―――」との組み合わせ、またはいずれか一方からなる。
【００３２】
図７は、携帯端末のタッチパネルディスプレイの表示例である。同図では、画面左上に表示された「（Ｒ）」のアイコンボタンにユーザが指先またはタッチペンでタッチすることによってリズムパターンの入力が可能となっている。このアイコンボタンを使って一定のリズムパターンの入力が完了すると、「ＳＴＯＰ」と表示されたアイコンボタンをタッチ（押圧）し、入力を完了するようになっている。前記「ＳＴＯＰ」アイコンボタンの下に表示されている三角形のプレイアイコンボタンをタッチ（押圧）することによって、入力されたリズムパターンが音声情報として再生されるようになっている。
【００３３】
また同図に示すように、携帯端末のタッチパネルディスプレイには、リズムパターンの入力の際に、音の大小を可変連続的に入力するためのスライド式のボリュームが表示されている。この表示状態において、スライダボタンは指先またはタッチペンで上下動させることが可能になっており、この上下動によって音の大小を入力することができるようになっている。
【００３４】
同様に、タッチパネルディスプレイの中央には、音程の上下値を入力するためのスライド式のレベルメータが表示されるようになっている。このレベルメータにもスライダボタンが表示されている。このスライダボタンは指先またはタッチペンで上下動させることが可能になっており、この上下動によって音の高低を入力することができるようになっている。
【００３５】
タッチパネルディスプレイの右側部には、イコライザ設定部が表示されており、周波数帯域毎にイコライザメータが表示されるようになっており、各イコライザメータに表示されたスライダボタンを指先またはタッチペンで上下動させることが可能になっている。ス
ライダボタンの上下動によって音の高低を入力することができるようになっている。
【００３６】
なお、リズムパターンに付随して入力される音の大小、音の高低、音色については、図７に示したユーザインターフェースのタッチパネルに限らず、「大」および「小」のボタン、「高」、「低」のボタンのように選択的に決定できるようにしてもよいことは勿論である。たとえば携帯端末のタッチパネルディスプレイには、「高音」と「低音」の音階ボタンが表示されており、「高音」のボタンを短時間押圧すれば「ちゅ」、「ち」または「ぴょ」に該当する入力が可能となり、長時間押圧すれば「ピー」、「じー」等の長音の入力が可能となる。同様に、「低音」のボタンを短時間押圧すれば「ブッ」という入力が可能となり、長時間押圧すれば「ブー」の入力が可能である。
【００３７】
鳥の鳴き声を検索したい場合、以上説明したように、リズムパターンの入力とともに、音の大きさ、音程の高低、音色等を補助的な情報として入力することによって、より正確な検索結果を得ることができる。
【００３８】
記憶装置には、リズムパターンとともに、あらかじめ規定音量データ、規定高低音データ、規定音色データ等が登録されており、リズムパターンとともに入力された音量データ、高低音データ、音色データがマッチング処理されて対象となる鳥や動物の候補が索出されるようになっている。
【００３９】
なお、図７では少なくとも、リズムパターンの入力（（Ｒ）ボタンアイコンに対して行うタッチ状態と離反状態の入力）と、音の大小、高低、音程をそれぞれ独立して入力するユーザインターフェースで説明したが、これに限らず、たとえば「高音」か「低音」かの音階の指定と、タッチパネルディスプレイへの指先かタッチペンによる押圧状態と離反状態とで短音か長音の指定を組み合わせたリズムパターンとして入力させるようにしてもよい。この場合、タッチパネルディスプレイの「高音」と「低音」のボタン表示部分を指先で押圧・離反させることで、音の高低差のあるリズムパターンの入力を行い、このように入力されたリズムパターンが規定パターンと一致するかあるいは類似するか否かで、検索が行われ、一致した場合にはアプリケーションメモリに登録された索出結果としての鳥（たとえばアトリ）の鳴き声がスピーカから出力され、この鳥の画像がタッチパネルディスプレイに表示されるようにしてもよい。
【００４０】
図３は、さらに別のリズムパターン入力のためのタッチパネルディスプレイの表示例を示したものである。同図に示すように、鳴き声の種類を多角形からなるシンボル図形に対応付けて、これらのシンボル図形をユーザの指先やタッチペンでタッチ操作（押圧・離反）させることによって、検索のためのリズムパターンの入力を行わせてもよい。
【００４１】
また、図４は、シンボル図形を音符としたものである。このように音の長さを直感的に観念できる音符をシンボル図形として用いることにより、リズムパターンの入力に際して音の長さを的確に入力することができ、検索精度を高めることができる。
【００４２】
さらに、図５は、タッチパネルディスプレイ上でのユーザの手指操作またはタッチペン操作によってシンボル図形としての音符を五線譜上に配置させるものであり、リズムパターンの入力に際して音程を的確に入力することができ、検索精度をさらに高めることができる。
【００４３】
以上の説明では、鳥の鳴き声をリズムパターンとして検索する技術で説明したが、本発明はこれに限定されるものではなく、他の動物の鳴き声をリズムパターン化してもよい。さらに、自然界に存在するリズムパターンとして捉えることができるあらゆる音データの検索に用いることができる。
【００４４】
加えて、音楽等のリズムパターンを規定パターンとして登録しておき、ユーザが認識しているリズムパターンを入力することで楽曲の検索を行うようにしてもよい。
【００４５】
また、タッチパネルディスプレイのユーザインターフェースも図３から図５および図７に示したものの他、たとえば図８に示すように、音の大小を入力する大小入力部を、音の大きさを連続的に可変入力可能な物理的な機械式のボリュームのユーザインターフェースにしてもよい。さらにこのボリュームを用いて音程、音色を可変的に制御してもよい。
【産業上の利用可能性】
【００４６】
本発明は、音声等の音情報から抽出したリズムパターンを検索キーとして用いることができる情報処理装置の検索装置、検索事業に利用することができる。
【符号の説明】
【００４７】
ＣＰＵ 中央処理装置
ＭＭ メインメモリ
ＢＵＳ バス
ＴＤＳＰ タッチパネルディスプレイ
ＡＰＭ アプリケーションメモリ
ＯＳ オペレーティングシステム
ＡＰＬ アプリケーションプログラム
Ｉ／Ｏ インターフェース
【特許請求の範囲】
【請求項１】
リズムパターンを入力することにより対象物を特定する検索装置において、
ユーザからの連続的または断続的な入力を受け付ける入力部と、
検索目的対象物となる複数の規定パターンをあらかじめ記憶しておく記憶部と、
前記入力部から入力された音の長短の組み合わせによるリズムパターンを、前記記憶部に記憶された規定パターンと比較するパターンマッチング部と、
前記パターンマッチング部において一致または類似パターンと判定された規定パターンに関連付けられた対象物の画像、音（音声、自然音等）、動画または名称を表示または出力する出力部
とからなる、リズムパターンを用いた検索装置。
【請求項２】
前記入力部は、音の長さを入力するために、表示手段に表示されたシンボル図形に関連付けられた入力手段を有する請求項１記載のリズムパターンを用いた検索装置。
【請求項３】
前記入力部は、タッチパネルまたは押しボタンであり、当該タッチパネルまたは押しボタンの押圧と離反との繰り返しによって音の長さを入力する請求項１記載のリズムパターンを用いた検索装置。
【請求項４】
前記入力部は、音色を入力する音色入力部を備えている請求項１〜３の何れか１項に記載のリズムパターンを用いた検索装置。
【請求項５】
前記音色入力部は、音色の選択手段からなる請求項４記載のリズムパターンを用いた検索装置。
【請求項６】
前記音色入力部は、音色入力を連続的に可変入力可能なイコライザである請求項４記載のリズムパターンを用いた検索装置。
【請求項７】
前記入力部は、音の高さを入力する高低入力部を備えている請求項１〜３の何れか１項に記載のリズムパターンを用いた検索装置。
【請求項８】
前記高低入力部は、音の高低の選択手段からなる請求項７記載のリズムパターンを用いた検索装置。
【請求項９】
前記高低入力部は、音の高低を連続的に可変入力可能なレベルメータである請求項７記載のリズムパターンを用いた検索装置。
【請求項１０】
前記入力部は、音の大小を入力する大小入力部を備えている請求項１〜３の何れか１項に記載のリズムパターンを用いた検索装置。
【請求項１１】
前記音の大小を入力する大小入力部は、大小の音の選択手段からなる請求項１０記載のリズムパターンを用いた検索装置。
【請求項１２】
前記音の大小を入力する大小入力部は、音の大きさを連続的に可変入力可能なボリュームである請求項１０記載のリズムパターンを用いた検索装置。
【請求項１】
リズムパターンを入力することにより対象物を特定する検索装置において、
ユーザからの連続的または断続的な入力を受け付ける入力部と、
検索目的対象物となる複数の規定パターンをあらかじめ記憶しておく記憶部と、
前記入力部から入力された音の長短の組み合わせによるリズムパターンを、前記記憶部に記憶された規定パターンと比較するパターンマッチング部と、
前記パターンマッチング部において一致または類似パターンと判定された規定パターンに関連付けられた対象物の画像、音（音声、自然音等）、動画または名称を表示または出力する出力部
とからなる、リズムパターンを用いた検索装置。
【請求項２】
前記入力部は、音の長さを入力するために、表示手段に表示されたシンボル図形に関連付けられた入力手段を有する請求項１記載のリズムパターンを用いた検索装置。
【請求項３】
前記入力部は、タッチパネルまたは押しボタンであり、当該タッチパネルまたは押しボタンの押圧と離反との繰り返しによって音の長さを入力する請求項１記載のリズムパターンを用いた検索装置。
【請求項４】
前記入力部は、音色を入力する音色入力部を備えている請求項１〜３の何れか１項に記載のリズムパターンを用いた検索装置。
【請求項５】
前記音色入力部は、音色の選択手段からなる請求項４記載のリズムパターンを用いた検索装置。
【請求項６】
前記音色入力部は、音色入力を連続的に可変入力可能なイコライザである請求項４記載のリズムパターンを用いた検索装置。
【請求項７】
前記入力部は、音の高さを入力する高低入力部を備えている請求項１〜３の何れか１項に記載のリズムパターンを用いた検索装置。
【請求項８】
前記高低入力部は、音の高低の選択手段からなる請求項７記載のリズムパターンを用いた検索装置。
【請求項９】
前記高低入力部は、音の高低を連続的に可変入力可能なレベルメータである請求項７記載のリズムパターンを用いた検索装置。
【請求項１０】
前記入力部は、音の大小を入力する大小入力部を備えている請求項１〜３の何れか１項に記載のリズムパターンを用いた検索装置。
【請求項１１】
前記音の大小を入力する大小入力部は、大小の音の選択手段からなる請求項１０記載のリズムパターンを用いた検索装置。
【請求項１２】
前記音の大小を入力する大小入力部は、音の大きさを連続的に可変入力可能なボリュームである請求項１０記載のリズムパターンを用いた検索装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−５８９２９（Ｐ２０１２−５８９２９Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−２００２７８（Ｐ２０１０−２００２７８）
【出願日】平成２２年９月７日（２０１０．９．７）
【出願人】（０００００３６８７）東京電力株式会社 (2,580)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月７日（２０１０．９．７）
【出願人】（０００００３６８７）東京電力株式会社 (2,580)
【Ｆターム（参考）】
[ Back to top ]