情報処理装置及び方法、並びにプログラム
【課題】撮像の結果得られる被写体に係る撮像情報からより容易に音を生成する。
【解決手段】ディジタルカメラ１では、撮像情報取得部２１Ａは、被写体に係る撮像情報を取得し、音検出部２１Ｂは、被写体に係る撮像情報が取りうる値と所定の音とを対応付けるドレミファマップに基づいて、撮像情報取得部２１Ａにより取得された被写体に係る撮像情報に対応する音を検出する。検出された音は対応する音声信号がスピーカ２５から出力される。本発明は、例えば、ディジタルカメラに適用できる。
【解決手段】ディジタルカメラ１では、撮像情報取得部２１Ａは、被写体に係る撮像情報を取得し、音検出部２１Ｂは、被写体に係る撮像情報が取りうる値と所定の音とを対応付けるドレミファマップに基づいて、撮像情報取得部２１Ａにより取得された被写体に係る撮像情報に対応する音を検出する。検出された音は対応する音声信号がスピーカ２５から出力される。本発明は、例えば、ディジタルカメラに適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置及び方法、並びにプログラムに関し、特に、例えば、撮像の結果得られる被写体に係る撮像情報からより容易に音を生成することができるようにする情報処理装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
現在普及している多くのディジタルスチルカメラやディジタルビデオカメラ（以下、適宜、カメラと称する）には、様々なセンサが搭載されており、また、記録した音を再生するための音源も用意されている。そのようなカメラにセンサ情報の入力に応じた音を出力させて、電子楽器として利用できるようにすることが提案されている。
【０００３】
例えば、特許文献１乃至３の発明では、カメラによる撮像の結果得られた撮像画像に基づいて、所定の音が生成される。
【特許文献１】特開２０００−２７６１３９号公報
【特許文献２】特開２００５−３１６３００号公報
【特許文献３】実登３０９８４２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１乃至３の発明では、撮像画像に対して動き検出という高度な画像解析を行う必要があるので処理時間がかかっていた。そのため、例えば演奏者の動きがあってから音が出力されるまでに遅れが生じるので、演奏に違和感があった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、例えば、撮像の結果得られる被写体に係る撮像情報からより容易に音を生成することができるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の一側面の情報処理装置は、撮像の結果得られる被写体に係る撮像情報に基づいて、所定の音を生成する情報処理装置において、前記撮像情報を取得する取得手段と、前記撮像情報が取りうる値と所定の音とを対応付ける対応情報に基づいて、前記取得手段により取得された前記撮像情報に対応する音を検出する検出手段とを備える。
【０００７】
本発明の一側面の情報処理装置は、前記検出手段により検出された前記音を出力する出力手段をさらに備える。
【０００８】
本発明の一側面の情報処理方法またはプログラムは、撮像の結果得られる被写体に係る撮像情報に基づいて、所定の音を生成する情報処理方法または情報処理をコンピュータに実行させるプログラムにおいて、前記撮像情報を取得する取得ステップと、前記撮像情報が取りうる値と所定の音とを対応付ける対応情報に基づいて、前記取得ステップの処理により取得された前記撮像情報に対応する音を検出する検出ステップとを含む情報処理方法または情報処理をコンピュータに実行させるプログラム。
【０００９】
本発明の一側面においては、撮像の結果得られる被写体に係る撮像情報が取得され、前記被写体に係る撮像情報が取りうる値と所定の音とを対応付ける対応情報に基づいて、取得された前記被写体に係る撮像情報に対応する音が検出される。
【発明の効果】
【００１０】
本発明の一側面によれば、例えば、撮像の結果得られる被写体に係る撮像情報からより容易に音を生成することができる。
【発明を実施するための最良の形態】
【００１１】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１２】
本発明の一側面の情報処理装置は、
撮像の結果得られる被写体に係る撮像情報（例えば、ヒストグラムのピークの輝度値と画素数）に基づいて、所定の音を生成する情報処理装置（例えば、図３のディジタルカメラ１）において、
前記被写体に係る撮像情報を取得する取得手段（例えば、図３の撮像情報取得部２１Ａ）と、
前記被写体に係る撮像情報が取りうる値と所定の音とを対応付ける対応情報に基づいて、前記取得手段により取得された前記被写体に係る撮像情報に対応する音を検出する検出手段（例えば、図３の音検出部２１Ｂ）と
を備える。
【００１３】
本発明の一側面の情報処理装置は、
前記検出手段により検出された音を出力する出力手段（例えば、図３のスピーカ２５）をさらに備える。
【００１４】
本発明の一側面の情報処理方法またはプログラムは、
撮像の結果得られる被写体に係る撮像情報に基づいて、所定の音を生成する情報処理方法または情報処理をコンピュータに実行させるプログラムにおいて、
前記被写体に係る撮像情報を取得する取得ステップ（例えば、図５のステップＳ４）と、
前記被写体に係る撮像情報が取りうる値と所定の音とを対応付ける対応情報に基づいて、前記取得ステップの処理により取得された前記被写体に係る撮像情報に対応する音を検出する検出ステップ（例えば、図５のステップＳ５）と
を含む情報処理方法または情報処理をコンピュータに実行させるプログラム。
【００１５】
以下、図面を参照して本発明を適用した実施の形態について説明する。
【００１６】
図１は、本発明を適用したディジタルカメラ１の利用例を示している。ディジタルカメラ１は、図１に示すように、撮像するユーザの手の位置に応じた所定の音（例えば、「ド」，「レ」，「ミ」、・・・等の音階を構成する音）を出力することができる。
【００１７】
例えば、世界最古の電子楽器とされているテルミンを用いる場合、演奏者は、そのテルミンを構成するアンテナに対して自身の手を遠ざけたり近づけたりすることで演奏を行う。すなわちディジタルカメラ１により、このテルミンと同様に、そのディジタルカメラ１を構成する撮像レンズ１１に対してユーザの手を遠ざけたり近づけたりすることで演奏を行うことができる。
【００１８】
詳細は後述するがディジタルカメラ１は、撮像するユーザの手の位置に応じて変化する、撮像の結果得られる被写体に係る撮像情報に応じて、所定の音（例えば、「ド」，「レ」，「ミ」、・・・等の音階を構成する音）を出力する。ここでは、被写体に係る撮像情報として、図２に示すような階級が明るさ（輝度値）、度数が画素数であるヒストグラムから得られるピークの値（輝度値と画素数）が用いられる。
【００１９】
このヒストグラムは、例えば撮像の際に逆光の検出において利用されるため、このヒストグラムを生成する機能は、カメラに通常搭載されており、このヒストグラムの生成がカメラの制御周期でスムーズに動作することに関しては、非常に高い実績がある。ディジタルカメラ１では、このように生成されるヒストグラムからそのピークの値を求め、その値に応じて音に変換する処理（以下、音変換処理と称する）が行われる。
【００２０】
このようにディジタルカメラ１における音変換処理では、画像に比べて情報量の少ないヒストグラムを処理するので、情報の処理量は少ない。したがって、音変換処理を迅速に行うことができるので、演奏者の動きがあってから音声が出力されるまでの遅れが少なくなり、スムーズな演奏が可能になる。
【００２１】
また、このディジタルカメラ１を用いる演奏では、動きを検出する従来の方法のように例えば演奏者が上下に腕を振るといった演奏者の大きな動きが要求されておらず、例えば音階上の隣りの音を出力させるための演奏者の手の動きは10cm未満であり、一般的な楽器の演奏スタイルに近くなっている。図１の例では、ユーザの手から撮像レンズ１１までの距離は、0cm（撮像レンズ１１が手で覆われた状態に相当）から最大で30〜50cm程度であり、この範囲で手を動かすことで、１オクターブ程度の例えば９つの音を出力させることができる。
【００２２】
また一般的なディジタルカメラは、図２に示すようなヒストグラムを生成する機能と、記録した音を再生するための音源を有しているので、一般的なディジタルカメラに後述する音変換処理を実行する機能を付加するだけで、ディジタルカメラで電子楽器を構成することができる。
【００２３】
図３は、このようなディジタルカメラ１の構成例を示すブロック図である。
【００２４】
ディジタルカメラ１は、撮像レンズ１１、撮像素子１２、アナログ信号処理部１３、A/D(Analog/Digital)変換部１４、ディジタル信号処理部１５、I/O(input output)制御部１６、メモリカード１７、制御バス１８、レンズ制御部１９、操作入力部２０、制御部２１、画像RAM２２、フラッシュメモリ２３、音声信号生成処理部２４、スピーカ２５、映像信号生成処理部２６、及びLCD(Liquid Crystal Display)パネル２７から構成される。
【００２５】
例えばCCD(Charge Coupled Device)等よりなる撮像素子１２は、撮像レンズ１１を介して入射する被写体からの光を受光して光電変換を行い、その光の受光量に応じた電気信号としてのアナログの画像信号をアナログ信号処理部１３に供給する。
【００２６】
アナログ信号処理部１３は、撮像素子１２から供給されるアナログの画像信号の増幅、ガンマ補正、ホワイトバランス調整などのアナログ信号処理を行い、その結果得られる画像信号をA/D変換部１４に供給する。
【００２７】
A/D変換部１４は、アナログ信号処理部１３からのアナログ信号の画像信号をA/D変換し、その結果得られるディジタル信号の画像データをディジタル信号処理部１５に供給する。
【００２８】
ディジタル信号処理部１５は、制御バス１８を介して行われる制御部２１による制御に従って、A/D変換部１４から供給される画像データに対してノイズ除去処理等のディジタル信号処理を施し、その結果得られる撮像画像（の画像データ）を、順次、制御バス１８及び映像信号生成処理部２６を介して、LCDパネル２７に供給して表示させる（このような表示を、以下、スルー画表示と称する）。ディジタル信号処理部１５は、ユーザによる例えば操作入力部２０のシャッターボタンの操作に基づいて、上述したディジタル信号処理の結果得られる撮像画像（の画像データ）を、例えば、JPEG(Joint Photographic Experts Group)方式等で圧縮し、その結果得られる圧縮画像データを、制御バス１８及びI/O制御部１６を介して、メモリカード１７に供給して記憶させる。
【００２９】
ディジタル信号処理部１５は、ディジタル信号処理の結果得られる撮像画像から上述したヒストグラムを生成し、制御バス１８を介して制御部２１に供給する。このヒストグラムは、音変換処理の他、制御部２１で、逆光の検出に用いられる。また、ディジタル信号処理部１５は、ディジタル信号処理の結果得られる撮像画像からコントラストを求め、制御バス１８を介して制御部２１に供給する。このコントラストは、制御部２１で、フォーカスを合わせるためのレンズ制御部１９の制御に用いられる。
【００３０】
I/O制御部１６は、ディジタル信号処理部１５からの圧縮画像データを、メモリカード１７に供給して記憶させる。また、I/O制御部１６は、制御部２１の制御に基づいて、例えばメモリカード１７に記憶されている圧縮画像データを読み出し、制御バス１８上に供給する。
【００３１】
メモリカード１７は、ディジタルカメラ1に着脱可能な状態で接続された、例えばMS(Memory Stick)（メモリースティック（商標））等の半導体メモリであり、I/O制御部１６の制御に基づいて、圧縮画像データ等を記憶する。レンズ制御部１９は、制御部２１の制御に基づいて、撮像レンズ１１の例えば図示せぬフォーカスレンズを駆動する制御を行う。
【００３２】
操作入力部２０は、例えば図示せぬボタン等で構成され、そのボタン等に対するユーザの操作に基づいて、その操作に対応するデータやコマンド等を入力し、制御部２１に供給する。
【００３３】
制御部２１は、例えばCPU(Central Processing Unit)等から構成され、フラッシュメモリ２３に記憶されているプログラムを読み出し、内蔵する図示せぬRAM(Random Access Memory)に展開して実行することにより、ディジタルカメラ１を構成する各部を制御する。制御部２１は、例えば所定の制御周期でディジタル信号処理部１５で生成されたヒストグラムを用いて逆光を検出する。
【００３４】
また、制御部２１は、ディジタル信号処理部１５で生成されたヒストグラムを音に変換する音変換処理を行い、その結果得られる音情報を、制御バス１８を介して音声信号生成処理部２４に供給する。
【００３５】
画像RAM２２は、例えば、撮像画像（の画像データ）をメモリカード１７に記憶させるときのディジタル信号処理部１５による撮像画像の画像データの圧縮処理や、メモリカード１７に記憶されている圧縮画像データに対応する画像をLCDパネル２７に表示するときのディジタル信号処理部１５による圧縮画像データの伸張処理において生じるデータ等を一時的に記憶する。
【００３６】
フラッシュメモリ２３は、制御部２１が実行するプログラムや、後述するドレミファマップといった各種の設定情報、その他、ディジタルカメラ１の電源がオフにされたときも保持しておく必要があるデータ等を記憶する。
【００３７】
音声信号生成処理部２４は、内蔵音源であり、制御部２１からの音情報に対応する周波数の正弦波の音信号を生成し、生成した音信号を、スピーカ２５に供給する。スピーカ２５は、音声信号生成処理部２４から供給される音信号に対応する音を、外部に出力する。
【００３８】
映像信号生成処理部２６は、ディジタル信号処理部１５からの撮像画像の画像データや、メモリカード１７からの圧縮画像データ、制御部２１からの表示データ等に基づいて画像信号を生成し、生成した画像信号を、LCDパネル２７に供給する。LCDパネル２７は、映像信号生成処理部２６から供給される画像信号に対応する画像をその表示画面に表示する。
【００３９】
次に、制御部２１の音変換処理を実現する機能的構成例について説明する。
【００４０】
制御部２１は、撮像情報取得部２１Ａ及び音検出部２１Ｂから構成される。
【００４１】
撮像情報取得部２１Ａは、ディジタル信号処理部１５からの生成されたヒストグラムのピークを決定し、決定したピークの階級と度数（すなわち輝度値と画素数）を、被写体に係る撮像情報として取得する。
【００４２】
例えば図２に示すように、ある輝度値における画素数が、その左右の輝度値のいずれに対しても大きい山の頂点が（図中点線で囲まれた点）がピークに決定され、そのピークの輝度値と画素数が、そのときの被写体に係る撮像情報として取得される。
【００４３】
なお、被写体に係る撮像情報を取得する処理（撮像取得処理と称する）の詳細は、後述する。
【００４４】
撮像情報取得部２１Ａは、取得した被写体に係る撮像情報を、音検出部２１Ｂに供給する。
【００４５】
音検出部２１Ｂは、撮像情報取得部２１Ａから供給された被写体に係る撮像情報に対応する音を検出する。
【００４６】
具体的には、音検出部２１Ｂは、フラッシュメモリ２３に記憶された被写体に係る撮像情報が取りうる値（ピークの輝度値と画素数のセットが取りうる輝度値と画素数のセット）と音とを対応付ける対応情報としてのドレミファマップに基づいて、撮像情報取得部２１Ａから供給された被写体に係る撮像情報（ピークの輝度値と画素数のセット）に対応する音を検出し、その音情報を、制御バス１８を介して音声信号生成処理部２４に供給する。
【００４７】
図４は、ドレミファマップの例を示している。このドレミファマップにおける縦軸と横軸は、図２のヒストグラムの縦軸と横軸と同様に、画素数と明るさ（輝度値）を示している。
【００４８】
ドレミファマップ上の各領域（図中線で区切られた部分）には、所定の音が割り当てられている。この例の場合、ドレミファマップの左側（輝度値が比較的小さい側）において上から下（画素数が多い方から少ない方）に向かって順に、例えば「ド'」（「ド」の１オクターブ上の「ド」）、「ラ」、「ファ」、「ミ」、「レ」、無音が割り当てられ、右側（輝度値が比較的大きい側）において上から下（画素数が多い方から少ない方）に向かって順に、「ド'」、「シ」、「ソ」、「ミ」、「レ」、「ド」、無音が割り当てられている。
【００４９】
例えば、撮像情報取得部２１Ａから供給された被写体に係る撮像情報が、図２のヒストグラムから得られた図２中点線で囲まれたピークの輝度値と画素数である場合、その輝度値と画素数の図４中点線で囲まれた点を含む領域に割り当てられた音「シ」が検出される。
【００５０】
なお、図４の例では、ドレミファマップの各領域の輝度値方向及び画素数方向の幅は、演奏者の手が多少傾く等してピークの輝度値や画素数が変化しても、検出される音が急激に変化しないようにするもので、演奏者の意図しない手のブレ等に対するいわば不感帯として設けられている。
【００５１】
また、このドレミファマップの複数の領域に同じ音（例えば、図４中の「レ」と「ミ」）が割り当てられてもよく、音の割り当てや割り当てる音の範囲は、例えば、使用するカメラ等に応じて任意に設定することができる。
【００５２】
例えば、このドレミファマップに対する音の割り当てを、ユーザの手が撮像レンズ１１を覆う面積（あるいはユーザの手と撮像レンズ１１との間の距離）と音階上の音の高さとの関係が、ほぼ線形になるように行うことができる。このようにすることで、ユーザは、演奏の際に出力しようとする音をより直感的に予想することができる。
【００５３】
次に、図５を参照して、音出力処理におけるディジタルカメラ１の動作について説明する。
【００５４】
音出力処理は、ディジタルカメラ１の電源がオンされると開始される。
【００５５】
なお、ディジタルカメラ１には、音出力処理を行うかどうかを設定することができるが、ここでは、音出力処理を行う設定がなされているものとする。また、ディジタルカメラ１には、スルー画表示を行うかどうかを設定することができるが、ここでは、スルー画表示を行う設定がなされているものとする。
【００５６】
ステップＳ１において、制御部２１は、ディジタルカメラ１の各部（デバイス）を初期化させる。そして、各部の初期化が終了すると、スルー画表示が開始され、撮像された撮像画像が順次LCDパネル２７に表示される。この際、画像データが、A/D変換部１４からディジタル信号処理部１５に供給される。
【００５７】
ステップＳ２において、ディジタル信号処理部１５は、A/D変換部１４から供給される画像データにディジタル信号処理を施し、その結果得られる撮像画像から上述したヒストグラムを生成し、制御バス１８を介して制御部２１に供給する。
【００５８】
ステップＳ３において、制御部２１は、ディジタル信号処理部１５で生成されたヒストグラムから、そのヒストグラムを、例えば、図２に示すような棒グラフで表示するための表示データを生成する。
【００５９】
ステップＳ４において、制御部２１の撮像情報取得部２１Ａは、ディジタル信号処理部１５で生成されたヒストグラムから、被写体に係る撮像情報を取得する撮像情報取得処理を行う。この撮像情報取得処理の詳細を、図６のフローチャートを参照して説明する。
【００６０】
ステップＳ２１において、撮像情報取得部２１Ａは、ディジタル信号処理部１５で生成されたヒストグラムに対して、山の頂点を検出する。
【００６１】
例えば、図７に示すような生成されたヒストグラムの場合、３つの点（図中点線で囲まれた３つの点m1乃至点m3）が山の頂点として検出される。
【００６２】
ステップＳ２２において、撮像情報取得部２１Ａは、検出した山の頂点が１つであるかを判定する。ステップＳ２２において、検出した山の頂点が１つでないと判定された場合、ステップＳ２３において、撮像情報取得部２１Ａは、最も画素数が大きい山の頂点に対して画素数が所定の範囲内にある山の頂点が存在するかを判定する。
【００６３】
ステップＳ２３において、最も画素数が大きい山の頂点に対して画素数が所定の範囲内にある山の頂点が（最も画素数が大きい山の頂点以外に）存在すると判定された場合、ステップＳ２４において、撮像情報取得部２１Ａは、最も画素数が大きい山の頂点とこの画素数が所定の範囲内にある山の頂点について画素数または輝度値を平均したものを画素数または輝度値にする点をピークに決定する。そして、処理はステップＳ２６に進む。
【００６４】
例えば図７に示すような生成されたヒストグラムの場合、最も画素数が大きい山の頂点m1に対して画素数が所定の範囲d内に山の頂点m2が存在するので、最も画素数が大きい山の頂点m1とこの山の頂点m2について画素数または輝度値を平均したものを画素数または輝度値にする点Pがピークに決定される。
【００６５】
ステップＳ２２において、検出した山の頂点が１つであると判定されたか、あるいは、Ｓ２３において、最も画素数が大きい山の頂点に対して画素数が所定の範囲内に山の頂点が（最も画素数が大きい山の頂点以外に）存在しないと判定された場合、ステップＳ２５において、撮像情報取得部２１Ａは、その（１つの）山の頂点をピークに決定する。そして、処理はステップＳ２６に進む。
【００６６】
例えば図２に示すような生成されたヒストグラムの場合、このヒストグラムの山の頂点（図中点線で囲まれた点）が１つなので、この山の頂点がピークに決定される。
【００６７】
ステップＳ２６において、撮像情報取得部２１Ａは、ステップＳ２４またはステップＳ２５で決定したピークの画素数と輝度値を、被写体に係る撮像情報として取得する。そして、撮像情報取得処理は終了し、処理は図５のステップＳ５に戻る。
【００６８】
ステップＳ５において、音検出部２１Ｂは、フラッシュメモリ２３に記憶されているドレミファマップに基づいて、撮像情報取得部２１Ａで取得された被写体に係る撮像情報としてのピークの輝度値と画素数を含むドレミファマップ上の領域に割り当てられた音を検出し、その音情報を、制御バス１８を介して音声信号生成処理部２４に供給する。
【００６９】
例えば取得された被写体に係る撮像情報が、図２のヒストグラムから得られた図２中点線で囲まれたピークの輝度値と画素数である場合、その輝度値と画素数の図４中点線で囲まれた点を含む領域に割り当てられた音「シ」が検出される。
【００７０】
なお、上述した音変換処理は、これらのステップＳ４及びＳ５から構成される。
【００７１】
ステップＳ６において、制御部２１は、ステップＳ５で検出した音を示す情報、例えば、その音が「ド」である場合、「ド」と表示するための表示データを生成する。そして、制御部２１は、この生成した表示データと、ステップＳ３で生成したヒストグラムの表示データとをまとめて制御バス１８を介して映像信号生成処理部２６に供給する。映像信号生成処理部２６は、例えば、制御部２１からのこれらの表示データと、ディジタル信号処理部１５からの対応する撮像画像の画像データとに基づいて画像信号を生成し、生成した画像信号を、LCDパネル２７に供給して、撮像画像、そのヒストグラム、及びそのヒストグラムに対応する音を示す情報を、その表示画面に表示させる。
【００７２】
ステップＳ７において、音声信号生成処理部２４は、制御部２１からの音情報に対応する（ステップＳ５で音検出部２１Ｂにより検出された音の）周波数の正弦波を生成し、音声信号として、スピーカ２５に供給する。なお、音声信号生成処理部２４は、制御部２１からの音情報の音が他の音に変わるまで、同じ周波数の正弦波を生成してスピーカ２５に供給し続けるようになされている。
【００７３】
なお、音声信号生成処理部２４は、制御部２１からの音情報が無音を示すものの場合は、例えば音声信号を生成しないようになされている。
【００７４】
ステップＳ８において、スピーカ２５は、音声信号生成処理部２４から供給される音信号に対応する音を、外部に出力する。
【００７５】
これにより、ヒストグラムが生成される周期（すなわち例えば撮像の周期）で、生成されたヒストグラムから取得された被写体に係る撮像情報に対応する音が検出され、検出された音が他の音に変わるまで、その音が途切れることなく出力される。
【００７６】
このようにして音出力処理が行われる。なおこの音出力処理のうちステップＳ２乃至Ｓ８の処理は、例えば音出力処理の終了を指示する所定のコマンドが操作入力部２０から入力され音出力処理を終了する処理が実行されるまで継続して行われる。
【００７７】
なお、ここでは、音出力処理において、LCDパネル２７の表示画面に撮像画像、ヒストグラム、及び音を示す情報を表示するようにしたが、その他、これらのうちの一部または全てを表示しないようにすることもできる。
【００７８】
以上のように、被写体に係る撮像情報としてのピークの輝度値と画素数（のセット）を取得し、ピークの輝度値と画素数のセットが取りうる輝度値と画素数のセットと所定の音とを対応付けるドレミファマップに基づいて、取得されたピークの輝度値と画素数のセットに対応する音を検出するようにしたので、被写体に係る撮像情報からより容易に音を生成することができる。
【００７９】
また、撮像情報取得処理を行うことで、例えば図８に示すような生成されたヒストグラムの場合、すなわち最も画素数が大きい山の頂点が複数あるような場合でも、１つのピークを決定することができ、例えば、このような２つの山の頂点のそれぞれの画素数が微小に変化し、最も画素数が大きい山がこの２つの山の頂点の間で頻繁に入れ替わるような場合でも、そのようなヒストグラムから決定されるピークの輝度値と画素数、すなわち被写体に係る撮像情報はあまり変化しないので、出力される音が頻繁に切り替わるようなことを防ぐことができる。
【００８０】
ディジタルカメラ１は、カメラを楽器として使用するという点において非常に独創的であり、カメラを楽器として使用することで、カメラの新しい楽しみ方やライフスタイルを世の中に提案することができる。
【００８１】
例えば、オーロラのような自ら光を放ちその光が時間的に変化するものを入力（撮像）することで、オーロラを視覚的に楽しむだけでなく、そのオーロラに固有のBGM(back ground music)を聴覚的に楽しむこともできる。
【００８２】
また、上述した被写体に係る撮像情報から音を生成する機能とカメラの基本機能と組み合わせることで、映像や静止画等の撮像画像と、その撮像画像を撮像した現場で作曲した曲とを関連付けたコンテンツをその場で作成することや、その場で自在に編集すること等といった新たな楽しみを生み出すことも期待できる。このように、現在のカメラ市場にない新たな付加価値を提案することができる。
【００８３】
あるいは、ディジタルカメラ１と同じものを所持している複数人でオーケストラを構成し、一緒に音を奏でるといった楽しみも期待できる。現在、カメラの普及率は年々増加傾向にあり、多くの人々がカメラを持っているので、このようなアプリケーションが普及すれば、カメラの演奏を通じた新たな人と人との間のコミュニケーションを期待することができる。
【００８４】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウェアにより実行することもでき、一連の処理をソフトウェアにより実行する場合、特別なシステムを用いる必要はなく、カメラという世間的にも普及率が高い既存のシステムに、このソフトウェアを載せるだけで済む。現在普及しているカメラの多くには、ヒストグラムを生成する機能と音を出力する機能が搭載されているため、このソフトウェアの導入は非常に容易である。
【００８５】
本実施の形態では、光の入力から音の出力を行うようにしたが、その他、これとは逆に、音の入力から光の出力を行うようにすることもできる。この場合、カメラには、音の入力を行うマイクロフォンが必要になるが、これもほとんどのカメラに搭載されているため、音の入力から光の出力を行うようにすることは容易である。
【００８６】
また、本実施の形態では、被写体に係る撮像情報としてヒストグラムの情報（ヒストグラムのピークの輝度値と画素数）を用いたが、その他、被写体に係る撮像情報としては、ユーザの動きを認識するのに用いることが可能なもの、例えば焦点距離、ホワイトバランス、検波値等の情報を用いてもよい。
【００８７】
例えば、被写体に係る撮像情報として焦点距離（そのもの）を用いる場合、撮像情報取得部２１Ａは、制御部２１で検出された焦点距離を撮像情報として取得し、音検出部２１Ｂは、図４のドレミファマップに対応する、図９に示すような制御部２１で検出される焦点距離が取りうる焦点距離と所定の音とを対応付けるものに基づいて、検出された焦点距離に対応する音を検出する。
【００８８】
なお焦点距離は、制御部２１により、例えばディジタル信号処理部１５からのコントラストが最大になったときのディジタルカメラ１から被写体までの（推定）距離として検出される。
【００８９】
本実施の形態では、ドレミファマップのデータ（マッピングデータ）は、プログラムの内部に組み込まれ、プログラムの一部としてフラッシュメモリ２３に記憶されているものとしたが、マッピングデータがプログラムの内部に組み込まれているものでなければならないという制約はなく、例えばこのマッピングデータをネットワークを介してダウンロードしたものに更新したり、メモリカード１７に記憶されたものに更新したりして任意に変更することも可能である。また、カメラという特徴を活かすならば、例えば、手書きの絵等のドレミファマップをこのディジタルカメラ１で撮像し、撮像した撮像画像から認識されたドレミファマップに更新することも可能である。
【００９０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００９１】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【００９２】
【図１】ディジタルカメラ１の利用例を示す図である。
【図２】ヒストグラムの例を示す図である。
【図３】ディジタルカメラ１の構成例を示すブロック図である。
【図４】ドレミファマップの例を示す図である。
【図５】音出力処理におけるディジタルカメラ１の動作を説明するフローチャートである。
【図６】撮像情報取得処理における撮像情報取得部２１Ａの動作を説明するフローチャートである。
【図７】ヒストグラムの他の例を示す図である。
【図８】ヒストグラムの他の例を示す図である。
【図９】ドレミファマップの他の例を示す図である。
【符号の説明】
【００９３】
１ ディジタルカメラ， １１ 撮像レンズ， １２ 撮像素子， １３ アナログ信号処理部， １４ A/D変換部， １５ ディジタル信号処理部， １６ I/O制御部， １７ メモリカード， １８ 制御バス， １９ レンズ制御部， ２０ 操作入力部， ２１ 制御部， ２１Ａ 撮像情報取得部， ２１Ｂ 音検出部， ２２ 画像RAM， ２３ フラッシュメモリ， ２４ 音声信号生成処理部， ２５ スピーカ， ２６ 映像信号生成処理部， ２７ LCDパネル
【技術分野】
【０００１】
本発明は情報処理装置及び方法、並びにプログラムに関し、特に、例えば、撮像の結果得られる被写体に係る撮像情報からより容易に音を生成することができるようにする情報処理装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
現在普及している多くのディジタルスチルカメラやディジタルビデオカメラ（以下、適宜、カメラと称する）には、様々なセンサが搭載されており、また、記録した音を再生するための音源も用意されている。そのようなカメラにセンサ情報の入力に応じた音を出力させて、電子楽器として利用できるようにすることが提案されている。
【０００３】
例えば、特許文献１乃至３の発明では、カメラによる撮像の結果得られた撮像画像に基づいて、所定の音が生成される。
【特許文献１】特開２０００−２７６１３９号公報
【特許文献２】特開２００５−３１６３００号公報
【特許文献３】実登３０９８４２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１乃至３の発明では、撮像画像に対して動き検出という高度な画像解析を行う必要があるので処理時間がかかっていた。そのため、例えば演奏者の動きがあってから音が出力されるまでに遅れが生じるので、演奏に違和感があった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、例えば、撮像の結果得られる被写体に係る撮像情報からより容易に音を生成することができるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の一側面の情報処理装置は、撮像の結果得られる被写体に係る撮像情報に基づいて、所定の音を生成する情報処理装置において、前記撮像情報を取得する取得手段と、前記撮像情報が取りうる値と所定の音とを対応付ける対応情報に基づいて、前記取得手段により取得された前記撮像情報に対応する音を検出する検出手段とを備える。
【０００７】
本発明の一側面の情報処理装置は、前記検出手段により検出された前記音を出力する出力手段をさらに備える。
【０００８】
本発明の一側面の情報処理方法またはプログラムは、撮像の結果得られる被写体に係る撮像情報に基づいて、所定の音を生成する情報処理方法または情報処理をコンピュータに実行させるプログラムにおいて、前記撮像情報を取得する取得ステップと、前記撮像情報が取りうる値と所定の音とを対応付ける対応情報に基づいて、前記取得ステップの処理により取得された前記撮像情報に対応する音を検出する検出ステップとを含む情報処理方法または情報処理をコンピュータに実行させるプログラム。
【０００９】
本発明の一側面においては、撮像の結果得られる被写体に係る撮像情報が取得され、前記被写体に係る撮像情報が取りうる値と所定の音とを対応付ける対応情報に基づいて、取得された前記被写体に係る撮像情報に対応する音が検出される。
【発明の効果】
【００１０】
本発明の一側面によれば、例えば、撮像の結果得られる被写体に係る撮像情報からより容易に音を生成することができる。
【発明を実施するための最良の形態】
【００１１】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１２】
本発明の一側面の情報処理装置は、
撮像の結果得られる被写体に係る撮像情報（例えば、ヒストグラムのピークの輝度値と画素数）に基づいて、所定の音を生成する情報処理装置（例えば、図３のディジタルカメラ１）において、
前記被写体に係る撮像情報を取得する取得手段（例えば、図３の撮像情報取得部２１Ａ）と、
前記被写体に係る撮像情報が取りうる値と所定の音とを対応付ける対応情報に基づいて、前記取得手段により取得された前記被写体に係る撮像情報に対応する音を検出する検出手段（例えば、図３の音検出部２１Ｂ）と
を備える。
【００１３】
本発明の一側面の情報処理装置は、
前記検出手段により検出された音を出力する出力手段（例えば、図３のスピーカ２５）をさらに備える。
【００１４】
本発明の一側面の情報処理方法またはプログラムは、
撮像の結果得られる被写体に係る撮像情報に基づいて、所定の音を生成する情報処理方法または情報処理をコンピュータに実行させるプログラムにおいて、
前記被写体に係る撮像情報を取得する取得ステップ（例えば、図５のステップＳ４）と、
前記被写体に係る撮像情報が取りうる値と所定の音とを対応付ける対応情報に基づいて、前記取得ステップの処理により取得された前記被写体に係る撮像情報に対応する音を検出する検出ステップ（例えば、図５のステップＳ５）と
を含む情報処理方法または情報処理をコンピュータに実行させるプログラム。
【００１５】
以下、図面を参照して本発明を適用した実施の形態について説明する。
【００１６】
図１は、本発明を適用したディジタルカメラ１の利用例を示している。ディジタルカメラ１は、図１に示すように、撮像するユーザの手の位置に応じた所定の音（例えば、「ド」，「レ」，「ミ」、・・・等の音階を構成する音）を出力することができる。
【００１７】
例えば、世界最古の電子楽器とされているテルミンを用いる場合、演奏者は、そのテルミンを構成するアンテナに対して自身の手を遠ざけたり近づけたりすることで演奏を行う。すなわちディジタルカメラ１により、このテルミンと同様に、そのディジタルカメラ１を構成する撮像レンズ１１に対してユーザの手を遠ざけたり近づけたりすることで演奏を行うことができる。
【００１８】
詳細は後述するがディジタルカメラ１は、撮像するユーザの手の位置に応じて変化する、撮像の結果得られる被写体に係る撮像情報に応じて、所定の音（例えば、「ド」，「レ」，「ミ」、・・・等の音階を構成する音）を出力する。ここでは、被写体に係る撮像情報として、図２に示すような階級が明るさ（輝度値）、度数が画素数であるヒストグラムから得られるピークの値（輝度値と画素数）が用いられる。
【００１９】
このヒストグラムは、例えば撮像の際に逆光の検出において利用されるため、このヒストグラムを生成する機能は、カメラに通常搭載されており、このヒストグラムの生成がカメラの制御周期でスムーズに動作することに関しては、非常に高い実績がある。ディジタルカメラ１では、このように生成されるヒストグラムからそのピークの値を求め、その値に応じて音に変換する処理（以下、音変換処理と称する）が行われる。
【００２０】
このようにディジタルカメラ１における音変換処理では、画像に比べて情報量の少ないヒストグラムを処理するので、情報の処理量は少ない。したがって、音変換処理を迅速に行うことができるので、演奏者の動きがあってから音声が出力されるまでの遅れが少なくなり、スムーズな演奏が可能になる。
【００２１】
また、このディジタルカメラ１を用いる演奏では、動きを検出する従来の方法のように例えば演奏者が上下に腕を振るといった演奏者の大きな動きが要求されておらず、例えば音階上の隣りの音を出力させるための演奏者の手の動きは10cm未満であり、一般的な楽器の演奏スタイルに近くなっている。図１の例では、ユーザの手から撮像レンズ１１までの距離は、0cm（撮像レンズ１１が手で覆われた状態に相当）から最大で30〜50cm程度であり、この範囲で手を動かすことで、１オクターブ程度の例えば９つの音を出力させることができる。
【００２２】
また一般的なディジタルカメラは、図２に示すようなヒストグラムを生成する機能と、記録した音を再生するための音源を有しているので、一般的なディジタルカメラに後述する音変換処理を実行する機能を付加するだけで、ディジタルカメラで電子楽器を構成することができる。
【００２３】
図３は、このようなディジタルカメラ１の構成例を示すブロック図である。
【００２４】
ディジタルカメラ１は、撮像レンズ１１、撮像素子１２、アナログ信号処理部１３、A/D(Analog/Digital)変換部１４、ディジタル信号処理部１５、I/O(input output)制御部１６、メモリカード１７、制御バス１８、レンズ制御部１９、操作入力部２０、制御部２１、画像RAM２２、フラッシュメモリ２３、音声信号生成処理部２４、スピーカ２５、映像信号生成処理部２６、及びLCD(Liquid Crystal Display)パネル２７から構成される。
【００２５】
例えばCCD(Charge Coupled Device)等よりなる撮像素子１２は、撮像レンズ１１を介して入射する被写体からの光を受光して光電変換を行い、その光の受光量に応じた電気信号としてのアナログの画像信号をアナログ信号処理部１３に供給する。
【００２６】
アナログ信号処理部１３は、撮像素子１２から供給されるアナログの画像信号の増幅、ガンマ補正、ホワイトバランス調整などのアナログ信号処理を行い、その結果得られる画像信号をA/D変換部１４に供給する。
【００２７】
A/D変換部１４は、アナログ信号処理部１３からのアナログ信号の画像信号をA/D変換し、その結果得られるディジタル信号の画像データをディジタル信号処理部１５に供給する。
【００２８】
ディジタル信号処理部１５は、制御バス１８を介して行われる制御部２１による制御に従って、A/D変換部１４から供給される画像データに対してノイズ除去処理等のディジタル信号処理を施し、その結果得られる撮像画像（の画像データ）を、順次、制御バス１８及び映像信号生成処理部２６を介して、LCDパネル２７に供給して表示させる（このような表示を、以下、スルー画表示と称する）。ディジタル信号処理部１５は、ユーザによる例えば操作入力部２０のシャッターボタンの操作に基づいて、上述したディジタル信号処理の結果得られる撮像画像（の画像データ）を、例えば、JPEG(Joint Photographic Experts Group)方式等で圧縮し、その結果得られる圧縮画像データを、制御バス１８及びI/O制御部１６を介して、メモリカード１７に供給して記憶させる。
【００２９】
ディジタル信号処理部１５は、ディジタル信号処理の結果得られる撮像画像から上述したヒストグラムを生成し、制御バス１８を介して制御部２１に供給する。このヒストグラムは、音変換処理の他、制御部２１で、逆光の検出に用いられる。また、ディジタル信号処理部１５は、ディジタル信号処理の結果得られる撮像画像からコントラストを求め、制御バス１８を介して制御部２１に供給する。このコントラストは、制御部２１で、フォーカスを合わせるためのレンズ制御部１９の制御に用いられる。
【００３０】
I/O制御部１６は、ディジタル信号処理部１５からの圧縮画像データを、メモリカード１７に供給して記憶させる。また、I/O制御部１６は、制御部２１の制御に基づいて、例えばメモリカード１７に記憶されている圧縮画像データを読み出し、制御バス１８上に供給する。
【００３１】
メモリカード１７は、ディジタルカメラ1に着脱可能な状態で接続された、例えばMS(Memory Stick)（メモリースティック（商標））等の半導体メモリであり、I/O制御部１６の制御に基づいて、圧縮画像データ等を記憶する。レンズ制御部１９は、制御部２１の制御に基づいて、撮像レンズ１１の例えば図示せぬフォーカスレンズを駆動する制御を行う。
【００３２】
操作入力部２０は、例えば図示せぬボタン等で構成され、そのボタン等に対するユーザの操作に基づいて、その操作に対応するデータやコマンド等を入力し、制御部２１に供給する。
【００３３】
制御部２１は、例えばCPU(Central Processing Unit)等から構成され、フラッシュメモリ２３に記憶されているプログラムを読み出し、内蔵する図示せぬRAM(Random Access Memory)に展開して実行することにより、ディジタルカメラ１を構成する各部を制御する。制御部２１は、例えば所定の制御周期でディジタル信号処理部１５で生成されたヒストグラムを用いて逆光を検出する。
【００３４】
また、制御部２１は、ディジタル信号処理部１５で生成されたヒストグラムを音に変換する音変換処理を行い、その結果得られる音情報を、制御バス１８を介して音声信号生成処理部２４に供給する。
【００３５】
画像RAM２２は、例えば、撮像画像（の画像データ）をメモリカード１７に記憶させるときのディジタル信号処理部１５による撮像画像の画像データの圧縮処理や、メモリカード１７に記憶されている圧縮画像データに対応する画像をLCDパネル２７に表示するときのディジタル信号処理部１５による圧縮画像データの伸張処理において生じるデータ等を一時的に記憶する。
【００３６】
フラッシュメモリ２３は、制御部２１が実行するプログラムや、後述するドレミファマップといった各種の設定情報、その他、ディジタルカメラ１の電源がオフにされたときも保持しておく必要があるデータ等を記憶する。
【００３７】
音声信号生成処理部２４は、内蔵音源であり、制御部２１からの音情報に対応する周波数の正弦波の音信号を生成し、生成した音信号を、スピーカ２５に供給する。スピーカ２５は、音声信号生成処理部２４から供給される音信号に対応する音を、外部に出力する。
【００３８】
映像信号生成処理部２６は、ディジタル信号処理部１５からの撮像画像の画像データや、メモリカード１７からの圧縮画像データ、制御部２１からの表示データ等に基づいて画像信号を生成し、生成した画像信号を、LCDパネル２７に供給する。LCDパネル２７は、映像信号生成処理部２６から供給される画像信号に対応する画像をその表示画面に表示する。
【００３９】
次に、制御部２１の音変換処理を実現する機能的構成例について説明する。
【００４０】
制御部２１は、撮像情報取得部２１Ａ及び音検出部２１Ｂから構成される。
【００４１】
撮像情報取得部２１Ａは、ディジタル信号処理部１５からの生成されたヒストグラムのピークを決定し、決定したピークの階級と度数（すなわち輝度値と画素数）を、被写体に係る撮像情報として取得する。
【００４２】
例えば図２に示すように、ある輝度値における画素数が、その左右の輝度値のいずれに対しても大きい山の頂点が（図中点線で囲まれた点）がピークに決定され、そのピークの輝度値と画素数が、そのときの被写体に係る撮像情報として取得される。
【００４３】
なお、被写体に係る撮像情報を取得する処理（撮像取得処理と称する）の詳細は、後述する。
【００４４】
撮像情報取得部２１Ａは、取得した被写体に係る撮像情報を、音検出部２１Ｂに供給する。
【００４５】
音検出部２１Ｂは、撮像情報取得部２１Ａから供給された被写体に係る撮像情報に対応する音を検出する。
【００４６】
具体的には、音検出部２１Ｂは、フラッシュメモリ２３に記憶された被写体に係る撮像情報が取りうる値（ピークの輝度値と画素数のセットが取りうる輝度値と画素数のセット）と音とを対応付ける対応情報としてのドレミファマップに基づいて、撮像情報取得部２１Ａから供給された被写体に係る撮像情報（ピークの輝度値と画素数のセット）に対応する音を検出し、その音情報を、制御バス１８を介して音声信号生成処理部２４に供給する。
【００４７】
図４は、ドレミファマップの例を示している。このドレミファマップにおける縦軸と横軸は、図２のヒストグラムの縦軸と横軸と同様に、画素数と明るさ（輝度値）を示している。
【００４８】
ドレミファマップ上の各領域（図中線で区切られた部分）には、所定の音が割り当てられている。この例の場合、ドレミファマップの左側（輝度値が比較的小さい側）において上から下（画素数が多い方から少ない方）に向かって順に、例えば「ド'」（「ド」の１オクターブ上の「ド」）、「ラ」、「ファ」、「ミ」、「レ」、無音が割り当てられ、右側（輝度値が比較的大きい側）において上から下（画素数が多い方から少ない方）に向かって順に、「ド'」、「シ」、「ソ」、「ミ」、「レ」、「ド」、無音が割り当てられている。
【００４９】
例えば、撮像情報取得部２１Ａから供給された被写体に係る撮像情報が、図２のヒストグラムから得られた図２中点線で囲まれたピークの輝度値と画素数である場合、その輝度値と画素数の図４中点線で囲まれた点を含む領域に割り当てられた音「シ」が検出される。
【００５０】
なお、図４の例では、ドレミファマップの各領域の輝度値方向及び画素数方向の幅は、演奏者の手が多少傾く等してピークの輝度値や画素数が変化しても、検出される音が急激に変化しないようにするもので、演奏者の意図しない手のブレ等に対するいわば不感帯として設けられている。
【００５１】
また、このドレミファマップの複数の領域に同じ音（例えば、図４中の「レ」と「ミ」）が割り当てられてもよく、音の割り当てや割り当てる音の範囲は、例えば、使用するカメラ等に応じて任意に設定することができる。
【００５２】
例えば、このドレミファマップに対する音の割り当てを、ユーザの手が撮像レンズ１１を覆う面積（あるいはユーザの手と撮像レンズ１１との間の距離）と音階上の音の高さとの関係が、ほぼ線形になるように行うことができる。このようにすることで、ユーザは、演奏の際に出力しようとする音をより直感的に予想することができる。
【００５３】
次に、図５を参照して、音出力処理におけるディジタルカメラ１の動作について説明する。
【００５４】
音出力処理は、ディジタルカメラ１の電源がオンされると開始される。
【００５５】
なお、ディジタルカメラ１には、音出力処理を行うかどうかを設定することができるが、ここでは、音出力処理を行う設定がなされているものとする。また、ディジタルカメラ１には、スルー画表示を行うかどうかを設定することができるが、ここでは、スルー画表示を行う設定がなされているものとする。
【００５６】
ステップＳ１において、制御部２１は、ディジタルカメラ１の各部（デバイス）を初期化させる。そして、各部の初期化が終了すると、スルー画表示が開始され、撮像された撮像画像が順次LCDパネル２７に表示される。この際、画像データが、A/D変換部１４からディジタル信号処理部１５に供給される。
【００５７】
ステップＳ２において、ディジタル信号処理部１５は、A/D変換部１４から供給される画像データにディジタル信号処理を施し、その結果得られる撮像画像から上述したヒストグラムを生成し、制御バス１８を介して制御部２１に供給する。
【００５８】
ステップＳ３において、制御部２１は、ディジタル信号処理部１５で生成されたヒストグラムから、そのヒストグラムを、例えば、図２に示すような棒グラフで表示するための表示データを生成する。
【００５９】
ステップＳ４において、制御部２１の撮像情報取得部２１Ａは、ディジタル信号処理部１５で生成されたヒストグラムから、被写体に係る撮像情報を取得する撮像情報取得処理を行う。この撮像情報取得処理の詳細を、図６のフローチャートを参照して説明する。
【００６０】
ステップＳ２１において、撮像情報取得部２１Ａは、ディジタル信号処理部１５で生成されたヒストグラムに対して、山の頂点を検出する。
【００６１】
例えば、図７に示すような生成されたヒストグラムの場合、３つの点（図中点線で囲まれた３つの点m1乃至点m3）が山の頂点として検出される。
【００６２】
ステップＳ２２において、撮像情報取得部２１Ａは、検出した山の頂点が１つであるかを判定する。ステップＳ２２において、検出した山の頂点が１つでないと判定された場合、ステップＳ２３において、撮像情報取得部２１Ａは、最も画素数が大きい山の頂点に対して画素数が所定の範囲内にある山の頂点が存在するかを判定する。
【００６３】
ステップＳ２３において、最も画素数が大きい山の頂点に対して画素数が所定の範囲内にある山の頂点が（最も画素数が大きい山の頂点以外に）存在すると判定された場合、ステップＳ２４において、撮像情報取得部２１Ａは、最も画素数が大きい山の頂点とこの画素数が所定の範囲内にある山の頂点について画素数または輝度値を平均したものを画素数または輝度値にする点をピークに決定する。そして、処理はステップＳ２６に進む。
【００６４】
例えば図７に示すような生成されたヒストグラムの場合、最も画素数が大きい山の頂点m1に対して画素数が所定の範囲d内に山の頂点m2が存在するので、最も画素数が大きい山の頂点m1とこの山の頂点m2について画素数または輝度値を平均したものを画素数または輝度値にする点Pがピークに決定される。
【００６５】
ステップＳ２２において、検出した山の頂点が１つであると判定されたか、あるいは、Ｓ２３において、最も画素数が大きい山の頂点に対して画素数が所定の範囲内に山の頂点が（最も画素数が大きい山の頂点以外に）存在しないと判定された場合、ステップＳ２５において、撮像情報取得部２１Ａは、その（１つの）山の頂点をピークに決定する。そして、処理はステップＳ２６に進む。
【００６６】
例えば図２に示すような生成されたヒストグラムの場合、このヒストグラムの山の頂点（図中点線で囲まれた点）が１つなので、この山の頂点がピークに決定される。
【００６７】
ステップＳ２６において、撮像情報取得部２１Ａは、ステップＳ２４またはステップＳ２５で決定したピークの画素数と輝度値を、被写体に係る撮像情報として取得する。そして、撮像情報取得処理は終了し、処理は図５のステップＳ５に戻る。
【００６８】
ステップＳ５において、音検出部２１Ｂは、フラッシュメモリ２３に記憶されているドレミファマップに基づいて、撮像情報取得部２１Ａで取得された被写体に係る撮像情報としてのピークの輝度値と画素数を含むドレミファマップ上の領域に割り当てられた音を検出し、その音情報を、制御バス１８を介して音声信号生成処理部２４に供給する。
【００６９】
例えば取得された被写体に係る撮像情報が、図２のヒストグラムから得られた図２中点線で囲まれたピークの輝度値と画素数である場合、その輝度値と画素数の図４中点線で囲まれた点を含む領域に割り当てられた音「シ」が検出される。
【００７０】
なお、上述した音変換処理は、これらのステップＳ４及びＳ５から構成される。
【００７１】
ステップＳ６において、制御部２１は、ステップＳ５で検出した音を示す情報、例えば、その音が「ド」である場合、「ド」と表示するための表示データを生成する。そして、制御部２１は、この生成した表示データと、ステップＳ３で生成したヒストグラムの表示データとをまとめて制御バス１８を介して映像信号生成処理部２６に供給する。映像信号生成処理部２６は、例えば、制御部２１からのこれらの表示データと、ディジタル信号処理部１５からの対応する撮像画像の画像データとに基づいて画像信号を生成し、生成した画像信号を、LCDパネル２７に供給して、撮像画像、そのヒストグラム、及びそのヒストグラムに対応する音を示す情報を、その表示画面に表示させる。
【００７２】
ステップＳ７において、音声信号生成処理部２４は、制御部２１からの音情報に対応する（ステップＳ５で音検出部２１Ｂにより検出された音の）周波数の正弦波を生成し、音声信号として、スピーカ２５に供給する。なお、音声信号生成処理部２４は、制御部２１からの音情報の音が他の音に変わるまで、同じ周波数の正弦波を生成してスピーカ２５に供給し続けるようになされている。
【００７３】
なお、音声信号生成処理部２４は、制御部２１からの音情報が無音を示すものの場合は、例えば音声信号を生成しないようになされている。
【００７４】
ステップＳ８において、スピーカ２５は、音声信号生成処理部２４から供給される音信号に対応する音を、外部に出力する。
【００７５】
これにより、ヒストグラムが生成される周期（すなわち例えば撮像の周期）で、生成されたヒストグラムから取得された被写体に係る撮像情報に対応する音が検出され、検出された音が他の音に変わるまで、その音が途切れることなく出力される。
【００７６】
このようにして音出力処理が行われる。なおこの音出力処理のうちステップＳ２乃至Ｓ８の処理は、例えば音出力処理の終了を指示する所定のコマンドが操作入力部２０から入力され音出力処理を終了する処理が実行されるまで継続して行われる。
【００７７】
なお、ここでは、音出力処理において、LCDパネル２７の表示画面に撮像画像、ヒストグラム、及び音を示す情報を表示するようにしたが、その他、これらのうちの一部または全てを表示しないようにすることもできる。
【００７８】
以上のように、被写体に係る撮像情報としてのピークの輝度値と画素数（のセット）を取得し、ピークの輝度値と画素数のセットが取りうる輝度値と画素数のセットと所定の音とを対応付けるドレミファマップに基づいて、取得されたピークの輝度値と画素数のセットに対応する音を検出するようにしたので、被写体に係る撮像情報からより容易に音を生成することができる。
【００７９】
また、撮像情報取得処理を行うことで、例えば図８に示すような生成されたヒストグラムの場合、すなわち最も画素数が大きい山の頂点が複数あるような場合でも、１つのピークを決定することができ、例えば、このような２つの山の頂点のそれぞれの画素数が微小に変化し、最も画素数が大きい山がこの２つの山の頂点の間で頻繁に入れ替わるような場合でも、そのようなヒストグラムから決定されるピークの輝度値と画素数、すなわち被写体に係る撮像情報はあまり変化しないので、出力される音が頻繁に切り替わるようなことを防ぐことができる。
【００８０】
ディジタルカメラ１は、カメラを楽器として使用するという点において非常に独創的であり、カメラを楽器として使用することで、カメラの新しい楽しみ方やライフスタイルを世の中に提案することができる。
【００８１】
例えば、オーロラのような自ら光を放ちその光が時間的に変化するものを入力（撮像）することで、オーロラを視覚的に楽しむだけでなく、そのオーロラに固有のBGM(back ground music)を聴覚的に楽しむこともできる。
【００８２】
また、上述した被写体に係る撮像情報から音を生成する機能とカメラの基本機能と組み合わせることで、映像や静止画等の撮像画像と、その撮像画像を撮像した現場で作曲した曲とを関連付けたコンテンツをその場で作成することや、その場で自在に編集すること等といった新たな楽しみを生み出すことも期待できる。このように、現在のカメラ市場にない新たな付加価値を提案することができる。
【００８３】
あるいは、ディジタルカメラ１と同じものを所持している複数人でオーケストラを構成し、一緒に音を奏でるといった楽しみも期待できる。現在、カメラの普及率は年々増加傾向にあり、多くの人々がカメラを持っているので、このようなアプリケーションが普及すれば、カメラの演奏を通じた新たな人と人との間のコミュニケーションを期待することができる。
【００８４】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウェアにより実行することもでき、一連の処理をソフトウェアにより実行する場合、特別なシステムを用いる必要はなく、カメラという世間的にも普及率が高い既存のシステムに、このソフトウェアを載せるだけで済む。現在普及しているカメラの多くには、ヒストグラムを生成する機能と音を出力する機能が搭載されているため、このソフトウェアの導入は非常に容易である。
【００８５】
本実施の形態では、光の入力から音の出力を行うようにしたが、その他、これとは逆に、音の入力から光の出力を行うようにすることもできる。この場合、カメラには、音の入力を行うマイクロフォンが必要になるが、これもほとんどのカメラに搭載されているため、音の入力から光の出力を行うようにすることは容易である。
【００８６】
また、本実施の形態では、被写体に係る撮像情報としてヒストグラムの情報（ヒストグラムのピークの輝度値と画素数）を用いたが、その他、被写体に係る撮像情報としては、ユーザの動きを認識するのに用いることが可能なもの、例えば焦点距離、ホワイトバランス、検波値等の情報を用いてもよい。
【００８７】
例えば、被写体に係る撮像情報として焦点距離（そのもの）を用いる場合、撮像情報取得部２１Ａは、制御部２１で検出された焦点距離を撮像情報として取得し、音検出部２１Ｂは、図４のドレミファマップに対応する、図９に示すような制御部２１で検出される焦点距離が取りうる焦点距離と所定の音とを対応付けるものに基づいて、検出された焦点距離に対応する音を検出する。
【００８８】
なお焦点距離は、制御部２１により、例えばディジタル信号処理部１５からのコントラストが最大になったときのディジタルカメラ１から被写体までの（推定）距離として検出される。
【００８９】
本実施の形態では、ドレミファマップのデータ（マッピングデータ）は、プログラムの内部に組み込まれ、プログラムの一部としてフラッシュメモリ２３に記憶されているものとしたが、マッピングデータがプログラムの内部に組み込まれているものでなければならないという制約はなく、例えばこのマッピングデータをネットワークを介してダウンロードしたものに更新したり、メモリカード１７に記憶されたものに更新したりして任意に変更することも可能である。また、カメラという特徴を活かすならば、例えば、手書きの絵等のドレミファマップをこのディジタルカメラ１で撮像し、撮像した撮像画像から認識されたドレミファマップに更新することも可能である。
【００９０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００９１】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【００９２】
【図１】ディジタルカメラ１の利用例を示す図である。
【図２】ヒストグラムの例を示す図である。
【図３】ディジタルカメラ１の構成例を示すブロック図である。
【図４】ドレミファマップの例を示す図である。
【図５】音出力処理におけるディジタルカメラ１の動作を説明するフローチャートである。
【図６】撮像情報取得処理における撮像情報取得部２１Ａの動作を説明するフローチャートである。
【図７】ヒストグラムの他の例を示す図である。
【図８】ヒストグラムの他の例を示す図である。
【図９】ドレミファマップの他の例を示す図である。
【符号の説明】
【００９３】
１ ディジタルカメラ， １１ 撮像レンズ， １２ 撮像素子， １３ アナログ信号処理部， １４ A/D変換部， １５ ディジタル信号処理部， １６ I/O制御部， １７ メモリカード， １８ 制御バス， １９ レンズ制御部， ２０ 操作入力部， ２１ 制御部， ２１Ａ 撮像情報取得部， ２１Ｂ 音検出部， ２２ 画像RAM， ２３ フラッシュメモリ， ２４ 音声信号生成処理部， ２５ スピーカ， ２６ 映像信号生成処理部， ２７ LCDパネル
【特許請求の範囲】
【請求項１】
撮像の結果得られる被写体に係る撮像情報に基づいて、所定の音を生成する情報処理装置において、
前記被写体に係る撮像情報を取得する取得手段と、
前記被写体に係る撮像情報が取りうる値と所定の音とを対応付ける対応情報に基づいて、前記取得手段により取得された前記被写体に係る撮像情報に対応する音を検出する検出手段と
を備える情報処理装置。
【請求項２】
前記取得手段は、撮像の結果得られる、階級が輝度値、度数が画素数であるヒストグラムのピークの輝度値と画素数を前記被写体に係る撮像情報として取得し、
前記検出手段は、前記ヒストグラムのピークとなり得る輝度値及び画素数と、所定の音とを対応付ける前記対応情報に基づいて、前記取得手段により取得された前記ヒストグラムのピークの輝度値と画素値に対応する記音を検出する
請求項１に記載の情報処理装置。
【請求項３】
前記取得手段は、前記ヒストグラムの山の頂点が１つの場合、その山の頂点を前記ヒストグラムのピークに決定し、前記ヒストグラムの山の頂点が複数の場合、その複数の山の頂点の画素数または輝度値を平均したものを画素数または輝度値にする点を前記ヒストグラムのピークに決定する
請求項２に記載の情報処理装置。
【請求項４】
前記取得手段は、前記ヒストグラムの山の頂点が複数ある場合、その複数の山の頂点のうち最も画素数が大きい山の頂点と、前記最も画素数が大きい山の頂点に対して画素数が所定の範囲内にある山の頂点の画素数または輝度値を平均したものを画素数または輝度値とする点を前記ヒストグラムのピークに決定する
請求項３に記載の情報処理装置。
【請求項５】
前記取得手段は、撮像の結果得られる焦点距離を前記被写体に係る撮像情報として取得し、
前記検出手段は、前記焦点距離が取りうる値と所定の音とを対応付ける前記対応情報に基づいて、前記取得手段により取得された前記焦点距離に対応する音を検出する
請求項１に記載の情報処理装置。
【請求項６】
前記検出手段により検出された音を出力する出力手段をさらに備える
請求項１に記載の情報処理装置。
【請求項７】
前記撮像装置をさらに備える
請求項１に記載の情報処理装置。
【請求項８】
撮像の結果得られる被写体に係る撮像情報に基づいて、所定の音を生成する情報処理方法において、
前記被写体に係る撮像情報を取得する取得ステップと、
前記被写体に係る撮像情報が取りうる値と所定の音とを対応付ける対応情報に基づいて、前記取得ステップの処理により取得された前記被写体に係る撮像情報に対応する音を検出する検出ステップと
を含む情報処理方法。
【請求項９】
撮像の結果得られる被写体に係る撮像情報に基づいて、所定の音を生成する情報処理をコンピュータに実行させるプログラムにおいて、
前記被写体に係る撮像情報を取得する取得ステップと、
前記被写体に係る撮像情報が取りうる値と所定の音とを対応付ける対応情報に基づいて、前記取得ステップの処理により取得された前記被写体に係る撮像情報に対応する音を検出する検出ステップと
を含む情報処理をコンピュータに実行させるプログラム。
【請求項１】
撮像の結果得られる被写体に係る撮像情報に基づいて、所定の音を生成する情報処理装置において、
前記被写体に係る撮像情報を取得する取得手段と、
前記被写体に係る撮像情報が取りうる値と所定の音とを対応付ける対応情報に基づいて、前記取得手段により取得された前記被写体に係る撮像情報に対応する音を検出する検出手段と
を備える情報処理装置。
【請求項２】
前記取得手段は、撮像の結果得られる、階級が輝度値、度数が画素数であるヒストグラムのピークの輝度値と画素数を前記被写体に係る撮像情報として取得し、
前記検出手段は、前記ヒストグラムのピークとなり得る輝度値及び画素数と、所定の音とを対応付ける前記対応情報に基づいて、前記取得手段により取得された前記ヒストグラムのピークの輝度値と画素値に対応する記音を検出する
請求項１に記載の情報処理装置。
【請求項３】
前記取得手段は、前記ヒストグラムの山の頂点が１つの場合、その山の頂点を前記ヒストグラムのピークに決定し、前記ヒストグラムの山の頂点が複数の場合、その複数の山の頂点の画素数または輝度値を平均したものを画素数または輝度値にする点を前記ヒストグラムのピークに決定する
請求項２に記載の情報処理装置。
【請求項４】
前記取得手段は、前記ヒストグラムの山の頂点が複数ある場合、その複数の山の頂点のうち最も画素数が大きい山の頂点と、前記最も画素数が大きい山の頂点に対して画素数が所定の範囲内にある山の頂点の画素数または輝度値を平均したものを画素数または輝度値とする点を前記ヒストグラムのピークに決定する
請求項３に記載の情報処理装置。
【請求項５】
前記取得手段は、撮像の結果得られる焦点距離を前記被写体に係る撮像情報として取得し、
前記検出手段は、前記焦点距離が取りうる値と所定の音とを対応付ける前記対応情報に基づいて、前記取得手段により取得された前記焦点距離に対応する音を検出する
請求項１に記載の情報処理装置。
【請求項６】
前記検出手段により検出された音を出力する出力手段をさらに備える
請求項１に記載の情報処理装置。
【請求項７】
前記撮像装置をさらに備える
請求項１に記載の情報処理装置。
【請求項８】
撮像の結果得られる被写体に係る撮像情報に基づいて、所定の音を生成する情報処理方法において、
前記被写体に係る撮像情報を取得する取得ステップと、
前記被写体に係る撮像情報が取りうる値と所定の音とを対応付ける対応情報に基づいて、前記取得ステップの処理により取得された前記被写体に係る撮像情報に対応する音を検出する検出ステップと
を含む情報処理方法。
【請求項９】
撮像の結果得られる被写体に係る撮像情報に基づいて、所定の音を生成する情報処理をコンピュータに実行させるプログラムにおいて、
前記被写体に係る撮像情報を取得する取得ステップと、
前記被写体に係る撮像情報が取りうる値と所定の音とを対応付ける対応情報に基づいて、前記取得ステップの処理により取得された前記被写体に係る撮像情報に対応する音を検出する検出ステップと
を含む情報処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００９−２５７６３（Ｐ２００９−２５７６３Ａ）
【公開日】平成２１年２月５日（２００９．２．５）
【国際特許分類】
【出願番号】特願２００７−１９１６５２（Ｐ２００７−１９１６５２）
【出願日】平成１９年７月２４日（２００７．７．２４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年２月５日（２００９．２．５）
【国際特許分類】
【出願日】平成１９年７月２４日（２００７．７．２４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]