画像再生システム
【課題】喜怒恐悲優などの感情に対応する写真画像と楽曲とを対応付けて再生する場合、所定の感情の画像が存在しない場合であっても、その感情に対応する写真画像を楽曲とともに出力できるようにする。
【解決手段】写真画像と楽曲とを対応させてスライドショーとして出力する場合、まず、ユーザーの希望する喜怒恐悲優の感情のいずれか一つの選択入力を受け付ける。そして、その喜怒恐悲優の感情ごとに予め画像編集方法記憶手段５に記憶させておいた写真画像の表示方法や背景画像の色、エフェクトなどに基づいて画像を表示させる。その画像を表示させる場合、MP3ファイルで楽曲を出力するに際して、MIDIファイルでフィルインの位置を特定し、そのタイミングで画像を切り替える。
【解決手段】写真画像と楽曲とを対応させてスライドショーとして出力する場合、まず、ユーザーの希望する喜怒恐悲優の感情のいずれか一つの選択入力を受け付ける。そして、その喜怒恐悲優の感情ごとに予め画像編集方法記憶手段５に記憶させておいた写真画像の表示方法や背景画像の色、エフェクトなどに基づいて画像を表示させる。その画像を表示させる場合、MP3ファイルで楽曲を出力するに際して、MIDIファイルでフィルインの位置を特定し、そのタイミングで画像を切り替える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラによって撮影された画像（以下、「写真画像」という）を楽曲とともに再生できるようにした画像再生システムに関するもので、より詳しくは、ユーザーの希望する喜怒恐悲優などの感情に合わせて写真画像を楽曲とともに再生できるようにした画像再生システムに関するものである。
【背景技術】
【０００２】
従来より、デジタルカメラで撮影された写真画像を楽曲とともに再生させる装置として、例えば、任天堂の「Wii 写真チャンネル」や、ソニーの「Play Station3 フォトスライドショー」などの家庭用ビデオゲーム機器、また、ネット上でのアプリケーションとして「Yahoo!フォトスライドショー」、サムスンの「ディジタルフォトスタンド」、「Life with Photo Cinema」などがある。また、これ以外に、次の特許文献にも写真画像と楽曲を連動させて再生させるようにした装置も提案されている。
【０００３】
例えば、下記の特許文献１には、楽曲の振幅や周波数、テンポなどを解析するとともに、記憶部に格納されている写真画像を解析し、各特徴量を用いて各楽曲および写真画像を心理情報と物理情報との二軸を用いて感性マップ上にマッピングして、ユーザーが選択した感性（すなわち、「喜怒哀楽」など）に対応した写真画像と楽曲を再生する装置が提案されている。このような装置によれば、例えば、当該特許文献１の図１１（ａ）に示す感性マップにおいて「喜」という事象が選択された場合に、特徴量が動的で暖かい「喜」と判断された写真画像を再生するとともに、音楽感性マップの第一事象と判断された楽曲を再生することができる。また、当該特許文献１には、写真画像の表示を効果的にするために、例えば、「哀」という事象が選択された場合には、写真画像中の人物の表情を泣き顔に変えたり、風景写真の色調を夕焼けっぽく変えたりするなどの編集を行い、同様に、調子をマイナー調に変更してそれぞれの雰囲気に合わせて再生できるようにすることも記載されている。
【０００４】
また、特許文献２には、例えば、結婚式のような一連の流れを有するイベントで撮影された写真画像を楽曲とともに再生する装置として、楽曲のサビの部分を特定するとともに、結婚式のイベントで特に重要な感動的な場面の写真画像を特定し、そのサビの部分と感動的な写真画像とを対応させて出力させるようにした装置が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２０４０２１号公報
【特許文献２】特開２００９−１１８１１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、このような特許文献などに記載された画像再生システムで画像を再生させる場合、次のような問題を生ずる。
【０００７】
すなわち、一般的には、カメラで人物画像を撮影する場合、被写体は圧倒的に笑顔の状態であることの方が多く、仮に、特許文献１において「喜怒哀楽」のうち「哀」が選択された場合は、楽曲とともに出力すべき対象の写真画像がなくなってしまう。
【０００８】
これに対して、上記特許文献１では、「哀」が選択された場合には、写真画像の人物の表現を泣き顔に変えたり、風景写真の色調を夕焼けっぽく変えたりする方法も記載されているが、笑顔で撮影された写真を泣き顔に加工すると、写真自体が不自然なものになってしまい、また、その画像を加工するには、多大な処理時間がかかってしまうといった問題もある。
【０００９】
そこで、本発明は上記課題に鑑みてなされたものであり、喜怒恐悲優などの感情に対応する写真画像を楽曲とともに再生する場合、所定の感情の画像が存在しない場合であっても、その感情付けをした写真画像を出力できるようにした画像再生システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
すなわち、本発明は、上記課題を解決するために、写真画像と楽曲とを対応させて出力する画像再生システムにおいて、複数の写真画像を記憶する画像記憶手段と、感情のいずれか一つの選択を受け付ける感情受付手段と、前記画像記憶手段に記憶された写真画像とともに出力される楽曲の音のテンポ、音の立ち上がり、音圧レベル、音色のいずれか一つを含む音情報を解析する音情報解析手段と、前記感情ごとに、当該音情報解析手段によって解析された音情報に対応して出力される写真画像および当該写真画像の外側における背景画像の表示方法を記憶する表示方法記憶手段と、前記感情のいずれか一つが選択された場合、出力される楽曲の音情報を解析し、当該解析された音情報に対応して出力される写真画像および背景画像の表示方法を抽出して楽曲とともに出力する編集出力手段とを備えるようにしたものである。
【００１１】
また、このような発明において、写真画像を表示させる場合、その画像の大きさや輪郭形状を変更して表示させる。
【００１２】
このようにすれば、写真画像そのものを変えずに、その写真画像の輪郭を丸くしたり星形にしたりするなどのほか、その背景画像の色や模様などを変化させることによって、喜怒恐悲優のそれぞれに対応する写真画像が存在しない場合であっても、その感情を表現した写真画像として出力させることができるようになる。
【００１３】
さらに、このように写真画像と背景画像を楽曲とともに出力する場合、それぞれを独立したタイミングで楽曲とともに出力する。
【００１４】
このようにすれば、写真画像の枚数が少ない場合であっても、背景画像を変更することで、あたかも写真画像が入れ替えられたかのような印象を与えることができ、画像枚数の少なさに起因する不自然さをなくすことができるようになる。
【００１５】
加えて、写真画像や背景画像を出力する場合、楽曲のフィルインのタイミングでそれらの画像を出力する。
【００１６】
このようにすれば、楽曲のリズムに合わせて各画像を出力するため、楽曲の流れに合わせながら写真画像の再生を楽しむことができるようになる。
【発明の効果】
【００１７】
本発明では、写真画像と楽曲とを対応させて出力する画像再生システムにおいて、複数の写真画像を記憶する画像記憶手段と、感情のいずれか一つの選択を受け付ける感情受付手段と、前記画像記憶手段に記憶された写真画像とともに出力される楽曲の音のテンポ、音の立ち上がり、音圧レベル、音色のいずれか一つを含む音情報を解析する音情報解析手段と、前記感情ごとに、当該音情報解析手段によって解析された音情報に対応して出力される写真画像および当該写真画像の外側の背景画像の表示方法を記憶する表示方法記憶手段と、前記感情のいずれか一つが選択された場合、出力される楽曲の音情報を解析し、当該解析された音情報に対応して出力される写真画像および背景画像の表示方法を抽出して楽曲とともに出力する編集出力手段とを備えるようにしたので、喜怒恐悲優のそれぞれに対応する写真画像が存在しない場合であっても、喜怒恐悲優を表現した写真画像として楽曲とともに出力させることができるようになる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施の形態を示す画像再生システムの機能ブロック図の構成図
【図２】同形態における画像のアップロードを示す図
【図３】同形態における楽曲のアップロードを示す図
【図４】同形態における感情受け付けと再生画面を示す図
【図５】同形態における画像編集方法とマップを示す図
【図６】同形態における感情と楽曲の対応関係を示す図
【図７】同形態における画像と楽曲のアップロードを示すフローチャート
【図８】同形態における画像と楽曲の再生を示すフローチャート
【発明を実施するための最良の形態】
【００１９】
以下、本発明の一実施の形態について図面を参照して説明する。この実施の形態における画像再生システム１は、パーソナルコンピューターや携帯型音楽再生装置、携帯電話、あるいは、これとサーバーコンピューターなどの情報端末装置などで構成されるものであって、デジタルカメラによって撮影された画像（以下、「写真画像」という）を所定の楽曲に合わせて再生させるとともに、その際、ユーザーの希望する喜怒恐悲優の感情の入力を受け付けて、その入力された喜怒恐悲優の感情に対応する写真画像と楽曲を再生させるようにしたものである。そして、特徴的には、出力される写真画像そのものを加工することなく、その写真画像の形状や写真画像の外側領域の画像（以下、「背景画像」という）を喜怒恐悲優に応じて感情表現し、これによって、例えば、「悲」に対応する写真画像が存在しない場合であっても、その「悲」に対応した写真画像にして楽曲とともに対応付けて出力できるようにしたものである。以下、本実施の形態における画像再生システム１の構成について詳細に説明する。
【００２０】
図１に、この画像再生システム１の機能ブロック図を説明する。この画像再生システム１は、画像に関連する処理を行うものとして、画像受付手段２１や画像解析手段２２、画像記憶手段２３を備え、また、楽曲に関連する処理を行うものとして、楽曲受付手段３１や前処理手段３２、楽曲解析手段３３、楽曲記憶手段３４などを備える。一方、この画像再生システム１には、図４に示すように、ユーザーによる「喜怒恐悲優」などに関連する感情の入力を受け付ける感情受付手段４を備えており、その「喜怒恐悲優」に対応して写真画像をどのように表現して出力するかの編集方法記憶手段５を備えている（図５参照）。そして、ユーザーによって「喜怒恐悲優」のいずれかの感情表現が入力されることによって、編集出力手段６を介してその「喜怒恐悲優」に合わせた楽曲とともに、その楽曲に合わせた表現を付与した写真画像や背景画像を出力できるようにしている。
【００２１】
これらの各機能実現手段について説明すると、まず、画像受付手段２１は、デジタルカメラや携帯電話などによって撮影された写真画像を受け付けるものであって、図２に示すように、ディスプレイ上にその写真画像を格納しているファイルの入力を受け付ける。そして、画面中の「アップロード」のボタンを受け付けることによって、その選択された写真画像を一旦画像記憶手段２３に記憶させる。なお、ここで、画像記憶手段２３に格納される写真画像としては、JPEGフォーマットの画像とするが、必ずしもJPEGフォーマットである必要はなく、GIFやBMP形式のファイルであってもよい。また、写真画像を選択して画像記憶手段２３に記憶させる場合、一枚ずつ写真画像を指定させるようにすると、多数枚写真画像が存在する場合にその指定に時間がかかってしまう場合もあるため、デジタルカメラの記憶媒体などに記憶された写真画像をまとめて記憶させる際は、その画像ファイルを格納したフォルダのみを指定し、画像記憶手段２３にアップロードさせるようにしてもよい。
【００２２】
画像解析手段２２は、一旦画像記憶手段２３に格納された写真画像に対して、どのような印象を与える写真画像であるかを解析する。この解析を行う場合、最も簡単な方法としては、例えば、写真画像全体の輝度値を算出し、その平均値を算出することによって写真画像が全体として明るい画像であるか暗い画像であるかを解析する。そして、その輝度値に基づいて写真画像を並び替え、最も平均輝度値が高いものから順に画像を並び替えていく。なお、この実施の形態では、輝度値の順に写真画像を並び替えるようにしているが、ＲＧＢの解析を行ってどのような色相の画素がどれ位含まれているかを解析してもよいし、あるいは、人間の顔の形状である楕円形状がどれ位含まれているかを解析するようにしてもよい。
【００２３】
一方、楽曲受付手段３１は、ユーザーが所有している楽曲を受け付ける。この楽曲の入力を受け付ける場合、図３に示すように、ディスプレイ上にその楽曲を格納しているファイルを格納している場所を入力してもらい、そのユーザーによって「アップロード」のボタンの入力を受け付けることによって行う。これによって、その楽曲を楽曲記憶手段３４に記憶させる。なお、この楽曲については、その楽曲のフィルインのタイミングに合わせて画像を表示させる関係上、フラッシュに対応することができ、かつ、フィルインの位置などを解析しやすいようなファイル形式であることが好ましい。そのため、この実施の形態では、楽曲を受け付ける場合、その楽曲のフィルインの位置などを抽出しやすいファイル形式としてMIDI形式のファイルで記憶し、また、写真画像とともにブラウザ上でフラッシュとして表示させることのできるファイル形式としてMP3形式のファイルで楽曲記憶手段３４に記憶させる。これらの２種類のファイル形式で記憶させる場合、２種類のファイル形式をユーザーに入力させるには手間をかけるため、いずれか一方のファイル形式での入力を受け付け、前処理手段３２によってファイル形式の変換を行うようにする。そして、変換されたファイル形式と入力されたファイル形式を楽曲記憶手段３４に記憶する。
【００２４】
楽曲解析手段３３は、この楽曲記憶手段３４に格納された楽曲の構成を解析する。この解析を行う場合、MIDIファイルを読み出してそのMIDIデータに含まれるテンポ、フィルイン、フィルイン連続箇所、旋法、曲名、作曲者名などの情報を抽出する。そして、これらの抽出されたデータのうち、テンポやフィルイン、フィルイン連続箇所については、画像を切り替えるタイミングのデータとして使用され、また、旋法については、「喜怒恐悲優」の感情に対応させた楽曲を選択する際に使用される。また、曲名や作曲者名については、その楽曲を出力する際にブラウザ上に表示させる際に使用される（図４参照）。これらの抽出されたデータはテキストデータとして保存される。
【００２５】
感情受付手段４は、ユーザーが希望する感情の種類の入力を受け付ける。この感情入力を受け付ける場合、図４に示すように、ディスプレイ上に「喜」「怒」「恐」「悲」「優」のそれぞれのボタンを表示させ、それらのボタンの入力を受け付けて、それに対応させた楽曲と画像を表示させる。この「喜怒恐悲優」のボタンの入力受け付けは、楽曲の開始前であってもよく、あるいは、楽曲の再生途中であってもよい。この「喜怒恐悲優」に対応する写真画像や背景画像を表示させる場合、あらかじめ編集方法記憶手段５に、その画像の表示方法を定義させておく。
【００２６】
この編集方法記憶手段５に記憶される情報について図５に説明する。図５において、「喜」が選択された場合、写真画像に対しては切り替え回数を多くし、これに伴って、写真画像の輪郭形状や外部領域に対する変更時間を短くする。また、写真画像の表示領域については比較的大きくし、周囲の背景画像については比較的明るい色（例えば、黄色など）や模様に設定する。一方、フラッシュ内の実装エフェクトについては、フラッシュ、アピール、クリアなどのエフェクトを実行する。
【００２７】
また、「怒」が選択された場合、同様に、写真画像に対しては切り替え時間を多くし、これに伴って、写真画像の輪郭形状や外部領域に対する変更時間を短くする。また、写真画像の表示領域を比較的大きくし、周囲の背景画像については比較的鋭い色（例えば、赤系統の色）や模様に設定する。次に、フラッシュ内の実装エフェクトについては、ライズアップ、マグニファイ、グライダー、回転、ズーム、９連結表示などのエフェクトを実行する。
【００２８】
「恐」が選択された場合は、写真画像の切り替え時間を小さくし、また、写真画像の表示領域については小さく大きくするとともに、背景画像については不安を感じさせる灰色や模様などに設定する。一方、フラッシュ内の実装エフェクトについては、回転、ピンウィール、ズーム、ねじれ、フェードインなどのエフェクトを実行する。
【００２９】
「悲」が選択された場合は、写真画像切り替え時間を少なくしてエフェクト時間を長くするとともに、その表示領域については比較的小さくする。また、背景画像の色については、悲しみを表現できるような比較的鈍い青色などや模様などに設定する。一方、フラッシュ内の実装エフェクトについては、その悲しみを表現できるようなフェードアウト、ズームアウト、アップ、スライドなどを実行する。
【００３０】
「優」が選択された場合は、同様に、写真画像切り替え時間を少なくしてエフェクト時間を長くするとともに、その表示領域については比較的小さくする。また、背景画像の色については、優しさを表現できるような比較的柔らかい緑色などに設定する。一方、フラッシュ内の実装エフェクトについては、その優しさを表現できるようなフェードイン、アップ、スライド、ダウン、サークルなどに設定する。
【００３１】
このように、写真画像の輪郭（ズームインやズームアウト、サークルなど）を感情に合わせて設定しておくとともに、その背景画像の背景色、および、これらの輪郭や背景色の変更方法であるエフェクトも感情に合わせて設定しておく。なお、これらの写真画像の表示方法や背景画像の表示方法はこれらに限定されるものではなく、写真画像の被写体の表情などを加工することなくその画像の大きさや形状（円形表示や矩形表示、星形表示、回転表示）を変えるとともに、その背景画像についても色や模様などを変えて喜怒恐悲優などの感情に対応できるようにしておけば、どのような方法であってもよい。
【００３２】
編集出力手段６は、このように定義された写真画像や背景画像の表示方法を用いて楽曲を出力する。この編集出力手段６では、「喜怒恐悲優」の感情の一つが選択された場合、楽曲記憶手段３４に記憶されている楽曲の中から所望の楽曲を読み出し、その楽曲のフィルインの箇所を抽出する。そして、そのフィルインのタイミングで写真画像や背景画像を切り替えるようにする。このとき、すべてのフィルインのタイミングでこれらの画像を切り替えるのではなく、例えば、「悲」が選択された場合には、画像の切り替えを少なくするように設定されているために、所定間隔おきのフィルインのタイミングで画像を切り替えるようにする。また、この画像を切り替える場合、写真画像と背景画像とをそれぞれ独立して切り替え、例えば、写真画像をそのままの状態として背景画像を変更してもよい。このような方法としては、表示できる写真画像の枚数が少ない場合に特に有効となり、背景画像を切り替えることによってあたかも写真画像が切り替わったような印象を与えることができる。また、この写真画像や背景画像の切り替えを行う場合、フィルインのタイミングでエフェクトを実行するように設定しておく。このようにして写真画像と外側画像を表示させる場合、写真画像については、輝度平均値毎に並び替えられた画像を所定の順序で読み出し、例えば、輝度平均値順、もしくは、サビの部分については最も輝度の高い写真画像を読み出して表示させるようにする。
【００３３】
ところで、楽曲を出力する場合、入力された喜怒恐悲優などの感情と楽曲の雰囲気とが対応している必要がある。このため、図６に示す楽曲対応マップに従って楽曲を抽出して出力するようにしてもよい。この楽曲対応マップについて説明すると、例えば、「喜」の感情が選択された場合は、旋法として長調の楽曲を選択するとともに、テンポも比較的早く、楽器構成も比較的多い楽曲、また、全体としての音高が高い楽曲を選択する。一方、「怒」が選択された場合は、ベートーベンの運命のように短調であって、比較的低音に属し、テンポも比較的早い楽曲を選択する。また「恐」が選択された場合は、短調であってテンポも遅く、やや低音の楽曲を選択する。さらに、「悲」が選択された場合は、短調であってテンポも遅く、楽曲構成も少ない楽曲を選択し、「優」が選択された場合は、長調であってやや遅めのテンポを有し、音高についても中音程度の楽曲を選択する。また、このように楽曲の構成に基づいて楽曲を選択するのではなく、その楽曲名などに基づいて楽曲を選択することもできる。
【００３４】
次に、このように構成された画像再生システム１において画像や楽曲をアップロードさせ、その後、感情に対応したスライドショーを実現する場合のフローチャートについて図７から図８のフローチャートを用いて説明する。
【００３５】
まず、写真画像をアップロードさせる場合について説明すると、ユーザーは、デジタルカメラなどで撮影した写真画像をＵＳＢメモリなどに格納し、それを画像再生システム１に読み取らせる。そして、図２に示すディスプレイに表示された参照ボタンを押下することによってその写真画像の格納場所を指示させ（ステップＳ１）、アップロードのボタンが入力されることによって（ステップＳ２）、その写真画像を画像記憶手段２３に記憶させる（ステップＳ３）。そして、その格納された写真画像について全体の輝度平均を算出するなどの解析処理を行い（ステップＳ４）、その輝度平均値ごとに写真画像を並び替えて、再び画像記憶手段２３に記憶させる（ステップＳ５）。
【００３６】
次に、楽曲をアップロードさせる場合、ユーザーによって所望の楽曲を読み取らせ、図３に示すディスプレイに表示された参照ボタンの入力を受け付けることによって、その楽曲の格納場所を指定させる（ステップＴ１）。そして、アップロードのボタンの入力を受け付けることによって（ステップＴ２）、その楽曲を前処理手段３２によってMP3やMIDIファイルなどに変換し（ステップＴ３）、それらのファイル形式の楽曲を一旦楽曲記憶手段３４に格納させる（ステップＴ４）。次に、このように楽曲を記憶させた後、今度は、再びその楽曲を読み出してMIDIファイルからテンポ、フィルイン、フィルイン連続箇所、旋法、曲名、作曲者名などの情報を解析し（ステップＴ５）、それをテキストファイルとして記憶させておく（ステップＴ６）。
【００３７】
このように写真画像と楽曲を記憶させた状態で、ユーザーがその写真画像を楽曲と連動させてスライドショーとして出力させる場合のフローチャートについて図８を参照して説明する。
【００３８】
まず、ユーザーが写真画像をスライドショーとして再生する場合、先に、「喜怒恐悲優」のうち、一つの感情の入力を受け付ける（ステップＵ１）。そして、再生ボタンの押下を受け付けることによって（ステップＵ２）、画像再生システム１は、その感情に適応した楽曲を抽出し、例えば、「喜」が選択された場合は、楽曲として、長調であって、比較的テンポも速く、楽器構成も比較的多い楽曲、また、全体としての音高が高い楽曲を抽出する（ステップＵ３）。このとき、写真画像としては、輝度平均の最も高い画像から順に読み出し（ステップＵ４）、その際、MIDIファイルの曲名や作曲者名をディスプレイに表示させるとともに、そのMIDIファイルからフィルインの位置を常にチェックしながらMP3ファイルの楽曲を出力する。なお、このMP3ファイルの楽曲を出力すると同時に、MIDIファイルの楽曲についても連動しながらフィルインのタイミングを計るようにする。そして、フィルインのタイミングで、画像編集方法記憶手段５を参照して、写真画像や背景画像の切り替えや画像の表示領域の大きさ、背景画像の背景、エフェクトの種類などを選択し、楽曲の区切りのいいタイミングで画像と背景画像をそれぞれ切り替えるようにする（ステップＵ５）。また、「怒」「恐」「悲」「優」の感情が選択された場合も同様に、編集方法記憶手段５に格納された編集方法に従って写真画像と背景画像、および、エフェクトを切り替えて表示させる。なお、この感情の入力の受け付けは、楽曲の再生途中であっても受け付けられるようにしておき、例えば、楽曲の再生途中で「恐」が選択された場合は、その「恐」に対応して記憶されている画像の表示方法や背景の表示方法、エフェクトなどに基づいて画像を所定のタイミングで表示させる（ステップＵ５）。
【００３９】
このように上記実施の形態によれば、喜怒恐悲優の感情のいずれか一つが選択された場合、出力される楽曲の音情報に対応して画像およびその背景画像の表示方法を決定し、その写真画像および背景画像を楽曲とともに出力するようにしたので、喜怒恐悲優に対応する写真画像が存在しない場合であっても、写真画像そのものを変えずに、その写真画像の輪郭を丸くしたり星形にしたり、また、その背景画像の色や模様などを変更することで、喜怒恐悲優を表現した画像として楽曲とともに出力することができるようになる。
【００４０】
また、この実施の形態では、写真画像の表示タイミングと背景画像の表示タイミングとを独立して変更できるようにしたため、感情表現に適した写真画像が存在しない場合であっても、その背景を変えることによって、あたかも写真画像が変わったかのような印象を与えることができる。
【００４１】
さらに、写真画像や背景画像を出力させる場合、楽曲のフィルインのタイミングで表示させるようにしたため、楽曲の流れに合わせて写真画像や背景画像を出力することができるようになる。
【００４２】
なお、本発明は上記実施の形態に限定されることなく、種々の態様で実施することができる。
【００４３】
例えば、上記実施の形態では、画像の背景画像である背景については、色のみを変更するようにしたが、その背景についてもその形状を矩形形状、丸形形状、星形形状などのように変更してもよく、あるいは、その背景内に花、稲妻、曇り空、夕焼け、丸い幾何学図形などの模様を表示させるようにしてもよい。
【００４４】
また、上記実施の形態で画像を表示させる場合、輝度順（明るい順もしくは暗い順）に画像を表示させるようにしたが、拍子を有する部分や音圧の高い部分については、人数の多い画像を表示し、休符の多い部分については風景画像などを表示させるようにしてもよい。この人数などを検出する場合、画像解析手段２２によって画像中に丸い顔形状となるものが幾つ存在するかを解析し、これによって人数を検出するようにする。
【００４５】
さらに、上記実施の形態では、一台の端末で画像再生装置を構築した場合について説明したが、画像の入力だけをクライアントコンピューター側で行い、楽曲についてはサーバーコンピューターであらかじめ用意している楽曲を用いて再生させるようにしてもよい。すなわち、これらの機能実現手段を一台のコンピューター、あるいは、複数台のコンピューターで実現できるようにしておけばよい。
【符号の説明】
【００４６】
１・・・画像再生システム
２１・・・画像受付手段
２２・・・画像解析手段
２３・・・画像記憶手段
３１・・・楽曲受付手段
３２・・・前処理手段
３３・・・楽曲解析手段
３４・・・楽曲記憶手段
４・・・感情受付手段
５・・・編集方法記憶手段
６・・・編集出力手段
【技術分野】
【０００１】
本発明は、デジタルカメラによって撮影された画像（以下、「写真画像」という）を楽曲とともに再生できるようにした画像再生システムに関するもので、より詳しくは、ユーザーの希望する喜怒恐悲優などの感情に合わせて写真画像を楽曲とともに再生できるようにした画像再生システムに関するものである。
【背景技術】
【０００２】
従来より、デジタルカメラで撮影された写真画像を楽曲とともに再生させる装置として、例えば、任天堂の「Wii 写真チャンネル」や、ソニーの「Play Station3 フォトスライドショー」などの家庭用ビデオゲーム機器、また、ネット上でのアプリケーションとして「Yahoo!フォトスライドショー」、サムスンの「ディジタルフォトスタンド」、「Life with Photo Cinema」などがある。また、これ以外に、次の特許文献にも写真画像と楽曲を連動させて再生させるようにした装置も提案されている。
【０００３】
例えば、下記の特許文献１には、楽曲の振幅や周波数、テンポなどを解析するとともに、記憶部に格納されている写真画像を解析し、各特徴量を用いて各楽曲および写真画像を心理情報と物理情報との二軸を用いて感性マップ上にマッピングして、ユーザーが選択した感性（すなわち、「喜怒哀楽」など）に対応した写真画像と楽曲を再生する装置が提案されている。このような装置によれば、例えば、当該特許文献１の図１１（ａ）に示す感性マップにおいて「喜」という事象が選択された場合に、特徴量が動的で暖かい「喜」と判断された写真画像を再生するとともに、音楽感性マップの第一事象と判断された楽曲を再生することができる。また、当該特許文献１には、写真画像の表示を効果的にするために、例えば、「哀」という事象が選択された場合には、写真画像中の人物の表情を泣き顔に変えたり、風景写真の色調を夕焼けっぽく変えたりするなどの編集を行い、同様に、調子をマイナー調に変更してそれぞれの雰囲気に合わせて再生できるようにすることも記載されている。
【０００４】
また、特許文献２には、例えば、結婚式のような一連の流れを有するイベントで撮影された写真画像を楽曲とともに再生する装置として、楽曲のサビの部分を特定するとともに、結婚式のイベントで特に重要な感動的な場面の写真画像を特定し、そのサビの部分と感動的な写真画像とを対応させて出力させるようにした装置が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２０４０２１号公報
【特許文献２】特開２００９−１１８１１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、このような特許文献などに記載された画像再生システムで画像を再生させる場合、次のような問題を生ずる。
【０００７】
すなわち、一般的には、カメラで人物画像を撮影する場合、被写体は圧倒的に笑顔の状態であることの方が多く、仮に、特許文献１において「喜怒哀楽」のうち「哀」が選択された場合は、楽曲とともに出力すべき対象の写真画像がなくなってしまう。
【０００８】
これに対して、上記特許文献１では、「哀」が選択された場合には、写真画像の人物の表現を泣き顔に変えたり、風景写真の色調を夕焼けっぽく変えたりする方法も記載されているが、笑顔で撮影された写真を泣き顔に加工すると、写真自体が不自然なものになってしまい、また、その画像を加工するには、多大な処理時間がかかってしまうといった問題もある。
【０００９】
そこで、本発明は上記課題に鑑みてなされたものであり、喜怒恐悲優などの感情に対応する写真画像を楽曲とともに再生する場合、所定の感情の画像が存在しない場合であっても、その感情付けをした写真画像を出力できるようにした画像再生システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
すなわち、本発明は、上記課題を解決するために、写真画像と楽曲とを対応させて出力する画像再生システムにおいて、複数の写真画像を記憶する画像記憶手段と、感情のいずれか一つの選択を受け付ける感情受付手段と、前記画像記憶手段に記憶された写真画像とともに出力される楽曲の音のテンポ、音の立ち上がり、音圧レベル、音色のいずれか一つを含む音情報を解析する音情報解析手段と、前記感情ごとに、当該音情報解析手段によって解析された音情報に対応して出力される写真画像および当該写真画像の外側における背景画像の表示方法を記憶する表示方法記憶手段と、前記感情のいずれか一つが選択された場合、出力される楽曲の音情報を解析し、当該解析された音情報に対応して出力される写真画像および背景画像の表示方法を抽出して楽曲とともに出力する編集出力手段とを備えるようにしたものである。
【００１１】
また、このような発明において、写真画像を表示させる場合、その画像の大きさや輪郭形状を変更して表示させる。
【００１２】
このようにすれば、写真画像そのものを変えずに、その写真画像の輪郭を丸くしたり星形にしたりするなどのほか、その背景画像の色や模様などを変化させることによって、喜怒恐悲優のそれぞれに対応する写真画像が存在しない場合であっても、その感情を表現した写真画像として出力させることができるようになる。
【００１３】
さらに、このように写真画像と背景画像を楽曲とともに出力する場合、それぞれを独立したタイミングで楽曲とともに出力する。
【００１４】
このようにすれば、写真画像の枚数が少ない場合であっても、背景画像を変更することで、あたかも写真画像が入れ替えられたかのような印象を与えることができ、画像枚数の少なさに起因する不自然さをなくすことができるようになる。
【００１５】
加えて、写真画像や背景画像を出力する場合、楽曲のフィルインのタイミングでそれらの画像を出力する。
【００１６】
このようにすれば、楽曲のリズムに合わせて各画像を出力するため、楽曲の流れに合わせながら写真画像の再生を楽しむことができるようになる。
【発明の効果】
【００１７】
本発明では、写真画像と楽曲とを対応させて出力する画像再生システムにおいて、複数の写真画像を記憶する画像記憶手段と、感情のいずれか一つの選択を受け付ける感情受付手段と、前記画像記憶手段に記憶された写真画像とともに出力される楽曲の音のテンポ、音の立ち上がり、音圧レベル、音色のいずれか一つを含む音情報を解析する音情報解析手段と、前記感情ごとに、当該音情報解析手段によって解析された音情報に対応して出力される写真画像および当該写真画像の外側の背景画像の表示方法を記憶する表示方法記憶手段と、前記感情のいずれか一つが選択された場合、出力される楽曲の音情報を解析し、当該解析された音情報に対応して出力される写真画像および背景画像の表示方法を抽出して楽曲とともに出力する編集出力手段とを備えるようにしたので、喜怒恐悲優のそれぞれに対応する写真画像が存在しない場合であっても、喜怒恐悲優を表現した写真画像として楽曲とともに出力させることができるようになる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施の形態を示す画像再生システムの機能ブロック図の構成図
【図２】同形態における画像のアップロードを示す図
【図３】同形態における楽曲のアップロードを示す図
【図４】同形態における感情受け付けと再生画面を示す図
【図５】同形態における画像編集方法とマップを示す図
【図６】同形態における感情と楽曲の対応関係を示す図
【図７】同形態における画像と楽曲のアップロードを示すフローチャート
【図８】同形態における画像と楽曲の再生を示すフローチャート
【発明を実施するための最良の形態】
【００１９】
以下、本発明の一実施の形態について図面を参照して説明する。この実施の形態における画像再生システム１は、パーソナルコンピューターや携帯型音楽再生装置、携帯電話、あるいは、これとサーバーコンピューターなどの情報端末装置などで構成されるものであって、デジタルカメラによって撮影された画像（以下、「写真画像」という）を所定の楽曲に合わせて再生させるとともに、その際、ユーザーの希望する喜怒恐悲優の感情の入力を受け付けて、その入力された喜怒恐悲優の感情に対応する写真画像と楽曲を再生させるようにしたものである。そして、特徴的には、出力される写真画像そのものを加工することなく、その写真画像の形状や写真画像の外側領域の画像（以下、「背景画像」という）を喜怒恐悲優に応じて感情表現し、これによって、例えば、「悲」に対応する写真画像が存在しない場合であっても、その「悲」に対応した写真画像にして楽曲とともに対応付けて出力できるようにしたものである。以下、本実施の形態における画像再生システム１の構成について詳細に説明する。
【００２０】
図１に、この画像再生システム１の機能ブロック図を説明する。この画像再生システム１は、画像に関連する処理を行うものとして、画像受付手段２１や画像解析手段２２、画像記憶手段２３を備え、また、楽曲に関連する処理を行うものとして、楽曲受付手段３１や前処理手段３２、楽曲解析手段３３、楽曲記憶手段３４などを備える。一方、この画像再生システム１には、図４に示すように、ユーザーによる「喜怒恐悲優」などに関連する感情の入力を受け付ける感情受付手段４を備えており、その「喜怒恐悲優」に対応して写真画像をどのように表現して出力するかの編集方法記憶手段５を備えている（図５参照）。そして、ユーザーによって「喜怒恐悲優」のいずれかの感情表現が入力されることによって、編集出力手段６を介してその「喜怒恐悲優」に合わせた楽曲とともに、その楽曲に合わせた表現を付与した写真画像や背景画像を出力できるようにしている。
【００２１】
これらの各機能実現手段について説明すると、まず、画像受付手段２１は、デジタルカメラや携帯電話などによって撮影された写真画像を受け付けるものであって、図２に示すように、ディスプレイ上にその写真画像を格納しているファイルの入力を受け付ける。そして、画面中の「アップロード」のボタンを受け付けることによって、その選択された写真画像を一旦画像記憶手段２３に記憶させる。なお、ここで、画像記憶手段２３に格納される写真画像としては、JPEGフォーマットの画像とするが、必ずしもJPEGフォーマットである必要はなく、GIFやBMP形式のファイルであってもよい。また、写真画像を選択して画像記憶手段２３に記憶させる場合、一枚ずつ写真画像を指定させるようにすると、多数枚写真画像が存在する場合にその指定に時間がかかってしまう場合もあるため、デジタルカメラの記憶媒体などに記憶された写真画像をまとめて記憶させる際は、その画像ファイルを格納したフォルダのみを指定し、画像記憶手段２３にアップロードさせるようにしてもよい。
【００２２】
画像解析手段２２は、一旦画像記憶手段２３に格納された写真画像に対して、どのような印象を与える写真画像であるかを解析する。この解析を行う場合、最も簡単な方法としては、例えば、写真画像全体の輝度値を算出し、その平均値を算出することによって写真画像が全体として明るい画像であるか暗い画像であるかを解析する。そして、その輝度値に基づいて写真画像を並び替え、最も平均輝度値が高いものから順に画像を並び替えていく。なお、この実施の形態では、輝度値の順に写真画像を並び替えるようにしているが、ＲＧＢの解析を行ってどのような色相の画素がどれ位含まれているかを解析してもよいし、あるいは、人間の顔の形状である楕円形状がどれ位含まれているかを解析するようにしてもよい。
【００２３】
一方、楽曲受付手段３１は、ユーザーが所有している楽曲を受け付ける。この楽曲の入力を受け付ける場合、図３に示すように、ディスプレイ上にその楽曲を格納しているファイルを格納している場所を入力してもらい、そのユーザーによって「アップロード」のボタンの入力を受け付けることによって行う。これによって、その楽曲を楽曲記憶手段３４に記憶させる。なお、この楽曲については、その楽曲のフィルインのタイミングに合わせて画像を表示させる関係上、フラッシュに対応することができ、かつ、フィルインの位置などを解析しやすいようなファイル形式であることが好ましい。そのため、この実施の形態では、楽曲を受け付ける場合、その楽曲のフィルインの位置などを抽出しやすいファイル形式としてMIDI形式のファイルで記憶し、また、写真画像とともにブラウザ上でフラッシュとして表示させることのできるファイル形式としてMP3形式のファイルで楽曲記憶手段３４に記憶させる。これらの２種類のファイル形式で記憶させる場合、２種類のファイル形式をユーザーに入力させるには手間をかけるため、いずれか一方のファイル形式での入力を受け付け、前処理手段３２によってファイル形式の変換を行うようにする。そして、変換されたファイル形式と入力されたファイル形式を楽曲記憶手段３４に記憶する。
【００２４】
楽曲解析手段３３は、この楽曲記憶手段３４に格納された楽曲の構成を解析する。この解析を行う場合、MIDIファイルを読み出してそのMIDIデータに含まれるテンポ、フィルイン、フィルイン連続箇所、旋法、曲名、作曲者名などの情報を抽出する。そして、これらの抽出されたデータのうち、テンポやフィルイン、フィルイン連続箇所については、画像を切り替えるタイミングのデータとして使用され、また、旋法については、「喜怒恐悲優」の感情に対応させた楽曲を選択する際に使用される。また、曲名や作曲者名については、その楽曲を出力する際にブラウザ上に表示させる際に使用される（図４参照）。これらの抽出されたデータはテキストデータとして保存される。
【００２５】
感情受付手段４は、ユーザーが希望する感情の種類の入力を受け付ける。この感情入力を受け付ける場合、図４に示すように、ディスプレイ上に「喜」「怒」「恐」「悲」「優」のそれぞれのボタンを表示させ、それらのボタンの入力を受け付けて、それに対応させた楽曲と画像を表示させる。この「喜怒恐悲優」のボタンの入力受け付けは、楽曲の開始前であってもよく、あるいは、楽曲の再生途中であってもよい。この「喜怒恐悲優」に対応する写真画像や背景画像を表示させる場合、あらかじめ編集方法記憶手段５に、その画像の表示方法を定義させておく。
【００２６】
この編集方法記憶手段５に記憶される情報について図５に説明する。図５において、「喜」が選択された場合、写真画像に対しては切り替え回数を多くし、これに伴って、写真画像の輪郭形状や外部領域に対する変更時間を短くする。また、写真画像の表示領域については比較的大きくし、周囲の背景画像については比較的明るい色（例えば、黄色など）や模様に設定する。一方、フラッシュ内の実装エフェクトについては、フラッシュ、アピール、クリアなどのエフェクトを実行する。
【００２７】
また、「怒」が選択された場合、同様に、写真画像に対しては切り替え時間を多くし、これに伴って、写真画像の輪郭形状や外部領域に対する変更時間を短くする。また、写真画像の表示領域を比較的大きくし、周囲の背景画像については比較的鋭い色（例えば、赤系統の色）や模様に設定する。次に、フラッシュ内の実装エフェクトについては、ライズアップ、マグニファイ、グライダー、回転、ズーム、９連結表示などのエフェクトを実行する。
【００２８】
「恐」が選択された場合は、写真画像の切り替え時間を小さくし、また、写真画像の表示領域については小さく大きくするとともに、背景画像については不安を感じさせる灰色や模様などに設定する。一方、フラッシュ内の実装エフェクトについては、回転、ピンウィール、ズーム、ねじれ、フェードインなどのエフェクトを実行する。
【００２９】
「悲」が選択された場合は、写真画像切り替え時間を少なくしてエフェクト時間を長くするとともに、その表示領域については比較的小さくする。また、背景画像の色については、悲しみを表現できるような比較的鈍い青色などや模様などに設定する。一方、フラッシュ内の実装エフェクトについては、その悲しみを表現できるようなフェードアウト、ズームアウト、アップ、スライドなどを実行する。
【００３０】
「優」が選択された場合は、同様に、写真画像切り替え時間を少なくしてエフェクト時間を長くするとともに、その表示領域については比較的小さくする。また、背景画像の色については、優しさを表現できるような比較的柔らかい緑色などに設定する。一方、フラッシュ内の実装エフェクトについては、その優しさを表現できるようなフェードイン、アップ、スライド、ダウン、サークルなどに設定する。
【００３１】
このように、写真画像の輪郭（ズームインやズームアウト、サークルなど）を感情に合わせて設定しておくとともに、その背景画像の背景色、および、これらの輪郭や背景色の変更方法であるエフェクトも感情に合わせて設定しておく。なお、これらの写真画像の表示方法や背景画像の表示方法はこれらに限定されるものではなく、写真画像の被写体の表情などを加工することなくその画像の大きさや形状（円形表示や矩形表示、星形表示、回転表示）を変えるとともに、その背景画像についても色や模様などを変えて喜怒恐悲優などの感情に対応できるようにしておけば、どのような方法であってもよい。
【００３２】
編集出力手段６は、このように定義された写真画像や背景画像の表示方法を用いて楽曲を出力する。この編集出力手段６では、「喜怒恐悲優」の感情の一つが選択された場合、楽曲記憶手段３４に記憶されている楽曲の中から所望の楽曲を読み出し、その楽曲のフィルインの箇所を抽出する。そして、そのフィルインのタイミングで写真画像や背景画像を切り替えるようにする。このとき、すべてのフィルインのタイミングでこれらの画像を切り替えるのではなく、例えば、「悲」が選択された場合には、画像の切り替えを少なくするように設定されているために、所定間隔おきのフィルインのタイミングで画像を切り替えるようにする。また、この画像を切り替える場合、写真画像と背景画像とをそれぞれ独立して切り替え、例えば、写真画像をそのままの状態として背景画像を変更してもよい。このような方法としては、表示できる写真画像の枚数が少ない場合に特に有効となり、背景画像を切り替えることによってあたかも写真画像が切り替わったような印象を与えることができる。また、この写真画像や背景画像の切り替えを行う場合、フィルインのタイミングでエフェクトを実行するように設定しておく。このようにして写真画像と外側画像を表示させる場合、写真画像については、輝度平均値毎に並び替えられた画像を所定の順序で読み出し、例えば、輝度平均値順、もしくは、サビの部分については最も輝度の高い写真画像を読み出して表示させるようにする。
【００３３】
ところで、楽曲を出力する場合、入力された喜怒恐悲優などの感情と楽曲の雰囲気とが対応している必要がある。このため、図６に示す楽曲対応マップに従って楽曲を抽出して出力するようにしてもよい。この楽曲対応マップについて説明すると、例えば、「喜」の感情が選択された場合は、旋法として長調の楽曲を選択するとともに、テンポも比較的早く、楽器構成も比較的多い楽曲、また、全体としての音高が高い楽曲を選択する。一方、「怒」が選択された場合は、ベートーベンの運命のように短調であって、比較的低音に属し、テンポも比較的早い楽曲を選択する。また「恐」が選択された場合は、短調であってテンポも遅く、やや低音の楽曲を選択する。さらに、「悲」が選択された場合は、短調であってテンポも遅く、楽曲構成も少ない楽曲を選択し、「優」が選択された場合は、長調であってやや遅めのテンポを有し、音高についても中音程度の楽曲を選択する。また、このように楽曲の構成に基づいて楽曲を選択するのではなく、その楽曲名などに基づいて楽曲を選択することもできる。
【００３４】
次に、このように構成された画像再生システム１において画像や楽曲をアップロードさせ、その後、感情に対応したスライドショーを実現する場合のフローチャートについて図７から図８のフローチャートを用いて説明する。
【００３５】
まず、写真画像をアップロードさせる場合について説明すると、ユーザーは、デジタルカメラなどで撮影した写真画像をＵＳＢメモリなどに格納し、それを画像再生システム１に読み取らせる。そして、図２に示すディスプレイに表示された参照ボタンを押下することによってその写真画像の格納場所を指示させ（ステップＳ１）、アップロードのボタンが入力されることによって（ステップＳ２）、その写真画像を画像記憶手段２３に記憶させる（ステップＳ３）。そして、その格納された写真画像について全体の輝度平均を算出するなどの解析処理を行い（ステップＳ４）、その輝度平均値ごとに写真画像を並び替えて、再び画像記憶手段２３に記憶させる（ステップＳ５）。
【００３６】
次に、楽曲をアップロードさせる場合、ユーザーによって所望の楽曲を読み取らせ、図３に示すディスプレイに表示された参照ボタンの入力を受け付けることによって、その楽曲の格納場所を指定させる（ステップＴ１）。そして、アップロードのボタンの入力を受け付けることによって（ステップＴ２）、その楽曲を前処理手段３２によってMP3やMIDIファイルなどに変換し（ステップＴ３）、それらのファイル形式の楽曲を一旦楽曲記憶手段３４に格納させる（ステップＴ４）。次に、このように楽曲を記憶させた後、今度は、再びその楽曲を読み出してMIDIファイルからテンポ、フィルイン、フィルイン連続箇所、旋法、曲名、作曲者名などの情報を解析し（ステップＴ５）、それをテキストファイルとして記憶させておく（ステップＴ６）。
【００３７】
このように写真画像と楽曲を記憶させた状態で、ユーザーがその写真画像を楽曲と連動させてスライドショーとして出力させる場合のフローチャートについて図８を参照して説明する。
【００３８】
まず、ユーザーが写真画像をスライドショーとして再生する場合、先に、「喜怒恐悲優」のうち、一つの感情の入力を受け付ける（ステップＵ１）。そして、再生ボタンの押下を受け付けることによって（ステップＵ２）、画像再生システム１は、その感情に適応した楽曲を抽出し、例えば、「喜」が選択された場合は、楽曲として、長調であって、比較的テンポも速く、楽器構成も比較的多い楽曲、また、全体としての音高が高い楽曲を抽出する（ステップＵ３）。このとき、写真画像としては、輝度平均の最も高い画像から順に読み出し（ステップＵ４）、その際、MIDIファイルの曲名や作曲者名をディスプレイに表示させるとともに、そのMIDIファイルからフィルインの位置を常にチェックしながらMP3ファイルの楽曲を出力する。なお、このMP3ファイルの楽曲を出力すると同時に、MIDIファイルの楽曲についても連動しながらフィルインのタイミングを計るようにする。そして、フィルインのタイミングで、画像編集方法記憶手段５を参照して、写真画像や背景画像の切り替えや画像の表示領域の大きさ、背景画像の背景、エフェクトの種類などを選択し、楽曲の区切りのいいタイミングで画像と背景画像をそれぞれ切り替えるようにする（ステップＵ５）。また、「怒」「恐」「悲」「優」の感情が選択された場合も同様に、編集方法記憶手段５に格納された編集方法に従って写真画像と背景画像、および、エフェクトを切り替えて表示させる。なお、この感情の入力の受け付けは、楽曲の再生途中であっても受け付けられるようにしておき、例えば、楽曲の再生途中で「恐」が選択された場合は、その「恐」に対応して記憶されている画像の表示方法や背景の表示方法、エフェクトなどに基づいて画像を所定のタイミングで表示させる（ステップＵ５）。
【００３９】
このように上記実施の形態によれば、喜怒恐悲優の感情のいずれか一つが選択された場合、出力される楽曲の音情報に対応して画像およびその背景画像の表示方法を決定し、その写真画像および背景画像を楽曲とともに出力するようにしたので、喜怒恐悲優に対応する写真画像が存在しない場合であっても、写真画像そのものを変えずに、その写真画像の輪郭を丸くしたり星形にしたり、また、その背景画像の色や模様などを変更することで、喜怒恐悲優を表現した画像として楽曲とともに出力することができるようになる。
【００４０】
また、この実施の形態では、写真画像の表示タイミングと背景画像の表示タイミングとを独立して変更できるようにしたため、感情表現に適した写真画像が存在しない場合であっても、その背景を変えることによって、あたかも写真画像が変わったかのような印象を与えることができる。
【００４１】
さらに、写真画像や背景画像を出力させる場合、楽曲のフィルインのタイミングで表示させるようにしたため、楽曲の流れに合わせて写真画像や背景画像を出力することができるようになる。
【００４２】
なお、本発明は上記実施の形態に限定されることなく、種々の態様で実施することができる。
【００４３】
例えば、上記実施の形態では、画像の背景画像である背景については、色のみを変更するようにしたが、その背景についてもその形状を矩形形状、丸形形状、星形形状などのように変更してもよく、あるいは、その背景内に花、稲妻、曇り空、夕焼け、丸い幾何学図形などの模様を表示させるようにしてもよい。
【００４４】
また、上記実施の形態で画像を表示させる場合、輝度順（明るい順もしくは暗い順）に画像を表示させるようにしたが、拍子を有する部分や音圧の高い部分については、人数の多い画像を表示し、休符の多い部分については風景画像などを表示させるようにしてもよい。この人数などを検出する場合、画像解析手段２２によって画像中に丸い顔形状となるものが幾つ存在するかを解析し、これによって人数を検出するようにする。
【００４５】
さらに、上記実施の形態では、一台の端末で画像再生装置を構築した場合について説明したが、画像の入力だけをクライアントコンピューター側で行い、楽曲についてはサーバーコンピューターであらかじめ用意している楽曲を用いて再生させるようにしてもよい。すなわち、これらの機能実現手段を一台のコンピューター、あるいは、複数台のコンピューターで実現できるようにしておけばよい。
【符号の説明】
【００４６】
１・・・画像再生システム
２１・・・画像受付手段
２２・・・画像解析手段
２３・・・画像記憶手段
３１・・・楽曲受付手段
３２・・・前処理手段
３３・・・楽曲解析手段
３４・・・楽曲記憶手段
４・・・感情受付手段
５・・・編集方法記憶手段
６・・・編集出力手段
【特許請求の範囲】
【請求項１】
写真画像と楽曲とを対応させて出力する画像再生システムにおいて、
複数の写真画像を記憶する画像記憶手段と、
感情のいずれか一つの選択を受け付ける感情受付手段と、
前記画像記憶手段に記憶された写真画像とともに出力される楽曲の音のテンポ、音の立ち上がり、音圧レベル、音色のいずれか一つを含む音情報を解析する音情報解析手段と、
前記感情ごとに、当該音情報解析手段によって解析された音情報に対応して出力される写真画像および当該写真画像の外側における背景画像の表示方法を記憶する表示方法記憶手段と、
前記感情のいずれか一つが選択された場合、出力される楽曲の音情報を解析し、当該解析された音情報に対応して出力される写真画像および背景画像の表示方法を抽出して楽曲とともに出力する編集出力手段と、
を備えるようにしたことを特徴とする画像再生システム。
【請求項２】
前記画像の表示方法が、写真画像の大きさや輪郭形状のうち少なくとも一つを含むものである請求項１に記載の画像再生システム。
【請求項３】
前記編集出力手段が、写真画像と当該写真画像の外側における背景画像とを独立したタイミングで楽曲とともに出力するものである請求項１に記載の画像再生システム。
【請求項４】
前記編集出力手段が、前記感情のいずれか一つが選択された場合、出力される楽曲の音情報を解析し、当該解析された音情報に対応して出力される写真画像および前記背景画像の表示方法を抽出して楽曲のフィルインのタイミングで出力するものである請求項１に記載の画像再生システム。
【請求項５】
写真画像と楽曲とを対応させて出力する画像再生方法において、
複数の写真画像を記憶するステップと、
感情のいずれか一つの選択を受け付けるステップと、
前記写真画像とともに出力される楽曲の音のテンポ、音の立ち上がり、音圧レベル、音色のいずれか一つを含む音情報を解析するステップと、
前記感情ごとに、前記解析された音情報に対応して出力される写真画像および当該写真画像の外側における背景画像の表示方法を記憶するステップと、
前記感情のいずれか一つが選択された場合、出力される楽曲の音情報を解析し、当該解析された音情報に対応して出力される写真画像および背景画像の表示方法を抽出して楽曲とともに出力するステップと、
を備えるようにしたことを特徴とする画像再生方法。
【請求項１】
写真画像と楽曲とを対応させて出力する画像再生システムにおいて、
複数の写真画像を記憶する画像記憶手段と、
感情のいずれか一つの選択を受け付ける感情受付手段と、
前記画像記憶手段に記憶された写真画像とともに出力される楽曲の音のテンポ、音の立ち上がり、音圧レベル、音色のいずれか一つを含む音情報を解析する音情報解析手段と、
前記感情ごとに、当該音情報解析手段によって解析された音情報に対応して出力される写真画像および当該写真画像の外側における背景画像の表示方法を記憶する表示方法記憶手段と、
前記感情のいずれか一つが選択された場合、出力される楽曲の音情報を解析し、当該解析された音情報に対応して出力される写真画像および背景画像の表示方法を抽出して楽曲とともに出力する編集出力手段と、
を備えるようにしたことを特徴とする画像再生システム。
【請求項２】
前記画像の表示方法が、写真画像の大きさや輪郭形状のうち少なくとも一つを含むものである請求項１に記載の画像再生システム。
【請求項３】
前記編集出力手段が、写真画像と当該写真画像の外側における背景画像とを独立したタイミングで楽曲とともに出力するものである請求項１に記載の画像再生システム。
【請求項４】
前記編集出力手段が、前記感情のいずれか一つが選択された場合、出力される楽曲の音情報を解析し、当該解析された音情報に対応して出力される写真画像および前記背景画像の表示方法を抽出して楽曲のフィルインのタイミングで出力するものである請求項１に記載の画像再生システム。
【請求項５】
写真画像と楽曲とを対応させて出力する画像再生方法において、
複数の写真画像を記憶するステップと、
感情のいずれか一つの選択を受け付けるステップと、
前記写真画像とともに出力される楽曲の音のテンポ、音の立ち上がり、音圧レベル、音色のいずれか一つを含む音情報を解析するステップと、
前記感情ごとに、前記解析された音情報に対応して出力される写真画像および当該写真画像の外側における背景画像の表示方法を記憶するステップと、
前記感情のいずれか一つが選択された場合、出力される楽曲の音情報を解析し、当該解析された音情報に対応して出力される写真画像および背景画像の表示方法を抽出して楽曲とともに出力するステップと、
を備えるようにしたことを特徴とする画像再生方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１６００３２（Ｐ２０１１−１６００３２Ａ）
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願番号】特願２０１０−１７８０５（Ｐ２０１０−１７８０５）
【出願日】平成２２年１月２９日（２０１０．１．２９）
【出願人】（５９７０６５３２９）学校法人 龍谷大学 (120)
【Ｆターム（参考）】
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願日】平成２２年１月２９日（２０１０．１．２９）
【出願人】（５９７０６５３２９）学校法人 龍谷大学 (120)
【Ｆターム（参考）】
[ Back to top ]