情報処理装置、プログラム、および情報処理方法
【課題】情報処理装置、プログラム、および情報処理方法を提供すること。
【解決手段】楽曲データを再生する再生部と、前記楽曲データの関連画像の特徴を解析する解析部と、複数の補正タイプのいずれかで画像補正を行なう画像補正部と、1または2以上の画像を記憶している記憶部と、前記解析部により解析された前記関連画像の特徴に応じた補正タイプを前記複数の補正タイプから選択する選択部と、前記記憶部に記憶されている画像を前記選択部により選択された補正タイプで前記画像補正部に補正させる補正制御部と、前記画像補正部により補正された画像を出力する出力部と、を備える情報処理装置。
【解決手段】楽曲データを再生する再生部と、前記楽曲データの関連画像の特徴を解析する解析部と、複数の補正タイプのいずれかで画像補正を行なう画像補正部と、1または2以上の画像を記憶している記憶部と、前記解析部により解析された前記関連画像の特徴に応じた補正タイプを前記複数の補正タイプから選択する選択部と、前記記憶部に記憶されている画像を前記選択部により選択された補正タイプで前記画像補正部に補正させる補正制御部と、前記画像補正部により補正された画像を出力する出力部と、を備える情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、プログラム、および情報処理方法に関する。
【背景技術】
【0002】
近日、デジタルカメラが普及しており、デジタルカメラで撮像した写真画像のPC上での編集や、写真画像を順次に切替えて表示するスライドショーの実行などが広く行なわれている。
【0003】
従来のスライドショーでは、楽曲の再生と写真画像の表示が独立して行なわれていたが、以下のようにしてスライドショーを実現することも考えられる。
(1)楽曲の進行や拍などの楽曲進行情報に基づいて写真画像の切替タイミングを調整する。
(2)特定の楽曲の再生に際し、当該楽曲に合うように写真画像の切替タイミングやフェードインおよびフェードアウトのパターンが設定されたテンプレートを用いる。
【0004】
なお、スライドショーにおけるフェードインおよびフェードアウトについては例えば特許文献1に記載されている。
【0005】
【特許文献1】特開2006−166164号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかし、上記(1)の方法では、楽曲の進行情報をスライドショーの再生制御に利用するだけであり、再生される写真画像そのものは楽曲と独立していた。また、上記(2)の方法では、利用できる楽曲が限定されているため、ユーザが所望の楽曲を利用できないという問題があった。
【0007】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、再生する楽曲に応じた補正を施して画像を表示させることが可能な、新規かつ改良された情報処理装置、プログラム、および情報処理方法を提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明のある観点によれば、楽曲データを再生する再生部と、前記楽曲データの関連画像の特徴を解析する解析部と、複数の補正タイプのいずれかで画像補正を行なう画像補正部と、1または2以上の画像を記憶している記憶部と、前記解析部により解析された前記関連画像の特徴に応じた補正タイプを前記複数の補正タイプから選択する選択部と、前記記憶部に記憶されている画像を前記選択部により選択された補正タイプで前記画像補正部に補正させる補正制御部と、前記画像補正部により補正された画像を出力する出力部と、を備える情報処理装置が提供される。
【0009】
前記情報処理装置は、前記画像補正部により補正された画像と前記関連画像を含み前記出力部により出力される表示画面、を生成する生成部をさらに備えてもよい。
【0010】
前記補正制御部は、前記選択部により選択された補正タイプでの前記画像補正部による画像補正の内容を、時間の経過に応じて変化させてもよい。
【0011】
前記情報処理装置は、前記記憶部に記憶されている前記1または2以上の画像から、前記楽曲データの特徴に応じて前記画像補正部による画像補正の対象画像を選択してもよい。
【0012】
前記情報処理装置は、前記記憶部に記憶されている前記1または2以上の画像から、前記関連画像の特徴に応じて前記画像補正部による画像補正の対象画像を選択する選択部をさらに備えてもよい。
【0013】
前記情報処理装置は、前記記憶部に記憶されている前記1または2以上の画像から、前記楽曲データの付加情報に応じて前記画像補正部による画像補正の対象画像を選択する選択部をさらに備えてもよい。
【0014】
前記解析部は、さらに前記関連画像内に含まれる文字のフォントを解析し、前記表示画面は、前記解析部により解析されたフォントと一致または近似するフォントで表現された前記関連画像の付加情報をさらに含んでもよい。
【0015】
前記表示画面は、前記楽曲データの特徴に応じたフォントで表現された前記関連画像の付加情報をさらに含んでもよい。
【0016】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、楽曲データを再生する再生部と、前記楽曲データの関連画像の特徴を解析する解析部と、複数の補正タイプのいずれかで画像補正を行なう画像補正部と、前記解析部により解析された前記関連画像の特徴に応じた補正タイプを前記複数の補正タイプから選択する選択部と、記憶媒体に記憶されている1または2以上の画像を前記選択部により選択された補正タイプで前記画像補正部に補正させる補正制御部と、前記画像補正部により補正された画像を出力する出力部と、として機能させるための、プログラムが提供される。
【0017】
また、上記課題を解決するために、本発明の別の観点によれば、楽曲データを再生する再生ステップと、前記楽曲データの関連画像の特徴を解析するステップと、前記関連画像の特徴に応じた補正タイプを複数の補正タイプから選択するステップと、記憶媒体に記憶されている1または2以上の画像を前記選択部により選択された補正タイプで補正するステップと、補正された画像を出力するステップと、を含む情報処理方法が提供される。
【発明の効果】
【0018】
以上説明したように本発明にかかる情報処理装置、プログラム、および情報処理方法によれば、再生する楽曲に応じた補正を施して画像を表示させることができる。
【発明を実施するための最良の形態】
【0019】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0020】
また、以下に示す項目順序に従って当該「発明を実施するための最良の形態」を説明する。
1.PCのハードウェア構成
2.PCの機能および動作の概略
3.再生区間の設定
4.レイアウトの決定
5.画像選択
6.エフェクト処理の概略
7.パラメータpについて
8.各エフェクトタイプの説明
[モノクローム]
[ノイズ]
[ポスタライゼーション]
[トーンエフェクト]
[カラーイミテーション]
9.エフェクトタイプの選択
10.スライドショーの実行
11.まとめ、および補足
【0021】
<1.PCのハードウェア構成>
本実施形態にかかるPC20は、楽曲データの再生と併せて、楽曲データに応じたエフェクトが施された写真画像を順次に切替えて表示することができる。このような本実施形態にかかるPC20の機能の説明に先立ち、まず、PC20のハードウェア構成について図1を参照して説明する。
【0022】
図1は、PC20のハードウェア構成を示したブロック図である。PC20は、CPU(Central Processing Unit)201と、ROM(Read Only Memory)202と、RAM(Random Access Memory)203と、ホストバス204と、ブリッジ205と、外部バス206と、インターフェース207と、入力装置208と、出力装置210と、ストレージ装置(HDD)211と、ドライブ212と、通信装置215とを備える。
【0023】
CPU201は、演算処理装置および制御装置として機能し、各種プログラムに従ってPC20内の動作全般を制御する。また、CPU201は、マイクロプロセッサであってもよい。ROM202は、CPU201が使用するプログラムや演算パラメータ等を記憶する。RAM203は、CPU201の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバスなどから構成されるホストバス204により相互に接続されている。
【0024】
ホストバス204は、ブリッジ205を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス206に接続されている。なお、必ずしもホストバス204、ブリッジ205および外部バス206を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。
【0025】
入力装置208は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU201に出力する入力制御回路などから構成されている。PC20のユーザは、該入力装置208を操作することにより、PC20に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0026】
出力装置210は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Display)装置およびランプなどの映像出力装置と、スピーカおよびヘッドホンなどの音響出力装置で構成される。出力装置210は、例えば、再生されたコンテンツを出力する。具体的には、映像出力装置は再生された写真画像等の各種情報を表示する。一方、音響出力装置は、再生された楽曲データ等を音声に変換して出力する。
【0027】
ストレージ装置211は、本実施形態にかかるPC20の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置211は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置211は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置211は、ハードディスクを駆動し、CPU201が実行するプログラムや各種データを格納する。また、このストレージ装置211には、後述の、楽曲データ、エフェクト用情報などが記録される。
【0028】
ドライブ212は、記憶媒体用リーダライタであり、PC20に内蔵、あるいは外付けされる。ドライブ212は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体24に記録されている情報を読み出して、RAM203に出力する。
【0029】
通信装置215は、例えば、通信網12に接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置215は、無線LAN(Local Area Network)対応通信装置であっても、ワイヤレスUSB対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【0030】
なお、本明細書においては情報処理装置の一例としてPC20を挙げて説明しているにすぎず、情報処理装置はかかる例に限定されない。例えば、情報処理装置は、家庭用映像処理装置(DVDレコーダ、ビデオデッキなど)、携帯電話、PHS(Personal Handyphone System)、携帯用音楽再生装置、または携帯用映像処理装置であってもよい。さらに、情報処理装置は、PDA(Personal Digital Assistants)、家庭用ゲーム機器、携帯用ゲーム機器、家電機器などの情報処理装置であってもよい。
【0031】
<2.PCの機能および動作の概略>
次に、図2〜図4を参照し、本実施形態にかかるPC20の機能および動作について概略的に説明する。
【0032】
図2は、本実施形態にかかるPC20の構成を示した機能ブロック図である。図2に示したように、PC20は、スライドショープレーヤと、ムード判定部224と、ジャケット解析部228と、エフェクトタイプ選択部232と、レイアウト制御部236と、エフェクト制御部252と、操作部264と、設定管理部268と、を備える。また、スライドショープレーヤは、記憶部220と、画像選択部240と、デコーダ244と、ミキサ・エフェクト回路248と、音響出力部256と、映像出力部260と、フォント選択部272と、表示生成部276と、を備える。
【0033】
記憶部220は、スライドショーの実行に利用される楽曲データ、ジャケット画像、エフェクト用情報、楽曲特徴量、および写真画像などが記録される記憶媒体である。
【0034】
各楽曲はいずれかのジャケット画像に対応しており、例えば楽曲データと併せて記憶部220に記録される。なお、楽曲データおよびジャケット画像は、光ディスクから取得することも、通信網12を介してコンテンツ配信サーバから取得することも可能である。
【0035】
楽曲特徴量は、楽曲データの特徴を示し、楽曲データを解析することにより取得される。例えば、楽曲特徴量としてはムード特徴量、楽曲構成情報、楽曲進行情報、およびムードなどが挙げられる。以下、このような楽曲特徴量の各々について説明する。
【0036】
(ムード特徴量)
「明るい」、「楽しい」、「悲しい」、「さわやか」、などの楽曲の印象、雰囲気、または気分が数値化された特徴量である。楽曲データを信号処理(音楽解析)することにより基本特徴量(例えば、テンポ、以下の楽曲進行情報など)を抽出し、基本特徴量を利用した機械学習および音楽推定により高次特徴量である当該ムード特徴量を抽出することができる。より詳細な解析方法については、例えば、特開2005−274708、特開2005−275068、特開2008−27538、および特開2008−65905などに記載されている。
【0037】
(楽曲構成情報)
Aメロ、Bメロ、サビ、エンディングなどの楽曲の構成要素が開始するタイミングを楽曲の先頭を基準に表す情報である。図3を参照し、より具体的に楽曲構成情報について説明する。
【0038】
図3は、楽曲構成の一例を示した説明図である。図3には、イントロ、Aメロ、Bメロ、サビ、間奏、Bメロ、サビ、・・・という順に構成要素が配されている例を示している。この場合、イントロからAメロに切替わる時間t1、AメロからBメロに切替わる時間t2、Bメロからサビに切替わる時間t3、および同様にt4〜t6が楽曲構成情報に該当する。
【0039】
なお、本明細書においては、楽曲の盛り上がり部分をサビと称する。また、楽曲構成情報の解析方法は、例えば、特開2007−156434に記載されているため、本願での詳細な説明は省略する。
【0040】
(楽曲進行情報)
楽曲中の各拍子、小節、コード(Cメジャー、Aマイナーなど)が到来するタイミングを楽曲の先頭を基準に表す情報である。例えば、図3に示した例において、コードCに切替わる時間t11、コードGに切替わる時間12、コードAmに切替わる時間13、コードEmに切替わる時間14などが楽曲進行情報に該当する。なお、楽曲進行情報の解析方法は、例えば特開2007−183417に記載されているため、本願での詳細な説明は省略する。
【0041】
(ムード)
楽曲のムードは、上記のムード特徴量に基づいてムード判定部224により判定される。ここで、ムード判定部224は、例えばPlayStation3(登録商標)で使用されている「おまかせチャンネル」のアルゴリズムを用いてムード判定を行なってもよい。また、楽曲のムードは、楽曲の雰囲気や、楽曲から想起される抽象的なテーマ(気候、場所、季節、気分、イベント)などを表してもよい。以下では、ムード判定部224が、楽曲のムードをEnergetic、Relaxing、Dramatic、Happy、またはElectronicのいずれかに判定するものとして説明する。なお、ムード判定部224は、楽曲が複数のムードに該当する場合、所定の優先順位にしたがって1のムードを採用してもよい。優先順位は、統計的に楽曲が該当し難いムードほど高くてもよく、例えば、Dramaticが最も低く、Relaxing、Energetic、Electronic、Happyの順に高くてもよい。
【0042】
エフェクト用情報は、ジャケット解析部228によりジャケット画像の解析により取得される画像解析情報、およびエフェクトタイプ選択部232により選択されるエフェクトタイプを含む。以下に、画像解析情報の要素、および各要素の本明細書における意義の一例を示す。
【0043】
・平均色:ジャケット画像の全画素の色を平均した値。
・コントラスト:ジャケット画像の全画素の輝度値の標準偏差。
・固有値、固有ベクトル:ジャケット画像の全画素を3D色空間(本実施形態においてはRGB空間)にプロットした集合を主成分分析して得られる固有ベクトルと固有値を、第一主成分、第二主成分、第三主成分の順に並べたもの。第一主成分の固有値・固有ベクトルを第一固有値・第一固有ベクトル、第二主成分の固有値・固有ベクトルを第二固有値・第二固有ベクトル、第三主成分の固有値・固有ベクトルを第三固有値・第三固有ベクトル、と称する。具体的には、集合を主成分分析するとRGB空間で3本の直行する直線が得られ、3本の直線のうちで長い直線から第一主成分、第二主成分、第三主成分に対応する。また、各直線の方向が固有ベクトルに対応し、各直線の長さが固有値に対応する。なお、ジャケット画像中の特異な色が分離可能な場合、この特異な色をポイント色として除外し、ポイント色が除外された色の集合に対して主成分分析を行なって固有値および固有ベクトルを得えることも可能である。
・色ヒストグラム:ジャケット画像を規定色数まで減色(本実施形態では32色)した際の、各色値とその含有量。
・輝度ヒストグラム:ジャケット画像をグレースケール化し、その画素値(つまり輝度値)を規定数(本実施形態では最大32色)のヒストグラムとしたもの。
・顔情報:顔認識技術によりジャケット画像から検出される情報であり、例えば、ジャケット画像に含まれる顔の数、各顔の位置、大きさ、および傾きなどがあげられる。
・ポイント色:ジャケット画像を構成する色の中で特異な色。例えばモノクロ背景の一部のみに赤色の物体が含まれるジャケット画像においては、その物体の赤色の色値。
・フォント:ジャケット画像に文字が含まれている場合、その文字のフォントと文字色。
【0044】
また、エフェクトタイプ(補正タイプ)の具体例を以下に示す。なお、以下では記憶部220から選択される写真画像が入力画像であることを想定している。
【0045】
・モノクローム:写真画像を、2つの色の線形和で表現される色のみからなるように加工する。一例として一般的にグレー画像と呼ばれるもの(白と黒の線形和)があげられる。なお、本実施形態においては、2つの色として適切な色は、ジャケット画像の画像解析情報に基づいて決定される。
・ノイズ:写真画像にモノクロームと同様の処理を施した後、ノイズを付加し、さらにコントラストを強調する。なお、モノクロームエフェクト実行やコントラスト強調の度合いは、ジャケット画像の画像解析情報に基づいて決定される。
・ポスタライゼーション:写真画像を少ない数の色(例えば3色)で表現する。使用する色はジャケット画像の画像解析情報に基づいて決定される。
・トーンエフェクト:写真画像の色分布を、ジャケット画像の画像解析情報に応じた方向へ全体的に移動させる。
・カラーイミテーション:写真画像の色分布を、ジャケット画像に含まれる色成分が強調されるように加工する。
【0046】
このように、各エフェクト処理の実行にはジャケット画像の画像解析情報が利用されるため、エフェクト処理された写真画像にはジャケット画像の雰囲気が少なからず反映される。さらに、本実施形態では、より一層エフェクト処理された写真画像の雰囲気をジャケット画像の雰囲気に合わせるために、エフェクトタイプ選択部232がジャケット画像に適したエフェクトタイプを選択する。詳細については<9.エフェクトタイプの選択>において説明するが、例えば、エフェクトタイプ選択部232は、グレー画像であるジャケット画像に対してはモノクロームを選択し、最大色数より極めて少ない色数で表現されるジャケット画像に対してはポスタライゼーションを選択する。
【0047】
また、記憶部220に記録されている写真画像は、スライドショー実行時に表示対象として選択され得る。PC20は、この写真画像を例えば撮像装置から取得しても、通信網12を介して取得してもよい。なお、スライドショー実行時に表示対象として選択され得る画像は写真画像に限られず、任意の画像であってもよい。
【0048】
また、上記説明した楽曲データ、ジャケット画像、エフェクト用情報、楽曲特徴量、および写真画像を記憶する記憶部220は、不揮発性メモリ、磁気ディスク、光ディスク、およびMO(Magneto Optical)ディスクなどの記憶媒体であってもよい。不揮発性メモリとしては、例えば、EEPROM(Electrically Erasable Programmable Read−Only Memory)、EPROM(Erasable Programmable ROM)があげられる。また、磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、CD(Compact Disc、DVD−R(Digital Versatile Disc Recordable)およびBD(Blu−Ray Disc(登録商標))などがあげられる。また、上記の楽曲データ、ジャケット画像、エフェクト用情報、楽曲特徴量、および写真画像などは物理的に異なる記憶媒体に記録されてもよい。
【0049】
レイアウト制御部236は、スライドショー実行時に楽曲の再生区間を設定し、レイアウト情報テーブルを参照し、当該再生区間を複数の画像表示枠に区切る(レイアウトを決定する)。ここで、レイアウト情報テーブルは、再生区間を複数の画像表示枠に区切る複数の方法の情報を含み、レイアウト制御部236は、これら方法のいずれかに基づいてレイアウトを決定する。なお、各画像表示枠では異なる画像が表示される。
【0050】
また、レイアウト制御部236は、画像の動きパターンを複数含むアニメーション情報テーブルを有し、各画像表示枠で表示させる画像の動きパターンをアニメーション情報テーブルから選択する。
【0051】
画像選択部240は、レイアウト制御部236によるレイアウトの決定の結果、スライドショーの実行に必要となる枚数の写真画像を記憶部220から選択する。詳細な写真画像の選択方法については<5.画像選択>において説明する。
【0052】
デコーダ244は、記憶部220に記憶されている楽曲データ、および画像選択部240により選択された写真画像をデコードする。例えば、デコーダ244は、MP3(MPEG1 Audio Layer−3)形式、またはATRAC(Adaptive TRansform Acoustic Coding)形式の楽曲データをPCM形式にデコードする。
【0053】
ミキサ・エフェクト回路248は、デコーダ244によりデコードされた楽曲データ、および写真画像に所定の処理を施す画像補正部として機能する。例えば、ミキサ・エフェクト回路248は、デコーダ424によりデコードされた写真画像に、レイアウト制御部236により設定されたアニメーション処理を施したり、エフェクト制御部252の制御に基づくエフェクト処理を行なったりする。本実施形態にかかるミキサ・エフェクト回路248、モノクロームエフェクター、ノイズエフェクター、ポスタライゼーションエフェクター、トーンエフェクター、またはカラーイミテーションエフェクターとして機能することができる。
【0054】
エフェクト制御部252は、ミキサ・エフェクト回路248による写真画像のエフェクトを制御する補正制御部として機能する。例えば、エフェクト制御部252は、エフェクトタイプ、エフェクト処理の内容、および後述のパラメータpなどを制御する。
【0055】
音響出力部256は、ミキサ・エフェクト回路248から供給される楽曲データを例えば空気振動に変換して出力する。すなわち、デコーダ244、ミキサ・エフェクタ248、および音響出力部256は、協働して楽曲データを再生する再生部として機能する。なお、音響出力部256は、ミキサ・エフェクト回路248から供給される楽曲データを外部装置へ出力してもよい。
【0056】
また、映像出力部260は、ミキサ・エフェクト回路248から供給されるエフェクト処理後の写真画像をユーザが視認可能に表示する出力部としての機能を有する。なお、映像出力部260は、ミキサ・エフェクト回路248から供給されるエフェクト処理後の写真画像を外部装置に出力してもよい。
【0057】
操作部264は、ユーザにより各種情報、各種指示が入力されるユーザインターフェースである。設定管理部268は、例えば操作部264へのユーザ操作に基づいて各種設定を行う。各種設定としては、後述の再生区間の設定、レイアウトの設定、エフェクトの設定、および画像選択などがあげられる。フォント選択部272および表示生成部276については、「<10.スライドショーの実行>」において説明する。
【0058】
このような本実施形態にかかるPC20が楽曲付きのスライドショーを実現するための一連の流れを図4を参照して説明する。
【0059】
図4は、楽曲付きのスライドショーを実現するための一連の流れを示したフローチャートである。図4に示したように、まず、操作部264を介してユーザにより再生対象の楽曲データが選択されると(S204)、レイアウト制御部236が楽曲データの再生区間を設定する(S208)。詳細については後述するが、再生区間は楽曲の全体であっても、楽曲の一部のハイライト部分であってもよい。なお、図4ではユーザにより楽曲データが選択される例を示しているが、本実施形態はかかる例に限定されない。例えば、楽曲データはランダムに選択されたり、特定のムードに分類された楽曲データから自動的に選択されたりしてもよい。
【0060】
その後、レイアウト制御部236が、楽曲の再生区間を複数の画像表示枠に区切る(S212)。詳細については後述するが、楽曲の再生区間は、固定時間で区切られても、小節ごとに区切られも、コード変化に応じて区切られても、自動で区切られてもよい。ここで、レイアウト制御部236は、画像表示枠ごとに、表示する画像に適用する動きパターンを設定してもよい。
【0061】
そして、画像選択部240が楽曲の再生区間の再生の間に必要となる枚数の写真画像を選択する(S216)。その後、楽曲データの再生が開始され、画像選択部240により選択されてデコーダ244によりデコードされた写真画像へのエフェクト処理およびエフェクト処理された写真画像の表示が開始される(S220)。
【0062】
ここで、エフェクト制御部252が、再生対象の楽曲データのジャケット画像に対応するエフェクト用情報に基づいてミキサ・エフェクト回路248を制御することにより、上記写真画像へのエフェクト処理が行なわれる。その結果、本実施形態によれば、楽曲付きのスライドショーにおいて、再生対象の楽曲データのジャケット画像の雰囲気に合うようにエフェクト処理(加工)された写真画像を表示することが可能となる。以下、このような本実施形態における各処理についてより具体的に説明する。
【0063】
<3.再生区間の設定>
楽曲データの再生区間は、楽曲データの全体(フル再生)、または楽曲データのハイライト部分(ダイジェスト再生)のいずれかから選択可能である。楽曲データの全体、または楽曲データのハイライト部分のいずれを再生区間とするかは、操作部264を介してユーザにより選択されても、PC20に事前に設定されていてもよい。楽曲データのハイライト部分は、レイアウト制御部236が例えば図5に示す処理により設定することができる。
【0064】
図5は、レイアウト制御部236による楽曲データのハイライト部分の設定処理の流れを示したフローチャートである。図5に示したように、レイアウト制御部236は、まず、記憶部220に記憶されている楽曲構成情報(楽曲特徴量に含まれる)に基づいてサビの開始位置を取得する(S560)。そして、レイアウト制御部236は、図5右側上段に示したように、ダイジェスト時間がサビ開始位置で2等分されるように始点と終点を仮設定する(S562)。
【0065】
そして、レイアウト制御部236は、仮設定した始点が1拍目でない場合(S564)、始点を1拍目まで戻し(S566)、仮設定した終点が1拍目でない場合(S568)、始点を1拍目まで進める(S570)。図5右側中段には、仮設定した始点が2拍目であったため1拍目まで戻され、仮設定した終点が3拍目であったため1拍目まで進められた例を示している。
【0066】
さらに、レイアウト制御部236は、始点の前のN小節(N≧1、例えばN=4)を検索し(S572)、楽曲の構成要素が変化する構成変化点が存在した場合(S574)、始点を構成変化点に更新する(S576)。同様に、レイアウト制御部236は、終点の後のN小節(N≧1、例えばN=4)を検索し(S578)、楽曲の構成要素が変化する構成変化点が存在した場合(S580)、終点を構成変化点に更新する(S582)。図5右側下段には、更新前の始点のN小節前までにAメロからBメロへの構成変化点が存在したため始点が当該構成変化点に更新され、更新前の終点のN小節後までにサビから間奏への構成変化点が存在したため終点が当該構成変化点に更新された例を示している。
【0067】
このようにしてレイアウト制御部236により得られた始点から終点までの区間がダイジェスト再生の再生区間(ハイライト部分)として設定される。なお、図5においては、S572において始点の前N小節を検索する例を示したが、本実施形態はかかる例に限定されない。例えば、レイアウト制御部236は、始点の後N小節を検索対象に含めてもよい。同様に、S578において終点の後N小節を検索する例を示したが、本実施形態はかかる例に限定されない。例えば、レイアウト制御部236は、終点の前N小節を検索対象に含めてもよい。
【0068】
<4.レイアウトの決定>
レイアウト制御部236は、設定した楽曲データの再生区間を、例えば以下に示す方法により複数の画像表示枠に区切る。
【0069】
・時間固定
例えば10秒などの一定時間で画像が切替わるように楽曲データの再生区間を区切るレイアウト方法である。この方法では楽曲特徴量が特に利用されない。
【0070】
・小節区切り
一定の小節数で画像が切替わるように楽曲データの再生区間を区切るレイアウト方法である。レイアウト制御部236は、楽曲進行情報に含まれる小節の切替わる時間に基づき、再生区間の先頭から何ミリ秒後で画像を切替えるかを特定することができる。一般的に、4拍子の楽曲では4小節、または8小節ごとに曲調が変化する傾向があるので、レイアウト制御部236は、例えば4小節、または8小節ごとに再生区間を区切ってもよい。
【0071】
・コード区切り
コード進行の変化に同期して画像が切替わるように楽曲データの再生区間を区切るレイアウト方法である。レイアウト制御部236は、楽曲進行情報に含まれるコードの切替わる時間に基づき、再生区間の先頭から何ミリ秒後で画像を切替えるかを特定することができる。例えば、コードがCメジャーからAマイナーに再生区間の先頭から1000ミリ秒後に切替わる場合、レイアウト制御部236は、再生区間の先頭から1000ミリ秒後で再生区間を区切ってもよい。時間固定や小節区切りの場合には一定の間隔で再生区間が区切られるため、スライドショーにおいて画像が一定の周期で切替えられる。これに対し、コード区切りの場合には不定の間隔(1小節、2小節、1小節と2拍など)で再生区間が区切られるため、スライドショーにおける画像の切替周期が一定とならず、より楽曲の流れに合ったスライドショーを実現できる。
【0072】
・ムードに従った自動レイアウト
楽曲のムードに応じた規則に従って楽曲データの再生区間を区切るレイアウト方法である。楽曲のムードは、楽曲特徴量に基づいてムード判定部224により判定される。当該事項について図6および図7を参照して後述する。
【0073】
図6および図7は、ムードに応じたレイアウトの設定例を示した説明図である。なお、図6および図7に示した切替周期は、画像が切替えられる周期、すなわち画像表示枠の周期を意味する。図6に示したように、ムードがEnergeticである場合、サビ4小節前、サビ1小節前、およびサビ開始位置で再生区間が区分される。そして、切替周期が、サビ1小節前までは1小節、サビ1小節前からサビまでは1拍、サビからは2拍に設定される。なお、区分された各再生区間には、異なる動きパターンが設定されてもよい。
【0074】
また、図6に示したように、ムードがRelaxingである場合、切替周期がコード変化2回に設定される。また、図6に示したように、ムードがEmotionnalである場合、切替周期が、サビ2小節前まではコード変化1回、サビ2小節前からサビまでは2拍、サビからはコード変化1回に設定される。また、図7に示したように、ムードがElectronicである場合、基本的にコード変化に伴って写真画像が切替えられるが、コード変化が4拍以下の場合は1拍ごとに写真画像が切替えられる。さらに、図7に示したように、ムードがHappyである場合、切替周期が、サビまでは1小節、サビからはコード変化に応じて設定される。
【0075】
このように、ムードに応じ、サビ開始位置を基準にして写真画像の切替周期を区別することにより、再生位置がサビに向かうにつれて盛り上がっていく(視覚効果が激しくなっていく)スライドショーを実現することができる。
【0076】
また、レイアウト制御部236は、レイアウトを決定すると、各画像表示枠で表示する画像に適用する動きパターンを選択する。動きパターンについて、図8〜図10を参照して説明する。
【0077】
図8は、動きパターンの具体例を示した説明図である。図9は、動きパターンを表現するパラメータの意味を示した説明図である。図10は、複数の画像の切替わり時の関係を示した説明図である。図8に示したように、各動きパターンは、始点(画像表示枠の開始時)と終点(画像表示枠の終了時)における複数のパラメータを含む。例えば、図8にはパラメータとして、位置(X、Y、Z)、スケール、X回転(図9に示したX軸を回転軸とする角度)、Y回転(図9に示したY軸を回転軸とする角度)、Z回転(図9に示したZ軸を回転軸とする角度)を示している。
【0078】
一例としてある画像表示枠に図8に示した動きパターン01が選択されると、当該画像表示枠において画像が位置(452,345,489)から位置(262,243,1237)へ移動し、かつ−28°から33°へY回転するように表示される。また、図10に示したように、各画像の切替わりはクロスフェードで行なわれてもよい。すなわち、画像の切替わり時には、ある画像が完全に消える前に次の画像が現れて、2の画像が重ねて表示されてもよい。
【0079】
レイアウト制御部236は、このような動きパターンをランダムに各画像表示枠に選択してもよい。または、レイアウト制御部236は、再生対象の楽曲のムードに応じて動きパターンを選択あるいは生成しても、表示対象の写真画像の内容に応じて動きパターンを選択あるいは生成してもよい。
【0080】
以下に、再生対象の楽曲のムードと選択または生成される動きパターンの関係の一例を示す。
楽曲のムード 動きパターン
Energetic 大きな動き・速い動きを有するパターン
Relaxing 小さな動き・遅い動きを有するパターン
Electronic 直線的な動きを有するパターン
【0081】
また、以下に表示対象の写真画像の内容と選択または生成される動きパターンの関係の一例を示す。
写真画像の内容 動きパターン
人物を含む 顔をズームインまたはズームアウトするパターン
縦撮り・横撮り 写真端が表示エリアを出ないようズームおよび回転を設定
【0082】
レイアウト制御部236は、上記のようにして楽曲の再生区間、レイアウト、および各画像表示枠に動きパターンを選択すると、スライドショーの実行に必要な写真画像の枚数を決定する。すると、画像選択部240が、画像選択部240は、レイアウト制御部236により決定された枚数の写真画像を、記憶部220に記憶されている写真画像から選択する。以下、このような画像選択部240による写真画像の選択について説明する。
【0083】
<5.画像選択>
本実施形態によれば、ジャケット画像に応じたエフェクトを写真画像に施すため、再生対象の音楽データのジャケット画像の雰囲気にどの写真画像でも合わせることができる。このため、画像選択部240は、レイアウト制御部236により決定された枚数の写真画像を記憶部220に記憶されている写真画像からランダムに選択してもよい。かかる構成によれば、記憶部220に記憶されている写真画像の同頻度での出現が期待されるため、普段ユーザが意図的に選択しない写真画像をユーザに提示する機会が得られる。
【0084】
また、その他にも、以下に示すように、写真画像の画像特徴量を利用する選択方法も考えられる。
【0085】
例えば、画像選択部240は、再生対象の楽曲データの特徴(例えば、ムード)に応じた写真画像を選択してもよい。かかる構成によれば、再生対象の楽曲データと調和のとれた写真画像が選択されるため、楽曲データおよび写真画像の各々が他方を引き立てることが期待される。再生対象の楽曲のムードと選択される写真画像の関係の一例を以下に示す。
楽曲のムード 選択される写真画像
Relaxing 緑・青の多い写真画像
Happy 笑顔が写っている写真画像
Electronic 人物を含まない写真画像
【0086】
また、画像選択部240は、再生対象の楽曲データのジャケット画像の特徴(例えば、エフェクトタイプ選択部232により選択されたエフェクトタイプ)に応じた写真画像を選択してもよい。かかる構成によれば、例えば施されるエフェクトに適した写真画像を選択されるため、エフェクトによる効果の向上が期待される。再生対象の楽曲データのジャケット画像のエフェクトタイプと選択される写真画像の関係の一例を以下に示す。
エフェクトタイプ 選択される写真画像
ノイズ 古い写真
ポスタライゼーション 人物を含まない写真画像
カラーイミテーション ジャケット画像の色味と近い画像
【0087】
また、画像選択部240は、再生対象の楽曲データの付加情報(例えば、リリース時期、楽曲タイトル、ジャンルなど)に応じた写真画像を選択してもよい。かかる構成によれば、楽曲データと関連性を有する写真画像が選択されることが期待される。再生対象の楽曲データの再生対象の楽曲データの付加情報と選択される写真画像の関係の一例を以下に示す。
楽曲データの付加情報 選択される写真画像
リリース時期 リリース時期と同時期の写真画像
楽曲タイトル 楽曲タイトルに含まれるキーワードを有する写真画像
【0088】
なお、上記のようにランダムでない方法で写真画像を選択する場合、特定の写真画像が高頻度で選択され、他の写真画像がほとんど選択されないことも想定される。そこで、選択頻度の偏りを抑制するために、画像選択部240は、各写真画像の以前の選択頻度を蓄積し、以前の選択頻度が低い写真画像ほど優先的に選択してもよい。また、上記の複数の写真画像の選択方法は、単独で利用してもよいし、組み合わせて利用してもよい。
【0089】
また、画像選択部240により選択される写真画像の枚数が、レイアウト制御部236により決定されたスライドショーの実行に必要な写真画像の枚数に満たない場合も考えられる。この場合、レイアウト制御部236は、同一の写真画像を複数の画像表示枠に割当てたり、写真画像の一部を当該写真画像と別の画像表示枠に割当てたりしてもよい。より具体的には、写真画像の一部を抜き出す際、画像特徴量に含まれる顔位置を利用して、写真画像に含まれる顔ごとにズームした部分画像を生成してもよい。
【0090】
<6.エフェクト処理の概略>
次に、図11〜図13を参照し、本実施形態にかかるエフェクト処理を実現するための流れの要旨を説明する。なお、以下では、ジャケット画像を一般化して参照画像と称し、写真画像を一般化して入力画像と称する。
【0091】
本実施形態にかかるエフェクト処理は、図11または図12に示したように参照画像の画像解析を行なって画像解析情報およびエフェクトタイプなどのエフェクト用情報を取得し、図13に示したように当該エフェクト用情報およびパラメータpを利用して実現される。
【0092】
図11は、エフェクト用情報の取得例を示した説明図である。まず、図11に示したように、参照画像を画像解析し、参照画像の画像解析情報、および最適なエフェクトタイプを得る。そして、これらの画像解析情報およびエフェクトタイプなどのエフェクト用情報は、楽曲データと関連付けて記憶部220に記録される。例えば、参照画像がジャケット写真である場合、エフェクト用情報はジャケット写真に対応する楽曲データと関連付けて記憶部220に記録される。
【0093】
このようにエフェクト用情報は記憶部220に記録されるため、参照画像の画像解析は、エフェクト用情報を利用したスライドショーの実行と異なるタイミングに行なってもよい。例えば、参照画像の画像解析は、記憶部220へ楽曲データおよび参照画像が記録される際(前後)に行なっておいてもよい。
【0094】
なお、図11では、参照画像を直接解析してエフェクトタイプを判定する例(図2に示した構成に対応)を示しているが、図12に示すように、本実施形態はかかる例に限定されない。
【0095】
図12は、エフェクト用情報の他の取得例を示した説明図である。図12に示したように、エフェクトタイプの判定に必要な画像解析情報を参照画像の解析により取得し、当該画像解析情報に基づいてエフェクトタイプを判定することも可能である。
【0096】
図13は、エフェクト処理の実行例を示した説明図である。図13に示したように、再生対象の楽曲データが決定されると、当該楽曲データの再生と併せて表示する入力画像へのエフェクト内容を決定するために、記憶部220から当該楽曲データに関連付けられている画像解析情報およびエフェクトタイプを取得する。
【0097】
そして、取得したエフェクトタイプに従い、モノクローム、ノイズ、ポスタライゼーション、トーンエフェクト、またはカラーイミテーションのいずれを利用するかを決定する。
さらに、参照画像の画像解析情報を利用し、参照画像のような雰囲気を出すためのエフェクト内容を決定する。なお、当該エフェクト内容の決定は図2に示したエフェクト制御部252により行なわれる。
【0098】
次に、決定されたエフェクト内容で、ミキサ・エフェクト回路248により入力画像に対するエフェクト処理が行われる。ここで、ミキサ・エフェクト回路248にはエフェクト内容に影響を与えるパラメータpを指定することができる。したがって、パラメータpを楽曲データの再生に合わせて変化させることにより、出力画像が変化し、結果としてアニメーションに近似する効果を得ることが可能である。以下、このパラメータpについて説明する。
【0099】
<7.パラメータpについて>
パラメータpは、ミキサ・エフェクト回路248によるエフェクト内容に影響を与える1次元の数値であり、0.0〜1.0の間の値をとる。本実施形態にかかる各エフェクトの処理内容へパラメータpが与える影響の説明に先立ち、簡易なエフェクトを例にあげてパラメータpの変化に伴うエフェクト内容の変化について説明する。
【0100】
図14は、パラメータpがエフェクト内容に与える影響を示した説明図である。より詳細には、図14には、写真画像を無彩色単色に変化させるエフェクト処理の結果を、パラメータpの値ごとに示している。図15に示したように、パラメータpの値がエフェクト内容に影響を与えるため、パラメータpの値に応じてエフェクト処理の結果が変化する。なお、図15においては説明の便宜上、エフェクト内容がパラメータpのみにより決定される様子を示しているが、上述したように、パラメータpだけでなく、ジャケット画像の画像解析情報もエフェクト内容に影響を与える。
【0101】
本実施形態にかかる各エフェクト処理の内容に対しては、パラメータpは例えば以下に示す項目に関する影響を与える。
・エフェクト深度
写真画像に施すエフェクト処理の程度。例えば、パラメータp=0.0の場合にはエフェクト処理の前後の写真画像に変化がなく、パラメータp=1.0の場合には写真画像に最も高い程度のエフェクト処理が施される。また、0.0<パラメータp<1.0の場合には、写真画像にパラメータpの値に応じた程度のエフェクト処理が施される。
・輝度
写真画像に対して施す輝度変化の程度。例えば、パラメータp<0.5の場合にはパラメータpの値に応じて写真画像を暗くする処理が付加され、パラメータp>0.5の場合にはパラメータpの値に応じて写真画像を明るくする処理が付加される。
・各エフェクト依存の変化
各エフェクトにおいて、処理内容に影響を与える数値にパラメータpを割当てる。この場合、パラメータpによる処理内容の変化がエフェクト処理ごとに異なる。
【0102】
なお、<8.各エフェクトタイプの説明>では、各エフェクト処理に対してパラメータpが与える影響を説明しているが、エフェクトタイプとパラメータpの与える影響を各々独立させ、双方を組み合わせて用いてもよい。また、各エフェクト処理を、パラメータp1、p2、p3・・・のように複数のパラメータpnで調整できるようにしてもよい。
【0103】
また、本実施形態においては、楽曲データの再生時間と関連付けてパラメータpの値を変化させることにより、アニメーションのように表現される写真画像を得ることができる。例えば、ある写真画像の表示開始時にパラメータp=0.0を設定し、楽曲データの再生の進捗にしたがってパラメータpの値を増加させ、次の写真画像への切替時にパラメータp=1.0を設定することにより、時間の経過と共にエフェクト内容を変化させられる。
【0104】
また、上記ではパラメータpが0.0から1.0へ単調増加する例を説明したが、図16に示すように、本実施形態はかかる例に限定されない。
【0105】
図15は、時間の経過とパラメータpの関係の一例を示した説明図である。図15の変化パターン1には、上記のパラメータpが0.0から1.0へ単調増加する例を示している。また、変化パターン2に示したように、パラメータpを1.0から0.0へ単調減少させてもよい。また、変化パターン3に示したように、パラメータpを第1の値(例えば0.5)から第2の値(例えば0.8)へ単調増加させてもよい。また、変化パターン4に示したように、パラメータpを0.0から1.0へ単調増加させた後に0.0へ単調減少させてもよい。
【0106】
また、変化パターン5に示したように、パラメータpを0.0に維持してもよい。また、変化パターン6に示したように、パラメータpを0.0と1.0とで交互に切替えてもよい。また、変化パターン7に示したように、ある画像の表示から所定時間が経過したときにパラメータpを急激に0.0から1.0へ増加させてもよい。さらに、変化パターン8に示したようにパラメータpを所定の値に維持してもよい。
【0107】
また、エフェクト処理に際して用いられるこのような変化パターンは、エフェクトタイプごとに固定的に設定されていても、上記複数の変化パターンから画像や楽曲データごとにランダムに選択されてもよい。
【0108】
また、上記では1の写真画像の表示期間中のパラメータpの変化について説明したが、パラメータpを楽曲特徴量に応じて変化させることにより、楽曲自体にエフェクトを依存させてもよい。例えば、パラメータpに応じて輝度が変化する場合、再生位置がサビに近づくにつれてパラメータpを急激に増加させてもよい。また、ある写真画像の表示期間が長い場合にはパラメータpを繰り返し増加および減少させたり、テンポにパラメータpの変化の傾きを合わせたり、曲調の激しい部分ではパラメータpを0.0と1.0とで交互に切替えてもよい。
【0109】
<8.各エフェクトタイプの説明>
続いて、本実施形態において利用されるモノクローム、ノイズ、ポスタライゼーション、トーンエフェクト、およびカラーイミテーションの各々について図16〜図19を参照して詳細に説明する。
【0110】
[モノクローム]
モノクロームエフェクターは、写真画像を2つの色の線形和で表現される色のみからなるように加工する。2つの色の線形和で表現される色のみからなる画像には、例えばグレー画像やセピア色の画像などが該当する。このモノクロームエフェクターは、画像解析情報に含まれるRGB空間における第一固有ベクトルと平均色の情報を用いる。
【0111】
具体的には、RGB空間における第一固有ベクトルを示す直線は、他の固有ベクトルを示す直線との交点であるジャケット画像の平均色を通るため、第一固有ベクトルと画像の平均色から当該直線を示す数式が得られる。モノクロームエフェクターは、当該数式に基づき、写真画像内の全ての画素の色を当該直線の示す1次元空間に写像し、写像された位置における値を新しい画素の色とする処理を行う。なお、モノクロームエフェクターは特にパラメータpの影響を受けず、パラメータpに対して常に同一の結果を出力してもよい。また、モノクロームエフェクターは、ジャケット画像のポイント色を、写真画像の任意の位置にガウス上にオーバレイし、さらに、上記任意の位置をパラメータpの値に応じて変化させてもよい。
【0112】
[ノイズ]
ノイズエフェクターは、モノクロームエフェクターと同様の処理を施した後にノイズを付加し、さらにその後にコントラストを強調する。このノイズエフェクターは、ジャケット画像の画像解析情報に含まれる第一固有ベクトルと平均色、およびコントラストの情報を用いる。すなわち、第一固有ベクトルと平均色の情報を用い、モノクロームエフェクターと同様の処理を行なった後、コントラスト値に応じたコントラストの強調を行う。
【0113】
ノイズの付加方法としては例えば以下の3種類があげられ、3種類のうちのいずれの方法を用いるかはエフェクト制御部252がランダムに決定してもよい。
・点ノイズ
写真画像中のいくつかの画素値をランダムな値だけ増減させる。
・粒子ノイズ
写真画像中のいくつかの画素値をランダムな値だけ増減させ、かつ周囲の画素値も増減させる。例えば、図16に示したように画素Cの画素値をx増加させた場合、画素Cの上下左右の画素値をx/2、画素Cの左上、右上、左下、および右下の画素値をx/3増加させる。
・スクラッチノイズ
写真画像中のいくつかの画素をノイズ開始点に設定する。そして、図17に示したように、ノイズ開始点におけるノイズ値を0とし、水平方向に画素が1つ進むにつれ、ノイズ値をランダムに増減させることを繰り返し、ノイズ値が0になった場合に終了する。なお、ノイズ値の絶対値は事前に設定されている閾値を上回らないよう制御される。また、ノイズ開始点におけるノイズ値を0とし、垂直方向に画素が1つ進むにつれ、ノイズ値をランダムに増減させることを繰り返すことにより、垂直方向にも同様のスクラッチノイズを付加することが可能である。
【0114】
また、ノイズエフェクターは、コントラストの強調を以下の数式1に従って行なう。なお、数式1において、vは写真画像のある画素の元の輝度値を示し、v’は当該画素の強調後の輝度値を示し、mは写真画像の輝度平均値を示す。また、0.0≦v≦1.0であり、contrastはコントラストの強調の度合いを示す値である。なお、当該contrastの値とジャケット画像のコントラストの対応関係は、ジャケット画像のコントラストが大きいほど当該contrastの値が大きくなるように事前に設定されていてもよい。
【0115】
【数1】
【0116】
また、ノイズエフェクターは、パラメータpに応じてノイズ付加の際に利用するランダム系列を変化させる。例えば、ノイズエフェクターは、事前に異なるランダム系列でエフェクト処理を施した写真画像を用意しておき、パラメータpの変化に合わせて出力する写真画像を切替えてもよい。また、ノイズエフェクターは、例えば図15に示した変化パターン1に従って変化するパラメータpに基づいてエフェクト処理を行なってもよい。
【0117】
[ポスタライゼーション]
ポスタライゼーションエフェクターは、写真画像を、2または3色などの少ない数の色(本実施形態では最大3色)で表現する。このポスタライゼーションエフェクターは、まず、ジャケット画像の画像解析情報に含まれる色ヒストグラムの情報を参照し、色ヒストグラムから最大3色をランダムで選択する。
【0118】
なお、色ヒストグラムにおいて含有量のある色が1色であった場合、当該色と白色および黒色を比較し、色空間上での距離が遠い方の色をさらに選択してもよい。また、色ヒストグラムにおいて含有量のある色が2色であった場合、色1および色3として同一の色を選択してもよい。また、エフェクト制御部252は、色ヒストグラムにおいて含有量が最大である色を選択し、かつ、色2として選択してもよい。
【0119】
また、ポスタライゼーションエフェクターは、輝度値の範囲を3分割する閾値th1および閾値th2を有する(閾値th1<閾値th2)。そして、エフェクト制御部252により3色が選択された場合、ポスタライゼーションエフェクターは、写真画像中で輝度値が閾値th1以下の画素には色1を割当てる。同様に、ポスタライゼーションエフェクターは、写真画像中で輝度値が閾値th1より大きく閾値th2以下である画素には色2を割当て、輝度値が閾値th2より大きい画素には色3を割当てる。
【0120】
また、ポスタライゼーションエフェクターは、輝度値が閾値th1または閾値th2の付近である画素には、以下の数式2に従って混色された色を割当てる。なお、数式2においてcol1は色1を示し、col2は色2を示し、col3は色3を示し、cは画素の元の色値を示し、c’は画素の混色後の色値を示す。また、marginは、混色の対象となる輝度値の幅を示し、事前に設定されていてもよい。
【0121】
【数2】
【0122】
また、ポスタライゼーションエフェクターは、図18に示したように、パラメータpに応じて閾値th1および閾値th2の値を変化させる。
【0123】
図18は、閾値th1および閾値th2とパラメータpの関係を示した説明図である。図18に示したように、パラメータp=0.0の場合には写真画像の全画素に色1が割当てられ、パラメータpの増加と共に輝度値の高い画素に色2が割当てられる。そして、パラメータpがp1を上回ると、閾値th2より輝度値の高い画素に色3が、輝度値が閾値th1以下の画素に色1が、その他の画素に色2が割当てられ、写真画像が3色で表現される。さらに、パラメータpがp2を上回ると、閾値th2より輝度値の高い画素に色3が、輝度値が閾値th2以下の画素に色2が割当てられ、写真画像が2色で表現される。そして、パラメータp=1.0の場合には写真画像の全画素に色3が割当てられる。
【0124】
なお、常に写真画像を3色で表現するために、パラメータpをp1〜p2の間でのみ変化させてもよい。また、上記ではパラメータpにより閾値th1および閾値th2を変化させる例を説明したが、パラメータpにより数式2におけるmarginを変化させてもよい。また、エフェクト制御部252は、例えばミキサ・エフェクト回路248に図15に示した変化パターン1または変化パターン2に従って変化するパラメータpを供給してもよい。
【0125】
[トーンエフェクト]
トーンエフェクターは、ジャケット画像の画像解析情報に含まれる平均色の情報を用いて、写真画像の色分布を全体的にある方向へ移動させる。具体的には、トーンエフェクターは、写真画像の平均色を求め、(ジャケット画像の平均色―入力画像の平均色)の計算により差ベクトルdiffvecを求める。ここで、cを写真画像のある画素の色値、当該画素のエフェクト処理後の色値、gを当該画素をグレー変換した色値とすると、当該画素のエフェクト処理後の色値c’を以下の数式3により求めることができる。なお、数式3ではある画素の色値cとグレー変換した色値gの加算値を2で除算することにより彩度を半減させているが、他の方法で彩度を下げてもよい。
【0126】
【数3】
【0127】
また、トーンエフェクターは、パラメータpに応じて輝度を変化させる。例えば、トーンエフェクターは、パラメータp=0.5である場合には上記数式3を用いた処理により得られる写真画像を出力する。また、トーンエフェクターは、パラメータp=0.0である場合には写真画像を全体的に輝度を一定量下げて出力し、パラメータp=1.0である場合には写真画像を全体的に輝度を一定量上げて出力する。また、トーンエフェクターは、0<パラメータp<0.5である場合には写真画像を全体的に輝度をパラメータpに応じた量だけ下げて出力し、0.5<パラメータp<1.0である場合には写真画像を全体的に輝度をパラメータpに応じた量だけ上げて出力する。
【0128】
なお、実際には、トーンエフェクターは、パラメータp=0.0、およびパラメータp=1.0である場合に出力される写真画像を事前に計算しておき、パラメータpの値に応じて双方の写真画像をαブレンドすることにより所望の写真画像を得てもよい。また、エフェクト制御部252は、例えばミキサ・エフェクト回路248に図15に示した変化パターン1に従って変化するパラメータpを供給してもよい。
【0129】
[カラーイミテーション]
カラーイミテーションエフェクターは、写真画像の色分布のうちで、ジャケット画像に含まれる色成分が強調されるよう処理する。このカラーイミテーションエフェクターは、画像解析情報に含まれる色ヒストグラムの情報を用いる。
【0130】
カラーイミテーションエフェクターは、まず、写真画像を、輝度と色差成分が直交しているYUV空間やL*a*b空間などの色空間に変換する。以下では、カラーイミテーションエフェクターが写真画像をYUV空間に変換する例を説明する。この場合、カラーイミテーションエフェクターは、ジャケット画像の色ヒストグラム中の各色も同様にYUV空間上での表現に変換する。
【0131】
写真画像の色分布、およびジャケット画像の色ヒストグラム中の色が図19の左図に示したようにUV平面へ投影されるとする。なお、図19において丸領域がジャケット画像の色ヒストグラム中の色に対応し、丸領域の大きさが含有量を示している。この場合、写真画像の各画素の色は、UV平面へ投影された全ての色ヒストグラム中の色から、含有量および距離に応じた強さで引っ張られる。具体的には、写真画像の各画素の色は、色ヒストグラム中の色への色空間上での距離が近いほど強く、また、色の含有量が多いほど強く引っ張られる。
【0132】
ここで、各画素が、ある色ヒストグラムの色c_uvから引っ張られる重みweight_uv(c_uv)は、以下の数式4のように表すことができる。なお、数式4においてuvは写真画像中のある画素の元の色のUV値を示し、nは色ヒストグラム中の色の含有量を示す。
【0133】
【数4】
【0134】
したがって、各画素が引っ張られる量d_uv(c_uv)を以下の数式5のように表現できる。
【0135】
【数5】
【0136】
数式5の計算を色ヒストグラム中のすべての色に対して行なった結果に基づき、以下の数式6に従って処理後の画素色のUV値uv’を算出することができる。
【0137】
【数6】
【0138】
また、カラーイミテーションエフェクターは、パラメータp=0.0の場合には写真画像をそのまま出力し、パラメータp=1.0の場合には上記数式6によって得られる写真画像を出力する。また、カラーイミテーションエフェクターは、0.0<パラメータp<1.0の場合には、パラメータp=1.0の結果に至る中間の写真画像を出力する。
【0139】
なお、実際には、カラーイミテーションエフェクターは、パラメータp=1.0である場合に出力される写真画像を事前に計算しておき、当該写真画像と処理前の写真画像をパラメータpの値に応じてαブレンドすることにより所望の写真画像を得てもよい。
【0140】
また、エフェクト制御部252は、例えばミキサ・エフェクト回路248に図15に示した変化パターン7に従って変化するパラメータpを供給してもよい。具体的には、ある写真画像の表示期間がtである場合、0.0≦t≦0.4の間はパラメータp=0.0、0.4<t<0.6の間はパラメータpが0.0から1.0へ単調増加、0.6≦t≦1.0の間はパラメータp=1.0としてもよい。かかる構成によれば、表示開始からしばらくは未処理の写真画像が維持され、中間点であるt=0.5近辺で急激に処理後の写真画像に変化する様子を表現できる。また、ジャケット画像の輝度ヒストグラムに写真画像の輝度分布が合うように写真画像の輝度ヒストグラムを調整してもよい。
【0141】
<9.エフェクトタイプの選択>
以上説明したように、各エフェクト処理の実行にはジャケット画像の画像解析情報が利用されるため、エフェクト処理された写真画像にはジャケット画像の雰囲気が少なからず反映される。さらに、本実施形態では、より一層エフェクト処理された写真画像の雰囲気をジャケット画像の雰囲気に合わせるために、エフェクトタイプ選択部232がジャケット画像に適したエフェクトタイプを選択する。以下、エフェクトタイプ選択部232による各ジャケット写真のエフェクトタイプの選択について、図20〜図25を参照して説明する。
【0142】
図20は、エフェクトタイプ選択部232が各ジャケット写真のエフェクトタイプを選択する流れを示したフローチャートである。また、図21〜図25は、ジャケット画像A〜Eの具体例を示した説明図である。以下では、図20に示したフローチャートにより、ジャケット画像A〜Eの各々にいずれのエフェクトタイプが選択されるかを説明する。
【0143】
なお、図21〜図25においては、色相をハッチングの種類で表現し、彩度または輝度をハッチングの濃さで表現している。例えば、図21に示したジャケット画像Aは、4隅から中央に向けて薄くなる黒色(斜線のハッチング)の背景と、黒色の「TANGIBLE」という文字から構成されている。また、図22に示したジャケット画像Bは、白色の背景と、白色と黒色の多様な混合色を含むさいの画像から構成されている。また、図23に示したジャケット画像Cは、黒色の背景と、黄色(まばらなドットハッチング)の月の画像と、白色の「moontan」という文字から構成されている。また、図24に示したジャケット画像Dは、左上から右下にかけて黄色の彩度が増している背景と、緑色(斜線が交差するハッチング)の花の画像から構成されている。また、図25に示したジャケット画像Eは、白色の背景と、多様な色を有する複数のリボンを含む。
【0144】
まず、図20に示したように、エフェクトタイプ選択部232はジャケット画像の直線分布スコアが所定値より高いか否かを判定する(S304)。なお、直線分布スコアは、画像解析情報に含まれる第一固有値を第二固有値で除算した値であるため、ジャケット画像の画素値が色空間で直線に近い分布を形成するほど高くなる。したがって、エフェクトタイプ選択部232は、モノクロ画像に該当するジャケット画像AおよびBの直線分布スコアは所定値より高いと判定し、他のジャケット画像C〜Eの直線分布スコアは所定値以下であると判定する。
【0145】
続いて、エフェクトタイプ選択部232は、直線分布スコアが所定値より高いと判定したジャケット画像のコントラストが所定値より低いか否かを判定する(S308)。そして、エフェクトタイプ選択部232は、コントラストが所定値より低いジャケット画像にはエフェクトタイプ「モノクローム」を選択し、コントラストが所定値以上であるジャケット画像にはエフェクトタイプ「ノイズ」を選択する。したがって、エフェクトタイプ選択部232は、ジャケット画像Aにエフェクトタイプ「モノクローム」を選択し、ジャケット画像Bにエフェクトタイプ「ノイズ」を選択する。
【0146】
一方、エフェクトタイプ選択部232は、直線分布スコアが所定値以下であると判定したジャケット画像の色勾配スコアが所定値より低いか否かを判定する(S312)。そして、エフェクトタイプ選択部232は、色勾配スコアが所定値より低いジャケット画像にエフェクトタイプ「ポスタライゼーション」を選択する。ここで、色勾配スコアは、ジャケット画像が、ポスター画像のように、色変化のない単色となっているような領域の集まりから構成される場合に低い値となるスコアである。
【0147】
したがって、エフェクトタイプ選択部232は、一様の黒色の背景および一様の黄色の月を含むジャケット画像Cの色勾配スコアが所定値より低いと判定し、ジャケット画像Cにエフェクトタイプ「ポスタライゼーション」を選択する。また、エフェクトタイプ選択部232は、他のジャケット画像DおよびEの色勾配スコアは所定値以上であると判定する。なお、具体的には、色勾配スコアは以下のように計算される。
【0148】
例えばSobelフィルタを用いてエッジ抽出を行う。ここで、Sobelフィルタにより各点の色勾配を示す応答値が得られ、当該応答値が事前に設定されている閾値を上回っているか否かの2値判定によりエッジ検出が行なわれる。さらに、応答値が閾値以下であるすべての点、つまりエッジでない点の応答値の加算値をエッジでない点の総数で除算して正規化することにより、色勾配スコアを計算することができる。
【0149】
続いて、エフェクトタイプ選択部232は、色勾配スコアが所定値以上であると判定したジャケット画像の彩度スコアが所定値より低いか否かを判定する(S316)。そして、エフェクトタイプ選択部232は、彩度スコアが所定値より低いジャケット画像にエフェクトタイプ「トーンエフェクト」を選択し、彩度スコアが所定値以上であるジャケット画像にエフェクトタイプ「カラーイミテーション」を選択する。ここで、彩度スコアは、ジャケット画像の彩度を示し、低彩度のジャケット画像ほど値が低くなる。
【0150】
したがって、エフェクトタイプ選択部232は、全体的に低彩度であるジャケット画像Dに「トーンエフェクト」を選択し、多様な色を含むジャケット画像Eに「カラーイミテーション」を選択する。
【0151】
なお、ジャケット画像の第二固有値が限りなく小さいときには、ジャケット画像の色空間中での色分布は直線となっている。すなわち、ジャケット画像の第二固有値の大きさは、ジャケット画像の色空間中での色分布の直線らしさを示す指標として用いることができる。また、色空間中での色分布が直線に近い画像はモノクロームに近いと考えられるため、本実施形態においては、彩度スコアの代わりとしてジャケット画像の第二固有値を用いてもよい。
【0152】
また、上記では色勾配スコアの判定の次に彩度スコアの判定を行なう例を説明したが、本実施形態はかかる例に限定されない。例えば、先に彩度スコアの判定を行ない、彩度スコアが所定値より低いジャケット画像にトーンエフェクトを選択し、他のジャケット画像について色勾配スコアの判定を行なってもよい。そして、色勾配スコアが所定値より低いジャケット画像にポスタライゼーションを選択し、色勾配スコアが所定値以上であるジャケット画像にカラーイミテーションを選択してもよい。
【0153】
続いて、図26〜図31を参照し、ある写真画像が、上記各種のエフェクトタイプによるエフェクト処理によりどのように変化するかを説明する。
【0154】
図26は、エフェクト処理前の写真画像の具体例を示した説明図である。図26に示した写真画像は、海辺の画像であり、白色の雲、青色(ドットハッチング)の空や海、赤色(三角のハッチング)を含むビートパラソル、および緑色のストライプを有する浮き輪などから構成される。この写真画像にエフェクト処理「モノクローム」、「ノイズ」、「ポスタライゼーション」、「トーンエフェクト」、および「カラーイミテーション」を施した結果の各々を図27〜図31に示す。
【0155】
図27は、図26に示した写真画像にエフェクト処理「モノクローム」を施した結果を表す説明図である。図27に示したように、多様な色を含む図26に示した写真画像は、エフェクト処理「モノクローム」によりモノクロ画像に変換される。
【0156】
図28は、図26に示した写真画像にエフェクト処理「ノイズ」を施した結果を表す説明図である。図28に示したように、多様な色を含む図26に示した写真画像は、エフェクト処理「ノイズ」によりモノクロ画像に変換され、ランダムなノイズが付加され、かつコントラストが強調される。
【0157】
図29は、図26に示した写真画像にエフェクト処理「ポスタライゼーション」を施した結果を表す説明図である。図29に示したように、図26に示した写真画像は、エフェクト処理「ポスタライゼーション」により少ない色数からなる画像に変換される。なお、図29では、図23に示したジャケット画像Cの画像解析情報に基づく処理を想定しているため、写真画像がジャケット画像Cに含まれる黄色、白色および黒色からなる画像に変換される様子を示している。
【0158】
図30は、図26に示した写真画像にエフェクト処理「トーンエフェクト」を施した結果を表す説明図である。図30に示したように、図26に示した写真画像は、エフェクト処理「トーンエフェクト」により全体的に図24に示したジャケット画像Dのような色味に変換される。より具体的には、図24に示したジャケット画像Dが全体的に彩度の低い黄色および緑色で構成されていることから、図26に示した写真画像が全体的に彩度の低い黄緑色っぽい画像に変換される。
【0159】
図31は、図26に示した写真画像にエフェクト処理「カラーイミテーション」を施した結果を表す説明図である。図31に示したように、図26に示した写真画像は、エフェクト処理「カラーイミテーション」により、ジャケット画像に含まれる色が強調される。例えば、ジャケット画像が図25に示した赤色(三角のハッチング)や緑色(斜線が交差するハッチング)を含むジャケット画像Eであった場合、図31に示したように、写真画像中の赤色や緑色の部分が強調される。
【0160】
<10.スライドショーの実行>
次に、図32〜図36を参照し、スライドショーにより映像出力部260に表示される表示画面について説明する。
【0161】
上述してきたように、本実施形態においては、ジャケット画像の雰囲気に合うように写真画像にエフェクト処理を施す。さらに、本実施形態においては、写真画像にジャケット画像の雰囲気に応じたエフェクト処理が施されていることをユーザが実感できるよう、図32に示すように、楽曲データの再生開始時に当該楽曲データのジャケット画像を表示する。
【0162】
図32は、スライドショーの開始時に映像出力部260に表示される表示画面の一例を示した説明図である。図32に示したように、当該表示画面は、ジャケット画像の表示領域282と、楽曲データのタイトルやアーティストなどの付加情報の表示領域284を含む。具体的には、図32に示した表示画面の付加情報の表示領域284には「Mr.finalist TANGIBLE」という付加情報が記載されている。
【0163】
ここで、付加情報のフォントは一律でなく、楽曲データの楽曲特徴量などに応じて選択されてもよい。すなわち、フォント選択部272が楽曲データに応じたフォントおよび文字色を選択し、選択されたフォントおよび文字色で表現された付加情報を含む表示画面を表示生成部276が表示してもよい。以下、フォント選択部272によるフォントの選択方法について図33〜図35を参照して説明する。
【0164】
図33は、楽曲のムードとフォントの関係の一例を示した説明図である。図33に示したように、フォント選択部272は、楽曲特徴量のうちの楽曲のムードに対応するフォントを選択してもよい。例えば、フォント選択部272は、楽曲のムードがEnergeticである場合、フォント「Helvetica Neue 95 Black」を選択してもよい。
【0165】
図34は、ジャケット画像の画像解析情報に基づいてフォントを選択する様子を示した説明図である。上述したように、ジャケット画像に文字が含まれている場合、ジャケット解析部228の画像解析により得られる画像解析情報に文字のフォントと文字色が含まれる。そこで、フォント選択部272は、画像解析情報に含まれるフォントと同一、または近似するフォントを選択してもよい。例えば、図34に示したようにジャケット画像に「TANGIBLE」という文字が含まれる場合、フォント選択部272は、「TANGIBLE」という文字のフォントに近似する「Arial Black」を選択してもよい。
【0166】
図35は、楽曲のジャンルとフォントの関係の一例を示した説明図である。図35に示したように、例えば、クラシック、ポップス、ジャズ、ロックなどの楽曲のジャンルごとにフォントが対応付けられており、フォント選択部272は楽曲のジャンルに対応するフォントを選択してもよい。
【0167】
上述したフォントで記載された楽曲データの付加情報、およびジャケット画像を含む表示画面が表示されると、図36に示すように、エフェクト処理が施された写真画像の表示に切替えられる。
【0168】
図36は、スライドショーの開始時に表示される表示画面からエフェクト処理が施された写真画像の表示に切替えられる様子を示した説明図である。図36の上図に示した表示画面の表示から所定期間が経過すると、表示生成部276は、図36の中図に示したようにジャケット画像の表示領域282を空間的に回転、および縮小させながら表示画面の左下端部に移動させる。なお、図36の上図に示した表示画面の表示と同時に楽曲データの再生が開始される。
【0169】
その後、図36の下図に示したようにジャケット画像に応じたエフェクト処理が施された写真画像が表示される。なお、表示生成部276は、写真画像の表示が開始された後もジャケット画像および楽曲データの付加情報を映像出力部260に表示させ続ける。かかる構成により、同一画面にジャケット画像およびエフェクト処理が施された写真画像を表示することができるため、写真画像がジャケット画像に合うようにエフェクト処理されていることユーザが実感し易くなる。
【0170】
<11.まとめ、および補足>
以上説明したように、本実施形態によれば、楽曲付きのスライドショーの実行時に、ユーザの写真画像を再生対象の楽曲データのジャケット画像に応じたエフェクト処理を施して表示することができる。また、本実施形態によれば、楽曲データの再生時間と関連付けてパラメータpの値を変化させることにより、アニメーションのように表現される写真画像を得ることができる。
【0171】
また、本実施形態においては、スライドショーの開始時に、楽曲データのジャケット画像、および楽曲データの付加情報を含む表示画面を表示する。ここで、楽曲データの付加情報のフォントは、楽曲データの楽曲特徴量やジャケット画像内の文字のフォントに基づいて選択されるため、写真画像に施すエフェクト処理に加え、付加情報のフォントも再生対象の楽曲データと調和させることができる。さらに、本実施形態においては、同一画面にジャケット画像およびエフェクト処理が施された写真画像を表示するため、写真画像がジャケット画像に合うようにエフェクト処理されていることユーザが実感し易くなる。
【0172】
なお、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【0173】
例えば、上記では楽曲データのジャケット画像に応じてエフェクトタイプを選択する例を説明したが、本発明はかかる例に限定されない。変形例として、エフェクトタイプと画像解析情報の組合せを複数用意しておき、利用する組合せをランダムに選択しても、楽曲データの楽曲特徴量に応じて選択してもよい。例えば、エフェクト制御部252は、楽曲データの曲調が激しい場合には赤系統の色を含む色ヒストグラムおよびポスタライゼーションの組合せを利用し、曲調が静かな場合には青系統を含む色ヒストグラムおよびトーンエフェクトの組合せを利用してもよい。
【0174】
また、上記では楽曲データの関連画像としてジャケット画像を例にあげて説明したが、本発明はかかる例に限定されない。例えば、関連画像は、楽曲データのアーティストの画像、またはアーティストのWebページに含まれる画像などであってもよい。また、上記ではPC20が関連画像であるジャケット写真を記憶している例を説明したが、PC20は楽曲データの再生時に関連画像を外部から取得してもよい。例えば、PC20は、楽曲データの付加情報に含まれるタイトル名やアーティスト名をキーワードにして、通信網12上で楽曲データの関連画像を検索してもよい。そして、エフェクトタイプ選択部232は、検索された関連画像の画像解析情報に基づいてエフェクトタイプを選択してもよい。この場合、楽曲データと関連性の薄い画像が検索されてしまうことも想定されるので、エフェクトタイプの決定には利用するものの、ジャケット画像の表示領域282には当該画像でなく例えば「no image」という文字を表示してもよい。または、ジャケット画像の表示領域282には何も表示しなくてもよい。
【0175】
また、本発明は、楽曲付きのスライドショー以外の用途にも適用することができる。例えば、本発明は、背景画像上に任意の表示画像を表示する場合にも適用できる。より詳細には、任意の表示画像を参照画像(ジャケット画像)として利用し、背景画像を入力画像(写真画像)として利用してもよい。この場合、背景画像が表示画像の雰囲気に合うようにエフェクト処理されるため画面全体で統一感が得られる。したがって、例えばコンピュータ上で擬似的なスクラップブックを実現するようなアプリケーションに応用することも可能である。
【0176】
また、本明細書のPC20の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、PC20の処理における各ステップは、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)を含んでもよい。
【0177】
また、PC20に内蔵されるCPU201、ROM202およびRAM203などのハードウェアを、上述したPC20の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。また、図2の機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。
【図面の簡単な説明】
【0178】
【図1】PCのハードウェア構成を示したブロック図である。
【図2】本実施形態にかかるPCの構成を示した機能ブロック図である。
【図3】楽曲構成の一例を示した説明図である。
【図4】楽曲付きのスライドショーを実現するための一連の流れを示したフローチャートである。
【図5】レイアウト制御部による楽曲データのハイライト部分の設定処理の流れを示したフローチャートである。
【図6】ムードに応じたレイアウトの設定例を示した説明図である。
【図7】ムードに応じたレイアウトの設定例を示した説明図である。
【図8】動きパターンの具体例を示した説明図である。
【図9】動きパターンを表現するパラメータの意味を示した説明図である。
【図10】複数の画像の切替わり時の関係を示した説明図である。
【図11】エフェクト用情報の取得例を示した説明図である。
【図12】エフェクト用情報の他の取得例を示した説明図である。
【図13】エフェクト処理の実行例を示した説明図である。
【図14】パラメータpがエフェクト内容に与える影響を示した説明図である。
【図15】時間の経過とパラメータpの関係の一例を示した説明図である。
【図16】ノイズエフェクターにより付加されるノイズについて示した説明図である。
【図17】ノイズエフェクターにより付加されるノイズについて示した説明図である。
【図18】閾値th1および閾値th2とパラメータpの関係を示した説明図である。
【図19】カラーイミテーションエフェクターによる処理のイメージ図である。
【図20】エフェクトタイプ選択部が各ジャケット写真のエフェクトタイプを選択する流れを示したフローチャートである。
【図21】モノクローム判定されるジャケット画像の具体例を示した説明図である。
【図22】ノイズ判定されるジャケット画像の具体例を示した説明図である。
【図23】ポスタライゼーション判定されるジャケット画像の具体例を示した説明図である。
【図24】トーンエフェクト判定されるジャケット画像の具体例を示した説明図である。
【図25】カラーイミテーション判定されるジャケット画像の具体例を示した説明図である。
【図26】エフェクト処理前の写真画像の具体例を示した説明図である。
【図27】図26に示した写真画像にエフェクト処理「モノクローム」を施した結果を表す説明図である。
【図28】図26に示した写真画像にエフェクト処理「ノイズ」を施した結果を表す説明図である。
【図29】図26に示した写真画像にエフェクト処理「ポスタライゼーション」を施した結果を表す説明図である。
【図30】図26に示した写真画像にエフェクト処理「トーンエフェクト」を施した結果を表す説明図である。
【図31】図26に示した写真画像にエフェクト処理「カラーイミテーション」を施した結果を表す説明図である。
【図32】スライドショーの開始時に映像出力部に表示される表示画面の一例を示した説明図である。
【図33】楽曲のムードとフォントの関係の一例を示した説明図である。
【図34】ジャケット画像の画像解析情報に基づいてフォントを選択する様子を示した説明図である。
【図35】楽曲のジャンルとフォントの関係の一例を示した説明図である。
【図36】スライドショーの開始時に表示される表示画面からエフェクト処理が施された写真画像の表示に切替えられる様子を示した説明図である。
【符号の説明】
【0179】
20 PC
220 記憶部
224 ムード判定部
228 ジャケット解析部
232 エフェクトタイプ選択部
236 レイアウト制御部
240 画像選択部
248 ミキサ・エフェクト回路
252 エフェクト制御部
260 映像出力部
272 フォント選択部
【技術分野】
【0001】
本発明は、情報処理装置、プログラム、および情報処理方法に関する。
【背景技術】
【0002】
近日、デジタルカメラが普及しており、デジタルカメラで撮像した写真画像のPC上での編集や、写真画像を順次に切替えて表示するスライドショーの実行などが広く行なわれている。
【0003】
従来のスライドショーでは、楽曲の再生と写真画像の表示が独立して行なわれていたが、以下のようにしてスライドショーを実現することも考えられる。
(1)楽曲の進行や拍などの楽曲進行情報に基づいて写真画像の切替タイミングを調整する。
(2)特定の楽曲の再生に際し、当該楽曲に合うように写真画像の切替タイミングやフェードインおよびフェードアウトのパターンが設定されたテンプレートを用いる。
【0004】
なお、スライドショーにおけるフェードインおよびフェードアウトについては例えば特許文献1に記載されている。
【0005】
【特許文献1】特開2006−166164号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかし、上記(1)の方法では、楽曲の進行情報をスライドショーの再生制御に利用するだけであり、再生される写真画像そのものは楽曲と独立していた。また、上記(2)の方法では、利用できる楽曲が限定されているため、ユーザが所望の楽曲を利用できないという問題があった。
【0007】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、再生する楽曲に応じた補正を施して画像を表示させることが可能な、新規かつ改良された情報処理装置、プログラム、および情報処理方法を提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明のある観点によれば、楽曲データを再生する再生部と、前記楽曲データの関連画像の特徴を解析する解析部と、複数の補正タイプのいずれかで画像補正を行なう画像補正部と、1または2以上の画像を記憶している記憶部と、前記解析部により解析された前記関連画像の特徴に応じた補正タイプを前記複数の補正タイプから選択する選択部と、前記記憶部に記憶されている画像を前記選択部により選択された補正タイプで前記画像補正部に補正させる補正制御部と、前記画像補正部により補正された画像を出力する出力部と、を備える情報処理装置が提供される。
【0009】
前記情報処理装置は、前記画像補正部により補正された画像と前記関連画像を含み前記出力部により出力される表示画面、を生成する生成部をさらに備えてもよい。
【0010】
前記補正制御部は、前記選択部により選択された補正タイプでの前記画像補正部による画像補正の内容を、時間の経過に応じて変化させてもよい。
【0011】
前記情報処理装置は、前記記憶部に記憶されている前記1または2以上の画像から、前記楽曲データの特徴に応じて前記画像補正部による画像補正の対象画像を選択してもよい。
【0012】
前記情報処理装置は、前記記憶部に記憶されている前記1または2以上の画像から、前記関連画像の特徴に応じて前記画像補正部による画像補正の対象画像を選択する選択部をさらに備えてもよい。
【0013】
前記情報処理装置は、前記記憶部に記憶されている前記1または2以上の画像から、前記楽曲データの付加情報に応じて前記画像補正部による画像補正の対象画像を選択する選択部をさらに備えてもよい。
【0014】
前記解析部は、さらに前記関連画像内に含まれる文字のフォントを解析し、前記表示画面は、前記解析部により解析されたフォントと一致または近似するフォントで表現された前記関連画像の付加情報をさらに含んでもよい。
【0015】
前記表示画面は、前記楽曲データの特徴に応じたフォントで表現された前記関連画像の付加情報をさらに含んでもよい。
【0016】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、楽曲データを再生する再生部と、前記楽曲データの関連画像の特徴を解析する解析部と、複数の補正タイプのいずれかで画像補正を行なう画像補正部と、前記解析部により解析された前記関連画像の特徴に応じた補正タイプを前記複数の補正タイプから選択する選択部と、記憶媒体に記憶されている1または2以上の画像を前記選択部により選択された補正タイプで前記画像補正部に補正させる補正制御部と、前記画像補正部により補正された画像を出力する出力部と、として機能させるための、プログラムが提供される。
【0017】
また、上記課題を解決するために、本発明の別の観点によれば、楽曲データを再生する再生ステップと、前記楽曲データの関連画像の特徴を解析するステップと、前記関連画像の特徴に応じた補正タイプを複数の補正タイプから選択するステップと、記憶媒体に記憶されている1または2以上の画像を前記選択部により選択された補正タイプで補正するステップと、補正された画像を出力するステップと、を含む情報処理方法が提供される。
【発明の効果】
【0018】
以上説明したように本発明にかかる情報処理装置、プログラム、および情報処理方法によれば、再生する楽曲に応じた補正を施して画像を表示させることができる。
【発明を実施するための最良の形態】
【0019】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0020】
また、以下に示す項目順序に従って当該「発明を実施するための最良の形態」を説明する。
1.PCのハードウェア構成
2.PCの機能および動作の概略
3.再生区間の設定
4.レイアウトの決定
5.画像選択
6.エフェクト処理の概略
7.パラメータpについて
8.各エフェクトタイプの説明
[モノクローム]
[ノイズ]
[ポスタライゼーション]
[トーンエフェクト]
[カラーイミテーション]
9.エフェクトタイプの選択
10.スライドショーの実行
11.まとめ、および補足
【0021】
<1.PCのハードウェア構成>
本実施形態にかかるPC20は、楽曲データの再生と併せて、楽曲データに応じたエフェクトが施された写真画像を順次に切替えて表示することができる。このような本実施形態にかかるPC20の機能の説明に先立ち、まず、PC20のハードウェア構成について図1を参照して説明する。
【0022】
図1は、PC20のハードウェア構成を示したブロック図である。PC20は、CPU(Central Processing Unit)201と、ROM(Read Only Memory)202と、RAM(Random Access Memory)203と、ホストバス204と、ブリッジ205と、外部バス206と、インターフェース207と、入力装置208と、出力装置210と、ストレージ装置(HDD)211と、ドライブ212と、通信装置215とを備える。
【0023】
CPU201は、演算処理装置および制御装置として機能し、各種プログラムに従ってPC20内の動作全般を制御する。また、CPU201は、マイクロプロセッサであってもよい。ROM202は、CPU201が使用するプログラムや演算パラメータ等を記憶する。RAM203は、CPU201の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバスなどから構成されるホストバス204により相互に接続されている。
【0024】
ホストバス204は、ブリッジ205を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス206に接続されている。なお、必ずしもホストバス204、ブリッジ205および外部バス206を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。
【0025】
入力装置208は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU201に出力する入力制御回路などから構成されている。PC20のユーザは、該入力装置208を操作することにより、PC20に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0026】
出力装置210は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Display)装置およびランプなどの映像出力装置と、スピーカおよびヘッドホンなどの音響出力装置で構成される。出力装置210は、例えば、再生されたコンテンツを出力する。具体的には、映像出力装置は再生された写真画像等の各種情報を表示する。一方、音響出力装置は、再生された楽曲データ等を音声に変換して出力する。
【0027】
ストレージ装置211は、本実施形態にかかるPC20の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置211は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置211は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置211は、ハードディスクを駆動し、CPU201が実行するプログラムや各種データを格納する。また、このストレージ装置211には、後述の、楽曲データ、エフェクト用情報などが記録される。
【0028】
ドライブ212は、記憶媒体用リーダライタであり、PC20に内蔵、あるいは外付けされる。ドライブ212は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体24に記録されている情報を読み出して、RAM203に出力する。
【0029】
通信装置215は、例えば、通信網12に接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置215は、無線LAN(Local Area Network)対応通信装置であっても、ワイヤレスUSB対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【0030】
なお、本明細書においては情報処理装置の一例としてPC20を挙げて説明しているにすぎず、情報処理装置はかかる例に限定されない。例えば、情報処理装置は、家庭用映像処理装置(DVDレコーダ、ビデオデッキなど)、携帯電話、PHS(Personal Handyphone System)、携帯用音楽再生装置、または携帯用映像処理装置であってもよい。さらに、情報処理装置は、PDA(Personal Digital Assistants)、家庭用ゲーム機器、携帯用ゲーム機器、家電機器などの情報処理装置であってもよい。
【0031】
<2.PCの機能および動作の概略>
次に、図2〜図4を参照し、本実施形態にかかるPC20の機能および動作について概略的に説明する。
【0032】
図2は、本実施形態にかかるPC20の構成を示した機能ブロック図である。図2に示したように、PC20は、スライドショープレーヤと、ムード判定部224と、ジャケット解析部228と、エフェクトタイプ選択部232と、レイアウト制御部236と、エフェクト制御部252と、操作部264と、設定管理部268と、を備える。また、スライドショープレーヤは、記憶部220と、画像選択部240と、デコーダ244と、ミキサ・エフェクト回路248と、音響出力部256と、映像出力部260と、フォント選択部272と、表示生成部276と、を備える。
【0033】
記憶部220は、スライドショーの実行に利用される楽曲データ、ジャケット画像、エフェクト用情報、楽曲特徴量、および写真画像などが記録される記憶媒体である。
【0034】
各楽曲はいずれかのジャケット画像に対応しており、例えば楽曲データと併せて記憶部220に記録される。なお、楽曲データおよびジャケット画像は、光ディスクから取得することも、通信網12を介してコンテンツ配信サーバから取得することも可能である。
【0035】
楽曲特徴量は、楽曲データの特徴を示し、楽曲データを解析することにより取得される。例えば、楽曲特徴量としてはムード特徴量、楽曲構成情報、楽曲進行情報、およびムードなどが挙げられる。以下、このような楽曲特徴量の各々について説明する。
【0036】
(ムード特徴量)
「明るい」、「楽しい」、「悲しい」、「さわやか」、などの楽曲の印象、雰囲気、または気分が数値化された特徴量である。楽曲データを信号処理(音楽解析)することにより基本特徴量(例えば、テンポ、以下の楽曲進行情報など)を抽出し、基本特徴量を利用した機械学習および音楽推定により高次特徴量である当該ムード特徴量を抽出することができる。より詳細な解析方法については、例えば、特開2005−274708、特開2005−275068、特開2008−27538、および特開2008−65905などに記載されている。
【0037】
(楽曲構成情報)
Aメロ、Bメロ、サビ、エンディングなどの楽曲の構成要素が開始するタイミングを楽曲の先頭を基準に表す情報である。図3を参照し、より具体的に楽曲構成情報について説明する。
【0038】
図3は、楽曲構成の一例を示した説明図である。図3には、イントロ、Aメロ、Bメロ、サビ、間奏、Bメロ、サビ、・・・という順に構成要素が配されている例を示している。この場合、イントロからAメロに切替わる時間t1、AメロからBメロに切替わる時間t2、Bメロからサビに切替わる時間t3、および同様にt4〜t6が楽曲構成情報に該当する。
【0039】
なお、本明細書においては、楽曲の盛り上がり部分をサビと称する。また、楽曲構成情報の解析方法は、例えば、特開2007−156434に記載されているため、本願での詳細な説明は省略する。
【0040】
(楽曲進行情報)
楽曲中の各拍子、小節、コード(Cメジャー、Aマイナーなど)が到来するタイミングを楽曲の先頭を基準に表す情報である。例えば、図3に示した例において、コードCに切替わる時間t11、コードGに切替わる時間12、コードAmに切替わる時間13、コードEmに切替わる時間14などが楽曲進行情報に該当する。なお、楽曲進行情報の解析方法は、例えば特開2007−183417に記載されているため、本願での詳細な説明は省略する。
【0041】
(ムード)
楽曲のムードは、上記のムード特徴量に基づいてムード判定部224により判定される。ここで、ムード判定部224は、例えばPlayStation3(登録商標)で使用されている「おまかせチャンネル」のアルゴリズムを用いてムード判定を行なってもよい。また、楽曲のムードは、楽曲の雰囲気や、楽曲から想起される抽象的なテーマ(気候、場所、季節、気分、イベント)などを表してもよい。以下では、ムード判定部224が、楽曲のムードをEnergetic、Relaxing、Dramatic、Happy、またはElectronicのいずれかに判定するものとして説明する。なお、ムード判定部224は、楽曲が複数のムードに該当する場合、所定の優先順位にしたがって1のムードを採用してもよい。優先順位は、統計的に楽曲が該当し難いムードほど高くてもよく、例えば、Dramaticが最も低く、Relaxing、Energetic、Electronic、Happyの順に高くてもよい。
【0042】
エフェクト用情報は、ジャケット解析部228によりジャケット画像の解析により取得される画像解析情報、およびエフェクトタイプ選択部232により選択されるエフェクトタイプを含む。以下に、画像解析情報の要素、および各要素の本明細書における意義の一例を示す。
【0043】
・平均色:ジャケット画像の全画素の色を平均した値。
・コントラスト:ジャケット画像の全画素の輝度値の標準偏差。
・固有値、固有ベクトル:ジャケット画像の全画素を3D色空間(本実施形態においてはRGB空間)にプロットした集合を主成分分析して得られる固有ベクトルと固有値を、第一主成分、第二主成分、第三主成分の順に並べたもの。第一主成分の固有値・固有ベクトルを第一固有値・第一固有ベクトル、第二主成分の固有値・固有ベクトルを第二固有値・第二固有ベクトル、第三主成分の固有値・固有ベクトルを第三固有値・第三固有ベクトル、と称する。具体的には、集合を主成分分析するとRGB空間で3本の直行する直線が得られ、3本の直線のうちで長い直線から第一主成分、第二主成分、第三主成分に対応する。また、各直線の方向が固有ベクトルに対応し、各直線の長さが固有値に対応する。なお、ジャケット画像中の特異な色が分離可能な場合、この特異な色をポイント色として除外し、ポイント色が除外された色の集合に対して主成分分析を行なって固有値および固有ベクトルを得えることも可能である。
・色ヒストグラム:ジャケット画像を規定色数まで減色(本実施形態では32色)した際の、各色値とその含有量。
・輝度ヒストグラム:ジャケット画像をグレースケール化し、その画素値(つまり輝度値)を規定数(本実施形態では最大32色)のヒストグラムとしたもの。
・顔情報:顔認識技術によりジャケット画像から検出される情報であり、例えば、ジャケット画像に含まれる顔の数、各顔の位置、大きさ、および傾きなどがあげられる。
・ポイント色:ジャケット画像を構成する色の中で特異な色。例えばモノクロ背景の一部のみに赤色の物体が含まれるジャケット画像においては、その物体の赤色の色値。
・フォント:ジャケット画像に文字が含まれている場合、その文字のフォントと文字色。
【0044】
また、エフェクトタイプ(補正タイプ)の具体例を以下に示す。なお、以下では記憶部220から選択される写真画像が入力画像であることを想定している。
【0045】
・モノクローム:写真画像を、2つの色の線形和で表現される色のみからなるように加工する。一例として一般的にグレー画像と呼ばれるもの(白と黒の線形和)があげられる。なお、本実施形態においては、2つの色として適切な色は、ジャケット画像の画像解析情報に基づいて決定される。
・ノイズ:写真画像にモノクロームと同様の処理を施した後、ノイズを付加し、さらにコントラストを強調する。なお、モノクロームエフェクト実行やコントラスト強調の度合いは、ジャケット画像の画像解析情報に基づいて決定される。
・ポスタライゼーション:写真画像を少ない数の色(例えば3色)で表現する。使用する色はジャケット画像の画像解析情報に基づいて決定される。
・トーンエフェクト:写真画像の色分布を、ジャケット画像の画像解析情報に応じた方向へ全体的に移動させる。
・カラーイミテーション:写真画像の色分布を、ジャケット画像に含まれる色成分が強調されるように加工する。
【0046】
このように、各エフェクト処理の実行にはジャケット画像の画像解析情報が利用されるため、エフェクト処理された写真画像にはジャケット画像の雰囲気が少なからず反映される。さらに、本実施形態では、より一層エフェクト処理された写真画像の雰囲気をジャケット画像の雰囲気に合わせるために、エフェクトタイプ選択部232がジャケット画像に適したエフェクトタイプを選択する。詳細については<9.エフェクトタイプの選択>において説明するが、例えば、エフェクトタイプ選択部232は、グレー画像であるジャケット画像に対してはモノクロームを選択し、最大色数より極めて少ない色数で表現されるジャケット画像に対してはポスタライゼーションを選択する。
【0047】
また、記憶部220に記録されている写真画像は、スライドショー実行時に表示対象として選択され得る。PC20は、この写真画像を例えば撮像装置から取得しても、通信網12を介して取得してもよい。なお、スライドショー実行時に表示対象として選択され得る画像は写真画像に限られず、任意の画像であってもよい。
【0048】
また、上記説明した楽曲データ、ジャケット画像、エフェクト用情報、楽曲特徴量、および写真画像を記憶する記憶部220は、不揮発性メモリ、磁気ディスク、光ディスク、およびMO(Magneto Optical)ディスクなどの記憶媒体であってもよい。不揮発性メモリとしては、例えば、EEPROM(Electrically Erasable Programmable Read−Only Memory)、EPROM(Erasable Programmable ROM)があげられる。また、磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、CD(Compact Disc、DVD−R(Digital Versatile Disc Recordable)およびBD(Blu−Ray Disc(登録商標))などがあげられる。また、上記の楽曲データ、ジャケット画像、エフェクト用情報、楽曲特徴量、および写真画像などは物理的に異なる記憶媒体に記録されてもよい。
【0049】
レイアウト制御部236は、スライドショー実行時に楽曲の再生区間を設定し、レイアウト情報テーブルを参照し、当該再生区間を複数の画像表示枠に区切る(レイアウトを決定する)。ここで、レイアウト情報テーブルは、再生区間を複数の画像表示枠に区切る複数の方法の情報を含み、レイアウト制御部236は、これら方法のいずれかに基づいてレイアウトを決定する。なお、各画像表示枠では異なる画像が表示される。
【0050】
また、レイアウト制御部236は、画像の動きパターンを複数含むアニメーション情報テーブルを有し、各画像表示枠で表示させる画像の動きパターンをアニメーション情報テーブルから選択する。
【0051】
画像選択部240は、レイアウト制御部236によるレイアウトの決定の結果、スライドショーの実行に必要となる枚数の写真画像を記憶部220から選択する。詳細な写真画像の選択方法については<5.画像選択>において説明する。
【0052】
デコーダ244は、記憶部220に記憶されている楽曲データ、および画像選択部240により選択された写真画像をデコードする。例えば、デコーダ244は、MP3(MPEG1 Audio Layer−3)形式、またはATRAC(Adaptive TRansform Acoustic Coding)形式の楽曲データをPCM形式にデコードする。
【0053】
ミキサ・エフェクト回路248は、デコーダ244によりデコードされた楽曲データ、および写真画像に所定の処理を施す画像補正部として機能する。例えば、ミキサ・エフェクト回路248は、デコーダ424によりデコードされた写真画像に、レイアウト制御部236により設定されたアニメーション処理を施したり、エフェクト制御部252の制御に基づくエフェクト処理を行なったりする。本実施形態にかかるミキサ・エフェクト回路248、モノクロームエフェクター、ノイズエフェクター、ポスタライゼーションエフェクター、トーンエフェクター、またはカラーイミテーションエフェクターとして機能することができる。
【0054】
エフェクト制御部252は、ミキサ・エフェクト回路248による写真画像のエフェクトを制御する補正制御部として機能する。例えば、エフェクト制御部252は、エフェクトタイプ、エフェクト処理の内容、および後述のパラメータpなどを制御する。
【0055】
音響出力部256は、ミキサ・エフェクト回路248から供給される楽曲データを例えば空気振動に変換して出力する。すなわち、デコーダ244、ミキサ・エフェクタ248、および音響出力部256は、協働して楽曲データを再生する再生部として機能する。なお、音響出力部256は、ミキサ・エフェクト回路248から供給される楽曲データを外部装置へ出力してもよい。
【0056】
また、映像出力部260は、ミキサ・エフェクト回路248から供給されるエフェクト処理後の写真画像をユーザが視認可能に表示する出力部としての機能を有する。なお、映像出力部260は、ミキサ・エフェクト回路248から供給されるエフェクト処理後の写真画像を外部装置に出力してもよい。
【0057】
操作部264は、ユーザにより各種情報、各種指示が入力されるユーザインターフェースである。設定管理部268は、例えば操作部264へのユーザ操作に基づいて各種設定を行う。各種設定としては、後述の再生区間の設定、レイアウトの設定、エフェクトの設定、および画像選択などがあげられる。フォント選択部272および表示生成部276については、「<10.スライドショーの実行>」において説明する。
【0058】
このような本実施形態にかかるPC20が楽曲付きのスライドショーを実現するための一連の流れを図4を参照して説明する。
【0059】
図4は、楽曲付きのスライドショーを実現するための一連の流れを示したフローチャートである。図4に示したように、まず、操作部264を介してユーザにより再生対象の楽曲データが選択されると(S204)、レイアウト制御部236が楽曲データの再生区間を設定する(S208)。詳細については後述するが、再生区間は楽曲の全体であっても、楽曲の一部のハイライト部分であってもよい。なお、図4ではユーザにより楽曲データが選択される例を示しているが、本実施形態はかかる例に限定されない。例えば、楽曲データはランダムに選択されたり、特定のムードに分類された楽曲データから自動的に選択されたりしてもよい。
【0060】
その後、レイアウト制御部236が、楽曲の再生区間を複数の画像表示枠に区切る(S212)。詳細については後述するが、楽曲の再生区間は、固定時間で区切られても、小節ごとに区切られも、コード変化に応じて区切られても、自動で区切られてもよい。ここで、レイアウト制御部236は、画像表示枠ごとに、表示する画像に適用する動きパターンを設定してもよい。
【0061】
そして、画像選択部240が楽曲の再生区間の再生の間に必要となる枚数の写真画像を選択する(S216)。その後、楽曲データの再生が開始され、画像選択部240により選択されてデコーダ244によりデコードされた写真画像へのエフェクト処理およびエフェクト処理された写真画像の表示が開始される(S220)。
【0062】
ここで、エフェクト制御部252が、再生対象の楽曲データのジャケット画像に対応するエフェクト用情報に基づいてミキサ・エフェクト回路248を制御することにより、上記写真画像へのエフェクト処理が行なわれる。その結果、本実施形態によれば、楽曲付きのスライドショーにおいて、再生対象の楽曲データのジャケット画像の雰囲気に合うようにエフェクト処理(加工)された写真画像を表示することが可能となる。以下、このような本実施形態における各処理についてより具体的に説明する。
【0063】
<3.再生区間の設定>
楽曲データの再生区間は、楽曲データの全体(フル再生)、または楽曲データのハイライト部分(ダイジェスト再生)のいずれかから選択可能である。楽曲データの全体、または楽曲データのハイライト部分のいずれを再生区間とするかは、操作部264を介してユーザにより選択されても、PC20に事前に設定されていてもよい。楽曲データのハイライト部分は、レイアウト制御部236が例えば図5に示す処理により設定することができる。
【0064】
図5は、レイアウト制御部236による楽曲データのハイライト部分の設定処理の流れを示したフローチャートである。図5に示したように、レイアウト制御部236は、まず、記憶部220に記憶されている楽曲構成情報(楽曲特徴量に含まれる)に基づいてサビの開始位置を取得する(S560)。そして、レイアウト制御部236は、図5右側上段に示したように、ダイジェスト時間がサビ開始位置で2等分されるように始点と終点を仮設定する(S562)。
【0065】
そして、レイアウト制御部236は、仮設定した始点が1拍目でない場合(S564)、始点を1拍目まで戻し(S566)、仮設定した終点が1拍目でない場合(S568)、始点を1拍目まで進める(S570)。図5右側中段には、仮設定した始点が2拍目であったため1拍目まで戻され、仮設定した終点が3拍目であったため1拍目まで進められた例を示している。
【0066】
さらに、レイアウト制御部236は、始点の前のN小節(N≧1、例えばN=4)を検索し(S572)、楽曲の構成要素が変化する構成変化点が存在した場合(S574)、始点を構成変化点に更新する(S576)。同様に、レイアウト制御部236は、終点の後のN小節(N≧1、例えばN=4)を検索し(S578)、楽曲の構成要素が変化する構成変化点が存在した場合(S580)、終点を構成変化点に更新する(S582)。図5右側下段には、更新前の始点のN小節前までにAメロからBメロへの構成変化点が存在したため始点が当該構成変化点に更新され、更新前の終点のN小節後までにサビから間奏への構成変化点が存在したため終点が当該構成変化点に更新された例を示している。
【0067】
このようにしてレイアウト制御部236により得られた始点から終点までの区間がダイジェスト再生の再生区間(ハイライト部分)として設定される。なお、図5においては、S572において始点の前N小節を検索する例を示したが、本実施形態はかかる例に限定されない。例えば、レイアウト制御部236は、始点の後N小節を検索対象に含めてもよい。同様に、S578において終点の後N小節を検索する例を示したが、本実施形態はかかる例に限定されない。例えば、レイアウト制御部236は、終点の前N小節を検索対象に含めてもよい。
【0068】
<4.レイアウトの決定>
レイアウト制御部236は、設定した楽曲データの再生区間を、例えば以下に示す方法により複数の画像表示枠に区切る。
【0069】
・時間固定
例えば10秒などの一定時間で画像が切替わるように楽曲データの再生区間を区切るレイアウト方法である。この方法では楽曲特徴量が特に利用されない。
【0070】
・小節区切り
一定の小節数で画像が切替わるように楽曲データの再生区間を区切るレイアウト方法である。レイアウト制御部236は、楽曲進行情報に含まれる小節の切替わる時間に基づき、再生区間の先頭から何ミリ秒後で画像を切替えるかを特定することができる。一般的に、4拍子の楽曲では4小節、または8小節ごとに曲調が変化する傾向があるので、レイアウト制御部236は、例えば4小節、または8小節ごとに再生区間を区切ってもよい。
【0071】
・コード区切り
コード進行の変化に同期して画像が切替わるように楽曲データの再生区間を区切るレイアウト方法である。レイアウト制御部236は、楽曲進行情報に含まれるコードの切替わる時間に基づき、再生区間の先頭から何ミリ秒後で画像を切替えるかを特定することができる。例えば、コードがCメジャーからAマイナーに再生区間の先頭から1000ミリ秒後に切替わる場合、レイアウト制御部236は、再生区間の先頭から1000ミリ秒後で再生区間を区切ってもよい。時間固定や小節区切りの場合には一定の間隔で再生区間が区切られるため、スライドショーにおいて画像が一定の周期で切替えられる。これに対し、コード区切りの場合には不定の間隔(1小節、2小節、1小節と2拍など)で再生区間が区切られるため、スライドショーにおける画像の切替周期が一定とならず、より楽曲の流れに合ったスライドショーを実現できる。
【0072】
・ムードに従った自動レイアウト
楽曲のムードに応じた規則に従って楽曲データの再生区間を区切るレイアウト方法である。楽曲のムードは、楽曲特徴量に基づいてムード判定部224により判定される。当該事項について図6および図7を参照して後述する。
【0073】
図6および図7は、ムードに応じたレイアウトの設定例を示した説明図である。なお、図6および図7に示した切替周期は、画像が切替えられる周期、すなわち画像表示枠の周期を意味する。図6に示したように、ムードがEnergeticである場合、サビ4小節前、サビ1小節前、およびサビ開始位置で再生区間が区分される。そして、切替周期が、サビ1小節前までは1小節、サビ1小節前からサビまでは1拍、サビからは2拍に設定される。なお、区分された各再生区間には、異なる動きパターンが設定されてもよい。
【0074】
また、図6に示したように、ムードがRelaxingである場合、切替周期がコード変化2回に設定される。また、図6に示したように、ムードがEmotionnalである場合、切替周期が、サビ2小節前まではコード変化1回、サビ2小節前からサビまでは2拍、サビからはコード変化1回に設定される。また、図7に示したように、ムードがElectronicである場合、基本的にコード変化に伴って写真画像が切替えられるが、コード変化が4拍以下の場合は1拍ごとに写真画像が切替えられる。さらに、図7に示したように、ムードがHappyである場合、切替周期が、サビまでは1小節、サビからはコード変化に応じて設定される。
【0075】
このように、ムードに応じ、サビ開始位置を基準にして写真画像の切替周期を区別することにより、再生位置がサビに向かうにつれて盛り上がっていく(視覚効果が激しくなっていく)スライドショーを実現することができる。
【0076】
また、レイアウト制御部236は、レイアウトを決定すると、各画像表示枠で表示する画像に適用する動きパターンを選択する。動きパターンについて、図8〜図10を参照して説明する。
【0077】
図8は、動きパターンの具体例を示した説明図である。図9は、動きパターンを表現するパラメータの意味を示した説明図である。図10は、複数の画像の切替わり時の関係を示した説明図である。図8に示したように、各動きパターンは、始点(画像表示枠の開始時)と終点(画像表示枠の終了時)における複数のパラメータを含む。例えば、図8にはパラメータとして、位置(X、Y、Z)、スケール、X回転(図9に示したX軸を回転軸とする角度)、Y回転(図9に示したY軸を回転軸とする角度)、Z回転(図9に示したZ軸を回転軸とする角度)を示している。
【0078】
一例としてある画像表示枠に図8に示した動きパターン01が選択されると、当該画像表示枠において画像が位置(452,345,489)から位置(262,243,1237)へ移動し、かつ−28°から33°へY回転するように表示される。また、図10に示したように、各画像の切替わりはクロスフェードで行なわれてもよい。すなわち、画像の切替わり時には、ある画像が完全に消える前に次の画像が現れて、2の画像が重ねて表示されてもよい。
【0079】
レイアウト制御部236は、このような動きパターンをランダムに各画像表示枠に選択してもよい。または、レイアウト制御部236は、再生対象の楽曲のムードに応じて動きパターンを選択あるいは生成しても、表示対象の写真画像の内容に応じて動きパターンを選択あるいは生成してもよい。
【0080】
以下に、再生対象の楽曲のムードと選択または生成される動きパターンの関係の一例を示す。
楽曲のムード 動きパターン
Energetic 大きな動き・速い動きを有するパターン
Relaxing 小さな動き・遅い動きを有するパターン
Electronic 直線的な動きを有するパターン
【0081】
また、以下に表示対象の写真画像の内容と選択または生成される動きパターンの関係の一例を示す。
写真画像の内容 動きパターン
人物を含む 顔をズームインまたはズームアウトするパターン
縦撮り・横撮り 写真端が表示エリアを出ないようズームおよび回転を設定
【0082】
レイアウト制御部236は、上記のようにして楽曲の再生区間、レイアウト、および各画像表示枠に動きパターンを選択すると、スライドショーの実行に必要な写真画像の枚数を決定する。すると、画像選択部240が、画像選択部240は、レイアウト制御部236により決定された枚数の写真画像を、記憶部220に記憶されている写真画像から選択する。以下、このような画像選択部240による写真画像の選択について説明する。
【0083】
<5.画像選択>
本実施形態によれば、ジャケット画像に応じたエフェクトを写真画像に施すため、再生対象の音楽データのジャケット画像の雰囲気にどの写真画像でも合わせることができる。このため、画像選択部240は、レイアウト制御部236により決定された枚数の写真画像を記憶部220に記憶されている写真画像からランダムに選択してもよい。かかる構成によれば、記憶部220に記憶されている写真画像の同頻度での出現が期待されるため、普段ユーザが意図的に選択しない写真画像をユーザに提示する機会が得られる。
【0084】
また、その他にも、以下に示すように、写真画像の画像特徴量を利用する選択方法も考えられる。
【0085】
例えば、画像選択部240は、再生対象の楽曲データの特徴(例えば、ムード)に応じた写真画像を選択してもよい。かかる構成によれば、再生対象の楽曲データと調和のとれた写真画像が選択されるため、楽曲データおよび写真画像の各々が他方を引き立てることが期待される。再生対象の楽曲のムードと選択される写真画像の関係の一例を以下に示す。
楽曲のムード 選択される写真画像
Relaxing 緑・青の多い写真画像
Happy 笑顔が写っている写真画像
Electronic 人物を含まない写真画像
【0086】
また、画像選択部240は、再生対象の楽曲データのジャケット画像の特徴(例えば、エフェクトタイプ選択部232により選択されたエフェクトタイプ)に応じた写真画像を選択してもよい。かかる構成によれば、例えば施されるエフェクトに適した写真画像を選択されるため、エフェクトによる効果の向上が期待される。再生対象の楽曲データのジャケット画像のエフェクトタイプと選択される写真画像の関係の一例を以下に示す。
エフェクトタイプ 選択される写真画像
ノイズ 古い写真
ポスタライゼーション 人物を含まない写真画像
カラーイミテーション ジャケット画像の色味と近い画像
【0087】
また、画像選択部240は、再生対象の楽曲データの付加情報(例えば、リリース時期、楽曲タイトル、ジャンルなど)に応じた写真画像を選択してもよい。かかる構成によれば、楽曲データと関連性を有する写真画像が選択されることが期待される。再生対象の楽曲データの再生対象の楽曲データの付加情報と選択される写真画像の関係の一例を以下に示す。
楽曲データの付加情報 選択される写真画像
リリース時期 リリース時期と同時期の写真画像
楽曲タイトル 楽曲タイトルに含まれるキーワードを有する写真画像
【0088】
なお、上記のようにランダムでない方法で写真画像を選択する場合、特定の写真画像が高頻度で選択され、他の写真画像がほとんど選択されないことも想定される。そこで、選択頻度の偏りを抑制するために、画像選択部240は、各写真画像の以前の選択頻度を蓄積し、以前の選択頻度が低い写真画像ほど優先的に選択してもよい。また、上記の複数の写真画像の選択方法は、単独で利用してもよいし、組み合わせて利用してもよい。
【0089】
また、画像選択部240により選択される写真画像の枚数が、レイアウト制御部236により決定されたスライドショーの実行に必要な写真画像の枚数に満たない場合も考えられる。この場合、レイアウト制御部236は、同一の写真画像を複数の画像表示枠に割当てたり、写真画像の一部を当該写真画像と別の画像表示枠に割当てたりしてもよい。より具体的には、写真画像の一部を抜き出す際、画像特徴量に含まれる顔位置を利用して、写真画像に含まれる顔ごとにズームした部分画像を生成してもよい。
【0090】
<6.エフェクト処理の概略>
次に、図11〜図13を参照し、本実施形態にかかるエフェクト処理を実現するための流れの要旨を説明する。なお、以下では、ジャケット画像を一般化して参照画像と称し、写真画像を一般化して入力画像と称する。
【0091】
本実施形態にかかるエフェクト処理は、図11または図12に示したように参照画像の画像解析を行なって画像解析情報およびエフェクトタイプなどのエフェクト用情報を取得し、図13に示したように当該エフェクト用情報およびパラメータpを利用して実現される。
【0092】
図11は、エフェクト用情報の取得例を示した説明図である。まず、図11に示したように、参照画像を画像解析し、参照画像の画像解析情報、および最適なエフェクトタイプを得る。そして、これらの画像解析情報およびエフェクトタイプなどのエフェクト用情報は、楽曲データと関連付けて記憶部220に記録される。例えば、参照画像がジャケット写真である場合、エフェクト用情報はジャケット写真に対応する楽曲データと関連付けて記憶部220に記録される。
【0093】
このようにエフェクト用情報は記憶部220に記録されるため、参照画像の画像解析は、エフェクト用情報を利用したスライドショーの実行と異なるタイミングに行なってもよい。例えば、参照画像の画像解析は、記憶部220へ楽曲データおよび参照画像が記録される際(前後)に行なっておいてもよい。
【0094】
なお、図11では、参照画像を直接解析してエフェクトタイプを判定する例(図2に示した構成に対応)を示しているが、図12に示すように、本実施形態はかかる例に限定されない。
【0095】
図12は、エフェクト用情報の他の取得例を示した説明図である。図12に示したように、エフェクトタイプの判定に必要な画像解析情報を参照画像の解析により取得し、当該画像解析情報に基づいてエフェクトタイプを判定することも可能である。
【0096】
図13は、エフェクト処理の実行例を示した説明図である。図13に示したように、再生対象の楽曲データが決定されると、当該楽曲データの再生と併せて表示する入力画像へのエフェクト内容を決定するために、記憶部220から当該楽曲データに関連付けられている画像解析情報およびエフェクトタイプを取得する。
【0097】
そして、取得したエフェクトタイプに従い、モノクローム、ノイズ、ポスタライゼーション、トーンエフェクト、またはカラーイミテーションのいずれを利用するかを決定する。
さらに、参照画像の画像解析情報を利用し、参照画像のような雰囲気を出すためのエフェクト内容を決定する。なお、当該エフェクト内容の決定は図2に示したエフェクト制御部252により行なわれる。
【0098】
次に、決定されたエフェクト内容で、ミキサ・エフェクト回路248により入力画像に対するエフェクト処理が行われる。ここで、ミキサ・エフェクト回路248にはエフェクト内容に影響を与えるパラメータpを指定することができる。したがって、パラメータpを楽曲データの再生に合わせて変化させることにより、出力画像が変化し、結果としてアニメーションに近似する効果を得ることが可能である。以下、このパラメータpについて説明する。
【0099】
<7.パラメータpについて>
パラメータpは、ミキサ・エフェクト回路248によるエフェクト内容に影響を与える1次元の数値であり、0.0〜1.0の間の値をとる。本実施形態にかかる各エフェクトの処理内容へパラメータpが与える影響の説明に先立ち、簡易なエフェクトを例にあげてパラメータpの変化に伴うエフェクト内容の変化について説明する。
【0100】
図14は、パラメータpがエフェクト内容に与える影響を示した説明図である。より詳細には、図14には、写真画像を無彩色単色に変化させるエフェクト処理の結果を、パラメータpの値ごとに示している。図15に示したように、パラメータpの値がエフェクト内容に影響を与えるため、パラメータpの値に応じてエフェクト処理の結果が変化する。なお、図15においては説明の便宜上、エフェクト内容がパラメータpのみにより決定される様子を示しているが、上述したように、パラメータpだけでなく、ジャケット画像の画像解析情報もエフェクト内容に影響を与える。
【0101】
本実施形態にかかる各エフェクト処理の内容に対しては、パラメータpは例えば以下に示す項目に関する影響を与える。
・エフェクト深度
写真画像に施すエフェクト処理の程度。例えば、パラメータp=0.0の場合にはエフェクト処理の前後の写真画像に変化がなく、パラメータp=1.0の場合には写真画像に最も高い程度のエフェクト処理が施される。また、0.0<パラメータp<1.0の場合には、写真画像にパラメータpの値に応じた程度のエフェクト処理が施される。
・輝度
写真画像に対して施す輝度変化の程度。例えば、パラメータp<0.5の場合にはパラメータpの値に応じて写真画像を暗くする処理が付加され、パラメータp>0.5の場合にはパラメータpの値に応じて写真画像を明るくする処理が付加される。
・各エフェクト依存の変化
各エフェクトにおいて、処理内容に影響を与える数値にパラメータpを割当てる。この場合、パラメータpによる処理内容の変化がエフェクト処理ごとに異なる。
【0102】
なお、<8.各エフェクトタイプの説明>では、各エフェクト処理に対してパラメータpが与える影響を説明しているが、エフェクトタイプとパラメータpの与える影響を各々独立させ、双方を組み合わせて用いてもよい。また、各エフェクト処理を、パラメータp1、p2、p3・・・のように複数のパラメータpnで調整できるようにしてもよい。
【0103】
また、本実施形態においては、楽曲データの再生時間と関連付けてパラメータpの値を変化させることにより、アニメーションのように表現される写真画像を得ることができる。例えば、ある写真画像の表示開始時にパラメータp=0.0を設定し、楽曲データの再生の進捗にしたがってパラメータpの値を増加させ、次の写真画像への切替時にパラメータp=1.0を設定することにより、時間の経過と共にエフェクト内容を変化させられる。
【0104】
また、上記ではパラメータpが0.0から1.0へ単調増加する例を説明したが、図16に示すように、本実施形態はかかる例に限定されない。
【0105】
図15は、時間の経過とパラメータpの関係の一例を示した説明図である。図15の変化パターン1には、上記のパラメータpが0.0から1.0へ単調増加する例を示している。また、変化パターン2に示したように、パラメータpを1.0から0.0へ単調減少させてもよい。また、変化パターン3に示したように、パラメータpを第1の値(例えば0.5)から第2の値(例えば0.8)へ単調増加させてもよい。また、変化パターン4に示したように、パラメータpを0.0から1.0へ単調増加させた後に0.0へ単調減少させてもよい。
【0106】
また、変化パターン5に示したように、パラメータpを0.0に維持してもよい。また、変化パターン6に示したように、パラメータpを0.0と1.0とで交互に切替えてもよい。また、変化パターン7に示したように、ある画像の表示から所定時間が経過したときにパラメータpを急激に0.0から1.0へ増加させてもよい。さらに、変化パターン8に示したようにパラメータpを所定の値に維持してもよい。
【0107】
また、エフェクト処理に際して用いられるこのような変化パターンは、エフェクトタイプごとに固定的に設定されていても、上記複数の変化パターンから画像や楽曲データごとにランダムに選択されてもよい。
【0108】
また、上記では1の写真画像の表示期間中のパラメータpの変化について説明したが、パラメータpを楽曲特徴量に応じて変化させることにより、楽曲自体にエフェクトを依存させてもよい。例えば、パラメータpに応じて輝度が変化する場合、再生位置がサビに近づくにつれてパラメータpを急激に増加させてもよい。また、ある写真画像の表示期間が長い場合にはパラメータpを繰り返し増加および減少させたり、テンポにパラメータpの変化の傾きを合わせたり、曲調の激しい部分ではパラメータpを0.0と1.0とで交互に切替えてもよい。
【0109】
<8.各エフェクトタイプの説明>
続いて、本実施形態において利用されるモノクローム、ノイズ、ポスタライゼーション、トーンエフェクト、およびカラーイミテーションの各々について図16〜図19を参照して詳細に説明する。
【0110】
[モノクローム]
モノクロームエフェクターは、写真画像を2つの色の線形和で表現される色のみからなるように加工する。2つの色の線形和で表現される色のみからなる画像には、例えばグレー画像やセピア色の画像などが該当する。このモノクロームエフェクターは、画像解析情報に含まれるRGB空間における第一固有ベクトルと平均色の情報を用いる。
【0111】
具体的には、RGB空間における第一固有ベクトルを示す直線は、他の固有ベクトルを示す直線との交点であるジャケット画像の平均色を通るため、第一固有ベクトルと画像の平均色から当該直線を示す数式が得られる。モノクロームエフェクターは、当該数式に基づき、写真画像内の全ての画素の色を当該直線の示す1次元空間に写像し、写像された位置における値を新しい画素の色とする処理を行う。なお、モノクロームエフェクターは特にパラメータpの影響を受けず、パラメータpに対して常に同一の結果を出力してもよい。また、モノクロームエフェクターは、ジャケット画像のポイント色を、写真画像の任意の位置にガウス上にオーバレイし、さらに、上記任意の位置をパラメータpの値に応じて変化させてもよい。
【0112】
[ノイズ]
ノイズエフェクターは、モノクロームエフェクターと同様の処理を施した後にノイズを付加し、さらにその後にコントラストを強調する。このノイズエフェクターは、ジャケット画像の画像解析情報に含まれる第一固有ベクトルと平均色、およびコントラストの情報を用いる。すなわち、第一固有ベクトルと平均色の情報を用い、モノクロームエフェクターと同様の処理を行なった後、コントラスト値に応じたコントラストの強調を行う。
【0113】
ノイズの付加方法としては例えば以下の3種類があげられ、3種類のうちのいずれの方法を用いるかはエフェクト制御部252がランダムに決定してもよい。
・点ノイズ
写真画像中のいくつかの画素値をランダムな値だけ増減させる。
・粒子ノイズ
写真画像中のいくつかの画素値をランダムな値だけ増減させ、かつ周囲の画素値も増減させる。例えば、図16に示したように画素Cの画素値をx増加させた場合、画素Cの上下左右の画素値をx/2、画素Cの左上、右上、左下、および右下の画素値をx/3増加させる。
・スクラッチノイズ
写真画像中のいくつかの画素をノイズ開始点に設定する。そして、図17に示したように、ノイズ開始点におけるノイズ値を0とし、水平方向に画素が1つ進むにつれ、ノイズ値をランダムに増減させることを繰り返し、ノイズ値が0になった場合に終了する。なお、ノイズ値の絶対値は事前に設定されている閾値を上回らないよう制御される。また、ノイズ開始点におけるノイズ値を0とし、垂直方向に画素が1つ進むにつれ、ノイズ値をランダムに増減させることを繰り返すことにより、垂直方向にも同様のスクラッチノイズを付加することが可能である。
【0114】
また、ノイズエフェクターは、コントラストの強調を以下の数式1に従って行なう。なお、数式1において、vは写真画像のある画素の元の輝度値を示し、v’は当該画素の強調後の輝度値を示し、mは写真画像の輝度平均値を示す。また、0.0≦v≦1.0であり、contrastはコントラストの強調の度合いを示す値である。なお、当該contrastの値とジャケット画像のコントラストの対応関係は、ジャケット画像のコントラストが大きいほど当該contrastの値が大きくなるように事前に設定されていてもよい。
【0115】
【数1】
【0116】
また、ノイズエフェクターは、パラメータpに応じてノイズ付加の際に利用するランダム系列を変化させる。例えば、ノイズエフェクターは、事前に異なるランダム系列でエフェクト処理を施した写真画像を用意しておき、パラメータpの変化に合わせて出力する写真画像を切替えてもよい。また、ノイズエフェクターは、例えば図15に示した変化パターン1に従って変化するパラメータpに基づいてエフェクト処理を行なってもよい。
【0117】
[ポスタライゼーション]
ポスタライゼーションエフェクターは、写真画像を、2または3色などの少ない数の色(本実施形態では最大3色)で表現する。このポスタライゼーションエフェクターは、まず、ジャケット画像の画像解析情報に含まれる色ヒストグラムの情報を参照し、色ヒストグラムから最大3色をランダムで選択する。
【0118】
なお、色ヒストグラムにおいて含有量のある色が1色であった場合、当該色と白色および黒色を比較し、色空間上での距離が遠い方の色をさらに選択してもよい。また、色ヒストグラムにおいて含有量のある色が2色であった場合、色1および色3として同一の色を選択してもよい。また、エフェクト制御部252は、色ヒストグラムにおいて含有量が最大である色を選択し、かつ、色2として選択してもよい。
【0119】
また、ポスタライゼーションエフェクターは、輝度値の範囲を3分割する閾値th1および閾値th2を有する(閾値th1<閾値th2)。そして、エフェクト制御部252により3色が選択された場合、ポスタライゼーションエフェクターは、写真画像中で輝度値が閾値th1以下の画素には色1を割当てる。同様に、ポスタライゼーションエフェクターは、写真画像中で輝度値が閾値th1より大きく閾値th2以下である画素には色2を割当て、輝度値が閾値th2より大きい画素には色3を割当てる。
【0120】
また、ポスタライゼーションエフェクターは、輝度値が閾値th1または閾値th2の付近である画素には、以下の数式2に従って混色された色を割当てる。なお、数式2においてcol1は色1を示し、col2は色2を示し、col3は色3を示し、cは画素の元の色値を示し、c’は画素の混色後の色値を示す。また、marginは、混色の対象となる輝度値の幅を示し、事前に設定されていてもよい。
【0121】
【数2】
【0122】
また、ポスタライゼーションエフェクターは、図18に示したように、パラメータpに応じて閾値th1および閾値th2の値を変化させる。
【0123】
図18は、閾値th1および閾値th2とパラメータpの関係を示した説明図である。図18に示したように、パラメータp=0.0の場合には写真画像の全画素に色1が割当てられ、パラメータpの増加と共に輝度値の高い画素に色2が割当てられる。そして、パラメータpがp1を上回ると、閾値th2より輝度値の高い画素に色3が、輝度値が閾値th1以下の画素に色1が、その他の画素に色2が割当てられ、写真画像が3色で表現される。さらに、パラメータpがp2を上回ると、閾値th2より輝度値の高い画素に色3が、輝度値が閾値th2以下の画素に色2が割当てられ、写真画像が2色で表現される。そして、パラメータp=1.0の場合には写真画像の全画素に色3が割当てられる。
【0124】
なお、常に写真画像を3色で表現するために、パラメータpをp1〜p2の間でのみ変化させてもよい。また、上記ではパラメータpにより閾値th1および閾値th2を変化させる例を説明したが、パラメータpにより数式2におけるmarginを変化させてもよい。また、エフェクト制御部252は、例えばミキサ・エフェクト回路248に図15に示した変化パターン1または変化パターン2に従って変化するパラメータpを供給してもよい。
【0125】
[トーンエフェクト]
トーンエフェクターは、ジャケット画像の画像解析情報に含まれる平均色の情報を用いて、写真画像の色分布を全体的にある方向へ移動させる。具体的には、トーンエフェクターは、写真画像の平均色を求め、(ジャケット画像の平均色―入力画像の平均色)の計算により差ベクトルdiffvecを求める。ここで、cを写真画像のある画素の色値、当該画素のエフェクト処理後の色値、gを当該画素をグレー変換した色値とすると、当該画素のエフェクト処理後の色値c’を以下の数式3により求めることができる。なお、数式3ではある画素の色値cとグレー変換した色値gの加算値を2で除算することにより彩度を半減させているが、他の方法で彩度を下げてもよい。
【0126】
【数3】
【0127】
また、トーンエフェクターは、パラメータpに応じて輝度を変化させる。例えば、トーンエフェクターは、パラメータp=0.5である場合には上記数式3を用いた処理により得られる写真画像を出力する。また、トーンエフェクターは、パラメータp=0.0である場合には写真画像を全体的に輝度を一定量下げて出力し、パラメータp=1.0である場合には写真画像を全体的に輝度を一定量上げて出力する。また、トーンエフェクターは、0<パラメータp<0.5である場合には写真画像を全体的に輝度をパラメータpに応じた量だけ下げて出力し、0.5<パラメータp<1.0である場合には写真画像を全体的に輝度をパラメータpに応じた量だけ上げて出力する。
【0128】
なお、実際には、トーンエフェクターは、パラメータp=0.0、およびパラメータp=1.0である場合に出力される写真画像を事前に計算しておき、パラメータpの値に応じて双方の写真画像をαブレンドすることにより所望の写真画像を得てもよい。また、エフェクト制御部252は、例えばミキサ・エフェクト回路248に図15に示した変化パターン1に従って変化するパラメータpを供給してもよい。
【0129】
[カラーイミテーション]
カラーイミテーションエフェクターは、写真画像の色分布のうちで、ジャケット画像に含まれる色成分が強調されるよう処理する。このカラーイミテーションエフェクターは、画像解析情報に含まれる色ヒストグラムの情報を用いる。
【0130】
カラーイミテーションエフェクターは、まず、写真画像を、輝度と色差成分が直交しているYUV空間やL*a*b空間などの色空間に変換する。以下では、カラーイミテーションエフェクターが写真画像をYUV空間に変換する例を説明する。この場合、カラーイミテーションエフェクターは、ジャケット画像の色ヒストグラム中の各色も同様にYUV空間上での表現に変換する。
【0131】
写真画像の色分布、およびジャケット画像の色ヒストグラム中の色が図19の左図に示したようにUV平面へ投影されるとする。なお、図19において丸領域がジャケット画像の色ヒストグラム中の色に対応し、丸領域の大きさが含有量を示している。この場合、写真画像の各画素の色は、UV平面へ投影された全ての色ヒストグラム中の色から、含有量および距離に応じた強さで引っ張られる。具体的には、写真画像の各画素の色は、色ヒストグラム中の色への色空間上での距離が近いほど強く、また、色の含有量が多いほど強く引っ張られる。
【0132】
ここで、各画素が、ある色ヒストグラムの色c_uvから引っ張られる重みweight_uv(c_uv)は、以下の数式4のように表すことができる。なお、数式4においてuvは写真画像中のある画素の元の色のUV値を示し、nは色ヒストグラム中の色の含有量を示す。
【0133】
【数4】
【0134】
したがって、各画素が引っ張られる量d_uv(c_uv)を以下の数式5のように表現できる。
【0135】
【数5】
【0136】
数式5の計算を色ヒストグラム中のすべての色に対して行なった結果に基づき、以下の数式6に従って処理後の画素色のUV値uv’を算出することができる。
【0137】
【数6】
【0138】
また、カラーイミテーションエフェクターは、パラメータp=0.0の場合には写真画像をそのまま出力し、パラメータp=1.0の場合には上記数式6によって得られる写真画像を出力する。また、カラーイミテーションエフェクターは、0.0<パラメータp<1.0の場合には、パラメータp=1.0の結果に至る中間の写真画像を出力する。
【0139】
なお、実際には、カラーイミテーションエフェクターは、パラメータp=1.0である場合に出力される写真画像を事前に計算しておき、当該写真画像と処理前の写真画像をパラメータpの値に応じてαブレンドすることにより所望の写真画像を得てもよい。
【0140】
また、エフェクト制御部252は、例えばミキサ・エフェクト回路248に図15に示した変化パターン7に従って変化するパラメータpを供給してもよい。具体的には、ある写真画像の表示期間がtである場合、0.0≦t≦0.4の間はパラメータp=0.0、0.4<t<0.6の間はパラメータpが0.0から1.0へ単調増加、0.6≦t≦1.0の間はパラメータp=1.0としてもよい。かかる構成によれば、表示開始からしばらくは未処理の写真画像が維持され、中間点であるt=0.5近辺で急激に処理後の写真画像に変化する様子を表現できる。また、ジャケット画像の輝度ヒストグラムに写真画像の輝度分布が合うように写真画像の輝度ヒストグラムを調整してもよい。
【0141】
<9.エフェクトタイプの選択>
以上説明したように、各エフェクト処理の実行にはジャケット画像の画像解析情報が利用されるため、エフェクト処理された写真画像にはジャケット画像の雰囲気が少なからず反映される。さらに、本実施形態では、より一層エフェクト処理された写真画像の雰囲気をジャケット画像の雰囲気に合わせるために、エフェクトタイプ選択部232がジャケット画像に適したエフェクトタイプを選択する。以下、エフェクトタイプ選択部232による各ジャケット写真のエフェクトタイプの選択について、図20〜図25を参照して説明する。
【0142】
図20は、エフェクトタイプ選択部232が各ジャケット写真のエフェクトタイプを選択する流れを示したフローチャートである。また、図21〜図25は、ジャケット画像A〜Eの具体例を示した説明図である。以下では、図20に示したフローチャートにより、ジャケット画像A〜Eの各々にいずれのエフェクトタイプが選択されるかを説明する。
【0143】
なお、図21〜図25においては、色相をハッチングの種類で表現し、彩度または輝度をハッチングの濃さで表現している。例えば、図21に示したジャケット画像Aは、4隅から中央に向けて薄くなる黒色(斜線のハッチング)の背景と、黒色の「TANGIBLE」という文字から構成されている。また、図22に示したジャケット画像Bは、白色の背景と、白色と黒色の多様な混合色を含むさいの画像から構成されている。また、図23に示したジャケット画像Cは、黒色の背景と、黄色(まばらなドットハッチング)の月の画像と、白色の「moontan」という文字から構成されている。また、図24に示したジャケット画像Dは、左上から右下にかけて黄色の彩度が増している背景と、緑色(斜線が交差するハッチング)の花の画像から構成されている。また、図25に示したジャケット画像Eは、白色の背景と、多様な色を有する複数のリボンを含む。
【0144】
まず、図20に示したように、エフェクトタイプ選択部232はジャケット画像の直線分布スコアが所定値より高いか否かを判定する(S304)。なお、直線分布スコアは、画像解析情報に含まれる第一固有値を第二固有値で除算した値であるため、ジャケット画像の画素値が色空間で直線に近い分布を形成するほど高くなる。したがって、エフェクトタイプ選択部232は、モノクロ画像に該当するジャケット画像AおよびBの直線分布スコアは所定値より高いと判定し、他のジャケット画像C〜Eの直線分布スコアは所定値以下であると判定する。
【0145】
続いて、エフェクトタイプ選択部232は、直線分布スコアが所定値より高いと判定したジャケット画像のコントラストが所定値より低いか否かを判定する(S308)。そして、エフェクトタイプ選択部232は、コントラストが所定値より低いジャケット画像にはエフェクトタイプ「モノクローム」を選択し、コントラストが所定値以上であるジャケット画像にはエフェクトタイプ「ノイズ」を選択する。したがって、エフェクトタイプ選択部232は、ジャケット画像Aにエフェクトタイプ「モノクローム」を選択し、ジャケット画像Bにエフェクトタイプ「ノイズ」を選択する。
【0146】
一方、エフェクトタイプ選択部232は、直線分布スコアが所定値以下であると判定したジャケット画像の色勾配スコアが所定値より低いか否かを判定する(S312)。そして、エフェクトタイプ選択部232は、色勾配スコアが所定値より低いジャケット画像にエフェクトタイプ「ポスタライゼーション」を選択する。ここで、色勾配スコアは、ジャケット画像が、ポスター画像のように、色変化のない単色となっているような領域の集まりから構成される場合に低い値となるスコアである。
【0147】
したがって、エフェクトタイプ選択部232は、一様の黒色の背景および一様の黄色の月を含むジャケット画像Cの色勾配スコアが所定値より低いと判定し、ジャケット画像Cにエフェクトタイプ「ポスタライゼーション」を選択する。また、エフェクトタイプ選択部232は、他のジャケット画像DおよびEの色勾配スコアは所定値以上であると判定する。なお、具体的には、色勾配スコアは以下のように計算される。
【0148】
例えばSobelフィルタを用いてエッジ抽出を行う。ここで、Sobelフィルタにより各点の色勾配を示す応答値が得られ、当該応答値が事前に設定されている閾値を上回っているか否かの2値判定によりエッジ検出が行なわれる。さらに、応答値が閾値以下であるすべての点、つまりエッジでない点の応答値の加算値をエッジでない点の総数で除算して正規化することにより、色勾配スコアを計算することができる。
【0149】
続いて、エフェクトタイプ選択部232は、色勾配スコアが所定値以上であると判定したジャケット画像の彩度スコアが所定値より低いか否かを判定する(S316)。そして、エフェクトタイプ選択部232は、彩度スコアが所定値より低いジャケット画像にエフェクトタイプ「トーンエフェクト」を選択し、彩度スコアが所定値以上であるジャケット画像にエフェクトタイプ「カラーイミテーション」を選択する。ここで、彩度スコアは、ジャケット画像の彩度を示し、低彩度のジャケット画像ほど値が低くなる。
【0150】
したがって、エフェクトタイプ選択部232は、全体的に低彩度であるジャケット画像Dに「トーンエフェクト」を選択し、多様な色を含むジャケット画像Eに「カラーイミテーション」を選択する。
【0151】
なお、ジャケット画像の第二固有値が限りなく小さいときには、ジャケット画像の色空間中での色分布は直線となっている。すなわち、ジャケット画像の第二固有値の大きさは、ジャケット画像の色空間中での色分布の直線らしさを示す指標として用いることができる。また、色空間中での色分布が直線に近い画像はモノクロームに近いと考えられるため、本実施形態においては、彩度スコアの代わりとしてジャケット画像の第二固有値を用いてもよい。
【0152】
また、上記では色勾配スコアの判定の次に彩度スコアの判定を行なう例を説明したが、本実施形態はかかる例に限定されない。例えば、先に彩度スコアの判定を行ない、彩度スコアが所定値より低いジャケット画像にトーンエフェクトを選択し、他のジャケット画像について色勾配スコアの判定を行なってもよい。そして、色勾配スコアが所定値より低いジャケット画像にポスタライゼーションを選択し、色勾配スコアが所定値以上であるジャケット画像にカラーイミテーションを選択してもよい。
【0153】
続いて、図26〜図31を参照し、ある写真画像が、上記各種のエフェクトタイプによるエフェクト処理によりどのように変化するかを説明する。
【0154】
図26は、エフェクト処理前の写真画像の具体例を示した説明図である。図26に示した写真画像は、海辺の画像であり、白色の雲、青色(ドットハッチング)の空や海、赤色(三角のハッチング)を含むビートパラソル、および緑色のストライプを有する浮き輪などから構成される。この写真画像にエフェクト処理「モノクローム」、「ノイズ」、「ポスタライゼーション」、「トーンエフェクト」、および「カラーイミテーション」を施した結果の各々を図27〜図31に示す。
【0155】
図27は、図26に示した写真画像にエフェクト処理「モノクローム」を施した結果を表す説明図である。図27に示したように、多様な色を含む図26に示した写真画像は、エフェクト処理「モノクローム」によりモノクロ画像に変換される。
【0156】
図28は、図26に示した写真画像にエフェクト処理「ノイズ」を施した結果を表す説明図である。図28に示したように、多様な色を含む図26に示した写真画像は、エフェクト処理「ノイズ」によりモノクロ画像に変換され、ランダムなノイズが付加され、かつコントラストが強調される。
【0157】
図29は、図26に示した写真画像にエフェクト処理「ポスタライゼーション」を施した結果を表す説明図である。図29に示したように、図26に示した写真画像は、エフェクト処理「ポスタライゼーション」により少ない色数からなる画像に変換される。なお、図29では、図23に示したジャケット画像Cの画像解析情報に基づく処理を想定しているため、写真画像がジャケット画像Cに含まれる黄色、白色および黒色からなる画像に変換される様子を示している。
【0158】
図30は、図26に示した写真画像にエフェクト処理「トーンエフェクト」を施した結果を表す説明図である。図30に示したように、図26に示した写真画像は、エフェクト処理「トーンエフェクト」により全体的に図24に示したジャケット画像Dのような色味に変換される。より具体的には、図24に示したジャケット画像Dが全体的に彩度の低い黄色および緑色で構成されていることから、図26に示した写真画像が全体的に彩度の低い黄緑色っぽい画像に変換される。
【0159】
図31は、図26に示した写真画像にエフェクト処理「カラーイミテーション」を施した結果を表す説明図である。図31に示したように、図26に示した写真画像は、エフェクト処理「カラーイミテーション」により、ジャケット画像に含まれる色が強調される。例えば、ジャケット画像が図25に示した赤色(三角のハッチング)や緑色(斜線が交差するハッチング)を含むジャケット画像Eであった場合、図31に示したように、写真画像中の赤色や緑色の部分が強調される。
【0160】
<10.スライドショーの実行>
次に、図32〜図36を参照し、スライドショーにより映像出力部260に表示される表示画面について説明する。
【0161】
上述してきたように、本実施形態においては、ジャケット画像の雰囲気に合うように写真画像にエフェクト処理を施す。さらに、本実施形態においては、写真画像にジャケット画像の雰囲気に応じたエフェクト処理が施されていることをユーザが実感できるよう、図32に示すように、楽曲データの再生開始時に当該楽曲データのジャケット画像を表示する。
【0162】
図32は、スライドショーの開始時に映像出力部260に表示される表示画面の一例を示した説明図である。図32に示したように、当該表示画面は、ジャケット画像の表示領域282と、楽曲データのタイトルやアーティストなどの付加情報の表示領域284を含む。具体的には、図32に示した表示画面の付加情報の表示領域284には「Mr.finalist TANGIBLE」という付加情報が記載されている。
【0163】
ここで、付加情報のフォントは一律でなく、楽曲データの楽曲特徴量などに応じて選択されてもよい。すなわち、フォント選択部272が楽曲データに応じたフォントおよび文字色を選択し、選択されたフォントおよび文字色で表現された付加情報を含む表示画面を表示生成部276が表示してもよい。以下、フォント選択部272によるフォントの選択方法について図33〜図35を参照して説明する。
【0164】
図33は、楽曲のムードとフォントの関係の一例を示した説明図である。図33に示したように、フォント選択部272は、楽曲特徴量のうちの楽曲のムードに対応するフォントを選択してもよい。例えば、フォント選択部272は、楽曲のムードがEnergeticである場合、フォント「Helvetica Neue 95 Black」を選択してもよい。
【0165】
図34は、ジャケット画像の画像解析情報に基づいてフォントを選択する様子を示した説明図である。上述したように、ジャケット画像に文字が含まれている場合、ジャケット解析部228の画像解析により得られる画像解析情報に文字のフォントと文字色が含まれる。そこで、フォント選択部272は、画像解析情報に含まれるフォントと同一、または近似するフォントを選択してもよい。例えば、図34に示したようにジャケット画像に「TANGIBLE」という文字が含まれる場合、フォント選択部272は、「TANGIBLE」という文字のフォントに近似する「Arial Black」を選択してもよい。
【0166】
図35は、楽曲のジャンルとフォントの関係の一例を示した説明図である。図35に示したように、例えば、クラシック、ポップス、ジャズ、ロックなどの楽曲のジャンルごとにフォントが対応付けられており、フォント選択部272は楽曲のジャンルに対応するフォントを選択してもよい。
【0167】
上述したフォントで記載された楽曲データの付加情報、およびジャケット画像を含む表示画面が表示されると、図36に示すように、エフェクト処理が施された写真画像の表示に切替えられる。
【0168】
図36は、スライドショーの開始時に表示される表示画面からエフェクト処理が施された写真画像の表示に切替えられる様子を示した説明図である。図36の上図に示した表示画面の表示から所定期間が経過すると、表示生成部276は、図36の中図に示したようにジャケット画像の表示領域282を空間的に回転、および縮小させながら表示画面の左下端部に移動させる。なお、図36の上図に示した表示画面の表示と同時に楽曲データの再生が開始される。
【0169】
その後、図36の下図に示したようにジャケット画像に応じたエフェクト処理が施された写真画像が表示される。なお、表示生成部276は、写真画像の表示が開始された後もジャケット画像および楽曲データの付加情報を映像出力部260に表示させ続ける。かかる構成により、同一画面にジャケット画像およびエフェクト処理が施された写真画像を表示することができるため、写真画像がジャケット画像に合うようにエフェクト処理されていることユーザが実感し易くなる。
【0170】
<11.まとめ、および補足>
以上説明したように、本実施形態によれば、楽曲付きのスライドショーの実行時に、ユーザの写真画像を再生対象の楽曲データのジャケット画像に応じたエフェクト処理を施して表示することができる。また、本実施形態によれば、楽曲データの再生時間と関連付けてパラメータpの値を変化させることにより、アニメーションのように表現される写真画像を得ることができる。
【0171】
また、本実施形態においては、スライドショーの開始時に、楽曲データのジャケット画像、および楽曲データの付加情報を含む表示画面を表示する。ここで、楽曲データの付加情報のフォントは、楽曲データの楽曲特徴量やジャケット画像内の文字のフォントに基づいて選択されるため、写真画像に施すエフェクト処理に加え、付加情報のフォントも再生対象の楽曲データと調和させることができる。さらに、本実施形態においては、同一画面にジャケット画像およびエフェクト処理が施された写真画像を表示するため、写真画像がジャケット画像に合うようにエフェクト処理されていることユーザが実感し易くなる。
【0172】
なお、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【0173】
例えば、上記では楽曲データのジャケット画像に応じてエフェクトタイプを選択する例を説明したが、本発明はかかる例に限定されない。変形例として、エフェクトタイプと画像解析情報の組合せを複数用意しておき、利用する組合せをランダムに選択しても、楽曲データの楽曲特徴量に応じて選択してもよい。例えば、エフェクト制御部252は、楽曲データの曲調が激しい場合には赤系統の色を含む色ヒストグラムおよびポスタライゼーションの組合せを利用し、曲調が静かな場合には青系統を含む色ヒストグラムおよびトーンエフェクトの組合せを利用してもよい。
【0174】
また、上記では楽曲データの関連画像としてジャケット画像を例にあげて説明したが、本発明はかかる例に限定されない。例えば、関連画像は、楽曲データのアーティストの画像、またはアーティストのWebページに含まれる画像などであってもよい。また、上記ではPC20が関連画像であるジャケット写真を記憶している例を説明したが、PC20は楽曲データの再生時に関連画像を外部から取得してもよい。例えば、PC20は、楽曲データの付加情報に含まれるタイトル名やアーティスト名をキーワードにして、通信網12上で楽曲データの関連画像を検索してもよい。そして、エフェクトタイプ選択部232は、検索された関連画像の画像解析情報に基づいてエフェクトタイプを選択してもよい。この場合、楽曲データと関連性の薄い画像が検索されてしまうことも想定されるので、エフェクトタイプの決定には利用するものの、ジャケット画像の表示領域282には当該画像でなく例えば「no image」という文字を表示してもよい。または、ジャケット画像の表示領域282には何も表示しなくてもよい。
【0175】
また、本発明は、楽曲付きのスライドショー以外の用途にも適用することができる。例えば、本発明は、背景画像上に任意の表示画像を表示する場合にも適用できる。より詳細には、任意の表示画像を参照画像(ジャケット画像)として利用し、背景画像を入力画像(写真画像)として利用してもよい。この場合、背景画像が表示画像の雰囲気に合うようにエフェクト処理されるため画面全体で統一感が得られる。したがって、例えばコンピュータ上で擬似的なスクラップブックを実現するようなアプリケーションに応用することも可能である。
【0176】
また、本明細書のPC20の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、PC20の処理における各ステップは、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)を含んでもよい。
【0177】
また、PC20に内蔵されるCPU201、ROM202およびRAM203などのハードウェアを、上述したPC20の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。また、図2の機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。
【図面の簡単な説明】
【0178】
【図1】PCのハードウェア構成を示したブロック図である。
【図2】本実施形態にかかるPCの構成を示した機能ブロック図である。
【図3】楽曲構成の一例を示した説明図である。
【図4】楽曲付きのスライドショーを実現するための一連の流れを示したフローチャートである。
【図5】レイアウト制御部による楽曲データのハイライト部分の設定処理の流れを示したフローチャートである。
【図6】ムードに応じたレイアウトの設定例を示した説明図である。
【図7】ムードに応じたレイアウトの設定例を示した説明図である。
【図8】動きパターンの具体例を示した説明図である。
【図9】動きパターンを表現するパラメータの意味を示した説明図である。
【図10】複数の画像の切替わり時の関係を示した説明図である。
【図11】エフェクト用情報の取得例を示した説明図である。
【図12】エフェクト用情報の他の取得例を示した説明図である。
【図13】エフェクト処理の実行例を示した説明図である。
【図14】パラメータpがエフェクト内容に与える影響を示した説明図である。
【図15】時間の経過とパラメータpの関係の一例を示した説明図である。
【図16】ノイズエフェクターにより付加されるノイズについて示した説明図である。
【図17】ノイズエフェクターにより付加されるノイズについて示した説明図である。
【図18】閾値th1および閾値th2とパラメータpの関係を示した説明図である。
【図19】カラーイミテーションエフェクターによる処理のイメージ図である。
【図20】エフェクトタイプ選択部が各ジャケット写真のエフェクトタイプを選択する流れを示したフローチャートである。
【図21】モノクローム判定されるジャケット画像の具体例を示した説明図である。
【図22】ノイズ判定されるジャケット画像の具体例を示した説明図である。
【図23】ポスタライゼーション判定されるジャケット画像の具体例を示した説明図である。
【図24】トーンエフェクト判定されるジャケット画像の具体例を示した説明図である。
【図25】カラーイミテーション判定されるジャケット画像の具体例を示した説明図である。
【図26】エフェクト処理前の写真画像の具体例を示した説明図である。
【図27】図26に示した写真画像にエフェクト処理「モノクローム」を施した結果を表す説明図である。
【図28】図26に示した写真画像にエフェクト処理「ノイズ」を施した結果を表す説明図である。
【図29】図26に示した写真画像にエフェクト処理「ポスタライゼーション」を施した結果を表す説明図である。
【図30】図26に示した写真画像にエフェクト処理「トーンエフェクト」を施した結果を表す説明図である。
【図31】図26に示した写真画像にエフェクト処理「カラーイミテーション」を施した結果を表す説明図である。
【図32】スライドショーの開始時に映像出力部に表示される表示画面の一例を示した説明図である。
【図33】楽曲のムードとフォントの関係の一例を示した説明図である。
【図34】ジャケット画像の画像解析情報に基づいてフォントを選択する様子を示した説明図である。
【図35】楽曲のジャンルとフォントの関係の一例を示した説明図である。
【図36】スライドショーの開始時に表示される表示画面からエフェクト処理が施された写真画像の表示に切替えられる様子を示した説明図である。
【符号の説明】
【0179】
20 PC
220 記憶部
224 ムード判定部
228 ジャケット解析部
232 エフェクトタイプ選択部
236 レイアウト制御部
240 画像選択部
248 ミキサ・エフェクト回路
252 エフェクト制御部
260 映像出力部
272 フォント選択部
【特許請求の範囲】
【請求項1】
楽曲データを再生する再生部と;
前記楽曲データの関連画像の特徴を解析する解析部と;
複数の補正タイプのいずれかで画像補正を行なう画像補正部と;
1または2以上の画像を記憶している記憶部と;
前記解析部により解析された前記関連画像の特徴に応じた補正タイプを複数の補正タイプから選択する選択部と;
前記記憶部に記憶されている画像を前記選択部により選択された補正タイプで前記画像補正部に画像補正させる補正制御部と;
前記画像補正部により補正された画像を出力する出力部と;
を備える、情報処理装置。
【請求項2】
前記画像補正部により補正された画像と前記関連画像を含み前記出力部により出力される表示画面、を生成する生成部をさらに備える、請求項1に記載の情報処理装置。
【請求項3】
前記補正制御部は、前記選択部により選択された補正タイプでの前記画像補正部による画像補正の内容を、時間の経過に応じて変化させる、請求項2に記載の情報処理装置。
【請求項4】
前記記憶部に記憶されている前記1または2以上の画像から、前記楽曲データの特徴に応じて前記画像補正部による画像補正の対象画像を選択する選択部をさらに備える、請求項3に記載の情報処理装置。
【請求項5】
前記記憶部に記憶されている前記1または2以上の画像から、前記関連画像の特徴に応じて前記画像補正部による画像補正の対象画像を選択する選択部をさらに備える、請求項3に記載の情報処理装置。
【請求項6】
前記記憶部に記憶されている前記1または2以上の画像から、前記楽曲データの付加情報に応じて前記画像補正部による画像補正の対象画像を選択する選択部をさらに備える、請求項3に記載の情報処理装置。
【請求項7】
前記解析部は、さらに前記関連画像内に含まれる文字のフォントを解析し、
前記表示画面は、前記解析部により解析されたフォントと一致または近似するフォントで表現された前記関連画像の付加情報をさらに含む、請求項2に記載の情報処理装置。
【請求項8】
前記表示画面は、前記楽曲データの特徴に応じたフォントで表現された前記関連画像の付加情報をさらに含む、請求項2に記載の情報処理装置。
【請求項9】
コンピュータを、
楽曲データを再生する再生部と;
前記楽曲データの関連画像の特徴を解析する解析部と;
複数の補正タイプのいずれかで画像補正を行なう画像補正部と;
前記解析部により解析された前記関連画像の特徴に応じた補正タイプを前記複数の補正タイプから選択する選択部と;
記憶媒体に記憶されている1または2以上の画像を前記選択部により選択された補正タイプで前記画像補正部に補正させる補正制御部と;
前記画像補正部により補正された画像を出力する出力部と;
として機能させるための、プログラム。
【請求項10】
楽曲データを再生する再生ステップと;
前記楽曲データの関連画像の特徴を解析するステップと;
前記関連画像の特徴に応じた補正タイプを複数の補正タイプから選択するステップと;
記憶媒体に記憶されている1または2以上の画像を前記選択部により選択された補正タイプで補正するステップと;
補正された画像を出力するステップと;
を含む、情報処理方法。
【請求項1】
楽曲データを再生する再生部と;
前記楽曲データの関連画像の特徴を解析する解析部と;
複数の補正タイプのいずれかで画像補正を行なう画像補正部と;
1または2以上の画像を記憶している記憶部と;
前記解析部により解析された前記関連画像の特徴に応じた補正タイプを複数の補正タイプから選択する選択部と;
前記記憶部に記憶されている画像を前記選択部により選択された補正タイプで前記画像補正部に画像補正させる補正制御部と;
前記画像補正部により補正された画像を出力する出力部と;
を備える、情報処理装置。
【請求項2】
前記画像補正部により補正された画像と前記関連画像を含み前記出力部により出力される表示画面、を生成する生成部をさらに備える、請求項1に記載の情報処理装置。
【請求項3】
前記補正制御部は、前記選択部により選択された補正タイプでの前記画像補正部による画像補正の内容を、時間の経過に応じて変化させる、請求項2に記載の情報処理装置。
【請求項4】
前記記憶部に記憶されている前記1または2以上の画像から、前記楽曲データの特徴に応じて前記画像補正部による画像補正の対象画像を選択する選択部をさらに備える、請求項3に記載の情報処理装置。
【請求項5】
前記記憶部に記憶されている前記1または2以上の画像から、前記関連画像の特徴に応じて前記画像補正部による画像補正の対象画像を選択する選択部をさらに備える、請求項3に記載の情報処理装置。
【請求項6】
前記記憶部に記憶されている前記1または2以上の画像から、前記楽曲データの付加情報に応じて前記画像補正部による画像補正の対象画像を選択する選択部をさらに備える、請求項3に記載の情報処理装置。
【請求項7】
前記解析部は、さらに前記関連画像内に含まれる文字のフォントを解析し、
前記表示画面は、前記解析部により解析されたフォントと一致または近似するフォントで表現された前記関連画像の付加情報をさらに含む、請求項2に記載の情報処理装置。
【請求項8】
前記表示画面は、前記楽曲データの特徴に応じたフォントで表現された前記関連画像の付加情報をさらに含む、請求項2に記載の情報処理装置。
【請求項9】
コンピュータを、
楽曲データを再生する再生部と;
前記楽曲データの関連画像の特徴を解析する解析部と;
複数の補正タイプのいずれかで画像補正を行なう画像補正部と;
前記解析部により解析された前記関連画像の特徴に応じた補正タイプを前記複数の補正タイプから選択する選択部と;
記憶媒体に記憶されている1または2以上の画像を前記選択部により選択された補正タイプで前記画像補正部に補正させる補正制御部と;
前記画像補正部により補正された画像を出力する出力部と;
として機能させるための、プログラム。
【請求項10】
楽曲データを再生する再生ステップと;
前記楽曲データの関連画像の特徴を解析するステップと;
前記関連画像の特徴に応じた補正タイプを複数の補正タイプから選択するステップと;
記憶媒体に記憶されている1または2以上の画像を前記選択部により選択された補正タイプで補正するステップと;
補正された画像を出力するステップと;
を含む、情報処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【公開番号】特開2010−93741(P2010−93741A)
【公開日】平成22年4月22日(2010.4.22)
【国際特許分類】
【出願番号】特願2008−264564(P2008−264564)
【出願日】平成20年10月10日(2008.10.10)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成22年4月22日(2010.4.22)
【国際特許分類】
【出願日】平成20年10月10日(2008.10.10)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]