再生表示装置、再生表示プログラム、再生表示方法、および画像処理サーバー
【課題】複数の画像を順次再生するにあたって、単調な画像の遷移とはならず、楽しむことのできる画像処理装置、画像処理方法、画像処理プログラム、および画像表示装置を提供する。
【解決手段】内容分析部５５におけるチャットの分析結果は、表情切換部５９に送られる。表情切換部５９は、画像記録部５８に記録された写真画像等の画像中の人物画像に対して、表情切換画像処理部と同様に、顔の顔パーツに対して表情の変化を施した画像、若しくは画像記録部５８から読出したそのままの画像を、仮想空間と関連付け部５７を介して仮想空間合成表示部５３に送る。
【解決手段】内容分析部５５におけるチャットの分析結果は、表情切換部５９に送られる。表情切換部５９は、画像記録部５８に記録された写真画像等の画像中の人物画像に対して、表情切換画像処理部と同様に、顔の顔パーツに対して表情の変化を施した画像、若しくは画像記録部５８から読出したそのままの画像を、仮想空間と関連付け部５７を介して仮想空間合成表示部５３に送る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラム、および画像表示装置に関し、詳しくは、スライドショー等のように複数の撮影画像を再生する画像処理装置、画像処理方法、画像処理プログラム、および画像表示装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置の普及により写真画像がデジタル化され、従来のように単にプリントしてアルバムを作成するだけではなく、テレビやパーソナルコンピュータ等で画像を再生させ観賞することが一般的になってきている。また、デジタルカメラの背面に設けられた液晶モニタ等の表示装置に撮影画像を再生表示し、また携帯電話の表示部に再生表示して、撮影画像を楽しむユーザーも多くなってきている。
【０００３】
このように液晶モニタ等の表示装置に撮影画像を再生して楽しむことは一般的になってきている。しかし、単に撮影画像を見るだけでは、状況によっては単調な感じになってしまうことから、ＢＧＭ（バックグランドミュージック）をつけたり、また画像の切替時にフェードイン、フェードアウトのような遷移効果を施す提案がなされている。
【０００４】
例えば、特許文献１には、スライドショー再生時に、再生画像の撮影時期に見合うＢＧＭを再生することにより映像鑑賞効果を高めるようにした再生装置が開示されている。しかし、特許文献１に開示の再生装置では、撮影画像を順番に再生するだけであり、機械的で冷たい印象があり、楽しむという観点からは充分ではない。そこで、特許文献２には、デジタルカメラ等で撮影した画像から顔の部分を抽出し、この顔部分にフィルタ処理を施すことにより顔の表情を変化させ、顔画像を美しく加工する顔画像処理装置が開示されている。
【特許文献１】特開２００６−１６４２２９号公報
【特許文献２】特開２００４−２４６６６７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献２に開示の顔画像処理装置によれば、画像中の顔部分を種々変更することから機械的で冷たい印象は幾分緩和することができる。しかし、この顔画像処理装置では、撮影画像を改変し加工してしまうことから、不自然な顔になってしまうおそれもある。
【０００６】
本発明は、このような事情を鑑みてなされたものであり、複数の画像を順次再生するにあたって、単調な画像の遷移とはならず、楽しむことのできる画像処理装置、画像処理方法、画像処理プログラム、および画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係わる再生表示装置は、ユーザー操作による入力テキスト情報のキーワードを分析する内容分析部と、複数の画像を記録する画像記録部と、上記キーワードに従って、画像記録部に記録された上記複数の画像から次に表示する後続画像を決定し、上記後続画像への移行に先だって、上記後続画像の態様に従って、表示されている画像の顔画像の顔パーツを次第に変形させる表情切換部を具備することを特徴とする。
【０００８】
第２の発明に係わる再生表示装置は、上記第１の発明において、上記表情切換部による上記顔画像のパーツ変化として、上記画像の内容を補助的に説明するような表情遷移効果を施すことを特徴とする。
【０００９】
第３の発明に係わる再生表示装置は、上記第１の発明において、上記内容分析部は、上記入力テキスト情報から、人に関する言葉、または場所に関するキーワードを判定することを特徴とする。
【００１０】
第４の発明に係わる再生表示装置は、上記第１の発明において、上記複数の画像は、少なくとも人物と風景に分類して上記画像記録部に記録され、上記分析されたキーワードに従って決定された後続画像は、上記表示されている画像に関係した人物または風景の画像であることを特徴とする。
【００１１】
第５の発明に係わる再生表示プログラムは、ユーザー操作による入力テキスト情報のキーワードを分析する内容分析ステップと、上記キーワードに従って、画像記録部に記録された分類された複数の画像から次に表示する後続画像を決定する決定ステップと、上記後続画像への移行に先だって、上記後続画像の態様に従って、表示されている画像の顔画像の顔パーツを次第に変形させる表情切換ステップを具備することを特徴とする。
【００１２】
第６の発明に係わる再生表示プログラムは、上記第５の発明において、上記表情切換ステップによる上記顔画像のパーツ変化は、上記画像の内容を補助的に説明するような表情遷移効果を施したものであることを特徴とする。
【００１３】
第７の発明に係わる画像処理プログラムは、第５の発明において、上記表示画像に、上記ユーザー操作に従って再生表示画面内を移動するアバター画像をさらに合成する合成ステップを有することを特徴とする。
【００１４】
第８の発明に係わる画像処理プログラムは、第７の発明において、上記入力テキスト情報は、上記アバター画像の発言として文字表示する文字表示ステップを備えたことを特徴とする。
【００１５】
第９の発明に係わる画像の再生表示方法は、入力テキスト情報のキーワードを分析し、上記キーワードに従って、画像記録部に記録された複数の画像から次に表示する後続画像を決定し、上記決定された後続画像の態様に従って、後続画像への移行に先だって、表示されている画像の顔画像の顔パーツを次第に変形させることを特徴とする。
【００１６】
第１０の発明に係わる再生表示方法は、第９の発明において、上記顔画像のパーツ変化のステップでは、上記画像の内容を補助的に説明するような期待感や追想を表わす表情遷移効果を上記顔画像に施すことを特徴とする。
【００１７】
第１１の発明に係わる再生表示方法は、第９の発明において、上記内容分析時には、上記入力テキスト情報から、人に関する言葉、または場所に関するキーワードを判定することを特徴とする。
【００１８】
第１２の発明に係わる画像処理装置は、第９の発明において、上記分析されたキーワードに従って決定された後続画像は、上記表示されている画像に関係した画像であることを特徴とする。
【００１９】
第１３の発明に係わる画像処理サーバーは、 外部機器との通信部を有し、上記外部機器からのチャット入力結果と、上記外部機器に表示させる送信画像に応じて、次に送信する後続画像を決定する画像処理サーバーであって、上記後続画像への移行に先だって、上記後続画像の態様に従って、上記外部機器に表示されている画像の顔画像の顔パーツを次第に変形させる表情切換部と、を備えたことを特徴とする。
【００２０】
第１４の発明に係わる画像処理サーバーは、第１３の発明において、上記画像処理サーバーは、上記後続画像を決めるために、上記入力チャット結果から、人に関する言葉、または場所に関するキーワードを判定する内容分析部を具備することを特徴とする。
【００２１】
第１５の発明に係わる画像処理サーバーは、請求項１３に記載の画像処理サーバーにおいて、外部機器との通信部と、所定の撮影画像と仮想空間内の画像から合成画像を作成する合成部を有し、上記所定の画像と上記外部機器からのチャット入力結果に応じて、次に上記仮想空間内画像に合成する後続画像を決定する画像処理サーバーにおいて、上記通信部が、上記合成画像を順次、上記外部機器に通信することを特徴とする。
【００２２】
第１６の発明に係わる画像処理サーバーは、第１５の発明において、上記後続画像への移行に先だって、上記後続画像の態様に従って、上記表示されている撮影画像の顔画像の顔パーツを次第に変形させる表情切換部を具備することを特徴とする。
【発明の効果】
【００２３】
本発明によれば、前後に表示される画像の態様に応じて、顔画像の態様を変化させるための画像処理を行うようにしたので、複数の画像を順次再生するにあたって、単調な画像の遷移とはならず、楽しむことのできる画像処理装置、画像処理方法、画像処理プログラム、および画像表示装置を提供することができる。
【発明を実施するための最良の形態】
【００２４】
以下、図面に従って本発明を適用したカメラ１０や、サーバー５０等を用いて好ましい実施形態について説明する。図１は本発明の第１実施形態に係わるカメラ１０の構成を示すブロック図である。カメラ１０は被写体を撮影し、撮影画像を取得するデジタルカメラである。
【００２５】
カメラ１０は、制御部１、撮影部２、画像記録部３、表情切換画像処理部４、画像分類部５、時計部６、顔及び顔パーツ検出部７、表示部８を有している。制御部１は、ＣＰＵ等を含みカメラ１０内の各部と接続され、記憶媒体に記憶された制御プログラムに従ってカメラ１０の全体を制御する。
【００２６】
撮影部２は、被写体像を結像するための光学系、被写体像を光電変換する撮像素子、撮像素子から出力される信号を処理する画像処理部等を含み、画像データを出力する。画像記録部３は、撮影部２から出力される静止画の画像データを記録する。
【００２７】
顔及び顔パーツ検出部７は、撮影部２から画像データを入力し、この画像データに基づいて、人物の顔の部分を検出する。また、顔の部分を検出すると、顔の中の眼、口、鼻等の顔パーツを検出する。顔及び顔パーツ検出部７は、顔や顔パーツの検出結果を制御部１に出力する。
【００２８】
画像分類部５は、画像記録部３に記録されている画像について、風景画像や人物画像等の分類を行う。本実施形態においては、顔及び顔パーツ検出部７によって顔が検出された場合には、人物画像と分類し、顔が検出されない場合には、風景画像と分類する。画像分類としては、本実施形態の手法以外にも、撮影時刻、撮影場所、画像解析等を組合せ、さらに細かい分類を行っても良い。
【００２９】
表情切換画像処理部４は、表示部８において画像の再生表示を行う際に、画像の再生と次の画像の再生の間で、人物の表情を変化させる。すなわち、顔及び顔パーツ検出部７において検出された眼や口等の顔パーツを変化させる画像処理を行う。
【００３０】
表情切換画像処理部４による画像処理としては、例えば、図２（ａ）に示すような人物２１の画像に続いて、図２（ｃ）に示すような風景画像２３を再生表示する場合、人物画像と風景画像の間に、図２（ｂ）に示すように人物２１の表情を変化させた画像を挿入する。図２（ｂ）に示す例では、人物２１の眼２１ａを大きくし、口２１ｂを開いている。このような表情変化をつけることにより、次の風景画像２３に対する期待を持たせ、スライドショーが単調となるのを防ぐことができる。
【００３１】
時計部６は、日時情報を取得するための時計機能を有している。ここから出力される日時情報は、撮影部２によって撮像された画像データを画像記録部３に記録する際に、一緒に記録される。
【００３２】
表示部８は、カメラ１０の背面に設けられた液晶モニタ等によって構成され、画像記録部３に記録された画像データを読み出し、これに基づいて再生表示する。再生表示としては、通常の１駒ごとの再生やスライドショー形式による再生があり、スライドショーにあたっては、時計部６で取得され画像データに添付されている日時情報の順に沿って再生する。また、スライドショーの駒と駒の間で、図２に示したように人物の表情を変化させて再生する。
【００３３】
次に、本発明の第１実施形態における動作を説明するが、動作フローの説明に先立って、本実施形態における画像処理の考え方について説明する。顔パーツの表情を変化させるために、まず、撮影画像から人物の顔を検出する。図４は、このために顔の位置を検出する方法を概念的に示したものである。
【００３４】
本実施形態においては、顔及び顔パーツ検出部７は一般的な顔のテンプレートを複数、記憶しており、例えば、図４（ａ）に示すようなテンプレート２５の大きさを変えながら、図４（ｂ）に示すような写真画像の画面内を移動させ、一致度を判定する。このとき、比較的一致度が高くテンプレート２５と類似している部分があれば、そこを人物２２の顔と判定し、顔の大きさと位置に関する情報を取得する。
【００３５】
写真画像の中から顔の位置と大きさが分かると、次に、テンプレート２５との一致から、どこに眼があり、どこに口があるかを判定できる。眼と口の位置、大きさを判定すると、次に、表情切換画像処理部４によって、眼を大きく見開いて口を大きく開く表情に変化させると、図４（ｃ）に示す画像になる。
【００３６】
このような表情変化としては、図５（ａ）→（ｂ）に示すように、眼を大きく見開くような表情以外にも、例えば、図５（ｃ）→（ｄ）に示すように、白目部の上を引き上げるような表情がある。また、眼以外にも、口の表情変化でもよく、例えば、図５（ｅ）→（ｆ）に示すように、口の横（端部）を上に引き上げてもよい。口の端部を引き上げると、笑ったように見え、また、口パターンの全体を大きくし、真ん中に白い歯が見えるようにすると、口が開いたような表情に変化させることができる。これらの３つのパターンで表情変化させると、図４（ｂ）の人物２２から図４（ｃ）の人物２２のように変化する。
【００３７】
また、表情切換画像処理部４は、前述したような表情変化以外にも、視線を動かすように表情処理を行っても良い。例えば、図６（ａ）に示す人物２６の画像と、図６（ｄ）に示す人物２７の画像を、連続して再生するにあたって、図６（ｂ）に示すように人物２６の視線を左側に移すような画像を挿入しても良い。人物２７（図６（ｃ））は画面の左側に顔が位置することから、人物２６（図６（ａ））の視線を矢印２８のように左側に動かすことにより、ユーザーは自然に、その目線方向に次の被写体が来ると期待し、スライドショーを楽しむことができる。もちろん、このように画像のパターンを変えるのみならず、画像の上から、パーツを合成して表示してもよい。
【００３８】
表情切換画像処理部４における画像処理としては、画像データの顔の部分から眼や口の陰影パターンを判定し、画像の中で眼や口の範囲がどこからどこまでかを検出し、その中で、眼や口の端部の陰影、瞼や睫毛のライン、唇の境界などの陰影を推定し、その影の部分を変形させる。
【００３９】
また、表情切換画像処理部４によって、眼を大きくする場合は、眼の両端部を固定して睫毛のラインの中心部を顔の上下方向（これもテンプレートマッチングによって分かる）に広がるように画像処理し、眼の部分が広がり、これらのラインの像がなくなった部分には、隣接する白眼や黒眼の部分を補えばよい。この処理を施すことによって眼が見開いたような画像を得ることができる。
【００４０】
また、黒眼の位置が分かれば、黒眼の部分の画像を動かすことによって、別の場所を見ているような効果を演出することができる。さらに、眼を開けるような効果は、例えば黒眼部の画像を構成する画素の、縦横比を変化させ、正方形画素を、上下方向に長い長方形に置き換えることによっても得ることができる。さらに、黒眼の位置をずらすのも、黒眼を構成する画素に隣接する白眼を構成する画素の縦横比を変形させることによって可能となる。右に黒眼を寄せるには、黒眼の右側の白眼画素の幅を短くし、黒眼の左側の白眼画像の幅を長くすればよい。
【００４１】
また、上述した方法以外にも、眼の形や見ている向きを変更するような画像処理は可能である。例えば、テンプレートに、いくつかの眼のパターンのデータベースを用意しておき、表情変化時には、その中から類似度の高い眼のテンプレート画像を合成して表示するような方法が考えられる。この置き換え用の、各々の眼のパターンのデータベースの中には、その眼が、見開いたり、閉じたり、どこかを見たりする場合の画像を合わせて用意しておき、その中から適切なものを選択し、順次切替えて合成すれば、次第に表情変化していくような画像を得ることができる。
【００４２】
このように、本実施形態における表情変化の画像処理は、複数の静止画を順次に再生するにあたって、人物の顔の眼や口等の顔パーツのみを動画的に動くように処理している。このとき画像処理するにあたって、次に来る画像の態様に応じて変化をつけるようにしている。例えば、次の画像の主要被写体の方向に向けて視線を移動させるとか、期待を持たせるように、眼や口を大きく開く等の表情変化である。
【００４３】
次に、本発明の第１実施形態におけるカメラ１０の制御動作について、図３に示すフローチャートを用いて説明する。カメラ制御のフローに入ると、まず、カメラ１０が撮影モードに設定されているか否かの判定を行う（Ｓ１）。このカメラ１０は、撮影モードや再生モードをユーザーによって設定可能である。ステップＳ１における判定の結果、撮影モードが設定されていた場合には、顔検出と明るさ判定を行う（Ｓ２）。このステップでは、顔検出を顔及び顔パーツ検出部７によって行い、検出された顔の位置付近について、撮影部２の撮像部からの画像データに基づいて明るさ判定を行う。
【００４４】
顔検出と明るさ判定を行うと、続いて、レリーズされたか否かの判定を行う（Ｓ３）。このステップでは、レリーズスイッチが操作され、撮影者によって撮影指示がなされたかを判定する。この判定の結果、レリーズされていなかった場合には、ステップＳ１に戻る。一方、レリーズされていた場合には、ステップＳ２において検出した顔位置に撮影レンズのピントを合わせ、適正露出となるように露出制御を行う（Ｓ４）。
【００４５】
続いて、撮影を行う（Ｓ５）。このステップでは、撮影部２において、被写体像の静止画の画像データを取得する。撮影が終わると、画像分類と顔位置の記録を行う（Ｓ６）。このステップでは、ステップＳ５で取得した画像データに基づいて、顔及び顔パーツ検出部７は顔の有無を検出し、顔があった場合には、その顔の位置を検出する。また、画像分類部５は顔の有無等に基づいて、人物画像か風景画像かその他の画像等に画像の分類を行う。
【００４６】
なお、画像の分類としては、顔の有無情報に限らず、画像に付随した情報を参考にして行っても良い。最近では、写真画像に、撮影時刻のデータのみならず、ＧＰＳの情報などを用いて、位置のデータを付与できるカメラもあり、さらに、顔画像から個人を特定したりすることが可能であり、これらのデータを画像に付与することが可能である。
【００４７】
次に、画像と共に記録を行う（Ｓ７）。すなわち、このステップでは、ステップＳ５において取得した画像データを画像記録部３に記録し、このとき、この画像と共に画像分類結果、顔の位置や大きさの情報、時計部６からの撮影日時情報、およびその他の撮影パラーメータ等を記録する。記録が終わると、リターンし、ステップＳ１から再び実行する。
【００４８】
ステップＳ１における判定の結果、撮影モードでなかった場合には、再生モードか否かの判定を行う（Ｓ１１）。この判定の結果、再生モードでもなかった場合には、ステップＳ１に戻る。一方、再生モードであった場合には、画像記録部３に記録されている撮影画像を表示部８にサムネイル表示する（Ｓ１２）。
【００４９】
続いて、指定画像の拡大表示を行う（Ｓ１３）。このステップでは、十字釦（不図示）等の操作によりサムネイル表示の中からユーザーによって選択された画像を表示部８に拡大表示する。指定画像を拡大表示すると、続いて、スライドショーか否かの判定を行う（Ｓ１４）。この判定の結果、スライドショーでなかった場合には、通常の１駒再生であることから、そのままリターンし、ステップＳ１から再び実行する。
【００５０】
ステップＳ１４における判定の結果、スライドショーであった場合には、現在、表示部８に表示されている撮影画像の次の順番の撮影画像の画像分類を読み出す（Ｓ１５）。撮影画像は、撮影時に画像分類され（Ｓ７）、この画像分類は画像と共に記録されている（Ｓ７）。そこで、ステップＳ１５では画像と共に記録されている画像分類を読み出す。
【００５１】
なお、撮影時（ステップＳ６）に画像分類を行っていない場合には、このステップＳ１５においてステップＳ６と同様に判定を行うようにしても良い。また、ステップＳ１７、ステップＳ２２において、現在表示の画像について判定を行うが、このときも画像と共に記録されている画像分類の情報を読み出して判定するが、それぞれのステップにおいて、画像分類の判定を行うようにしても良い。
【００５２】
例えば、図２（ａ）に示すような人物２１の画像を再生表示している場合に、次の画像（図２（ｃ））の画像の分類結果を読み出す（この例では、風景画像）。この読み出された画像分類に応じて、ステップＳ１８、Ｓ２３、Ｓ２４において人物の表情に変化を与え、すなわち、表情切換画像処理部４によって遷移効果をもった画像を生成し、例えば図２（ｂ）に示したような画像を表示する。
【００５３】
ステップＳ１５において次の画像分類結果を読み出すと、この画像が人物画像であるか否かの判定を行う（Ｓ１６）。この判定の結果、次の画像が人物画像であった場合には、現在表示している画像が人物画像であるか否かの判定を行う（Ｓ１７）。この判定の結果、現在表示の画像が人物画像であった場合には、次の人物の方向に視線を動かす（Ｓ１８）。
【００５４】
ステップＳ１６からステップＳ１８の状況は、図６において説明した状況と同様である。すなわち、次の画像（図６（ｃ））は人物２７の画像であり、現在の画像（図６（ａ））は人物２６の画像であることから、人物２６の視線を矢印２８のように、人物２７のいる方向に向けて動かす。これにより、スライドショーの鑑賞者は、次の画像は、矢印２８の方向に主要被写体がいることが分かり、自然と次の画像の人物に注目が集まる。
【００５５】
ステップＳ１７における判定の結果、現在表示の画像が人物画像でなかった場合には、ステップＳ１９に進み、表情変化の画像処理を行わない。すなわち、次の画像は人物であるが、現在表示の画像は風景画像等の人物画像以外の画像であり、人物画像の表情変化を行うには不適であるからである。
【００５６】
ステップＳ１６における判定の結果、次の画像が人物画像でなかった場合、すなわち、風景画像またはその他の画像であった場合には、現在表示の画像が人物画像であるか否かの判定を行う（Ｓ２１）。この判定の結果、現在表示画像が人物画像でなかった場合には、ステップＳ１９に進み、表情変化の画像処理を行わない。現在も次回も風景画像が続くことからである。
【００５７】
ステップＳ２１における判定の結果、現在表示の画像が人物画像であった場合には、次は風景画像であるか否かの判定を行う（Ｓ２２）。この判定の結果、次が風景であった場合には、眼と口を少し開くように表情変化の画像処理を行う（Ｓ２４）。一方、判定の結果、風景でなかった場合（その他の画像）、眼をしだいに大きくする表情変化の画像処理を行う（Ｓ２３）。
【００５８】
ステップＳ１８において視線を動かす処理を行うと、またはステップＳ１７若しくはステップＳ２１においてＮｏの判定がなされた場合には、スライドショーが終了か否かの判定を行う（Ｓ１９）。このステップでは、カメラ１０の操作部材によって終了操作がなされたか否かを判定する。
【００５９】
ステップＳ１９において終了でないと判定された場合、またはステップＳ２３およびステップＳ２４において表情変化の処理を行うと、次の画像を表示する（Ｓ２５）。次の画像を表示すると、ステップＳ１５に戻り、前述の動作を繰り返す。すなわち、現在表示の画像が人物画像である場合には、次の画像の画像分類に応じて現在表示の人物画像が表情変化するように画像処理を施した画像を表示した後、次の画像を再生する。
【００６０】
ステップＳ１９における判定の結果、終了であった場合には、リターンし、ステップＳ１から再び、実行する。
【００６１】
このように、本発明の第１実施形態においては、スライドショーが選択された場合には、ステップＳ１５以下において、人物画像の顔の表情を変化させている。鑑賞者は、人物の顔の変化には敏感に反応するので、何が起こるかを期待して、次の画像を待つことになる。したがって、単なるスライドショーではなくなり、ワクワク感などの効果が出る。
【００６２】
なお、本実施形態においては、人物の表情変化は、スライドショーが選択された場合のみ表示され、表情変化した人物画像をプリントアウトすることはできない。撮影対象となった人物にとって、意図しない画像となる場合もあることから、本実施形態においては表情変化した画像のプリントアウトは禁止している。
【００６３】
また、本実施形態においては、人物の表情変化は、ステップＳ１８、Ｓ２３、Ｓ２４における３パターンだけであるが、これに限らず、例えば、口元や眼の周りを変化させ笑い画像の表情としたり、眉を動かし、眉をひそめた表情等、眼や口以外の顔パーツを動かし、種々の表情変化を採用するようにしても良い。
【００６４】
表情の変化としては、その他にも、例えば、口の形を順次切替えて、あたかも話しかけてくるような演出を行ってもよい。この場合、「キレイ」とか、「ステキ」とか、「スゴイ」といった単純な単語であれば、数パターンの口画像を作るだけで表現可能である。
【００６５】
また、近年、セキュリティの分野では、顔の向きで、顔の認証ができない場合を想定し、頭部の形状を顔写真から予測して、顔の向きが変わった時の顔画像を予測するような技術が発達している。このような画像処理を利用し、眼の動きのみならず、顔の向きまでを変化させて、人物がどこかを見るような演出にしてもよい。人物が複数いる場合は、顔を見合わせてから、オリジナル画像を表示するといった演出も可能である。
【００６６】
さらに、本実施形態においては、次の画像が表示される前にワクワク感が出るように、人物の表情を変化させていたが、人物の表情を変化させることは、単に次の画像の表示の際だけでなく、例えば、前の画像の余韻を味あうような演出効果を出す際等、別のタイミングにも利用できる。
【００６７】
例えば、風景写真を表示した後、人物の画像が表示される場合に、まず、風景を見るような表情の眼の形を人物の画像に合成しておき、それを次の瞬間に、合成なしのオリジナルの顔画像表示に切替えれば、風景画像に眼をこらしていた人が、ふと我に返るような演出の画像切換が可能となる。つまり、現在表示中の風景画像を消去した後、次の顔画像を表示し、この顔画像の顔パーツが変形した状態から、元の画像に戻るようにしている。
【００６８】
この場合、人物画像の前の風景画像を表示した際に、次に表示されるのが人物画像だと判定されると、風景画像の表示中に人物画像の表情変化のための画像処理を準備し（具体的には、テンプレートマッチングや、変化のさせ方を決める）、風景画像の表示が終わるとともに、画像処理を施した人物画像を表示すればよい。
【００６９】
この処理後画像を、前述のように元画像に戻していけば、あたかも表情が切り替わったように見せることができる。この変化のステップは、合成後のものと合成前のものを表示するといった、２段階でもよいし、その間に中間的な画像を挟んで滑らかな表示ができるようにしても良い。
【００７０】
また、直前の画像、直後の画像のみならず、直前画像の前の画像によって、表情変化を切り換えたり、直後の画像の次の画像によって、表情変化を切替えてもよい。これによって、直前、直後の画像は、単に文字だけのタイトルであったり、模様であるようなスライドショーの編集方法も可能となる。直前や直後の画像より前や後ろに鮮やかな風景画像などがあった場合などは、鑑賞者にも、そちらの印象の方が強く、この鮮やかな風景画像等を有効に利用することができる。
【００７１】
さらに、本実施形態においては、顔の有無情報等に基づいて画像分類を行い、顔の表情を変化させていたが、これに限らず、写真画像に付与されたデータを用いて、表情を変化させる度合いを変えるようにしても良い。例えば、遥か以前に撮影されたものであったり、ずっと遠方で撮影された写真画像であったりした場合、驚きの表情（眼の大きさや口の開き方）を大きくするといった応用が可能となる。また、撮影時の距離の情報や、照明の色温度や、画像のどこにどのような色があるかとか、撮影したものが何であるかを示す情報も付与される傾向にあるので、こうした補助データを用いてもよい。
【００７２】
次に本発明の第２実施形態について、図７乃至図１０を用いて説明する。第１実施形態は、カメラで撮影した画像をスライドショー等により再生する場合に、人物画像に表情変化を施すようにしていたが、第２実施形態は、サーバー中の仮想空間において、展示されている人物画像を含む画像を鑑賞する際に表情変化を施すようにした例である。
【００７３】
近年、コンピュータグラフィック（ＣＧ）を駆使して、仮想空間でのコミュニティサービスなどが普及してきている。仮想空間は、ネットワークに接続されたサーバーが実行するもので、携帯電話やパーソナルコンピュータ（ＰＣ）の操作に応じて、自分の分身であるアバターを動かして楽しむことができ、アバターの行動やチャットを利用したコミュニケーションができる。
【００７４】
仮想空間では、現実世界に模した部屋などに写真を展示して、ユーザー同士のコミュニケーションを活性化することができるが、一般的には、携帯電話やＰＣのテンキーやキーボードによる文字入力などで会話がなされるので、制約も多い。入力と入力の間の「間」を埋める工夫が重要である。本実施形態においては、展示した画像内の人物が、会話などに反応して、表情を変えるようにしており、入力と入力の「間」を埋めて、コミュニケーションを補助することができる。
【００７５】
図７は、仮想空間内において、来客の分身であるアバター３５と展示画像の撮影者のアバター３６が、展示画像３１の前に立ち、会話をしている様子を示している。来客のアバター３５が展示画像３１を指差すと（図７（ａ））、展示画像３１中の人物画像はアバター３５の方向を見るとか微笑む等の表情変化を行い（図７（ｂ））、来客の行動に反応していることを明示し、会話を楽しくするようにしている。また、来客の質問や撮影者のコメント等に答えるような画像（図７（ｃ））を表示することにより、会話が円滑に進む。
【００７６】
次に、このような仮想空間でのサービスを行うためのサーバー５０の構成を図８に示す。サーバー５０は、通信部５１、操作判定部５２、仮想空間合成表示部５３、チャット表示部５４、内容分析部５５、仮想空間データ部５６、仮想空間と関連付け部５７、画像記録部５８、表情切換部５９から構成されている。このほか、図示しない制御部が設けられている。この制御部は、ＣＰＵ等を含みサーバー５０内の各部と接続され、記憶媒体に記憶された制御プログラムに従ってサーバー５０の全体を制御する。
【００７７】
通信部５１は、ネットワーク等を介して外部の機器と送受信通信を行う。ここでは、カメラ１０に通信機能を持たせ、そこから送信されてきた写真画像を通信部５１によって受信する。また、仮想空間合成表示部５３によって合成された仮想空間の３次元（３ｄ）画像をカメラ１０等に送信する。なお、写真画像は、カメラ１０に限らず、携帯電話やＰＣから送信するようにしても勿論かまわない。画像記録部５８は、通信部５１を介して受信した写真画像等の画像を記録する。
【００７８】
仮想空間データ部５６は、仮想空間で表示するための３Ｄのコンピュータグラフィックデータであり、写真画像の展示室を３Ｄで表示用のデータも格納されている。仮想空間と関連付け部５７は、画像記録部５８に記録された写真画像等を、展示室等のいずれの場所に合成表示するかを関連付け、その情報を記憶する。仮想空間合成表示部５３は、仮想空間と関連付け部５７で関連付けられた写真画像等の画像を、仮想空間データ部５６からのデータを用いて、仮想空間内に展示した状態の表示用の画像を合成する。
【００７９】
操作判定部５２は、通信部５１を介して受信したユーザーのテンキーやキーボード等の操作部の操作状態を判定する。チャット表示部５４は、操作判定部５２によって判定された文字等の情報からユーザーのチャット部分を抽出し、これを仮想空間内に文字を表示する。内容分析部５５は、チャットの内容を分析し、例えば、図７（ａ）の例では、「この人、誰」とのチャットに対して、この意味を分析する。
【００８０】
内容分析部５５におけるチャットの分析結果は、表情切換部５９に送られる。表情切換部５９は、画像記録部５８に記録された写真画像等の画像中の人物画像に対して、第１実施形態における表情切換画像処理部４と同様に、顔の顔パーツに対して表情の変化を施した画像、若しくは画像記録部５８から読出したそのままの画像を、仮想空間と関連付け部５７を介して仮想空間合成表示部５３に送る。
【００８１】
本実施形態においては、仮想空間内に展示された展示画像３１について、アバター３５、３６が会話した場合には、そのチャットの内容を内容分析部５５において分析し、この分析結果に応じて、第１実施形態と同様に、顔パーツを変化させ、展示画像３１の表情を変化させている。また、表情切換部５９は、チャット内容によって人物の表情を変える以外にも、第１実施形態と同様に、次に表示させる画像の内容に応じて変化させる。
【００８２】
この変化した展示画像３１は、仮想空間合成表示部５３において、仮想空間内の画像と合成され、この合成された３Ｄ画像は、通信部５１を介して、カメラ１０等の外部機器に送信される。これにより、図７で説明したようなコミュニティサービスを実行することができる。
【００８３】
次に、サーバー５０における制御動作について、図９及び図１０を用いて説明する。サーバー制御のフローに入ると、画像取得か否かの判定を行う（Ｓ５１）。このステップでは、通信部５１、ネットワークを介して、カメラ１０等の外部機器から画像を取得するか否を判定する。この判定の結果、画像取得であれば、以下のステップで、画像を取得し、仮想空間内で展示に必要な作業を行う。
【００８４】
ステップＳ５１における判定の結果、画像取得であった場合には、取得画像に指定場所が有るか否かの判定を行う（Ｓ５２）。すなわち、カメラ１０等のユーザーがサーバー５０に画像を送信するにあたって、仮想空間内における展示場所の指定を行っている場合があるので、このステップでは、指定されているか否かを判定している。
【００８５】
ステップＳ５２における判定の結果、指定場所が有った場合には、その指定場所に配置する（Ｓ５４）。一方、指定場所がない場合には、仮想空間内において空いている展示場所に配置する（Ｓ５３）。ステップＳ５３、Ｓ５４において展示場所に配置すると、仮想空間の場所と画像の対応付けを行う（Ｓ５５）。
【００８６】
すなわち、画像記録部５８に記録された取得画像と仮想空間データ部５６に記憶されている仮想空間内での展示場所との関係を、仮想空間と関連付け部５７が対応付けて記憶する。この記憶結果に基づいて、仮想空間合成表示部５３は仮想空間の３Ｄを生成する。ステップＳ５５の対応付けを行うと、リターンし、ステップＳ５１から再び実行する。
【００８７】
ステップＳ５１における判定の結果、画像取得でなかった場合には、仮想空間散策か否かを判定する（Ｓ６１）。このステップでは、ユーザーが仮想空間内を散策するためにサーバー５０にアクセスしてきたか否かを判定する。この判定の結果、仮想空間散策であった場合には、基準場所にユーザーのアバターを表示する（Ｓ６２）。すなわち、仮想空間内で最初に散策を開始する基準場所に、ユーザーアバター３５が立っているような３Ｄの画像データを、仮想空間合成表示部５３は生成し、これをユーザーに送る。
【００８８】
続いて、ユーザー移動操作がなされたか否かの判定を行う（Ｓ６３）。このステップでは、サーバー５０にアクセスしてきたユーザーがアバター３５を仮想空間内で移動させるような移動操作を行ったかを操作判定部５２に判定する。この判定の結果、移動操作がなされていた場合には、操作に沿って風景の切換を行う（Ｓ６４）。このステップＳ６４では、操作判定部５２で判定したユーザーの操作にしたがって、アバター３５が移動してい
るように風景を順次切り換えていく。
【００８９】
ステップＳ６４における風景の切換を行うと、またはステップＳ６３における判定の結果、ユーザーが移動操作をしていなかった場合には、仮想空間散策が終了か否かの判定を行う（Ｓ６５）。このステップでは、ユーザーから仮想空間散策終了の指示がなされたか否かを操作判定部５２によって行う。この判定の結果、終了でなかった場合には、ステップＳ６３に戻り、一方、終了であった場合には、リターンし、ステップＳ５１から再び実行する。
【００９０】
ステップＳ６１における判定の結果、仮想空間散策でなかった場合には、チャットか否かの判定を行う（Ｓ７１）。このステップでは、展示画像３１の近くでチャットがなされてか否かを操作判定部５２等で判定するものである。例えば、図７（ａ）に示すような状況で、ユーザーアバター３５が「この人誰？」と発言（実際にはテキストの入力）したか否かを判定する。なお、ステップＳ６１以下では、アバター３５の移動を行うものであったが、このステップＳ７１以下では、仮想空間内にいつでも待機しているアバター３６に対して話しかけられた場合のフローである。
【００９１】
ステップＳ７１における判定の結果、チャットがなかった場合には、ステップＳ５１に戻る。一方、チャットがあった場合には、チャット入力内容の表示を行う（Ｓ７２）。このステップでは、入力されたチャット（図７（ａ）では、「この人誰？」）を、図７（ａ）のように、仮想空間の画面内に文字で表示する。この文字表示はチャット表示部５４、仮想空間データ部５６、仮想空間合成表示部５３によって行われる。
【００９２】
続いてコミュニケーションで画像切換を行う（Ｓ７４）。このサブルーチンでは、内容分析部５５がコミュニケーションの内容を分析し、コミュニケーションの内容に応じて、表情切換部５９が展示画像３１を展示画像３２に切り替えたりする。展示画像３１を切り替える場合には、第１実施形態と同様に、次の画像によって人物画像の顔の表情を変える。このサブルーチンについては、図１０を用いて詳述する。画像切換のサブルーチンを行うとステップＳ５１に戻り、ステップＳ５１から再び実行する。
【００９３】
このように、ステップＳ７１〜Ｓ７４において、ユーザー同士がコミュニケーションを行い、チャット内容に応じて画像を切り換えるようにしている。また、その際、チャット内容や、次に表示する画像に応じて、表情変化等のトランジション効果を付することにより、賑やかで楽しい仮想空間のサービスを提供することができる。
【００９４】
次に、ステップＳ７４（図９）におけるコミュニケーションで画像切換のサブルーチンを、図１０に示すフローチャートを用いて説明する。このサブルーチンに入ると、まず、アバターが近づいてきたか否かの判定を行う（Ｓ１５１）。このステップでは、仮想空間内の展示画像３１にユーザーのアバター３５が近づいた否かを判定する。
【００９５】
このステップＳ１５１における判定の結果、アバターが近づいていなかった場合には、アバターが指差したか否かを判定する（Ｓ１５２）。すなわち、このステップでは、アバター３５が、例えば、展示画像３１を指差す等の動きを判定する。この判定の結果、指差しも行っていなかった場合には、そのままリターンし元のフローに戻る。
【００９６】
ステップＳ１５１における判定の結果、アバター３５が近づいていた場合、またはステップＳ１５２における判定の結果、アバター３５が指差していた場合には、チャットキーワードの判定を行う（Ｓ１６１）。このステップでは、内容分析部５５がチャットとして入力したテキストから、キーワードの判定を行う。ここでのキーワードとしては、例えば、人に関係する言葉、場所に関係する言葉等であるかの判定を行う。
【００９７】
続いて、キーワードが人に関係していたかを判定する（Ｓ１６２）。この判定の結果、人に関係していた場合に、この場合、表示画像が人物か否かの判定を行う（Ｓ１７１）。図７に示す例では、表示画像、すなわち、展示画像３１が人物画像であることから、このステップは、Ｙｅｓで抜けることになる。ステップＳ１７１における判定の結果、表示画像が人物でなかった場合には、リターンし元のフローに戻る。
【００９８】
ステップＳ１７１における判定の結果、表示画像が人物であった場合には、同じ人の画像を検索する（Ｓ１７２）。このステップでは、画像記録部５８に記録されている画像の中から、同一人物が写っている画像を検索する。
【００９９】
続いて、表示人物の表情を変化させる（Ｓ１７３）。すなわち、ステップＳ１７２で同一人物の画像を検索し、この検索された画像を表示するにあたって、そのことを予告するような感じで、展示画像３１の人物の表情を変化させる。この人物の表情変化は、第１実施形態と同様な変化で行われ、表情切換部５９によって処理される。例えば、展示画像３１の人物の表情が、図７（ａ）から図７（ｂ）のように、口が開くなど変化する。
【０１００】
表示人物の表情変化を行うと、次に、画像の切換を行う（Ｓ１７４）。このステップでは、Ｓ１７２で検索された画像に表示を切り換え、例えば、展示画像３１を図７（ｃ）のように展示画像３２に切り換えて表示する。展示画像の切り換えを行うと、リターンし元のフローに戻る。
【０１０１】
ステップＳ１６２における判定の結果、チャットキーワードが人に関係していなかった場合には、次に、チャットキーワードが場所に関係するか否かの判定を行う（Ｓ１６３）。この判定の結果、場所に関係していた場合には、同じイベント（例えば、運動会等の学校行事、旅行等）の風景の画像を検索する（Ｓ１６６）。このステップでは、画像記録部５８に記録されている画像の中から、展示画像と同一のイベントの画像を検索する。
【０１０２】
ステップＳ１６３における判定の結果、チャットキーワードが場所に関係していなかった場合には、時系列画像を検索する（Ｓ１６５）。このステップでは、展示画像３１と同じ頃に同一撮影者によって撮影された撮影画像等を検索する。
【０１０３】
ステップＳ１６５またはＳ１６６における検索を行うと、次に、現在の表示画像が人物か否かの判定を行う（Ｓ１６７）。図７（ａ）の例では展示画像３１が人物を撮影した撮影画像であることから、Ｙｅｓと判定される。この判定の結果、表示画像が人物でなかった場合には、リターンし、元のフローに戻る。
【０１０４】
ステップＳ１６７における判定の結果、表示画像が人物であった場合には、表示人物の表情を変化させる（Ｓ１６８）。すなわち、ステップＳ１７３の場合と同様、次の表示される画像に応じて表情を変化させる。この表情変化のやり方は第１実施形態と同様である。展示画像３１の人物の表情を変化させると、続いて、画像の切換を行う（Ｓ１６９）。すなわち、ステップＳ１６５またはＳ１６６において検索された画像に切り換えて表示する。画像を切り換えると、元のフローに戻る。
【０１０５】
このように、コミュニケーションで画像切換のサブルーチンにおいては、ステップＳ１６８、Ｓ１７３において、次の画像に応じて人物の表情変化を行うようにしている。この表情変化としては、視線を主被写体に向けて動かしたり、次の画像が風景であれば、眼を見開くとか、近距離の被写体なら、眼を細める等を行う。なお、次の画像のみならず、アバターの方向を見るような画像処理を合わせてもよい。
【０１０６】
第２実施形態においても、仮想空間において、画像を単に鑑賞するだけではなく、展示画像を切り換えて表示する際に、ユーザーは次の画像の表示をわくわくした気分で待つことができ、単調な画像の遷移とはならず、展示画像の鑑賞を楽しむことができる。
【０１０７】
また、本実施形態においては、チャット内容に応じて、展示画像３１を次の展示画像３２に切り換えて表示しており、仮想空間内に訪れるユーザーの好みに応じた画像を展示するようにしている。このため、効率的な展示を行うことができると共に、ユーザーも興味のある画像を楽しむことができる。また、このようなアバターの会話や動作に基づく画像変化によって、毎回、同じような機械的な画像切換ではなく、同じ画像を見るにしても、様々な変形表示を行うことが可能となり、画像鑑賞の楽しみが増加する。
【０１０８】
以上、説明したように本発明の各実施形態に係わる画像処理装置等によれば、順次表示における顔画像を含む画像の前後に表示される画像の態様に応じて、顔画像の態様を変化させるための画像処理を行うようにしている。このため、複数の画像を順次再生する場合であっても、単調な画像の遷移とはならず、楽しむことができる。
【０１０９】
また、本発明の各実施形態においては、人物の顔パーツのみの変化を画像遷移のトランジション効果にだけ利用して、印刷などはできないようにしているので、ユーザーが不満を持つことなく、面白さのみを感じ、なおかつ、前後の画像の切り替え時の関連付け効果を奏したり、ユーザーの操作に反応したりして、単調な画像の遷移に、楽しさを付与することができる。
【０１１０】
さらに、本発明の各実施形態によれば、次に人物の画像が表示される際には、次の人物の方向に向けて視線を移動するようにしている。このため、次の人物の画像の中心位置の方向にユーザーの視線が移動し、ワクワク感を高めることができる。
【０１１１】
さらに、本発明の各実施形態によれば、次に人物の画像が表示されない場合には、口や眼を大きくするなど変化するようにしている。このため、次に再生される画像に対して、ユーザーのワクワク感を高めることができる。
【０１１２】
なお、本発明の各実施形態では、後続の画像を期待させるように顔の表情を変化させていたが、これに限らず、例えば、先に表示された画像の余韻を楽しむような効果を持たせることも可能である。つまり、先に表示された画像にしたがって、後から表示される顔画像の表情を変更するような応用である。この工夫によって、表示が終わった後も、先に表示されていた画像内容を次の顔画像の表情変化によって、補助的に説明するような効果を奏することができる。例えば、全体的に明るい、彩度の高い画像のあとでは、眼を見開いた人物を表示すれば、鑑賞者は、そういえば、さっきの画像は見事だったな、といった感情を追想することができる。
【０１１３】
また、このような表情や顔の向きや視線の変化は、トランジション効果として使われるだけである。このため画像をまじまじと鑑賞する際には、変化が終わり、オリジナル画像になるので、不自然さを緩和しつつ、デジタル画像ならではの自由度の高い、飽きの来ない、変化に富んだ画像処理効果を楽しむことが可能となる。
【０１１４】
さらに、本発明の各実施形態では、単に眼を見開くとか、口を開けるとか、単純な例で説明したが、これらを組み合わせたり、順次変化させたり（例えば、眼を見開いてから、口を開けるとか、その逆のパターンとか）して、より複雑な効果を与えてもよいことは言うまでもない。これの応用によって、例えば、たった２つの画像からだけでも、顔画像さえ含めば、２通りだけでなく、切換時に様々な表情変化のパターンを与えて、数多くの効果を与えることが可能となる。
【０１１５】
さらに、本発明の各実施形態においては、複数の静止画の中から顔画像を検出していたが、顔画像以外は静止画である必要はなく、動画であっても構わない。例えば、静止画と動画とを組み合わせたスライドショーであっても、顔パーツの変形を行うようにしても良い。また、映画などのように、静止画でタイトルが表示され、その後動画が続くような場合に、そのタイトルに顔の画像がある場合にも本発明を適用することができる。
【０１１６】
さらに、本発明の実施形態においては、再生表示装置としてカメラに適用した例を説明したが、再生装置としては、カメラに限らず、パーソナルコンピュータやテレビ等であっても良い。撮影装置を有さないパーソナルコンピュータ等の場合には、撮影装置で撮影した画像データを格納し、図３のステップＳ１１以下のプログラムによって再生すれば良い。
【０１１７】
さらに、本発明の実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。
【０１１８】
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【０１１９】
【図１】本発明の第１実施形態に係わるカメラの構成を示すブロック図である。
【図２】本発明の第１実施形態において、表情切換画像処理部による画像処理を説明する図であって、（ａ）はスライドショーにおいて現在、再生されている人物画像を示し、（ｂ）は（ａ）の人物を表情切換画像処理部によって眼と口の部分について変化させた人物画像を示し、（ｃ）は（ａ）の次に再生される人物画像を示す。
【図３】本発明の第１実施形態に係わるカメラのカメラ制御の動作を示すフローチャートである。
【図４】本発明の第１実施形態において、撮影画像から人物の顔を検出するにあたっ て、顔の位置を検出する方法を概念的に説明するための図であり、（ａ）は顔テンプレートを示し、（ｂ）は検出対象の人物が写っている撮影画像であり、（ｃ）は撮影画像の人物の顔の眼や口を変形させた画像である。
【図５】本発明の第１実施形態において、人物の顔の表情を変化させるめに顔パーツを変化させる例を示した図であって、（ａ）→（ｂ）は眼を大きく変化させた例、（ｃ）→（ｄ）は白目部の上を引き上げた例、（ｅ）→（ｆ）は口の横を引き上げた例を示す。
【図６】本発明の第１実施形態において、人物の顔の表情を変化させるために顔パー ツを変化させる例を示した図であって、（ａ）はスライドショーにおいて現在、再生されている人物画像を示し、（ｂ）は（ａ）の人物を表情切換画像処理部によって眼の部分について視線を変化させた人物画像を示し、（ｃ）は（ａ）の次に再生される人物画像を示す。
【図７】本発明の第２実施形態において、仮想空間内において展示画像を前に鑑賞し ている様子を示す図であり、（ａ）は来客の分身であるアバター３５と展示画像の撮影者のアバター３６が会話をしている様子を示し、（ｂ）は来客のアバターの会話に応じて展示画像の表情が変化した様子を示し、（ｃ）は来客のアバターの会話に応じて展示画像を切り換えた様子を示す図である。
【図８】本発明の第２実施形態に係わるサーバーの構成を示すブロック図である。
【図９】本発明の第２実施形態に係わるサーバーのサーバー制御の動作を示すフローャートである。
【図１０】本発明の第２実施形態に係わるサーバーのコミュニケーションで画像切換の動作を示すフローチャートである。
【符号の説明】
【０１２０】
１・・・制御部、２・・・撮影部、３・・・画像記録部、４・・・表情切換画像処理部、５・・・画像分類部、６・・・時計部、７・・・顔及び顔パーツ検出部、８・・・表示部、１０・・・カメラ、２１・・・人物、２１ａ・・・眼、２１ｂ・・・口、２２・・・人物、２３・・・風景画像、２６・・・人物、２７・・・人物、２８・・・矢印、３１・・・展示画像、３２・・・展示画像、３５・・・アバター、３６・・・アバター、５０・・・サーバー、５１・・・通信部、５２・・・操作判定部、５３・・・仮想空間合成表示部、５４・・・チャット表示部、５５・・・内容分析部、５６・・・仮想空間データ部、５７・・・仮想空間と関連付け部、５８・・・画像記録部、５９・・・表情切換部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラム、および画像表示装置に関し、詳しくは、スライドショー等のように複数の撮影画像を再生する画像処理装置、画像処理方法、画像処理プログラム、および画像表示装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置の普及により写真画像がデジタル化され、従来のように単にプリントしてアルバムを作成するだけではなく、テレビやパーソナルコンピュータ等で画像を再生させ観賞することが一般的になってきている。また、デジタルカメラの背面に設けられた液晶モニタ等の表示装置に撮影画像を再生表示し、また携帯電話の表示部に再生表示して、撮影画像を楽しむユーザーも多くなってきている。
【０００３】
このように液晶モニタ等の表示装置に撮影画像を再生して楽しむことは一般的になってきている。しかし、単に撮影画像を見るだけでは、状況によっては単調な感じになってしまうことから、ＢＧＭ（バックグランドミュージック）をつけたり、また画像の切替時にフェードイン、フェードアウトのような遷移効果を施す提案がなされている。
【０００４】
例えば、特許文献１には、スライドショー再生時に、再生画像の撮影時期に見合うＢＧＭを再生することにより映像鑑賞効果を高めるようにした再生装置が開示されている。しかし、特許文献１に開示の再生装置では、撮影画像を順番に再生するだけであり、機械的で冷たい印象があり、楽しむという観点からは充分ではない。そこで、特許文献２には、デジタルカメラ等で撮影した画像から顔の部分を抽出し、この顔部分にフィルタ処理を施すことにより顔の表情を変化させ、顔画像を美しく加工する顔画像処理装置が開示されている。
【特許文献１】特開２００６−１６４２２９号公報
【特許文献２】特開２００４−２４６６６７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献２に開示の顔画像処理装置によれば、画像中の顔部分を種々変更することから機械的で冷たい印象は幾分緩和することができる。しかし、この顔画像処理装置では、撮影画像を改変し加工してしまうことから、不自然な顔になってしまうおそれもある。
【０００６】
本発明は、このような事情を鑑みてなされたものであり、複数の画像を順次再生するにあたって、単調な画像の遷移とはならず、楽しむことのできる画像処理装置、画像処理方法、画像処理プログラム、および画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係わる再生表示装置は、ユーザー操作による入力テキスト情報のキーワードを分析する内容分析部と、複数の画像を記録する画像記録部と、上記キーワードに従って、画像記録部に記録された上記複数の画像から次に表示する後続画像を決定し、上記後続画像への移行に先だって、上記後続画像の態様に従って、表示されている画像の顔画像の顔パーツを次第に変形させる表情切換部を具備することを特徴とする。
【０００８】
第２の発明に係わる再生表示装置は、上記第１の発明において、上記表情切換部による上記顔画像のパーツ変化として、上記画像の内容を補助的に説明するような表情遷移効果を施すことを特徴とする。
【０００９】
第３の発明に係わる再生表示装置は、上記第１の発明において、上記内容分析部は、上記入力テキスト情報から、人に関する言葉、または場所に関するキーワードを判定することを特徴とする。
【００１０】
第４の発明に係わる再生表示装置は、上記第１の発明において、上記複数の画像は、少なくとも人物と風景に分類して上記画像記録部に記録され、上記分析されたキーワードに従って決定された後続画像は、上記表示されている画像に関係した人物または風景の画像であることを特徴とする。
【００１１】
第５の発明に係わる再生表示プログラムは、ユーザー操作による入力テキスト情報のキーワードを分析する内容分析ステップと、上記キーワードに従って、画像記録部に記録された分類された複数の画像から次に表示する後続画像を決定する決定ステップと、上記後続画像への移行に先だって、上記後続画像の態様に従って、表示されている画像の顔画像の顔パーツを次第に変形させる表情切換ステップを具備することを特徴とする。
【００１２】
第６の発明に係わる再生表示プログラムは、上記第５の発明において、上記表情切換ステップによる上記顔画像のパーツ変化は、上記画像の内容を補助的に説明するような表情遷移効果を施したものであることを特徴とする。
【００１３】
第７の発明に係わる画像処理プログラムは、第５の発明において、上記表示画像に、上記ユーザー操作に従って再生表示画面内を移動するアバター画像をさらに合成する合成ステップを有することを特徴とする。
【００１４】
第８の発明に係わる画像処理プログラムは、第７の発明において、上記入力テキスト情報は、上記アバター画像の発言として文字表示する文字表示ステップを備えたことを特徴とする。
【００１５】
第９の発明に係わる画像の再生表示方法は、入力テキスト情報のキーワードを分析し、上記キーワードに従って、画像記録部に記録された複数の画像から次に表示する後続画像を決定し、上記決定された後続画像の態様に従って、後続画像への移行に先だって、表示されている画像の顔画像の顔パーツを次第に変形させることを特徴とする。
【００１６】
第１０の発明に係わる再生表示方法は、第９の発明において、上記顔画像のパーツ変化のステップでは、上記画像の内容を補助的に説明するような期待感や追想を表わす表情遷移効果を上記顔画像に施すことを特徴とする。
【００１７】
第１１の発明に係わる再生表示方法は、第９の発明において、上記内容分析時には、上記入力テキスト情報から、人に関する言葉、または場所に関するキーワードを判定することを特徴とする。
【００１８】
第１２の発明に係わる画像処理装置は、第９の発明において、上記分析されたキーワードに従って決定された後続画像は、上記表示されている画像に関係した画像であることを特徴とする。
【００１９】
第１３の発明に係わる画像処理サーバーは、 外部機器との通信部を有し、上記外部機器からのチャット入力結果と、上記外部機器に表示させる送信画像に応じて、次に送信する後続画像を決定する画像処理サーバーであって、上記後続画像への移行に先だって、上記後続画像の態様に従って、上記外部機器に表示されている画像の顔画像の顔パーツを次第に変形させる表情切換部と、を備えたことを特徴とする。
【００２０】
第１４の発明に係わる画像処理サーバーは、第１３の発明において、上記画像処理サーバーは、上記後続画像を決めるために、上記入力チャット結果から、人に関する言葉、または場所に関するキーワードを判定する内容分析部を具備することを特徴とする。
【００２１】
第１５の発明に係わる画像処理サーバーは、請求項１３に記載の画像処理サーバーにおいて、外部機器との通信部と、所定の撮影画像と仮想空間内の画像から合成画像を作成する合成部を有し、上記所定の画像と上記外部機器からのチャット入力結果に応じて、次に上記仮想空間内画像に合成する後続画像を決定する画像処理サーバーにおいて、上記通信部が、上記合成画像を順次、上記外部機器に通信することを特徴とする。
【００２２】
第１６の発明に係わる画像処理サーバーは、第１５の発明において、上記後続画像への移行に先だって、上記後続画像の態様に従って、上記表示されている撮影画像の顔画像の顔パーツを次第に変形させる表情切換部を具備することを特徴とする。
【発明の効果】
【００２３】
本発明によれば、前後に表示される画像の態様に応じて、顔画像の態様を変化させるための画像処理を行うようにしたので、複数の画像を順次再生するにあたって、単調な画像の遷移とはならず、楽しむことのできる画像処理装置、画像処理方法、画像処理プログラム、および画像表示装置を提供することができる。
【発明を実施するための最良の形態】
【００２４】
以下、図面に従って本発明を適用したカメラ１０や、サーバー５０等を用いて好ましい実施形態について説明する。図１は本発明の第１実施形態に係わるカメラ１０の構成を示すブロック図である。カメラ１０は被写体を撮影し、撮影画像を取得するデジタルカメラである。
【００２５】
カメラ１０は、制御部１、撮影部２、画像記録部３、表情切換画像処理部４、画像分類部５、時計部６、顔及び顔パーツ検出部７、表示部８を有している。制御部１は、ＣＰＵ等を含みカメラ１０内の各部と接続され、記憶媒体に記憶された制御プログラムに従ってカメラ１０の全体を制御する。
【００２６】
撮影部２は、被写体像を結像するための光学系、被写体像を光電変換する撮像素子、撮像素子から出力される信号を処理する画像処理部等を含み、画像データを出力する。画像記録部３は、撮影部２から出力される静止画の画像データを記録する。
【００２７】
顔及び顔パーツ検出部７は、撮影部２から画像データを入力し、この画像データに基づいて、人物の顔の部分を検出する。また、顔の部分を検出すると、顔の中の眼、口、鼻等の顔パーツを検出する。顔及び顔パーツ検出部７は、顔や顔パーツの検出結果を制御部１に出力する。
【００２８】
画像分類部５は、画像記録部３に記録されている画像について、風景画像や人物画像等の分類を行う。本実施形態においては、顔及び顔パーツ検出部７によって顔が検出された場合には、人物画像と分類し、顔が検出されない場合には、風景画像と分類する。画像分類としては、本実施形態の手法以外にも、撮影時刻、撮影場所、画像解析等を組合せ、さらに細かい分類を行っても良い。
【００２９】
表情切換画像処理部４は、表示部８において画像の再生表示を行う際に、画像の再生と次の画像の再生の間で、人物の表情を変化させる。すなわち、顔及び顔パーツ検出部７において検出された眼や口等の顔パーツを変化させる画像処理を行う。
【００３０】
表情切換画像処理部４による画像処理としては、例えば、図２（ａ）に示すような人物２１の画像に続いて、図２（ｃ）に示すような風景画像２３を再生表示する場合、人物画像と風景画像の間に、図２（ｂ）に示すように人物２１の表情を変化させた画像を挿入する。図２（ｂ）に示す例では、人物２１の眼２１ａを大きくし、口２１ｂを開いている。このような表情変化をつけることにより、次の風景画像２３に対する期待を持たせ、スライドショーが単調となるのを防ぐことができる。
【００３１】
時計部６は、日時情報を取得するための時計機能を有している。ここから出力される日時情報は、撮影部２によって撮像された画像データを画像記録部３に記録する際に、一緒に記録される。
【００３２】
表示部８は、カメラ１０の背面に設けられた液晶モニタ等によって構成され、画像記録部３に記録された画像データを読み出し、これに基づいて再生表示する。再生表示としては、通常の１駒ごとの再生やスライドショー形式による再生があり、スライドショーにあたっては、時計部６で取得され画像データに添付されている日時情報の順に沿って再生する。また、スライドショーの駒と駒の間で、図２に示したように人物の表情を変化させて再生する。
【００３３】
次に、本発明の第１実施形態における動作を説明するが、動作フローの説明に先立って、本実施形態における画像処理の考え方について説明する。顔パーツの表情を変化させるために、まず、撮影画像から人物の顔を検出する。図４は、このために顔の位置を検出する方法を概念的に示したものである。
【００３４】
本実施形態においては、顔及び顔パーツ検出部７は一般的な顔のテンプレートを複数、記憶しており、例えば、図４（ａ）に示すようなテンプレート２５の大きさを変えながら、図４（ｂ）に示すような写真画像の画面内を移動させ、一致度を判定する。このとき、比較的一致度が高くテンプレート２５と類似している部分があれば、そこを人物２２の顔と判定し、顔の大きさと位置に関する情報を取得する。
【００３５】
写真画像の中から顔の位置と大きさが分かると、次に、テンプレート２５との一致から、どこに眼があり、どこに口があるかを判定できる。眼と口の位置、大きさを判定すると、次に、表情切換画像処理部４によって、眼を大きく見開いて口を大きく開く表情に変化させると、図４（ｃ）に示す画像になる。
【００３６】
このような表情変化としては、図５（ａ）→（ｂ）に示すように、眼を大きく見開くような表情以外にも、例えば、図５（ｃ）→（ｄ）に示すように、白目部の上を引き上げるような表情がある。また、眼以外にも、口の表情変化でもよく、例えば、図５（ｅ）→（ｆ）に示すように、口の横（端部）を上に引き上げてもよい。口の端部を引き上げると、笑ったように見え、また、口パターンの全体を大きくし、真ん中に白い歯が見えるようにすると、口が開いたような表情に変化させることができる。これらの３つのパターンで表情変化させると、図４（ｂ）の人物２２から図４（ｃ）の人物２２のように変化する。
【００３７】
また、表情切換画像処理部４は、前述したような表情変化以外にも、視線を動かすように表情処理を行っても良い。例えば、図６（ａ）に示す人物２６の画像と、図６（ｄ）に示す人物２７の画像を、連続して再生するにあたって、図６（ｂ）に示すように人物２６の視線を左側に移すような画像を挿入しても良い。人物２７（図６（ｃ））は画面の左側に顔が位置することから、人物２６（図６（ａ））の視線を矢印２８のように左側に動かすことにより、ユーザーは自然に、その目線方向に次の被写体が来ると期待し、スライドショーを楽しむことができる。もちろん、このように画像のパターンを変えるのみならず、画像の上から、パーツを合成して表示してもよい。
【００３８】
表情切換画像処理部４における画像処理としては、画像データの顔の部分から眼や口の陰影パターンを判定し、画像の中で眼や口の範囲がどこからどこまでかを検出し、その中で、眼や口の端部の陰影、瞼や睫毛のライン、唇の境界などの陰影を推定し、その影の部分を変形させる。
【００３９】
また、表情切換画像処理部４によって、眼を大きくする場合は、眼の両端部を固定して睫毛のラインの中心部を顔の上下方向（これもテンプレートマッチングによって分かる）に広がるように画像処理し、眼の部分が広がり、これらのラインの像がなくなった部分には、隣接する白眼や黒眼の部分を補えばよい。この処理を施すことによって眼が見開いたような画像を得ることができる。
【００４０】
また、黒眼の位置が分かれば、黒眼の部分の画像を動かすことによって、別の場所を見ているような効果を演出することができる。さらに、眼を開けるような効果は、例えば黒眼部の画像を構成する画素の、縦横比を変化させ、正方形画素を、上下方向に長い長方形に置き換えることによっても得ることができる。さらに、黒眼の位置をずらすのも、黒眼を構成する画素に隣接する白眼を構成する画素の縦横比を変形させることによって可能となる。右に黒眼を寄せるには、黒眼の右側の白眼画素の幅を短くし、黒眼の左側の白眼画像の幅を長くすればよい。
【００４１】
また、上述した方法以外にも、眼の形や見ている向きを変更するような画像処理は可能である。例えば、テンプレートに、いくつかの眼のパターンのデータベースを用意しておき、表情変化時には、その中から類似度の高い眼のテンプレート画像を合成して表示するような方法が考えられる。この置き換え用の、各々の眼のパターンのデータベースの中には、その眼が、見開いたり、閉じたり、どこかを見たりする場合の画像を合わせて用意しておき、その中から適切なものを選択し、順次切替えて合成すれば、次第に表情変化していくような画像を得ることができる。
【００４２】
このように、本実施形態における表情変化の画像処理は、複数の静止画を順次に再生するにあたって、人物の顔の眼や口等の顔パーツのみを動画的に動くように処理している。このとき画像処理するにあたって、次に来る画像の態様に応じて変化をつけるようにしている。例えば、次の画像の主要被写体の方向に向けて視線を移動させるとか、期待を持たせるように、眼や口を大きく開く等の表情変化である。
【００４３】
次に、本発明の第１実施形態におけるカメラ１０の制御動作について、図３に示すフローチャートを用いて説明する。カメラ制御のフローに入ると、まず、カメラ１０が撮影モードに設定されているか否かの判定を行う（Ｓ１）。このカメラ１０は、撮影モードや再生モードをユーザーによって設定可能である。ステップＳ１における判定の結果、撮影モードが設定されていた場合には、顔検出と明るさ判定を行う（Ｓ２）。このステップでは、顔検出を顔及び顔パーツ検出部７によって行い、検出された顔の位置付近について、撮影部２の撮像部からの画像データに基づいて明るさ判定を行う。
【００４４】
顔検出と明るさ判定を行うと、続いて、レリーズされたか否かの判定を行う（Ｓ３）。このステップでは、レリーズスイッチが操作され、撮影者によって撮影指示がなされたかを判定する。この判定の結果、レリーズされていなかった場合には、ステップＳ１に戻る。一方、レリーズされていた場合には、ステップＳ２において検出した顔位置に撮影レンズのピントを合わせ、適正露出となるように露出制御を行う（Ｓ４）。
【００４５】
続いて、撮影を行う（Ｓ５）。このステップでは、撮影部２において、被写体像の静止画の画像データを取得する。撮影が終わると、画像分類と顔位置の記録を行う（Ｓ６）。このステップでは、ステップＳ５で取得した画像データに基づいて、顔及び顔パーツ検出部７は顔の有無を検出し、顔があった場合には、その顔の位置を検出する。また、画像分類部５は顔の有無等に基づいて、人物画像か風景画像かその他の画像等に画像の分類を行う。
【００４６】
なお、画像の分類としては、顔の有無情報に限らず、画像に付随した情報を参考にして行っても良い。最近では、写真画像に、撮影時刻のデータのみならず、ＧＰＳの情報などを用いて、位置のデータを付与できるカメラもあり、さらに、顔画像から個人を特定したりすることが可能であり、これらのデータを画像に付与することが可能である。
【００４７】
次に、画像と共に記録を行う（Ｓ７）。すなわち、このステップでは、ステップＳ５において取得した画像データを画像記録部３に記録し、このとき、この画像と共に画像分類結果、顔の位置や大きさの情報、時計部６からの撮影日時情報、およびその他の撮影パラーメータ等を記録する。記録が終わると、リターンし、ステップＳ１から再び実行する。
【００４８】
ステップＳ１における判定の結果、撮影モードでなかった場合には、再生モードか否かの判定を行う（Ｓ１１）。この判定の結果、再生モードでもなかった場合には、ステップＳ１に戻る。一方、再生モードであった場合には、画像記録部３に記録されている撮影画像を表示部８にサムネイル表示する（Ｓ１２）。
【００４９】
続いて、指定画像の拡大表示を行う（Ｓ１３）。このステップでは、十字釦（不図示）等の操作によりサムネイル表示の中からユーザーによって選択された画像を表示部８に拡大表示する。指定画像を拡大表示すると、続いて、スライドショーか否かの判定を行う（Ｓ１４）。この判定の結果、スライドショーでなかった場合には、通常の１駒再生であることから、そのままリターンし、ステップＳ１から再び実行する。
【００５０】
ステップＳ１４における判定の結果、スライドショーであった場合には、現在、表示部８に表示されている撮影画像の次の順番の撮影画像の画像分類を読み出す（Ｓ１５）。撮影画像は、撮影時に画像分類され（Ｓ７）、この画像分類は画像と共に記録されている（Ｓ７）。そこで、ステップＳ１５では画像と共に記録されている画像分類を読み出す。
【００５１】
なお、撮影時（ステップＳ６）に画像分類を行っていない場合には、このステップＳ１５においてステップＳ６と同様に判定を行うようにしても良い。また、ステップＳ１７、ステップＳ２２において、現在表示の画像について判定を行うが、このときも画像と共に記録されている画像分類の情報を読み出して判定するが、それぞれのステップにおいて、画像分類の判定を行うようにしても良い。
【００５２】
例えば、図２（ａ）に示すような人物２１の画像を再生表示している場合に、次の画像（図２（ｃ））の画像の分類結果を読み出す（この例では、風景画像）。この読み出された画像分類に応じて、ステップＳ１８、Ｓ２３、Ｓ２４において人物の表情に変化を与え、すなわち、表情切換画像処理部４によって遷移効果をもった画像を生成し、例えば図２（ｂ）に示したような画像を表示する。
【００５３】
ステップＳ１５において次の画像分類結果を読み出すと、この画像が人物画像であるか否かの判定を行う（Ｓ１６）。この判定の結果、次の画像が人物画像であった場合には、現在表示している画像が人物画像であるか否かの判定を行う（Ｓ１７）。この判定の結果、現在表示の画像が人物画像であった場合には、次の人物の方向に視線を動かす（Ｓ１８）。
【００５４】
ステップＳ１６からステップＳ１８の状況は、図６において説明した状況と同様である。すなわち、次の画像（図６（ｃ））は人物２７の画像であり、現在の画像（図６（ａ））は人物２６の画像であることから、人物２６の視線を矢印２８のように、人物２７のいる方向に向けて動かす。これにより、スライドショーの鑑賞者は、次の画像は、矢印２８の方向に主要被写体がいることが分かり、自然と次の画像の人物に注目が集まる。
【００５５】
ステップＳ１７における判定の結果、現在表示の画像が人物画像でなかった場合には、ステップＳ１９に進み、表情変化の画像処理を行わない。すなわち、次の画像は人物であるが、現在表示の画像は風景画像等の人物画像以外の画像であり、人物画像の表情変化を行うには不適であるからである。
【００５６】
ステップＳ１６における判定の結果、次の画像が人物画像でなかった場合、すなわち、風景画像またはその他の画像であった場合には、現在表示の画像が人物画像であるか否かの判定を行う（Ｓ２１）。この判定の結果、現在表示画像が人物画像でなかった場合には、ステップＳ１９に進み、表情変化の画像処理を行わない。現在も次回も風景画像が続くことからである。
【００５７】
ステップＳ２１における判定の結果、現在表示の画像が人物画像であった場合には、次は風景画像であるか否かの判定を行う（Ｓ２２）。この判定の結果、次が風景であった場合には、眼と口を少し開くように表情変化の画像処理を行う（Ｓ２４）。一方、判定の結果、風景でなかった場合（その他の画像）、眼をしだいに大きくする表情変化の画像処理を行う（Ｓ２３）。
【００５８】
ステップＳ１８において視線を動かす処理を行うと、またはステップＳ１７若しくはステップＳ２１においてＮｏの判定がなされた場合には、スライドショーが終了か否かの判定を行う（Ｓ１９）。このステップでは、カメラ１０の操作部材によって終了操作がなされたか否かを判定する。
【００５９】
ステップＳ１９において終了でないと判定された場合、またはステップＳ２３およびステップＳ２４において表情変化の処理を行うと、次の画像を表示する（Ｓ２５）。次の画像を表示すると、ステップＳ１５に戻り、前述の動作を繰り返す。すなわち、現在表示の画像が人物画像である場合には、次の画像の画像分類に応じて現在表示の人物画像が表情変化するように画像処理を施した画像を表示した後、次の画像を再生する。
【００６０】
ステップＳ１９における判定の結果、終了であった場合には、リターンし、ステップＳ１から再び、実行する。
【００６１】
このように、本発明の第１実施形態においては、スライドショーが選択された場合には、ステップＳ１５以下において、人物画像の顔の表情を変化させている。鑑賞者は、人物の顔の変化には敏感に反応するので、何が起こるかを期待して、次の画像を待つことになる。したがって、単なるスライドショーではなくなり、ワクワク感などの効果が出る。
【００６２】
なお、本実施形態においては、人物の表情変化は、スライドショーが選択された場合のみ表示され、表情変化した人物画像をプリントアウトすることはできない。撮影対象となった人物にとって、意図しない画像となる場合もあることから、本実施形態においては表情変化した画像のプリントアウトは禁止している。
【００６３】
また、本実施形態においては、人物の表情変化は、ステップＳ１８、Ｓ２３、Ｓ２４における３パターンだけであるが、これに限らず、例えば、口元や眼の周りを変化させ笑い画像の表情としたり、眉を動かし、眉をひそめた表情等、眼や口以外の顔パーツを動かし、種々の表情変化を採用するようにしても良い。
【００６４】
表情の変化としては、その他にも、例えば、口の形を順次切替えて、あたかも話しかけてくるような演出を行ってもよい。この場合、「キレイ」とか、「ステキ」とか、「スゴイ」といった単純な単語であれば、数パターンの口画像を作るだけで表現可能である。
【００６５】
また、近年、セキュリティの分野では、顔の向きで、顔の認証ができない場合を想定し、頭部の形状を顔写真から予測して、顔の向きが変わった時の顔画像を予測するような技術が発達している。このような画像処理を利用し、眼の動きのみならず、顔の向きまでを変化させて、人物がどこかを見るような演出にしてもよい。人物が複数いる場合は、顔を見合わせてから、オリジナル画像を表示するといった演出も可能である。
【００６６】
さらに、本実施形態においては、次の画像が表示される前にワクワク感が出るように、人物の表情を変化させていたが、人物の表情を変化させることは、単に次の画像の表示の際だけでなく、例えば、前の画像の余韻を味あうような演出効果を出す際等、別のタイミングにも利用できる。
【００６７】
例えば、風景写真を表示した後、人物の画像が表示される場合に、まず、風景を見るような表情の眼の形を人物の画像に合成しておき、それを次の瞬間に、合成なしのオリジナルの顔画像表示に切替えれば、風景画像に眼をこらしていた人が、ふと我に返るような演出の画像切換が可能となる。つまり、現在表示中の風景画像を消去した後、次の顔画像を表示し、この顔画像の顔パーツが変形した状態から、元の画像に戻るようにしている。
【００６８】
この場合、人物画像の前の風景画像を表示した際に、次に表示されるのが人物画像だと判定されると、風景画像の表示中に人物画像の表情変化のための画像処理を準備し（具体的には、テンプレートマッチングや、変化のさせ方を決める）、風景画像の表示が終わるとともに、画像処理を施した人物画像を表示すればよい。
【００６９】
この処理後画像を、前述のように元画像に戻していけば、あたかも表情が切り替わったように見せることができる。この変化のステップは、合成後のものと合成前のものを表示するといった、２段階でもよいし、その間に中間的な画像を挟んで滑らかな表示ができるようにしても良い。
【００７０】
また、直前の画像、直後の画像のみならず、直前画像の前の画像によって、表情変化を切り換えたり、直後の画像の次の画像によって、表情変化を切替えてもよい。これによって、直前、直後の画像は、単に文字だけのタイトルであったり、模様であるようなスライドショーの編集方法も可能となる。直前や直後の画像より前や後ろに鮮やかな風景画像などがあった場合などは、鑑賞者にも、そちらの印象の方が強く、この鮮やかな風景画像等を有効に利用することができる。
【００７１】
さらに、本実施形態においては、顔の有無情報等に基づいて画像分類を行い、顔の表情を変化させていたが、これに限らず、写真画像に付与されたデータを用いて、表情を変化させる度合いを変えるようにしても良い。例えば、遥か以前に撮影されたものであったり、ずっと遠方で撮影された写真画像であったりした場合、驚きの表情（眼の大きさや口の開き方）を大きくするといった応用が可能となる。また、撮影時の距離の情報や、照明の色温度や、画像のどこにどのような色があるかとか、撮影したものが何であるかを示す情報も付与される傾向にあるので、こうした補助データを用いてもよい。
【００７２】
次に本発明の第２実施形態について、図７乃至図１０を用いて説明する。第１実施形態は、カメラで撮影した画像をスライドショー等により再生する場合に、人物画像に表情変化を施すようにしていたが、第２実施形態は、サーバー中の仮想空間において、展示されている人物画像を含む画像を鑑賞する際に表情変化を施すようにした例である。
【００７３】
近年、コンピュータグラフィック（ＣＧ）を駆使して、仮想空間でのコミュニティサービスなどが普及してきている。仮想空間は、ネットワークに接続されたサーバーが実行するもので、携帯電話やパーソナルコンピュータ（ＰＣ）の操作に応じて、自分の分身であるアバターを動かして楽しむことができ、アバターの行動やチャットを利用したコミュニケーションができる。
【００７４】
仮想空間では、現実世界に模した部屋などに写真を展示して、ユーザー同士のコミュニケーションを活性化することができるが、一般的には、携帯電話やＰＣのテンキーやキーボードによる文字入力などで会話がなされるので、制約も多い。入力と入力の間の「間」を埋める工夫が重要である。本実施形態においては、展示した画像内の人物が、会話などに反応して、表情を変えるようにしており、入力と入力の「間」を埋めて、コミュニケーションを補助することができる。
【００７５】
図７は、仮想空間内において、来客の分身であるアバター３５と展示画像の撮影者のアバター３６が、展示画像３１の前に立ち、会話をしている様子を示している。来客のアバター３５が展示画像３１を指差すと（図７（ａ））、展示画像３１中の人物画像はアバター３５の方向を見るとか微笑む等の表情変化を行い（図７（ｂ））、来客の行動に反応していることを明示し、会話を楽しくするようにしている。また、来客の質問や撮影者のコメント等に答えるような画像（図７（ｃ））を表示することにより、会話が円滑に進む。
【００７６】
次に、このような仮想空間でのサービスを行うためのサーバー５０の構成を図８に示す。サーバー５０は、通信部５１、操作判定部５２、仮想空間合成表示部５３、チャット表示部５４、内容分析部５５、仮想空間データ部５６、仮想空間と関連付け部５７、画像記録部５８、表情切換部５９から構成されている。このほか、図示しない制御部が設けられている。この制御部は、ＣＰＵ等を含みサーバー５０内の各部と接続され、記憶媒体に記憶された制御プログラムに従ってサーバー５０の全体を制御する。
【００７７】
通信部５１は、ネットワーク等を介して外部の機器と送受信通信を行う。ここでは、カメラ１０に通信機能を持たせ、そこから送信されてきた写真画像を通信部５１によって受信する。また、仮想空間合成表示部５３によって合成された仮想空間の３次元（３ｄ）画像をカメラ１０等に送信する。なお、写真画像は、カメラ１０に限らず、携帯電話やＰＣから送信するようにしても勿論かまわない。画像記録部５８は、通信部５１を介して受信した写真画像等の画像を記録する。
【００７８】
仮想空間データ部５６は、仮想空間で表示するための３Ｄのコンピュータグラフィックデータであり、写真画像の展示室を３Ｄで表示用のデータも格納されている。仮想空間と関連付け部５７は、画像記録部５８に記録された写真画像等を、展示室等のいずれの場所に合成表示するかを関連付け、その情報を記憶する。仮想空間合成表示部５３は、仮想空間と関連付け部５７で関連付けられた写真画像等の画像を、仮想空間データ部５６からのデータを用いて、仮想空間内に展示した状態の表示用の画像を合成する。
【００７９】
操作判定部５２は、通信部５１を介して受信したユーザーのテンキーやキーボード等の操作部の操作状態を判定する。チャット表示部５４は、操作判定部５２によって判定された文字等の情報からユーザーのチャット部分を抽出し、これを仮想空間内に文字を表示する。内容分析部５５は、チャットの内容を分析し、例えば、図７（ａ）の例では、「この人、誰」とのチャットに対して、この意味を分析する。
【００８０】
内容分析部５５におけるチャットの分析結果は、表情切換部５９に送られる。表情切換部５９は、画像記録部５８に記録された写真画像等の画像中の人物画像に対して、第１実施形態における表情切換画像処理部４と同様に、顔の顔パーツに対して表情の変化を施した画像、若しくは画像記録部５８から読出したそのままの画像を、仮想空間と関連付け部５７を介して仮想空間合成表示部５３に送る。
【００８１】
本実施形態においては、仮想空間内に展示された展示画像３１について、アバター３５、３６が会話した場合には、そのチャットの内容を内容分析部５５において分析し、この分析結果に応じて、第１実施形態と同様に、顔パーツを変化させ、展示画像３１の表情を変化させている。また、表情切換部５９は、チャット内容によって人物の表情を変える以外にも、第１実施形態と同様に、次に表示させる画像の内容に応じて変化させる。
【００８２】
この変化した展示画像３１は、仮想空間合成表示部５３において、仮想空間内の画像と合成され、この合成された３Ｄ画像は、通信部５１を介して、カメラ１０等の外部機器に送信される。これにより、図７で説明したようなコミュニティサービスを実行することができる。
【００８３】
次に、サーバー５０における制御動作について、図９及び図１０を用いて説明する。サーバー制御のフローに入ると、画像取得か否かの判定を行う（Ｓ５１）。このステップでは、通信部５１、ネットワークを介して、カメラ１０等の外部機器から画像を取得するか否を判定する。この判定の結果、画像取得であれば、以下のステップで、画像を取得し、仮想空間内で展示に必要な作業を行う。
【００８４】
ステップＳ５１における判定の結果、画像取得であった場合には、取得画像に指定場所が有るか否かの判定を行う（Ｓ５２）。すなわち、カメラ１０等のユーザーがサーバー５０に画像を送信するにあたって、仮想空間内における展示場所の指定を行っている場合があるので、このステップでは、指定されているか否かを判定している。
【００８５】
ステップＳ５２における判定の結果、指定場所が有った場合には、その指定場所に配置する（Ｓ５４）。一方、指定場所がない場合には、仮想空間内において空いている展示場所に配置する（Ｓ５３）。ステップＳ５３、Ｓ５４において展示場所に配置すると、仮想空間の場所と画像の対応付けを行う（Ｓ５５）。
【００８６】
すなわち、画像記録部５８に記録された取得画像と仮想空間データ部５６に記憶されている仮想空間内での展示場所との関係を、仮想空間と関連付け部５７が対応付けて記憶する。この記憶結果に基づいて、仮想空間合成表示部５３は仮想空間の３Ｄを生成する。ステップＳ５５の対応付けを行うと、リターンし、ステップＳ５１から再び実行する。
【００８７】
ステップＳ５１における判定の結果、画像取得でなかった場合には、仮想空間散策か否かを判定する（Ｓ６１）。このステップでは、ユーザーが仮想空間内を散策するためにサーバー５０にアクセスしてきたか否かを判定する。この判定の結果、仮想空間散策であった場合には、基準場所にユーザーのアバターを表示する（Ｓ６２）。すなわち、仮想空間内で最初に散策を開始する基準場所に、ユーザーアバター３５が立っているような３Ｄの画像データを、仮想空間合成表示部５３は生成し、これをユーザーに送る。
【００８８】
続いて、ユーザー移動操作がなされたか否かの判定を行う（Ｓ６３）。このステップでは、サーバー５０にアクセスしてきたユーザーがアバター３５を仮想空間内で移動させるような移動操作を行ったかを操作判定部５２に判定する。この判定の結果、移動操作がなされていた場合には、操作に沿って風景の切換を行う（Ｓ６４）。このステップＳ６４では、操作判定部５２で判定したユーザーの操作にしたがって、アバター３５が移動してい
るように風景を順次切り換えていく。
【００８９】
ステップＳ６４における風景の切換を行うと、またはステップＳ６３における判定の結果、ユーザーが移動操作をしていなかった場合には、仮想空間散策が終了か否かの判定を行う（Ｓ６５）。このステップでは、ユーザーから仮想空間散策終了の指示がなされたか否かを操作判定部５２によって行う。この判定の結果、終了でなかった場合には、ステップＳ６３に戻り、一方、終了であった場合には、リターンし、ステップＳ５１から再び実行する。
【００９０】
ステップＳ６１における判定の結果、仮想空間散策でなかった場合には、チャットか否かの判定を行う（Ｓ７１）。このステップでは、展示画像３１の近くでチャットがなされてか否かを操作判定部５２等で判定するものである。例えば、図７（ａ）に示すような状況で、ユーザーアバター３５が「この人誰？」と発言（実際にはテキストの入力）したか否かを判定する。なお、ステップＳ６１以下では、アバター３５の移動を行うものであったが、このステップＳ７１以下では、仮想空間内にいつでも待機しているアバター３６に対して話しかけられた場合のフローである。
【００９１】
ステップＳ７１における判定の結果、チャットがなかった場合には、ステップＳ５１に戻る。一方、チャットがあった場合には、チャット入力内容の表示を行う（Ｓ７２）。このステップでは、入力されたチャット（図７（ａ）では、「この人誰？」）を、図７（ａ）のように、仮想空間の画面内に文字で表示する。この文字表示はチャット表示部５４、仮想空間データ部５６、仮想空間合成表示部５３によって行われる。
【００９２】
続いてコミュニケーションで画像切換を行う（Ｓ７４）。このサブルーチンでは、内容分析部５５がコミュニケーションの内容を分析し、コミュニケーションの内容に応じて、表情切換部５９が展示画像３１を展示画像３２に切り替えたりする。展示画像３１を切り替える場合には、第１実施形態と同様に、次の画像によって人物画像の顔の表情を変える。このサブルーチンについては、図１０を用いて詳述する。画像切換のサブルーチンを行うとステップＳ５１に戻り、ステップＳ５１から再び実行する。
【００９３】
このように、ステップＳ７１〜Ｓ７４において、ユーザー同士がコミュニケーションを行い、チャット内容に応じて画像を切り換えるようにしている。また、その際、チャット内容や、次に表示する画像に応じて、表情変化等のトランジション効果を付することにより、賑やかで楽しい仮想空間のサービスを提供することができる。
【００９４】
次に、ステップＳ７４（図９）におけるコミュニケーションで画像切換のサブルーチンを、図１０に示すフローチャートを用いて説明する。このサブルーチンに入ると、まず、アバターが近づいてきたか否かの判定を行う（Ｓ１５１）。このステップでは、仮想空間内の展示画像３１にユーザーのアバター３５が近づいた否かを判定する。
【００９５】
このステップＳ１５１における判定の結果、アバターが近づいていなかった場合には、アバターが指差したか否かを判定する（Ｓ１５２）。すなわち、このステップでは、アバター３５が、例えば、展示画像３１を指差す等の動きを判定する。この判定の結果、指差しも行っていなかった場合には、そのままリターンし元のフローに戻る。
【００９６】
ステップＳ１５１における判定の結果、アバター３５が近づいていた場合、またはステップＳ１５２における判定の結果、アバター３５が指差していた場合には、チャットキーワードの判定を行う（Ｓ１６１）。このステップでは、内容分析部５５がチャットとして入力したテキストから、キーワードの判定を行う。ここでのキーワードとしては、例えば、人に関係する言葉、場所に関係する言葉等であるかの判定を行う。
【００９７】
続いて、キーワードが人に関係していたかを判定する（Ｓ１６２）。この判定の結果、人に関係していた場合に、この場合、表示画像が人物か否かの判定を行う（Ｓ１７１）。図７に示す例では、表示画像、すなわち、展示画像３１が人物画像であることから、このステップは、Ｙｅｓで抜けることになる。ステップＳ１７１における判定の結果、表示画像が人物でなかった場合には、リターンし元のフローに戻る。
【００９８】
ステップＳ１７１における判定の結果、表示画像が人物であった場合には、同じ人の画像を検索する（Ｓ１７２）。このステップでは、画像記録部５８に記録されている画像の中から、同一人物が写っている画像を検索する。
【００９９】
続いて、表示人物の表情を変化させる（Ｓ１７３）。すなわち、ステップＳ１７２で同一人物の画像を検索し、この検索された画像を表示するにあたって、そのことを予告するような感じで、展示画像３１の人物の表情を変化させる。この人物の表情変化は、第１実施形態と同様な変化で行われ、表情切換部５９によって処理される。例えば、展示画像３１の人物の表情が、図７（ａ）から図７（ｂ）のように、口が開くなど変化する。
【０１００】
表示人物の表情変化を行うと、次に、画像の切換を行う（Ｓ１７４）。このステップでは、Ｓ１７２で検索された画像に表示を切り換え、例えば、展示画像３１を図７（ｃ）のように展示画像３２に切り換えて表示する。展示画像の切り換えを行うと、リターンし元のフローに戻る。
【０１０１】
ステップＳ１６２における判定の結果、チャットキーワードが人に関係していなかった場合には、次に、チャットキーワードが場所に関係するか否かの判定を行う（Ｓ１６３）。この判定の結果、場所に関係していた場合には、同じイベント（例えば、運動会等の学校行事、旅行等）の風景の画像を検索する（Ｓ１６６）。このステップでは、画像記録部５８に記録されている画像の中から、展示画像と同一のイベントの画像を検索する。
【０１０２】
ステップＳ１６３における判定の結果、チャットキーワードが場所に関係していなかった場合には、時系列画像を検索する（Ｓ１６５）。このステップでは、展示画像３１と同じ頃に同一撮影者によって撮影された撮影画像等を検索する。
【０１０３】
ステップＳ１６５またはＳ１６６における検索を行うと、次に、現在の表示画像が人物か否かの判定を行う（Ｓ１６７）。図７（ａ）の例では展示画像３１が人物を撮影した撮影画像であることから、Ｙｅｓと判定される。この判定の結果、表示画像が人物でなかった場合には、リターンし、元のフローに戻る。
【０１０４】
ステップＳ１６７における判定の結果、表示画像が人物であった場合には、表示人物の表情を変化させる（Ｓ１６８）。すなわち、ステップＳ１７３の場合と同様、次の表示される画像に応じて表情を変化させる。この表情変化のやり方は第１実施形態と同様である。展示画像３１の人物の表情を変化させると、続いて、画像の切換を行う（Ｓ１６９）。すなわち、ステップＳ１６５またはＳ１６６において検索された画像に切り換えて表示する。画像を切り換えると、元のフローに戻る。
【０１０５】
このように、コミュニケーションで画像切換のサブルーチンにおいては、ステップＳ１６８、Ｓ１７３において、次の画像に応じて人物の表情変化を行うようにしている。この表情変化としては、視線を主被写体に向けて動かしたり、次の画像が風景であれば、眼を見開くとか、近距離の被写体なら、眼を細める等を行う。なお、次の画像のみならず、アバターの方向を見るような画像処理を合わせてもよい。
【０１０６】
第２実施形態においても、仮想空間において、画像を単に鑑賞するだけではなく、展示画像を切り換えて表示する際に、ユーザーは次の画像の表示をわくわくした気分で待つことができ、単調な画像の遷移とはならず、展示画像の鑑賞を楽しむことができる。
【０１０７】
また、本実施形態においては、チャット内容に応じて、展示画像３１を次の展示画像３２に切り換えて表示しており、仮想空間内に訪れるユーザーの好みに応じた画像を展示するようにしている。このため、効率的な展示を行うことができると共に、ユーザーも興味のある画像を楽しむことができる。また、このようなアバターの会話や動作に基づく画像変化によって、毎回、同じような機械的な画像切換ではなく、同じ画像を見るにしても、様々な変形表示を行うことが可能となり、画像鑑賞の楽しみが増加する。
【０１０８】
以上、説明したように本発明の各実施形態に係わる画像処理装置等によれば、順次表示における顔画像を含む画像の前後に表示される画像の態様に応じて、顔画像の態様を変化させるための画像処理を行うようにしている。このため、複数の画像を順次再生する場合であっても、単調な画像の遷移とはならず、楽しむことができる。
【０１０９】
また、本発明の各実施形態においては、人物の顔パーツのみの変化を画像遷移のトランジション効果にだけ利用して、印刷などはできないようにしているので、ユーザーが不満を持つことなく、面白さのみを感じ、なおかつ、前後の画像の切り替え時の関連付け効果を奏したり、ユーザーの操作に反応したりして、単調な画像の遷移に、楽しさを付与することができる。
【０１１０】
さらに、本発明の各実施形態によれば、次に人物の画像が表示される際には、次の人物の方向に向けて視線を移動するようにしている。このため、次の人物の画像の中心位置の方向にユーザーの視線が移動し、ワクワク感を高めることができる。
【０１１１】
さらに、本発明の各実施形態によれば、次に人物の画像が表示されない場合には、口や眼を大きくするなど変化するようにしている。このため、次に再生される画像に対して、ユーザーのワクワク感を高めることができる。
【０１１２】
なお、本発明の各実施形態では、後続の画像を期待させるように顔の表情を変化させていたが、これに限らず、例えば、先に表示された画像の余韻を楽しむような効果を持たせることも可能である。つまり、先に表示された画像にしたがって、後から表示される顔画像の表情を変更するような応用である。この工夫によって、表示が終わった後も、先に表示されていた画像内容を次の顔画像の表情変化によって、補助的に説明するような効果を奏することができる。例えば、全体的に明るい、彩度の高い画像のあとでは、眼を見開いた人物を表示すれば、鑑賞者は、そういえば、さっきの画像は見事だったな、といった感情を追想することができる。
【０１１３】
また、このような表情や顔の向きや視線の変化は、トランジション効果として使われるだけである。このため画像をまじまじと鑑賞する際には、変化が終わり、オリジナル画像になるので、不自然さを緩和しつつ、デジタル画像ならではの自由度の高い、飽きの来ない、変化に富んだ画像処理効果を楽しむことが可能となる。
【０１１４】
さらに、本発明の各実施形態では、単に眼を見開くとか、口を開けるとか、単純な例で説明したが、これらを組み合わせたり、順次変化させたり（例えば、眼を見開いてから、口を開けるとか、その逆のパターンとか）して、より複雑な効果を与えてもよいことは言うまでもない。これの応用によって、例えば、たった２つの画像からだけでも、顔画像さえ含めば、２通りだけでなく、切換時に様々な表情変化のパターンを与えて、数多くの効果を与えることが可能となる。
【０１１５】
さらに、本発明の各実施形態においては、複数の静止画の中から顔画像を検出していたが、顔画像以外は静止画である必要はなく、動画であっても構わない。例えば、静止画と動画とを組み合わせたスライドショーであっても、顔パーツの変形を行うようにしても良い。また、映画などのように、静止画でタイトルが表示され、その後動画が続くような場合に、そのタイトルに顔の画像がある場合にも本発明を適用することができる。
【０１１６】
さらに、本発明の実施形態においては、再生表示装置としてカメラに適用した例を説明したが、再生装置としては、カメラに限らず、パーソナルコンピュータやテレビ等であっても良い。撮影装置を有さないパーソナルコンピュータ等の場合には、撮影装置で撮影した画像データを格納し、図３のステップＳ１１以下のプログラムによって再生すれば良い。
【０１１７】
さらに、本発明の実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。
【０１１８】
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【０１１９】
【図１】本発明の第１実施形態に係わるカメラの構成を示すブロック図である。
【図２】本発明の第１実施形態において、表情切換画像処理部による画像処理を説明する図であって、（ａ）はスライドショーにおいて現在、再生されている人物画像を示し、（ｂ）は（ａ）の人物を表情切換画像処理部によって眼と口の部分について変化させた人物画像を示し、（ｃ）は（ａ）の次に再生される人物画像を示す。
【図３】本発明の第１実施形態に係わるカメラのカメラ制御の動作を示すフローチャートである。
【図４】本発明の第１実施形態において、撮影画像から人物の顔を検出するにあたっ て、顔の位置を検出する方法を概念的に説明するための図であり、（ａ）は顔テンプレートを示し、（ｂ）は検出対象の人物が写っている撮影画像であり、（ｃ）は撮影画像の人物の顔の眼や口を変形させた画像である。
【図５】本発明の第１実施形態において、人物の顔の表情を変化させるめに顔パーツを変化させる例を示した図であって、（ａ）→（ｂ）は眼を大きく変化させた例、（ｃ）→（ｄ）は白目部の上を引き上げた例、（ｅ）→（ｆ）は口の横を引き上げた例を示す。
【図６】本発明の第１実施形態において、人物の顔の表情を変化させるために顔パー ツを変化させる例を示した図であって、（ａ）はスライドショーにおいて現在、再生されている人物画像を示し、（ｂ）は（ａ）の人物を表情切換画像処理部によって眼の部分について視線を変化させた人物画像を示し、（ｃ）は（ａ）の次に再生される人物画像を示す。
【図７】本発明の第２実施形態において、仮想空間内において展示画像を前に鑑賞し ている様子を示す図であり、（ａ）は来客の分身であるアバター３５と展示画像の撮影者のアバター３６が会話をしている様子を示し、（ｂ）は来客のアバターの会話に応じて展示画像の表情が変化した様子を示し、（ｃ）は来客のアバターの会話に応じて展示画像を切り換えた様子を示す図である。
【図８】本発明の第２実施形態に係わるサーバーの構成を示すブロック図である。
【図９】本発明の第２実施形態に係わるサーバーのサーバー制御の動作を示すフローャートである。
【図１０】本発明の第２実施形態に係わるサーバーのコミュニケーションで画像切換の動作を示すフローチャートである。
【符号の説明】
【０１２０】
１・・・制御部、２・・・撮影部、３・・・画像記録部、４・・・表情切換画像処理部、５・・・画像分類部、６・・・時計部、７・・・顔及び顔パーツ検出部、８・・・表示部、１０・・・カメラ、２１・・・人物、２１ａ・・・眼、２１ｂ・・・口、２２・・・人物、２３・・・風景画像、２６・・・人物、２７・・・人物、２８・・・矢印、３１・・・展示画像、３２・・・展示画像、３５・・・アバター、３６・・・アバター、５０・・・サーバー、５１・・・通信部、５２・・・操作判定部、５３・・・仮想空間合成表示部、５４・・・チャット表示部、５５・・・内容分析部、５６・・・仮想空間データ部、５７・・・仮想空間と関連付け部、５８・・・画像記録部、５９・・・表情切換部
【特許請求の範囲】
【請求項１】
ユーザー操作による入力テキスト情報のキーワードを分析する内容分析部と、
複数の画像を記録する画像記録部と、
上記キーワードに従って、画像記録部に記録された上記複数の画像から次に表示する後続画像を決定する再生表示装置において、
上記後続画像への移行に先だって、上記後続画像の態様に従って、表示されている画像の顔画像の顔パーツを次第に変形させる表情切換部を具備することを特徴とする再生表示装置。
【請求項２】
上記表情切換部による上記顔画像のパーツ変化は、上記画像の内容を補助的に説明するような表情遷移効果を施したものであることを特徴とする請求項１に記載の再生表示装置。
【請求項３】
上記内容分析部は、上記入力テキスト情報から、人に関する言葉、または場所に関するキーワードを判定することを特徴とする請求項１に記載の再生表示装置。
【請求項４】
上記複数の画像は、少なくとも人物と風景に分類して上記画像記録部に記録されており、
上記分析されたキーワードに従って決定された後続画像は、上記表示されている画像に関係した人物または風景の画像であることを特徴とする請求項１に記載の再生表示装置。
【請求項５】
ユーザー操作による入力テキスト情報のキーワードを分析する内容分析ステップと、
上記キーワードに従って、画像記録部に記録された分類された複数の画像から次に表示する後続画像を決定する決定ステップと、
上記後続画像への移行に先だって、上記後続画像の態様に従って、表示されている画像の顔画像の顔パーツを次第に変形させる表情切換ステップを具備することを特徴とする再生表示プログラム。
【請求項６】
上記表情切換ステップによる上記顔画像のパーツ変化は、上記画像の内容を補助的に説明するような表情遷移効果を施したものであることを特徴とする請求項５に記載の再生表示プログラム。
【請求項７】
上記表示画像に、上記ユーザー操作に従って再生表示画面内を移動するアバター画像をさらに合成する合成ステップを有することを特徴とする請求項５記載の再生表示プログラム。
【請求項８】
上記入力テキスト情報は、上記アバター画像の発言として文字表示する文字表示ステップを備えたことを特徴とする請求項７の再生表示プログラム。
【請求項９】
入力テキスト情報のキーワードを分析し、
上記キーワードに従って、画像記録部に記録された複数の画像から次に表示する後続画像を決定し、
上記決定された後続画像の態様に従って、後続画像への移行に先だって、表示されている画像の顔画像の顔パーツを次第に変形させることを特徴とする画像の再生表示方法。
【請求項１０】
上記顔画像のパーツ変化のステップでは、上記画像の内容を補助的に説明するような期待感や追想を表わす表情遷移効果を上記顔画像に施すことを特徴とする請求項９に記載の画像の再生表示方法。
【請求項１１】
上記内容分析時には、上記入力テキスト情報から、人に関する言葉、または場所に関するキーワードを判定することを特徴とする請求項９に記載の画像の再生表示方法。
【請求項１２】
上記分析されたキーワードに従って決定された後続画像は、上記表示されている画像に関係した画像であることを特徴とする請求項９に記載の画像の再生表示方法。
【請求項１３】
外部機器との通信部を有し、
上記外部機器からのチャット入力結果と、上記外部機器に表示させる送信画像に応じて、次に送信する後続画像を決定する画像処理サーバーにおいて、
上記後続画像への移行に先だって、上記後続画像の態様に従って、上記外部機器に表示されている画像の顔画像の顔パーツを次第に変形させる表情切換部と、
を備えたことを特徴とする画像処理サーバー。
【請求項１４】
上記画像処理サーバーは、上記後続画像の決定のために、上記入力チャット結果から、人に関する言葉、または場所に関するキーワードを判定する内容分析部を具備することを特徴とする請求項１３に記載の画像処理サーバー。
【請求項１５】
外部機器との通信部と、
所定の撮影画像と仮想空間内の画像から合成画像を作成する合成部を有し、
上記所定の画像と上記外部機器からのチャット入力結果に応じて、次に上記仮想空間内画像に合成する後続画像を決定する画像処理サーバーにおいて、
上記通信部が、上記合成画像を順次、上記外部機器に通信することを特徴とする画像処理サーバー。
【請求項１６】
上記画像処理サーバーは、上記後続画像への移行に先だって、上記後続画像の態様に従って、上記表示されている撮影画像の顔画像の顔パーツを次第に変形させる表情切換部を具備することを特徴とする請求項１５に記載の画像処理サーバー。
【請求項１】
ユーザー操作による入力テキスト情報のキーワードを分析する内容分析部と、
複数の画像を記録する画像記録部と、
上記キーワードに従って、画像記録部に記録された上記複数の画像から次に表示する後続画像を決定する再生表示装置において、
上記後続画像への移行に先だって、上記後続画像の態様に従って、表示されている画像の顔画像の顔パーツを次第に変形させる表情切換部を具備することを特徴とする再生表示装置。
【請求項２】
上記表情切換部による上記顔画像のパーツ変化は、上記画像の内容を補助的に説明するような表情遷移効果を施したものであることを特徴とする請求項１に記載の再生表示装置。
【請求項３】
上記内容分析部は、上記入力テキスト情報から、人に関する言葉、または場所に関するキーワードを判定することを特徴とする請求項１に記載の再生表示装置。
【請求項４】
上記複数の画像は、少なくとも人物と風景に分類して上記画像記録部に記録されており、
上記分析されたキーワードに従って決定された後続画像は、上記表示されている画像に関係した人物または風景の画像であることを特徴とする請求項１に記載の再生表示装置。
【請求項５】
ユーザー操作による入力テキスト情報のキーワードを分析する内容分析ステップと、
上記キーワードに従って、画像記録部に記録された分類された複数の画像から次に表示する後続画像を決定する決定ステップと、
上記後続画像への移行に先だって、上記後続画像の態様に従って、表示されている画像の顔画像の顔パーツを次第に変形させる表情切換ステップを具備することを特徴とする再生表示プログラム。
【請求項６】
上記表情切換ステップによる上記顔画像のパーツ変化は、上記画像の内容を補助的に説明するような表情遷移効果を施したものであることを特徴とする請求項５に記載の再生表示プログラム。
【請求項７】
上記表示画像に、上記ユーザー操作に従って再生表示画面内を移動するアバター画像をさらに合成する合成ステップを有することを特徴とする請求項５記載の再生表示プログラム。
【請求項８】
上記入力テキスト情報は、上記アバター画像の発言として文字表示する文字表示ステップを備えたことを特徴とする請求項７の再生表示プログラム。
【請求項９】
入力テキスト情報のキーワードを分析し、
上記キーワードに従って、画像記録部に記録された複数の画像から次に表示する後続画像を決定し、
上記決定された後続画像の態様に従って、後続画像への移行に先だって、表示されている画像の顔画像の顔パーツを次第に変形させることを特徴とする画像の再生表示方法。
【請求項１０】
上記顔画像のパーツ変化のステップでは、上記画像の内容を補助的に説明するような期待感や追想を表わす表情遷移効果を上記顔画像に施すことを特徴とする請求項９に記載の画像の再生表示方法。
【請求項１１】
上記内容分析時には、上記入力テキスト情報から、人に関する言葉、または場所に関するキーワードを判定することを特徴とする請求項９に記載の画像の再生表示方法。
【請求項１２】
上記分析されたキーワードに従って決定された後続画像は、上記表示されている画像に関係した画像であることを特徴とする請求項９に記載の画像の再生表示方法。
【請求項１３】
外部機器との通信部を有し、
上記外部機器からのチャット入力結果と、上記外部機器に表示させる送信画像に応じて、次に送信する後続画像を決定する画像処理サーバーにおいて、
上記後続画像への移行に先だって、上記後続画像の態様に従って、上記外部機器に表示されている画像の顔画像の顔パーツを次第に変形させる表情切換部と、
を備えたことを特徴とする画像処理サーバー。
【請求項１４】
上記画像処理サーバーは、上記後続画像の決定のために、上記入力チャット結果から、人に関する言葉、または場所に関するキーワードを判定する内容分析部を具備することを特徴とする請求項１３に記載の画像処理サーバー。
【請求項１５】
外部機器との通信部と、
所定の撮影画像と仮想空間内の画像から合成画像を作成する合成部を有し、
上記所定の画像と上記外部機器からのチャット入力結果に応じて、次に上記仮想空間内画像に合成する後続画像を決定する画像処理サーバーにおいて、
上記通信部が、上記合成画像を順次、上記外部機器に通信することを特徴とする画像処理サーバー。
【請求項１６】
上記画像処理サーバーは、上記後続画像への移行に先だって、上記後続画像の態様に従って、上記表示されている撮影画像の顔画像の顔パーツを次第に変形させる表情切換部を具備することを特徴とする請求項１５に記載の画像処理サーバー。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−４７９６２（Ｐ２０１３−４７９６２Ａ）
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願番号】特願２０１２−２１９２３６（Ｐ２０１２−２１９２３６）
【出願日】平成２４年１０月１日（２０１２．１０．１）
【分割の表示】特願２００８−１２７９２６（Ｐ２００８−１２７９２６）の分割
【原出願日】平成２０年５月１５日（２００８．５．１５）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願日】平成２４年１０月１日（２０１２．１０．１）
【分割の表示】特願２００８−１２７９２６（Ｐ２００８−１２７９２６）の分割
【原出願日】平成２０年５月１５日（２００８．５．１５）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]