画像処理装置、立体画像印刷システム、画像処理方法およびプログラム
【課題】立体度を用いて、より自然で立体視しやすい立体合成画像を生成する画像処理装置を提供する。
【解決手段】画像処理装置は、立体画像データを入力するための立体画像データ入力手段と、立体画像データから被写体を抽出する被写体抽出手段と、立体画像データに含まれる視点の異なる複数の平面画像データから被写体の立体度を算出する立体度算出手段と、立体度と立体画像データとを関連付けて記録する立体画像データ記録手段と、テンプレート記録手段に記録された複数種類の立体画像テンプレートの中から、立体画像データと関連付けて記録された立体度に基づいて所定数の立体画像テンプレートを選択するテンプレート選択手段と、立体画像データとテンプレート選択手段により選択される所定数の立体画像テンプレートのうちユーザにより選択される１つの立体画像テンプレートとを合成し、合成立体画像を構成する合成立体画像データを出力する合成手段と、を有する。
【解決手段】画像処理装置は、立体画像データを入力するための立体画像データ入力手段と、立体画像データから被写体を抽出する被写体抽出手段と、立体画像データに含まれる視点の異なる複数の平面画像データから被写体の立体度を算出する立体度算出手段と、立体度と立体画像データとを関連付けて記録する立体画像データ記録手段と、テンプレート記録手段に記録された複数種類の立体画像テンプレートの中から、立体画像データと関連付けて記録された立体度に基づいて所定数の立体画像テンプレートを選択するテンプレート選択手段と、立体画像データとテンプレート選択手段により選択される所定数の立体画像テンプレートのうちユーザにより選択される１つの立体画像テンプレートとを合成し、合成立体画像を構成する合成立体画像データを出力する合成手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像データに対して画像処理を行って立体画像を生成する画像処理装置、画像処理方法およびプログラムに関するものである。
【背景技術】
【０００２】
従来から、視線の異なる複数の画像を組み合わせて表示することで、視差を利用した立体視が実現されている。例えば、（１）左目用と右目用の画像に対して、それぞれ直交する直線偏光をかけて、偏光メガネを用いて立体視を行う方法、（２）左目用と右目用の画像を交互に表示して、表示手段と同期した液晶シャッターを備えたメガネを用いて立体視を行う方法、（３）左目用と右目用の画像に対して、それぞれ赤と青の光を重ねて表示し、左右に赤と青のカラーフィルタの付いたメガネを用いて立体視を行う方法が挙げられる。
【０００３】
また、いわゆる裸眼立体視の方法として、例えば、複数の画像を短冊状に切り取って交互に配置し、パララックスバリア（視差バリア）、またはレンチキュラーレンズを用いて、左右の眼でそれぞれの画像を見ることで立体視を行う方法も挙げられる。
【０００４】
ここで、本発明に関連する先行技術文献として、特許文献１〜４が挙げられる。
特許文献１には、複数の位置から複数の撮像装置によって撮影され、当該複数の位置のうちの所望の位置と所望の撮影時刻が指定されると、撮影時刻の異なる複数のフレーム画像が選択され、立体画像形成部により、所定の光学系を介して観察した場合に観察視点位置の移動に従って順次観察できるように合成され立体印刷される、立体画像形成装置が開示されている。
【０００５】
特許文献２には、３次元表示面または該３次元表示面の近傍に配置された実物体の位置または姿勢若しくは形状を検出する検出部と、実物体の形状と位置または姿勢とに基づいて、実物体が３次元表示面により照射された光線を遮蔽する領域である遮蔽領域を算出する遮蔽領域算出部と、遮蔽領域に対して、遮蔽領域以外の領域と異なる描画処理を行って、立体画像を描画する描画部とを備えた立体画像生成装置が開示されている。
【０００６】
特許文献３には、撮影空間を撮影したときに撮像系により捉えられた各点の輝度値を表す輝度画像を取得する輝度画像取得手段と、各点の空間的な位置を所定の座標系で表した３次元情報を取得する３次元情報取得手段と、所定の入力装置から、座標系の軸方向ごとのオフセット値を指定する入力を受け付けて、該各オフセット値を所定のメモリに記憶し、座標系の原点をオフセット値分変位させた点をオフセット原点として設定するオフセット原点設定手段とを備え、それぞれの情報を格納する領域を有する所定フォーマットのファイルを生成するファイル生成装置が開示されている。
【０００７】
特許文献４には、立体強度のレベル値が大きいほど立体感の強い立体視画像が表示されることを表わす、立体視画像の立体強度を示すタグ（立体強度タグ）が画像制御情報として含まれ、立体視画像を表示させたい表示装置の指定を付属情報として管理することが可能な立体視画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−１６５７９５号公報
【特許文献２】特開２００８−９０６１７号公報
【特許文献３】特開２００８−２５２４９３号公報
【特許文献４】特開２００４−３３４８３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
立体画像を印刷した立体プリント（立体写真）を得るとき、通常の平面画像のプリントのように、立体画像の被写体と立体画像テンプレートのキャラクタとを合成した合成画像を得たい場合がある。しかし、立体画像は立体度（奥行き量）を考慮する必要があり、ユーザが撮影した立体画像（ユーザ画像）の立体度とテンプレートの立体度とが大きく異なっていると、立体視しづらく、奥行き感にアンバランスが生じてしまうという問題があった。
【００１０】
本発明の目的は、ユーザが撮影した立体画像の立体度に合わせて、合成用の立体画像テンプレートの立体度、およびテンプレート内のキャラクタの方向を変更することで、より自然で立体視しやすい立体合成画像を生成する画像処理装置、画像処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明は、立体画像を構成する立体画像データを外部から入力するための立体画像データ入力手段と、
前記立体画像データから被写体を抽出する被写体抽出手段と、
前記立体画像データに含まれる視点の異なる複数の平面画像データから前記被写体の立体度を算出する立体度算出手段と、
前記立体度と前記立体画像データとを関連付けて記録する立体画像データ記録手段と、
複数種類の立体画像テンプレートが記録されたテンプレート記録手段と、
前記テンプレート記録手段に記録された複数種類の立体画像テンプレートの中から、前記立体画像データと関連付けて記録された立体度に基づいて所定数の立体画像テンプレートを選択するテンプレート選択手段と、
前記立体画像データと前記テンプレート選択手段により選択される所定数の立体画像テンプレートのうちユーザにより選択される１つの立体画像テンプレートとを合成し、合成立体画像を構成する合成立体画像データを出力する合成手段と、を有することを特徴とする画像処理装置を提供する。
【００１２】
ここで、前記テンプレート選択手段は、前記被写体の立体度をＮとして、Ｎ／３よりも大きく３Ｎよりも小さい範囲の立体度のキャラクタを含む立体画像テンプレートを選択するものであることが好ましい。
【００１３】
また、前記被写体抽出手段は、さらに、前記被写体の顔を抽出するものであって、
さらに、前記被写体の顔の向きを検出する顔の向き検出手段を有することが好ましい。
【００１４】
また、前記テンプレート選択手段は、さらに、前記立体画像における被写体の顔の向きおよび該被写体の位置に基づいて、前記立体画像テンプレートを選択するものであることが好ましい。
【００１５】
また、前記テンプレート選択手段は、前記被写体の顔の向きが左側もしくは右側で、該被写体が前記立体画像の左側もしくは右側に配置され、前記立体画像テンプレートに含まれるキャラクタが右側もしくは左側に配置される場合、該被写体の顔の向きが前記キャラクタの方を向く場合には、上下方向のうち前記被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、前記被写体の顔の向きが前記キャラクタの方を向かない場合には、左右方向のうち前記被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、かつ、上下方向のうち前記被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、それ以外の顔の向きの前記キャラクタを含む立体画像テンプレートを選択するものであることが好ましい。
【００１６】
また、前記テンプレート選択手段は、前記被写体の顔の向きが左側もしくは右側で、該被写体が中央に配置され、前記立体画像テンプレートに含まれるキャラクタが前記被写体の右側もしくは左側に配置される場合には、前記被写体の顔の向きに係わらず、上下方向のうち該被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、それ以外の顔の向きの前記キャラクタを含む立体画像テンプレートを選択するものであることが好ましい。
【００１７】
また、前記テンプレート選択手段は、前記被写体の顔の向きが中央の場合には、該被写体の配置および顔の向きに係わらず、上下方向のうち前記被写体の顔の向きと逆方向の前記立体画像テンプレートに含まれるキャラクタの顔の向きを非選択とし、それ以外の顔の向きの前記キャラクタを含む立体画像テンプレートを選択するものであることが好ましい。
【００１８】
また、前記テンプレート選択手段は、前記立体画像テンプレートに含まれるキャラクタの立体度および顔の向きに優先順位を設け、該優先順位に従って前記立体画像テンプレートを選択するものであることが好ましい。
【００１９】
また、前記テンプレート選択手段は、前記立体画像テンプレートに含まれるキャラクタの立体度および顔の向きをプレビュー画面に表示して、該プレビュー画面に表示された複数の立体画像テンプレートの中から、ユーザにより選択される１つの立体画像テンプレートを選択するものであることが好ましい。
【００２０】
また、前記被写体抽出手段は、前記被写体の複数の部位を抽出し、
前記立体度算出手段は、前記被写体の複数の部位の立体度を算出するものであることが好ましい。
【００２１】
また、前記立体画像データ記録手段は、前記被写体の立体度を、前記立体画像データのＥｘｉｆタグに記録するものであることが好ましい。
【００２２】
また、前記立体画像データ記録手段は、前記被写体の立体度を、前記立体画像データとは別のファイルに記録するものであることが好ましい。
【００２３】
また、前記立体度算出手段は、前記視点の異なる複数の平面画像データから前記被写体の視差および前記視点から前記被写体までの距離を算出し、該視差および距離から前記被写体の立体度を算出するものであることが好ましい。
【００２４】
また、本発明は、上記のいずれかに記載の画像処理装置と、
前記画像処理装置から出力される合成立体画像データに対応する合成立体画像を印刷する印刷装置と、を有することを特徴とする立体画像印刷システムを提供する。
【００２５】
また、本発明は、外部から入力される、立体画像を構成する立体画像データを受け取る立体画像データ入力ステップと、
前記立体画像データから被写体を抽出する被写体抽出ステップと、
前記立体画像データに含まれる視点の異なる複数の平面画像データから前記被写体の立体度を算出する立体度算出ステップと、
前記立体度と前記立体画像データとを関連付けて記録する立体画像データ記録ステップと、
あらかじめ記録されている複数種類の立体画像テンプレートの中から、前記立体画像データと関連付けて記録された立体度に基づいて所定数の立体画像テンプレートを選択するテンプレート選択ステップと、
前記立体画像データと前記選択された所定数の立体画像テンプレートのうちユーザにより選択される１つの立体画像テンプレートとを合成し、合成立体画像を構成する合成立体画像データを出力する合成ステップと、を有することを特徴とする画像処理方法を提供する。
【００２６】
また、本発明は、上記に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラムを提供する。
【発明の効果】
【００２７】
本発明によれば、立体度を意識することなく、より自然で立体視しやすいレイアウトのユーザ画像とキャラクタ画像の合成画像、およびこれらを印刷した立体プリントを、失敗なく得ることができる。
【図面の簡単な説明】
【００２８】
【図１】（ａ）は、平面画像データの軸を示す説明図であり、（ｂ）は、本発明に係る立体画像データの軸および立体度の一例を示す説明図である。
【図２】本発明に係る立体画像印刷システムの一実施形態を示すブロック図である。
【図３】本発明に係る立体画像データの軸および立体度の、他の一例を示す説明図である。
【図４】顔の向きの立体度の一例を示す説明図である。
【図５】立体プリントの一例を示す説明図である。
【図６】立体プリントの他の一例を示す説明図である。
【図７】立体プリントの他の一例を示す説明図である。
【図８】立体プリントの他の一例を示す説明図である。
【図９】立体プリントの他の一例を示す説明図である。
【図１０】本発明に係る画像処理装置の一実施形態における処理の流れの一例を示すフローチャートである。
【図１１】立体画像データのファイル構成の一例を示す説明図である。
【図１２】立体画像データのファイルの、ヘッダの一例を示す説明図である。
【図１３】立体画像データのファイルの、ヘッダの他の一例を示す説明図である。
【図１４】立体画像データのファイルの、ヘッダの他の一例を示す説明図である。
【図１５】本発明に係る立体画像印刷システムにおける立体プリント処理の流れの一例を示すフローチャートである。
【図１６】図１５のフローチャートの続きを示すフローチャートである。
【図１７】図１５のフローチャートの続きを示すフローチャートである。
【図１８】図１５のフローチャートの続きを示すフローチャートである。
【発明を実施するための形態】
【００２９】
本発明に係る画像処理方法を実施する画像処理装置、および立体画像印刷システムを、添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。
【００３０】
始めに、本発明に係る立体画像における被写体の立体度について説明する。
図１（ａ）および（ｂ）は、ユーザ画像の平面画像データと立体画像データとを比較した図である。
図１（ａ）は、従来の平面画像を構成する平面画像データ（Ｘ，Ｙ軸の２次元データ）の軸を示す図であり、水平軸をＸ軸、垂直軸をＹ軸として表現している。図１（ｂ）は、本発明に係る立体画像を構成する立体画像データ（Ｘ，Ｙ，Ｚ軸の３次元データ）の軸および立体度の一例を示す図であり、平面画像データのＸ軸、Ｙ軸、および平面画像データのＸ軸、Ｙ軸からなる平面に直交するＺ軸を有し、Ｚ軸は被写体の飛び出し方向（奥行き量、または飛び出し量、つまり被写体の立体度）を表す軸である。つまり、立体度は、立体画像データに含まれるＸ，Ｙ，Ｚ軸の３次元データのうち、Ｚ軸のデータを表す。
【００３１】
立体画像データとしては、例えば、右目用の平面画像および左目用の平面画像を含むステレオ画像の画像データを例示することができる。つまり、ステレオ画像の画像データは、１つの画像データ内に、右目用の平面画像の画像データおよび左目用の平面画像の画像データを含む。なお、立体画像データは、ステレオ画像の画像データに限らず、視点の異なる複数の平面画像の画像データを１つの立体画像データ内に含むものであればよい。
【００３２】
ここで、立体画像における被写体の立体度を求めるためには、まず、例えば、特開２００６−１６５７９５号公報、特開２００１−３４６２２６号公報、特開２００８−９０６１７号公報等に記載の方法により、被写体をボリュームデータ（Ｘ，Ｙ，Ｚ軸の３次元データ）として描画し、右目用と左目用のそれぞれの平面画像（主画像、副画像）間のテンプレートマッチングによる対応点検出結果より、右目用の平面画像と左目用の平面画像との間の視差（視差量）および視点から被写体までの距離を算出する。
【００３３】
次に、例えば、特開２０１０−４５５８４号公報等に記載されているように、求められた視差および距離から、Ｚ軸で表される立体度の軸の値を算出することで、（Ｚ）で表される立体度を求めることができる。つまり、立体度は、視差および距離に比例し、視差が大きくなると大きくなり、距離が長くなると大きくなる。従って、立体度は、距離が求まれば、視差に応じて一意に算出することができる。例えば、図１（ｂ）では、Ｚ軸の値（Ｚ軸方向の飛び出し量）をＺ１とすると、立体度は（Ｚ１）（始点座標（０，０，０）、終点座標（０，０，Ｚ１）））となる。なお、立体度の算出方法は何ら限定されず、既存の方法を含む各種の方法を用いることができる。
【００３４】
次に、本発明に係る立体画像印刷システムについて説明する。
図２は、本発明に係る画像処理方法を実施する、本発明に係る立体画像印刷システムの構成を表す一実施形態のブロック図である。
図２に示す立体画像印刷システム１は、画像処理装置１０、および印刷装置４６によって構成される。また、画像処理装置１０は、立体画像データ入力手段１２、被写体抽出手段１４、立体度算出手段１６、立体画像データ記録手段１８、テンプレート記録手段４０、テンプレート選択手段４２、および合成手段４４によって構成される。
【００３５】
立体画像データ入力手段１２は、立体画像データを入力するための入力手段であって、立体画像データを画像処理装置１０の外部から入力するための外部インタフェースを有する。立体画像データの作成方法には特に限定はなく、ユーザが３Ｄ対応のデジタルスチルカメラまたはデジタルビデオカメラで撮影した動画像／静止画像データ、ならびにネットワーク上からダウンロードした動画像／静止画像データなど、種々の立体画像データを入力することができる。外部インタフェースは、ＵＳＢ（Universal Serial Bus）、メモリーカードＲ／Ｗ（reader/writer）、光学ディスク、および有線／無線ＬＡＮ（Local Area Network）などであればよい。立体画像データは、外部から外部インタフェースを介して入力される。立体画像データ入力手段１２は、外部から入力される立体画像データを受け取って画像処理装置１０の各部位へ供給する。
【００３６】
被写体抽出手段１４には、立体画像データ入力手段１２から立体画像データが入力される。被写体抽出手段１４は、立体画像データを解析して立体画像における被写体（の領域）を抽出する。被写体の抽出方法は、例えば、エッジ検出、色彩検出等の既存の方法を含む各種の方法を用いることができる。また、被写体の各部位、例えば、顔、左右の手、胴体、足等について、それぞれの領域を抽出する。被写体抽出手段１４は、抽出された被写体の情報および被写体の各部位の情報を生成し、被写体情報として出力する。
【００３７】
また、被写体抽出手段１４は、顔の向き検出手段２０を有する。
顔の向き検出手段２０は、被写体の顔の領域から、天地方向の顔の向き（角度）、および左右方向の顔の向き（角度）を算出する。顔の向き検出方法は、例えば、マシンラーニング手法を利用して、顔画像からランドマークを示す点の位置を検出する特開２００６−２０２２７６号に記載の方法、および、一定の大きさの画像データを切り出して、特徴部分の画像データと照合を行う特開２００４−３３４８３６号に記載の方法等の既存の方法を含む各種の方法を用いることができる。ここで、顔の認識については、複数の人物の顔を認識してもよいし、特定の人物の顔について認識してもよい。また、複数の人物のうち、特定の人物は顔を含む各部位を検出し、残りの人物は顔のみを検出するようにしてもよい。なお、顔の向きの情報についても、被写体情報として出力する。
【００３８】
顔の向き検出手段２０は、本実施形態では、被写体抽出段手段１４の内部に設けられているが、これに限定されず、顔の向き検出手段２０が被写体抽出手段１４の外部に設けられていてもよい。
【００３９】
立体度算出手段１６には、立体画像データ入力手段１２から立体画像データ、および被写体抽出手段１４から被写体情報が入力される。立体度算出手段１６は、前述のように、立体画像データに含まれる主画像データおよび副画像データ間の被写体のテンプレートマッチングを行って対応点を検出し、対応点検出結果に基づいて、被写体または被写体の各部位ごとに視差および距離を算出する。また、算出された視差および距離から、立体度を算出して立体度（被写体の顔の向きの情報を含む）出力する。
【００４０】
立体度算出手段１６は、図３の例では、顔の立体度を（Ｚ２）（始点座標（０，０，０）、終点座標（０，０，Ｚ２）、以下同様である。）、右手の立体度を（Ｚ３）、左手の立体度を（Ｚ４）、および、胴体の立体度を（Ｚ５）とし、被写体の立体度として、これらのうち１以上を出力する。なお、出力する立体度はこれらに限定されず、足等の他の部位の立体度を出力してもよい。
また、図４に被写体の顔の向きと立体度の例を示す。例えば、「左上（１）」であれば、顔は左上を向き、立体度は（１）であることを示している。これ以外の被写体の顔の向きおよび立体度についても同様である。
【００４１】
立体画像データ記録手段１８には、立体画像データ入力手段１２から立体画像データ、および立体度算出手段１６から立体度および顔の向きが入力される。立体画像データ記録手段１８は、立体度および顔の向きと立体画像データとを関連付けて記録する。立体画像データ記録手段１８は、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の半導体メモリでもよいし、ＨＤＤ（Hard Disk Drive）等の磁気記録媒体でもよい。
【００４２】
また、立体度は、立体画像データのＥｘｉｆ（Exchangeable image file format）タグの一部にその値を書き込んでもよいし、立体画像データファイル（例えば、ファイル名：Image0001.jpg）と別のファイル（例えば、ファイル名：Image0001.vct）として記録するようにしてもよい。
【００４３】
テンプレート記録手段４０には、ユーザの立体画像データと合成するための複数種類の立体画像テンプレートがあらかじめ記録されている。合成用の立体画像テンプレートとしては、例えば、テーマパーク等におけるキャラクタを用いたものが挙げられ、ユーザの立体画像（ユーザ画像）の被写体と立体画像テンプレートのキャラクタとを合成した立体合成画像を得ることができるものである。
【００４４】
テンプレート選択手段４２には、立体画像データ記録手段１８から立体画像データと関連付けて記録された立体度および顔の向き、およびテンプレート記録手段４０から立体画像テンプレートが入力される。テンプレート選択手段４２は、テンプレート記録手段４０に記憶された複数種類の立体画像テンプレートの中から、立体度および顔の向きに基づき、所定数の適切な立体画像テンプレートを選択し、図示しない表示装置に表示する。テンプレート選択手段４２は、表示装置に表示された所定数の立体画像テンプレートの中から、図示しない入力手段を介してユーザにより選択された立体画像テンプレートを出力する。
【００４５】
なお、本実施形態では、被写体抽出手段１４から立体度算出手段１６に入力される被写体情報に含まれる被検者の顔の向きの情報（被写体情報）を立体度とともにまとめて立体度算出手段１６から出力しているが、本発明はこれに限定されず、被写体抽出手段１４から出力される被写体の顔の向きの情報（被写体情報）と、立体度算出手段１６から出力される被写体の立体度を別々に、立体画像データ記録手段１８およびテンプレート選択手段４２にそれぞれ入力する構成としてもよい。
【００４６】
ここで、テンプレート選択手段４２による立体画像テンプレートの選択方法について説明する。
図５は、立体画像６０ａ上において、ユーザの立体画像の被写体６１が右側、立体画像テンプレートのキャラクタ６２が左側に配置された例である。被写体６１の立体度６６は（１）であり、キャラクタ６２の立体度６８は（３）である。また、被写体６１およびキャラクタ６２の顔の向きは左下である。この状態では、両者の顔の向きは同じであるが、被写体６１の立体度よりも、キャラクタ６２の立体度の方が極端に大きく、被写体６１とキャラクタ６２のＺ軸方向の位置関係に不整合が生じてしまう。
【００４７】
このため、テンプレート選択手段４２では、被写体６１の立体度に基づいて、被写体６３の立体度６９に対応する立体度、例えば、図６に示す立体画像６０ｂのように、被写体６３の立体度６９と同じ大きさの立体度７０（どちらも立体度は（３））を持ち、顔の向きが同じキャラクタ６４を配置することができるように、適切な立体画像テンプレートが選択される。
【００４８】
また、図７に示す立体画像６０ｃの例は、被写体７２の顔の向きが左上、キャラクタ７４の顔の向きが右上であり、被写体７２とキャラクタ７４が向かい合わせとなる配置である。しかし、キャラクタ７４の立体度７８が（３）であり、被写体７２の立体度７６の（１）よりも極端に大きいため、被写体７２よりもキャラクタ７４の方が目立ってしまい好ましくない。
【００４９】
さらに、図８に示す立体画像６０ｄの例も同様に、被写体８８の顔の向きが左上、キャラクタ９０の顔の向きが右上であり、被写体８８とキャラクタ９０が向かい合わせとなる配置である。しかし、キャラクタ９０の立体度９４が（１）、被写体８８の立体度９２が（３）であるため、被写体８８とキャラクタ９０のバランスが崩れてしまい好ましくない。
【００５０】
ユーザの立体画像（ユーザ画像）の被写体の立体度、顔の向き、および配置と、合成用立体画像テンプレートのキャラクタ（表１ではキャラと記載）の立体度および顔の向きとの組み合わせのうち、ユーザ立体度として、被写体の顔の向きが上向きで、立体度が（Ｎ）の場合のマトリックスの一例を表１に示す。なお、被写体の顔の向きが下向きの場合には、ＯＫ（適切）およびＮＧ（不適切）となるキャラクタの顔の向きは逆の組み合わせとなる。
【００５１】
【表１】
【００５２】
ユーザ画像の被写体が立体画像の左側に配置されている場合、キャラクタ画像のキャラクタは被写体の右側に配置され、被写体が右側に配置されている場合、キャラクタは被写体の左側に配置されるものとする。また、被写体が中央に配置されている場合、キャラクタは被写体の右側もしくは左側に配置される（どちら側に配置されるかはユーザにより選択される）ものとする。
【００５３】
被写体の顔の向きが左側（左上、左正、左下）もしくは右側（右上、右正、右下）で、被写体が左側もしくは右側に配置されている場合に、被写体の顔の向きがキャラクタの方を向く場合には、上下方向のうち被写体の顔の向きと逆方向のキャラクタの顔の向きをＮＧ（非選択）とする。また、被写体の顔の向きがキャラクタの方を向かない場合には、左右方向のうち被写体の顔の向きと逆方向のキャラクタの顔の向きをＮＧとし、かつ、上下方向のうち被写体の顔の向きと逆方向のキャラクタの顔の向きをＮＧとする。
【００５４】
また、被写体の顔の向きが左側もしくは右側で、被写体が中央に配置されている場合には、キャラクタが被写体の左側に配置されるか右側に配置されるかに応じて、被写体の顔の向きがキャラクタの方を向くか向かないかが変わってくる。従って、被写体が中央に配置されている場合には、被写体の顔の向きに係わらず、上下方向のうち被写体の顔の向きと逆方向のキャラクタの顔の向きをＮＧとする。
【００５５】
また、被写体の顔の向きが中央（中央上、中央正、中央下）の場合には、被写体が左側、中央、右側のどの位置に配置されている場合であっても、被写体の顔の向きはキャラクタの配置に係わらず中立な向きとなる。従って、被写体の顔の向きが中央の場合には、被写体の配置および顔の向きに係わらず、上下方向のうち被写体の顔の向きと逆方向のキャラクタの顔の向きをＮＧとする。
【００５６】
例えば、被写体の顔の向きが左上で、左側に配置されている場合、被写体の顔の向きは、右側に配置されるキャラクタの方を向かない。従って、キャラクタの右側方向の顔の向きをＮＧとし、かつ、キャラクタの下側方向の顔の向きをＮＧとする。つまり、キャラクタの顔の向きのうち、右側方向に含まれる右上、右正、右下をＮＧ、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の中央上、左上、左正、中央正をＯＫ（選択）とする。
【００５７】
被写体の顔の向きが左上で、右側に配置されている場合、被写体の顔の向きは、左側に配置されるキャラクタの方を向く。従って、キャラクタの下側方向の顔の向きをＮＧとする。つまり、キャラクタの顔の向きのうち、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の右正、右上、中央上、左上、左正、中央正をＯＫとする。
【００５８】
被写体の顔の向きが左上で、中央に配置されている場合、被写体の顔の向きに係わらず、キャラクタの下側方向の顔の向きをＮＧとする。つまり、キャラクタの顔の向きのうち、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の右正、右上、中央上、左上、左正、中央正をＯＫとする。
【００５９】
続いて、被写体の顔の向きが右上で、左側に配置されている場合は、被写体の顔の向きが左上で、右側に配置される場合に対して左右逆の状態となる。従って、この場合には、ＮＧとするキャラクタの顔の向きを左右逆向きにすればよく、キャラクタの下側方向の顔の向きをＮＧとする。つまり、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の右正、右上、中央上、左上、左正、中央正をＯＫとする。
【００６０】
被写体の顔の向きが右上で、右側に配置されている場合、同じく、被写体の顔の向きが左上で、左側に配置される場合に対して左右逆の状態となる。従って、同様に、ＮＧとするキャラクタの顔の向きを左右逆向きにして、キャラクタの左側方向の顔の向きをＮＧとし、かつ、下側方向の顔の向きをＮＧとする。つまり、左側方向に含まれる左上、左正、左下、および、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の右正、右上、中央上、中央正をＯＫとする。
【００６１】
被写体の顔の向きが右上で、中央に配置されている場合も同様に、被写体の顔の向きが左上で、中央に配置される場合に対して左右逆の状態となる。従って、同様に、ＮＧとするキャラクタの顔の向きを左右逆向きにして、キャラクタの下側方向の顔の向きをＮＧとする。つまり、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の右正、右上、中央上、左上、左正、中央正をＯＫとする。
【００６２】
続いて、被写体の顔の向きが中央上の場合、被写体の配置および顔の向きに係わらず、キャラクタの下側方向の顔の向きをＮＧとする。つまり、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の右正、右上、中央上、左上、左正、中央正をＯＫとする。
【００６３】
なお、表１では、被写体の立体度（Ｎ）を超えない範囲であるという意味でキャラクタの立体度を（Ｎ以下）としているが、被写体とキャラクタのバランスが取れる範囲であれば、被写体の立体度とキャラクタの立体度とが異なっていてもよい。具体的には、例えば、被写体の立体度（Ｎ）に対してキャラクタの立体度が（Ｎ／３）よりも大きく（３Ｎ）よりも小さい範囲であることが望ましい。
【００６４】
また、組み合わせ可能なキャラクタの立体度および顔の向きに優先順位を設けて、優先順位に従って立体画像テンプレートが選択されるようにしてもよい。例えば、図９および表２に示すように、ユーザ立体度が左上（１）の場合、立体画像１００における被写体１０２の立体度および顔の向き１０６に対して、キャラクタ１０４の立体度および顔の向き１０８ａ〜１０８ｈのうち、１０８ｂを１番、１０８ｄを２番というように優先順位を付け、立体度および顔の向き１０８ｆ、１０８ｇ、および１０８ｈの不適切な組み合わせの場合は、選択されないようにＮＧとする。
【００６５】
【表２】
【００６６】
また、優先順位の替わりに、これらの立体度および顔の向きをプレビュー画面に表示して、ユーザが選択可能なように構成してもよい。さらに、保存容量を節約するために、あらゆる組み合わせを用意するのではなく、最も適切な組み合わせに近い立体画像テンプレートを用意するようにしてもよい。
【００６７】
続いて、合成手段４４には、立体画像データ記録手段１８から立体度および顔の向きと関連付けられた立体画像データと、テンプレート選択手段で選択された立体画像テンプレートが入力される。合成手段４４は、立体画像データと、テンプレート選択手段によって選択された立体画像テンプレート（つまり、立体画像の被写体と立体画像テンプレートのキャラクタ）とを合成して、合成立体画像を構成する合成立体画像データを生成し出力する。
【００６８】
印刷装置４６には、合成手段４４から合成立体画像データが入力される。印刷装置４６は、合成立体画像データに対応する合成立体画像をプリントアウトすることができるプリンタである。立体画像のプリントとしては、例えば、複数の画像を短冊状に切り取って交互に配置し、パララックスバリア（視差バリア）、またはレンチキュラーレンズを用いて裸眼立体視が可能なように印刷することが挙げられる。
【００６９】
次に、本発明に係る画像処理方法を実現する、本発明に係る立体画像印刷システム１および画像処理装置１０の動作を説明する。
【００７０】
図１０は、本発明に係る画像処理方法の処理の流れの一例を示すフローチャートである。
まず、立体画像データ入力手段１２を介して、素材となる立体画像データが入力される（ステップＳ１０）。立体画像データは、被写体抽出手段１４に入力されて立体画像が解析され（ステップＳ１２）、被写体が抽出される。また、被写体の各部位、例えば、顔、左右の手、胴体、足等について、それぞれの領域が抽出される。被写体の顔については顔の向きの検出が行われ、抽出された被写体、被写体の各部位の情報、および被写体の顔の向きの情報が生成され、被写体情報として出力される（ステップＳ１４）。
【００７１】
立体画像データ、および被写体情報は、立体度算出手段１６に入力され、立体画像データの主画像データおよび副画像データ間の、被写体（顔）のマッチングが行われて対応点が検出される（ステップＳ１６）。対応点検出結果に基づいて、被写体および被写体の顔ごとに視差および距離が算出される（ステップＳ１８）。また、算出された視差および距離から、立体度が算出され出力される（ステップＳ２０）。
【００７２】
立体度が求められると、立体画像に写っている全ての人物について、立体度の算出が終了したか判定され（ステップＳ２２）、全ての人物についての立体度の算出が終了していなければ、ステップＳ１６へと戻り、残りの人物について立体度が求められる（ステップＳ２２で“Ｎ”）。
【００７３】
全ての人物についての立体度の算出が終了していれば（ステップＳ２２で“Ｙ”）、立体画像データ、ならびに立体度および顔の向きは、立体画像データ記録手段１８に入力され、立体度および顔の向き（以下、立体度には顔の向きを含む）と立体画像データとが関連付けられて、すなわち、立体度が立体画像データのＥｘｉｆタグへ書き込まれて、または別のファイルへ出力されて記録される（ステップＳ２４）。例えば、図１１に示すファイルフォーマットの例では、立体画像データ３０のヘッダ３２内のＥｘｉｆタグに立体度が書き込まれる。
【００７４】
また、ヘッダ３２内のＥｘｉｆタグへの記入の例としては、被写体の立体度のみ記録する場合を図１２に示し、被写体の各部位ごとの立体度を記録する場合を図１３に示す。さらに、複数の被写体がある場合のＥｘｉｆタグへの記入の例としては、図１４に示すように、顔立体度を含む各部位の立体度をそれぞれの被写体ごとに記録することができる。
【００７５】
このように、被写体の立体度および顔の向きと立体画像データとを関連付けて記録することで、被写体抽出の精度を上げることができ、より自然で立体視しやすい立体画像を得ることができる。
【００７６】
続いて、図１５〜図１８は、立体画像データ記録手段１８に記録された、立体画像データおよび立体度（ユーザ立体画像データおよびユーザ立体度）を用いて、立体画像データと立体画像テンプレートとを合成し、立体画像データを印刷する処理の流れの一例を示すフローチャートである。
【００７７】
まず、ユーザ立体画像データおよびユーザ立体度、および被写体情報（立体画像データのＥｘｉｆタグから、もしくは、立体画像データファイル（Image0001.vct）から）を読み込む（ステップＳ１０４）。次に、被写体（ユーザ）情報およびユーザ立体度に基づいて、適切な立体画像テンプレートをテンプレート記録手段４０から読み込み、図示しない表示装置に複数表示し（ステップＳ１０６）、操作者による合成用の立体画像テンプレート（キャラクタ）の選択が行われる（ステップＳ１０８）。なお、ここで選択される立体画像テンプレート（キャラクタ）は、配置については決定されていない。また、合成用の立体画像テンプレート（キャラクタ）の選択は、自動的に行われてもよい。
【００７８】
合成用の立体画像テンプレート（キャラクタ）が選択されると、立体画像データの被写体の配置位置が検出または選択される（ステップＳ１１０）。被写体（ユーザ）の配置位置が左の場合には（ステップＳ１１０で“左”）、被写体が左に配置された場合のマトリックスが選択され（ステップＳ１１２）、被写体の配置位置が中央の場合には（ステップＳ１１０で“中央”）、被写体が中央に配置された場合のマトリックスが選択され（ステップＳ１１４）、被写体の配置位置が右の場合には（ステップＳ１１０で“右”）、被写体が右に配置された場合のマトリックスが選択される（ステップＳ１１６）。
【００７９】
続いて、被写体の立体度（ユーザ立体度）に基づいて、マトリックスが選択される。ユーザ立体度（顔の向き）の左右方向の向きが左の場合であって（ステップＳ１１８で“左”）、ユーザ立体度（顔の向き）の上下方向の向きが上の場合（ステップＳ１２０で“上”）、ユーザ立体度が左上のマトリックスが選択される（ステップＳ１２６）。同様に、ユーザ立体度の左右方向の向きが左の場合であって（ステップＳ１１８で“左”）、ユーザ立体度の上下方向の向きが正面の場合（ステップＳ１２０で“正面”）、ユーザ立体度が左正面のマトリックスが選択される（ステップＳ１２８）。また、ユーザ立体度の左右方向の向きが左の場合であって（ステップＳ１１８で“左”）、ユーザ立体度の上下方向の向きが下の場合（ステップＳ１２０で“下”）、ユーザ立体度が左下のマトリックスが選択される（ステップＳ１３０）。
【００８０】
立体度の左右方向の向きが中央の場合（ステップＳ１１８で“中央”）も同様に、ステップＳ１２２，Ｓ１３２〜Ｓ１３６において、ユーザ立体度が中央上、中央正面、または中央下のいずれかのマトリックスが選択される。ユーザ立体度の左右方向の向きが右の場合（ステップＳ１１８で“右”）も同様に、ステップＳ１２４，Ｓ１３８〜Ｓ１４２において、ユーザ立体度が右上、右正面、または右下のいずれかのマトリックスが選択される。
【００８１】
ユーザ立体度に基づきマトリックスが選択されると、当該マトリックスに含まれる被写体（ユーザ）とキャラクタの位置関係から、合成可能（適切）な複数の立体画像テンプレートが提示され、一意のキャラクタの配置位置と立体度を有する立体画像テンプレートが、操作者によって選択される（ステップＳ１４４）。なお、最も適切と考えられるキャラクタの配置位置と立体度を有する立体画像テンプレートが自動的に選択されるようにしてもよい。
【００８２】
キャラクタの配置位置と立体度を有する立体画像テンプレート、および立体画像データは、合成手段４４に入力される。キャラクタの配置位置と立体度を有する立体画像テンプレート、および立体画像データは合成されて、合成立体画像データが生成され出力される（ステップＳ１４６）。
【００８３】
合成立体画像データは、印刷装置４６に入力され、立体画像が印刷される（ステップＳ１４８）。
【００８４】
このように、ユーザは立体度の値を意識することなく、所望の合成用の立体画像テンプレートを選択するだけで、被写体の配置と立体度（ユーザ立体度）に基づいて、不適切な立体画像テンプレートが選択されることを排除することが可能となり、満足度を向上させることができる。
【００８５】
また、被写体の配置に合わせて、立体画像テンプレートのキャラクタの配置および立体度を変更することで、つまり、被写体とキャラクタの立体感が最も適合した立体画像テンプレートが選択されることで、よりエンターテイメント性が高く満足度が高い立体画像が印刷された立体プリントを得ることができる。
【００８６】
なお、本発明においては、上述した画像処理方法の各工程をコンピュータに実行させるための画像処理プログラムとして構成しても良いし、また、コンピュータを、画像処理方法の各工程を実施する各手段として、または、上述した画像処理装置を構成する各手段として機能させる画像処理プログラムとして構成しても良い。
また、本発明を、上述した画像処理プログラムをコンピュータにより読取可能な媒体またはコンピュータにより読取可能なメモリとして構成してもよい。
【００８７】
以上、本発明の画像処理装置、立体画像印刷システム、画像処理方法およびプログラムについて詳細に説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。
【符号の説明】
【００８８】
１ 立体画像印刷システム
１０ 画像処理装置
１２ 立体画像データ入力手段
１４ 被写体抽出手段
１６ 立体度算出手段
１８ 立体画像データ記録手段
２０ 顔の向き検出手段
３０ 立体画像データ
３２ ヘッダ
４０ テンプレート記録手段
４２ テンプレート選択手段
４４ 合成手段
４６ 印刷装置
６０ａ〜６０ｄ，１００ 立体画像
６１，６３，７２，８８，１０２ 被写体
６２，６４，７４，９０，１０４ キャラクタ
６６，６８，６９，７０，７６，７８，９２，９４，１０６，１０８ａ〜１０８ｈ 立体度（顔の向きを含む）
【技術分野】
【０００１】
本発明は、立体画像データに対して画像処理を行って立体画像を生成する画像処理装置、画像処理方法およびプログラムに関するものである。
【背景技術】
【０００２】
従来から、視線の異なる複数の画像を組み合わせて表示することで、視差を利用した立体視が実現されている。例えば、（１）左目用と右目用の画像に対して、それぞれ直交する直線偏光をかけて、偏光メガネを用いて立体視を行う方法、（２）左目用と右目用の画像を交互に表示して、表示手段と同期した液晶シャッターを備えたメガネを用いて立体視を行う方法、（３）左目用と右目用の画像に対して、それぞれ赤と青の光を重ねて表示し、左右に赤と青のカラーフィルタの付いたメガネを用いて立体視を行う方法が挙げられる。
【０００３】
また、いわゆる裸眼立体視の方法として、例えば、複数の画像を短冊状に切り取って交互に配置し、パララックスバリア（視差バリア）、またはレンチキュラーレンズを用いて、左右の眼でそれぞれの画像を見ることで立体視を行う方法も挙げられる。
【０００４】
ここで、本発明に関連する先行技術文献として、特許文献１〜４が挙げられる。
特許文献１には、複数の位置から複数の撮像装置によって撮影され、当該複数の位置のうちの所望の位置と所望の撮影時刻が指定されると、撮影時刻の異なる複数のフレーム画像が選択され、立体画像形成部により、所定の光学系を介して観察した場合に観察視点位置の移動に従って順次観察できるように合成され立体印刷される、立体画像形成装置が開示されている。
【０００５】
特許文献２には、３次元表示面または該３次元表示面の近傍に配置された実物体の位置または姿勢若しくは形状を検出する検出部と、実物体の形状と位置または姿勢とに基づいて、実物体が３次元表示面により照射された光線を遮蔽する領域である遮蔽領域を算出する遮蔽領域算出部と、遮蔽領域に対して、遮蔽領域以外の領域と異なる描画処理を行って、立体画像を描画する描画部とを備えた立体画像生成装置が開示されている。
【０００６】
特許文献３には、撮影空間を撮影したときに撮像系により捉えられた各点の輝度値を表す輝度画像を取得する輝度画像取得手段と、各点の空間的な位置を所定の座標系で表した３次元情報を取得する３次元情報取得手段と、所定の入力装置から、座標系の軸方向ごとのオフセット値を指定する入力を受け付けて、該各オフセット値を所定のメモリに記憶し、座標系の原点をオフセット値分変位させた点をオフセット原点として設定するオフセット原点設定手段とを備え、それぞれの情報を格納する領域を有する所定フォーマットのファイルを生成するファイル生成装置が開示されている。
【０００７】
特許文献４には、立体強度のレベル値が大きいほど立体感の強い立体視画像が表示されることを表わす、立体視画像の立体強度を示すタグ（立体強度タグ）が画像制御情報として含まれ、立体視画像を表示させたい表示装置の指定を付属情報として管理することが可能な立体視画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−１６５７９５号公報
【特許文献２】特開２００８−９０６１７号公報
【特許文献３】特開２００８−２５２４９３号公報
【特許文献４】特開２００４−３３４８３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
立体画像を印刷した立体プリント（立体写真）を得るとき、通常の平面画像のプリントのように、立体画像の被写体と立体画像テンプレートのキャラクタとを合成した合成画像を得たい場合がある。しかし、立体画像は立体度（奥行き量）を考慮する必要があり、ユーザが撮影した立体画像（ユーザ画像）の立体度とテンプレートの立体度とが大きく異なっていると、立体視しづらく、奥行き感にアンバランスが生じてしまうという問題があった。
【００１０】
本発明の目的は、ユーザが撮影した立体画像の立体度に合わせて、合成用の立体画像テンプレートの立体度、およびテンプレート内のキャラクタの方向を変更することで、より自然で立体視しやすい立体合成画像を生成する画像処理装置、画像処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明は、立体画像を構成する立体画像データを外部から入力するための立体画像データ入力手段と、
前記立体画像データから被写体を抽出する被写体抽出手段と、
前記立体画像データに含まれる視点の異なる複数の平面画像データから前記被写体の立体度を算出する立体度算出手段と、
前記立体度と前記立体画像データとを関連付けて記録する立体画像データ記録手段と、
複数種類の立体画像テンプレートが記録されたテンプレート記録手段と、
前記テンプレート記録手段に記録された複数種類の立体画像テンプレートの中から、前記立体画像データと関連付けて記録された立体度に基づいて所定数の立体画像テンプレートを選択するテンプレート選択手段と、
前記立体画像データと前記テンプレート選択手段により選択される所定数の立体画像テンプレートのうちユーザにより選択される１つの立体画像テンプレートとを合成し、合成立体画像を構成する合成立体画像データを出力する合成手段と、を有することを特徴とする画像処理装置を提供する。
【００１２】
ここで、前記テンプレート選択手段は、前記被写体の立体度をＮとして、Ｎ／３よりも大きく３Ｎよりも小さい範囲の立体度のキャラクタを含む立体画像テンプレートを選択するものであることが好ましい。
【００１３】
また、前記被写体抽出手段は、さらに、前記被写体の顔を抽出するものであって、
さらに、前記被写体の顔の向きを検出する顔の向き検出手段を有することが好ましい。
【００１４】
また、前記テンプレート選択手段は、さらに、前記立体画像における被写体の顔の向きおよび該被写体の位置に基づいて、前記立体画像テンプレートを選択するものであることが好ましい。
【００１５】
また、前記テンプレート選択手段は、前記被写体の顔の向きが左側もしくは右側で、該被写体が前記立体画像の左側もしくは右側に配置され、前記立体画像テンプレートに含まれるキャラクタが右側もしくは左側に配置される場合、該被写体の顔の向きが前記キャラクタの方を向く場合には、上下方向のうち前記被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、前記被写体の顔の向きが前記キャラクタの方を向かない場合には、左右方向のうち前記被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、かつ、上下方向のうち前記被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、それ以外の顔の向きの前記キャラクタを含む立体画像テンプレートを選択するものであることが好ましい。
【００１６】
また、前記テンプレート選択手段は、前記被写体の顔の向きが左側もしくは右側で、該被写体が中央に配置され、前記立体画像テンプレートに含まれるキャラクタが前記被写体の右側もしくは左側に配置される場合には、前記被写体の顔の向きに係わらず、上下方向のうち該被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、それ以外の顔の向きの前記キャラクタを含む立体画像テンプレートを選択するものであることが好ましい。
【００１７】
また、前記テンプレート選択手段は、前記被写体の顔の向きが中央の場合には、該被写体の配置および顔の向きに係わらず、上下方向のうち前記被写体の顔の向きと逆方向の前記立体画像テンプレートに含まれるキャラクタの顔の向きを非選択とし、それ以外の顔の向きの前記キャラクタを含む立体画像テンプレートを選択するものであることが好ましい。
【００１８】
また、前記テンプレート選択手段は、前記立体画像テンプレートに含まれるキャラクタの立体度および顔の向きに優先順位を設け、該優先順位に従って前記立体画像テンプレートを選択するものであることが好ましい。
【００１９】
また、前記テンプレート選択手段は、前記立体画像テンプレートに含まれるキャラクタの立体度および顔の向きをプレビュー画面に表示して、該プレビュー画面に表示された複数の立体画像テンプレートの中から、ユーザにより選択される１つの立体画像テンプレートを選択するものであることが好ましい。
【００２０】
また、前記被写体抽出手段は、前記被写体の複数の部位を抽出し、
前記立体度算出手段は、前記被写体の複数の部位の立体度を算出するものであることが好ましい。
【００２１】
また、前記立体画像データ記録手段は、前記被写体の立体度を、前記立体画像データのＥｘｉｆタグに記録するものであることが好ましい。
【００２２】
また、前記立体画像データ記録手段は、前記被写体の立体度を、前記立体画像データとは別のファイルに記録するものであることが好ましい。
【００２３】
また、前記立体度算出手段は、前記視点の異なる複数の平面画像データから前記被写体の視差および前記視点から前記被写体までの距離を算出し、該視差および距離から前記被写体の立体度を算出するものであることが好ましい。
【００２４】
また、本発明は、上記のいずれかに記載の画像処理装置と、
前記画像処理装置から出力される合成立体画像データに対応する合成立体画像を印刷する印刷装置と、を有することを特徴とする立体画像印刷システムを提供する。
【００２５】
また、本発明は、外部から入力される、立体画像を構成する立体画像データを受け取る立体画像データ入力ステップと、
前記立体画像データから被写体を抽出する被写体抽出ステップと、
前記立体画像データに含まれる視点の異なる複数の平面画像データから前記被写体の立体度を算出する立体度算出ステップと、
前記立体度と前記立体画像データとを関連付けて記録する立体画像データ記録ステップと、
あらかじめ記録されている複数種類の立体画像テンプレートの中から、前記立体画像データと関連付けて記録された立体度に基づいて所定数の立体画像テンプレートを選択するテンプレート選択ステップと、
前記立体画像データと前記選択された所定数の立体画像テンプレートのうちユーザにより選択される１つの立体画像テンプレートとを合成し、合成立体画像を構成する合成立体画像データを出力する合成ステップと、を有することを特徴とする画像処理方法を提供する。
【００２６】
また、本発明は、上記に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラムを提供する。
【発明の効果】
【００２７】
本発明によれば、立体度を意識することなく、より自然で立体視しやすいレイアウトのユーザ画像とキャラクタ画像の合成画像、およびこれらを印刷した立体プリントを、失敗なく得ることができる。
【図面の簡単な説明】
【００２８】
【図１】（ａ）は、平面画像データの軸を示す説明図であり、（ｂ）は、本発明に係る立体画像データの軸および立体度の一例を示す説明図である。
【図２】本発明に係る立体画像印刷システムの一実施形態を示すブロック図である。
【図３】本発明に係る立体画像データの軸および立体度の、他の一例を示す説明図である。
【図４】顔の向きの立体度の一例を示す説明図である。
【図５】立体プリントの一例を示す説明図である。
【図６】立体プリントの他の一例を示す説明図である。
【図７】立体プリントの他の一例を示す説明図である。
【図８】立体プリントの他の一例を示す説明図である。
【図９】立体プリントの他の一例を示す説明図である。
【図１０】本発明に係る画像処理装置の一実施形態における処理の流れの一例を示すフローチャートである。
【図１１】立体画像データのファイル構成の一例を示す説明図である。
【図１２】立体画像データのファイルの、ヘッダの一例を示す説明図である。
【図１３】立体画像データのファイルの、ヘッダの他の一例を示す説明図である。
【図１４】立体画像データのファイルの、ヘッダの他の一例を示す説明図である。
【図１５】本発明に係る立体画像印刷システムにおける立体プリント処理の流れの一例を示すフローチャートである。
【図１６】図１５のフローチャートの続きを示すフローチャートである。
【図１７】図１５のフローチャートの続きを示すフローチャートである。
【図１８】図１５のフローチャートの続きを示すフローチャートである。
【発明を実施するための形態】
【００２９】
本発明に係る画像処理方法を実施する画像処理装置、および立体画像印刷システムを、添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。
【００３０】
始めに、本発明に係る立体画像における被写体の立体度について説明する。
図１（ａ）および（ｂ）は、ユーザ画像の平面画像データと立体画像データとを比較した図である。
図１（ａ）は、従来の平面画像を構成する平面画像データ（Ｘ，Ｙ軸の２次元データ）の軸を示す図であり、水平軸をＸ軸、垂直軸をＹ軸として表現している。図１（ｂ）は、本発明に係る立体画像を構成する立体画像データ（Ｘ，Ｙ，Ｚ軸の３次元データ）の軸および立体度の一例を示す図であり、平面画像データのＸ軸、Ｙ軸、および平面画像データのＸ軸、Ｙ軸からなる平面に直交するＺ軸を有し、Ｚ軸は被写体の飛び出し方向（奥行き量、または飛び出し量、つまり被写体の立体度）を表す軸である。つまり、立体度は、立体画像データに含まれるＸ，Ｙ，Ｚ軸の３次元データのうち、Ｚ軸のデータを表す。
【００３１】
立体画像データとしては、例えば、右目用の平面画像および左目用の平面画像を含むステレオ画像の画像データを例示することができる。つまり、ステレオ画像の画像データは、１つの画像データ内に、右目用の平面画像の画像データおよび左目用の平面画像の画像データを含む。なお、立体画像データは、ステレオ画像の画像データに限らず、視点の異なる複数の平面画像の画像データを１つの立体画像データ内に含むものであればよい。
【００３２】
ここで、立体画像における被写体の立体度を求めるためには、まず、例えば、特開２００６−１６５７９５号公報、特開２００１−３４６２２６号公報、特開２００８−９０６１７号公報等に記載の方法により、被写体をボリュームデータ（Ｘ，Ｙ，Ｚ軸の３次元データ）として描画し、右目用と左目用のそれぞれの平面画像（主画像、副画像）間のテンプレートマッチングによる対応点検出結果より、右目用の平面画像と左目用の平面画像との間の視差（視差量）および視点から被写体までの距離を算出する。
【００３３】
次に、例えば、特開２０１０−４５５８４号公報等に記載されているように、求められた視差および距離から、Ｚ軸で表される立体度の軸の値を算出することで、（Ｚ）で表される立体度を求めることができる。つまり、立体度は、視差および距離に比例し、視差が大きくなると大きくなり、距離が長くなると大きくなる。従って、立体度は、距離が求まれば、視差に応じて一意に算出することができる。例えば、図１（ｂ）では、Ｚ軸の値（Ｚ軸方向の飛び出し量）をＺ１とすると、立体度は（Ｚ１）（始点座標（０，０，０）、終点座標（０，０，Ｚ１）））となる。なお、立体度の算出方法は何ら限定されず、既存の方法を含む各種の方法を用いることができる。
【００３４】
次に、本発明に係る立体画像印刷システムについて説明する。
図２は、本発明に係る画像処理方法を実施する、本発明に係る立体画像印刷システムの構成を表す一実施形態のブロック図である。
図２に示す立体画像印刷システム１は、画像処理装置１０、および印刷装置４６によって構成される。また、画像処理装置１０は、立体画像データ入力手段１２、被写体抽出手段１４、立体度算出手段１６、立体画像データ記録手段１８、テンプレート記録手段４０、テンプレート選択手段４２、および合成手段４４によって構成される。
【００３５】
立体画像データ入力手段１２は、立体画像データを入力するための入力手段であって、立体画像データを画像処理装置１０の外部から入力するための外部インタフェースを有する。立体画像データの作成方法には特に限定はなく、ユーザが３Ｄ対応のデジタルスチルカメラまたはデジタルビデオカメラで撮影した動画像／静止画像データ、ならびにネットワーク上からダウンロードした動画像／静止画像データなど、種々の立体画像データを入力することができる。外部インタフェースは、ＵＳＢ（Universal Serial Bus）、メモリーカードＲ／Ｗ（reader/writer）、光学ディスク、および有線／無線ＬＡＮ（Local Area Network）などであればよい。立体画像データは、外部から外部インタフェースを介して入力される。立体画像データ入力手段１２は、外部から入力される立体画像データを受け取って画像処理装置１０の各部位へ供給する。
【００３６】
被写体抽出手段１４には、立体画像データ入力手段１２から立体画像データが入力される。被写体抽出手段１４は、立体画像データを解析して立体画像における被写体（の領域）を抽出する。被写体の抽出方法は、例えば、エッジ検出、色彩検出等の既存の方法を含む各種の方法を用いることができる。また、被写体の各部位、例えば、顔、左右の手、胴体、足等について、それぞれの領域を抽出する。被写体抽出手段１４は、抽出された被写体の情報および被写体の各部位の情報を生成し、被写体情報として出力する。
【００３７】
また、被写体抽出手段１４は、顔の向き検出手段２０を有する。
顔の向き検出手段２０は、被写体の顔の領域から、天地方向の顔の向き（角度）、および左右方向の顔の向き（角度）を算出する。顔の向き検出方法は、例えば、マシンラーニング手法を利用して、顔画像からランドマークを示す点の位置を検出する特開２００６−２０２２７６号に記載の方法、および、一定の大きさの画像データを切り出して、特徴部分の画像データと照合を行う特開２００４−３３４８３６号に記載の方法等の既存の方法を含む各種の方法を用いることができる。ここで、顔の認識については、複数の人物の顔を認識してもよいし、特定の人物の顔について認識してもよい。また、複数の人物のうち、特定の人物は顔を含む各部位を検出し、残りの人物は顔のみを検出するようにしてもよい。なお、顔の向きの情報についても、被写体情報として出力する。
【００３８】
顔の向き検出手段２０は、本実施形態では、被写体抽出段手段１４の内部に設けられているが、これに限定されず、顔の向き検出手段２０が被写体抽出手段１４の外部に設けられていてもよい。
【００３９】
立体度算出手段１６には、立体画像データ入力手段１２から立体画像データ、および被写体抽出手段１４から被写体情報が入力される。立体度算出手段１６は、前述のように、立体画像データに含まれる主画像データおよび副画像データ間の被写体のテンプレートマッチングを行って対応点を検出し、対応点検出結果に基づいて、被写体または被写体の各部位ごとに視差および距離を算出する。また、算出された視差および距離から、立体度を算出して立体度（被写体の顔の向きの情報を含む）出力する。
【００４０】
立体度算出手段１６は、図３の例では、顔の立体度を（Ｚ２）（始点座標（０，０，０）、終点座標（０，０，Ｚ２）、以下同様である。）、右手の立体度を（Ｚ３）、左手の立体度を（Ｚ４）、および、胴体の立体度を（Ｚ５）とし、被写体の立体度として、これらのうち１以上を出力する。なお、出力する立体度はこれらに限定されず、足等の他の部位の立体度を出力してもよい。
また、図４に被写体の顔の向きと立体度の例を示す。例えば、「左上（１）」であれば、顔は左上を向き、立体度は（１）であることを示している。これ以外の被写体の顔の向きおよび立体度についても同様である。
【００４１】
立体画像データ記録手段１８には、立体画像データ入力手段１２から立体画像データ、および立体度算出手段１６から立体度および顔の向きが入力される。立体画像データ記録手段１８は、立体度および顔の向きと立体画像データとを関連付けて記録する。立体画像データ記録手段１８は、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の半導体メモリでもよいし、ＨＤＤ（Hard Disk Drive）等の磁気記録媒体でもよい。
【００４２】
また、立体度は、立体画像データのＥｘｉｆ（Exchangeable image file format）タグの一部にその値を書き込んでもよいし、立体画像データファイル（例えば、ファイル名：Image0001.jpg）と別のファイル（例えば、ファイル名：Image0001.vct）として記録するようにしてもよい。
【００４３】
テンプレート記録手段４０には、ユーザの立体画像データと合成するための複数種類の立体画像テンプレートがあらかじめ記録されている。合成用の立体画像テンプレートとしては、例えば、テーマパーク等におけるキャラクタを用いたものが挙げられ、ユーザの立体画像（ユーザ画像）の被写体と立体画像テンプレートのキャラクタとを合成した立体合成画像を得ることができるものである。
【００４４】
テンプレート選択手段４２には、立体画像データ記録手段１８から立体画像データと関連付けて記録された立体度および顔の向き、およびテンプレート記録手段４０から立体画像テンプレートが入力される。テンプレート選択手段４２は、テンプレート記録手段４０に記憶された複数種類の立体画像テンプレートの中から、立体度および顔の向きに基づき、所定数の適切な立体画像テンプレートを選択し、図示しない表示装置に表示する。テンプレート選択手段４２は、表示装置に表示された所定数の立体画像テンプレートの中から、図示しない入力手段を介してユーザにより選択された立体画像テンプレートを出力する。
【００４５】
なお、本実施形態では、被写体抽出手段１４から立体度算出手段１６に入力される被写体情報に含まれる被検者の顔の向きの情報（被写体情報）を立体度とともにまとめて立体度算出手段１６から出力しているが、本発明はこれに限定されず、被写体抽出手段１４から出力される被写体の顔の向きの情報（被写体情報）と、立体度算出手段１６から出力される被写体の立体度を別々に、立体画像データ記録手段１８およびテンプレート選択手段４２にそれぞれ入力する構成としてもよい。
【００４６】
ここで、テンプレート選択手段４２による立体画像テンプレートの選択方法について説明する。
図５は、立体画像６０ａ上において、ユーザの立体画像の被写体６１が右側、立体画像テンプレートのキャラクタ６２が左側に配置された例である。被写体６１の立体度６６は（１）であり、キャラクタ６２の立体度６８は（３）である。また、被写体６１およびキャラクタ６２の顔の向きは左下である。この状態では、両者の顔の向きは同じであるが、被写体６１の立体度よりも、キャラクタ６２の立体度の方が極端に大きく、被写体６１とキャラクタ６２のＺ軸方向の位置関係に不整合が生じてしまう。
【００４７】
このため、テンプレート選択手段４２では、被写体６１の立体度に基づいて、被写体６３の立体度６９に対応する立体度、例えば、図６に示す立体画像６０ｂのように、被写体６３の立体度６９と同じ大きさの立体度７０（どちらも立体度は（３））を持ち、顔の向きが同じキャラクタ６４を配置することができるように、適切な立体画像テンプレートが選択される。
【００４８】
また、図７に示す立体画像６０ｃの例は、被写体７２の顔の向きが左上、キャラクタ７４の顔の向きが右上であり、被写体７２とキャラクタ７４が向かい合わせとなる配置である。しかし、キャラクタ７４の立体度７８が（３）であり、被写体７２の立体度７６の（１）よりも極端に大きいため、被写体７２よりもキャラクタ７４の方が目立ってしまい好ましくない。
【００４９】
さらに、図８に示す立体画像６０ｄの例も同様に、被写体８８の顔の向きが左上、キャラクタ９０の顔の向きが右上であり、被写体８８とキャラクタ９０が向かい合わせとなる配置である。しかし、キャラクタ９０の立体度９４が（１）、被写体８８の立体度９２が（３）であるため、被写体８８とキャラクタ９０のバランスが崩れてしまい好ましくない。
【００５０】
ユーザの立体画像（ユーザ画像）の被写体の立体度、顔の向き、および配置と、合成用立体画像テンプレートのキャラクタ（表１ではキャラと記載）の立体度および顔の向きとの組み合わせのうち、ユーザ立体度として、被写体の顔の向きが上向きで、立体度が（Ｎ）の場合のマトリックスの一例を表１に示す。なお、被写体の顔の向きが下向きの場合には、ＯＫ（適切）およびＮＧ（不適切）となるキャラクタの顔の向きは逆の組み合わせとなる。
【００５１】
【表１】
【００５２】
ユーザ画像の被写体が立体画像の左側に配置されている場合、キャラクタ画像のキャラクタは被写体の右側に配置され、被写体が右側に配置されている場合、キャラクタは被写体の左側に配置されるものとする。また、被写体が中央に配置されている場合、キャラクタは被写体の右側もしくは左側に配置される（どちら側に配置されるかはユーザにより選択される）ものとする。
【００５３】
被写体の顔の向きが左側（左上、左正、左下）もしくは右側（右上、右正、右下）で、被写体が左側もしくは右側に配置されている場合に、被写体の顔の向きがキャラクタの方を向く場合には、上下方向のうち被写体の顔の向きと逆方向のキャラクタの顔の向きをＮＧ（非選択）とする。また、被写体の顔の向きがキャラクタの方を向かない場合には、左右方向のうち被写体の顔の向きと逆方向のキャラクタの顔の向きをＮＧとし、かつ、上下方向のうち被写体の顔の向きと逆方向のキャラクタの顔の向きをＮＧとする。
【００５４】
また、被写体の顔の向きが左側もしくは右側で、被写体が中央に配置されている場合には、キャラクタが被写体の左側に配置されるか右側に配置されるかに応じて、被写体の顔の向きがキャラクタの方を向くか向かないかが変わってくる。従って、被写体が中央に配置されている場合には、被写体の顔の向きに係わらず、上下方向のうち被写体の顔の向きと逆方向のキャラクタの顔の向きをＮＧとする。
【００５５】
また、被写体の顔の向きが中央（中央上、中央正、中央下）の場合には、被写体が左側、中央、右側のどの位置に配置されている場合であっても、被写体の顔の向きはキャラクタの配置に係わらず中立な向きとなる。従って、被写体の顔の向きが中央の場合には、被写体の配置および顔の向きに係わらず、上下方向のうち被写体の顔の向きと逆方向のキャラクタの顔の向きをＮＧとする。
【００５６】
例えば、被写体の顔の向きが左上で、左側に配置されている場合、被写体の顔の向きは、右側に配置されるキャラクタの方を向かない。従って、キャラクタの右側方向の顔の向きをＮＧとし、かつ、キャラクタの下側方向の顔の向きをＮＧとする。つまり、キャラクタの顔の向きのうち、右側方向に含まれる右上、右正、右下をＮＧ、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の中央上、左上、左正、中央正をＯＫ（選択）とする。
【００５７】
被写体の顔の向きが左上で、右側に配置されている場合、被写体の顔の向きは、左側に配置されるキャラクタの方を向く。従って、キャラクタの下側方向の顔の向きをＮＧとする。つまり、キャラクタの顔の向きのうち、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の右正、右上、中央上、左上、左正、中央正をＯＫとする。
【００５８】
被写体の顔の向きが左上で、中央に配置されている場合、被写体の顔の向きに係わらず、キャラクタの下側方向の顔の向きをＮＧとする。つまり、キャラクタの顔の向きのうち、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の右正、右上、中央上、左上、左正、中央正をＯＫとする。
【００５９】
続いて、被写体の顔の向きが右上で、左側に配置されている場合は、被写体の顔の向きが左上で、右側に配置される場合に対して左右逆の状態となる。従って、この場合には、ＮＧとするキャラクタの顔の向きを左右逆向きにすればよく、キャラクタの下側方向の顔の向きをＮＧとする。つまり、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の右正、右上、中央上、左上、左正、中央正をＯＫとする。
【００６０】
被写体の顔の向きが右上で、右側に配置されている場合、同じく、被写体の顔の向きが左上で、左側に配置される場合に対して左右逆の状態となる。従って、同様に、ＮＧとするキャラクタの顔の向きを左右逆向きにして、キャラクタの左側方向の顔の向きをＮＧとし、かつ、下側方向の顔の向きをＮＧとする。つまり、左側方向に含まれる左上、左正、左下、および、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の右正、右上、中央上、中央正をＯＫとする。
【００６１】
被写体の顔の向きが右上で、中央に配置されている場合も同様に、被写体の顔の向きが左上で、中央に配置される場合に対して左右逆の状態となる。従って、同様に、ＮＧとするキャラクタの顔の向きを左右逆向きにして、キャラクタの下側方向の顔の向きをＮＧとする。つまり、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の右正、右上、中央上、左上、左正、中央正をＯＫとする。
【００６２】
続いて、被写体の顔の向きが中央上の場合、被写体の配置および顔の向きに係わらず、キャラクタの下側方向の顔の向きをＮＧとする。つまり、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の右正、右上、中央上、左上、左正、中央正をＯＫとする。
【００６３】
なお、表１では、被写体の立体度（Ｎ）を超えない範囲であるという意味でキャラクタの立体度を（Ｎ以下）としているが、被写体とキャラクタのバランスが取れる範囲であれば、被写体の立体度とキャラクタの立体度とが異なっていてもよい。具体的には、例えば、被写体の立体度（Ｎ）に対してキャラクタの立体度が（Ｎ／３）よりも大きく（３Ｎ）よりも小さい範囲であることが望ましい。
【００６４】
また、組み合わせ可能なキャラクタの立体度および顔の向きに優先順位を設けて、優先順位に従って立体画像テンプレートが選択されるようにしてもよい。例えば、図９および表２に示すように、ユーザ立体度が左上（１）の場合、立体画像１００における被写体１０２の立体度および顔の向き１０６に対して、キャラクタ１０４の立体度および顔の向き１０８ａ〜１０８ｈのうち、１０８ｂを１番、１０８ｄを２番というように優先順位を付け、立体度および顔の向き１０８ｆ、１０８ｇ、および１０８ｈの不適切な組み合わせの場合は、選択されないようにＮＧとする。
【００６５】
【表２】
【００６６】
また、優先順位の替わりに、これらの立体度および顔の向きをプレビュー画面に表示して、ユーザが選択可能なように構成してもよい。さらに、保存容量を節約するために、あらゆる組み合わせを用意するのではなく、最も適切な組み合わせに近い立体画像テンプレートを用意するようにしてもよい。
【００６７】
続いて、合成手段４４には、立体画像データ記録手段１８から立体度および顔の向きと関連付けられた立体画像データと、テンプレート選択手段で選択された立体画像テンプレートが入力される。合成手段４４は、立体画像データと、テンプレート選択手段によって選択された立体画像テンプレート（つまり、立体画像の被写体と立体画像テンプレートのキャラクタ）とを合成して、合成立体画像を構成する合成立体画像データを生成し出力する。
【００６８】
印刷装置４６には、合成手段４４から合成立体画像データが入力される。印刷装置４６は、合成立体画像データに対応する合成立体画像をプリントアウトすることができるプリンタである。立体画像のプリントとしては、例えば、複数の画像を短冊状に切り取って交互に配置し、パララックスバリア（視差バリア）、またはレンチキュラーレンズを用いて裸眼立体視が可能なように印刷することが挙げられる。
【００６９】
次に、本発明に係る画像処理方法を実現する、本発明に係る立体画像印刷システム１および画像処理装置１０の動作を説明する。
【００７０】
図１０は、本発明に係る画像処理方法の処理の流れの一例を示すフローチャートである。
まず、立体画像データ入力手段１２を介して、素材となる立体画像データが入力される（ステップＳ１０）。立体画像データは、被写体抽出手段１４に入力されて立体画像が解析され（ステップＳ１２）、被写体が抽出される。また、被写体の各部位、例えば、顔、左右の手、胴体、足等について、それぞれの領域が抽出される。被写体の顔については顔の向きの検出が行われ、抽出された被写体、被写体の各部位の情報、および被写体の顔の向きの情報が生成され、被写体情報として出力される（ステップＳ１４）。
【００７１】
立体画像データ、および被写体情報は、立体度算出手段１６に入力され、立体画像データの主画像データおよび副画像データ間の、被写体（顔）のマッチングが行われて対応点が検出される（ステップＳ１６）。対応点検出結果に基づいて、被写体および被写体の顔ごとに視差および距離が算出される（ステップＳ１８）。また、算出された視差および距離から、立体度が算出され出力される（ステップＳ２０）。
【００７２】
立体度が求められると、立体画像に写っている全ての人物について、立体度の算出が終了したか判定され（ステップＳ２２）、全ての人物についての立体度の算出が終了していなければ、ステップＳ１６へと戻り、残りの人物について立体度が求められる（ステップＳ２２で“Ｎ”）。
【００７３】
全ての人物についての立体度の算出が終了していれば（ステップＳ２２で“Ｙ”）、立体画像データ、ならびに立体度および顔の向きは、立体画像データ記録手段１８に入力され、立体度および顔の向き（以下、立体度には顔の向きを含む）と立体画像データとが関連付けられて、すなわち、立体度が立体画像データのＥｘｉｆタグへ書き込まれて、または別のファイルへ出力されて記録される（ステップＳ２４）。例えば、図１１に示すファイルフォーマットの例では、立体画像データ３０のヘッダ３２内のＥｘｉｆタグに立体度が書き込まれる。
【００７４】
また、ヘッダ３２内のＥｘｉｆタグへの記入の例としては、被写体の立体度のみ記録する場合を図１２に示し、被写体の各部位ごとの立体度を記録する場合を図１３に示す。さらに、複数の被写体がある場合のＥｘｉｆタグへの記入の例としては、図１４に示すように、顔立体度を含む各部位の立体度をそれぞれの被写体ごとに記録することができる。
【００７５】
このように、被写体の立体度および顔の向きと立体画像データとを関連付けて記録することで、被写体抽出の精度を上げることができ、より自然で立体視しやすい立体画像を得ることができる。
【００７６】
続いて、図１５〜図１８は、立体画像データ記録手段１８に記録された、立体画像データおよび立体度（ユーザ立体画像データおよびユーザ立体度）を用いて、立体画像データと立体画像テンプレートとを合成し、立体画像データを印刷する処理の流れの一例を示すフローチャートである。
【００７７】
まず、ユーザ立体画像データおよびユーザ立体度、および被写体情報（立体画像データのＥｘｉｆタグから、もしくは、立体画像データファイル（Image0001.vct）から）を読み込む（ステップＳ１０４）。次に、被写体（ユーザ）情報およびユーザ立体度に基づいて、適切な立体画像テンプレートをテンプレート記録手段４０から読み込み、図示しない表示装置に複数表示し（ステップＳ１０６）、操作者による合成用の立体画像テンプレート（キャラクタ）の選択が行われる（ステップＳ１０８）。なお、ここで選択される立体画像テンプレート（キャラクタ）は、配置については決定されていない。また、合成用の立体画像テンプレート（キャラクタ）の選択は、自動的に行われてもよい。
【００７８】
合成用の立体画像テンプレート（キャラクタ）が選択されると、立体画像データの被写体の配置位置が検出または選択される（ステップＳ１１０）。被写体（ユーザ）の配置位置が左の場合には（ステップＳ１１０で“左”）、被写体が左に配置された場合のマトリックスが選択され（ステップＳ１１２）、被写体の配置位置が中央の場合には（ステップＳ１１０で“中央”）、被写体が中央に配置された場合のマトリックスが選択され（ステップＳ１１４）、被写体の配置位置が右の場合には（ステップＳ１１０で“右”）、被写体が右に配置された場合のマトリックスが選択される（ステップＳ１１６）。
【００７９】
続いて、被写体の立体度（ユーザ立体度）に基づいて、マトリックスが選択される。ユーザ立体度（顔の向き）の左右方向の向きが左の場合であって（ステップＳ１１８で“左”）、ユーザ立体度（顔の向き）の上下方向の向きが上の場合（ステップＳ１２０で“上”）、ユーザ立体度が左上のマトリックスが選択される（ステップＳ１２６）。同様に、ユーザ立体度の左右方向の向きが左の場合であって（ステップＳ１１８で“左”）、ユーザ立体度の上下方向の向きが正面の場合（ステップＳ１２０で“正面”）、ユーザ立体度が左正面のマトリックスが選択される（ステップＳ１２８）。また、ユーザ立体度の左右方向の向きが左の場合であって（ステップＳ１１８で“左”）、ユーザ立体度の上下方向の向きが下の場合（ステップＳ１２０で“下”）、ユーザ立体度が左下のマトリックスが選択される（ステップＳ１３０）。
【００８０】
立体度の左右方向の向きが中央の場合（ステップＳ１１８で“中央”）も同様に、ステップＳ１２２，Ｓ１３２〜Ｓ１３６において、ユーザ立体度が中央上、中央正面、または中央下のいずれかのマトリックスが選択される。ユーザ立体度の左右方向の向きが右の場合（ステップＳ１１８で“右”）も同様に、ステップＳ１２４，Ｓ１３８〜Ｓ１４２において、ユーザ立体度が右上、右正面、または右下のいずれかのマトリックスが選択される。
【００８１】
ユーザ立体度に基づきマトリックスが選択されると、当該マトリックスに含まれる被写体（ユーザ）とキャラクタの位置関係から、合成可能（適切）な複数の立体画像テンプレートが提示され、一意のキャラクタの配置位置と立体度を有する立体画像テンプレートが、操作者によって選択される（ステップＳ１４４）。なお、最も適切と考えられるキャラクタの配置位置と立体度を有する立体画像テンプレートが自動的に選択されるようにしてもよい。
【００８２】
キャラクタの配置位置と立体度を有する立体画像テンプレート、および立体画像データは、合成手段４４に入力される。キャラクタの配置位置と立体度を有する立体画像テンプレート、および立体画像データは合成されて、合成立体画像データが生成され出力される（ステップＳ１４６）。
【００８３】
合成立体画像データは、印刷装置４６に入力され、立体画像が印刷される（ステップＳ１４８）。
【００８４】
このように、ユーザは立体度の値を意識することなく、所望の合成用の立体画像テンプレートを選択するだけで、被写体の配置と立体度（ユーザ立体度）に基づいて、不適切な立体画像テンプレートが選択されることを排除することが可能となり、満足度を向上させることができる。
【００８５】
また、被写体の配置に合わせて、立体画像テンプレートのキャラクタの配置および立体度を変更することで、つまり、被写体とキャラクタの立体感が最も適合した立体画像テンプレートが選択されることで、よりエンターテイメント性が高く満足度が高い立体画像が印刷された立体プリントを得ることができる。
【００８６】
なお、本発明においては、上述した画像処理方法の各工程をコンピュータに実行させるための画像処理プログラムとして構成しても良いし、また、コンピュータを、画像処理方法の各工程を実施する各手段として、または、上述した画像処理装置を構成する各手段として機能させる画像処理プログラムとして構成しても良い。
また、本発明を、上述した画像処理プログラムをコンピュータにより読取可能な媒体またはコンピュータにより読取可能なメモリとして構成してもよい。
【００８７】
以上、本発明の画像処理装置、立体画像印刷システム、画像処理方法およびプログラムについて詳細に説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。
【符号の説明】
【００８８】
１ 立体画像印刷システム
１０ 画像処理装置
１２ 立体画像データ入力手段
１４ 被写体抽出手段
１６ 立体度算出手段
１８ 立体画像データ記録手段
２０ 顔の向き検出手段
３０ 立体画像データ
３２ ヘッダ
４０ テンプレート記録手段
４２ テンプレート選択手段
４４ 合成手段
４６ 印刷装置
６０ａ〜６０ｄ，１００ 立体画像
６１，６３，７２，８８，１０２ 被写体
６２，６４，７４，９０，１０４ キャラクタ
６６，６８，６９，７０，７６，７８，９２，９４，１０６，１０８ａ〜１０８ｈ 立体度（顔の向きを含む）
【特許請求の範囲】
【請求項１】
立体画像を構成する立体画像データを外部から入力するための立体画像データ入力手段と、
前記立体画像データから被写体を抽出する被写体抽出手段と、
前記立体画像データに含まれる視点の異なる複数の平面画像データから前記被写体の立体度を算出する立体度算出手段と、
前記立体度と前記立体画像データとを関連付けて記録する立体画像データ記録手段と、
複数種類の立体画像テンプレートが記録されたテンプレート記録手段と、
前記テンプレート記録手段に記録された複数種類の立体画像テンプレートの中から、前記立体画像データと関連付けて記録された立体度に基づいて所定数の立体画像テンプレートを選択するテンプレート選択手段と、
前記立体画像データと前記テンプレート選択手段により選択される所定数の立体画像テンプレートのうちユーザにより選択される１つの立体画像テンプレートとを合成し、合成立体画像を構成する合成立体画像データを出力する合成手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記テンプレート選択手段は、前記被写体の立体度をＮとして、Ｎ／３よりも大きく３Ｎよりも小さい範囲の立体度のキャラクタを含む立体画像テンプレートを選択するものである請求項１に記載の画像処理装置。
【請求項３】
前記被写体抽出手段は、さらに、前記被写体の顔を抽出するものであって、
さらに、前記被写体の顔の向きを検出する顔の向き検出手段を有する請求項１または２に記載の画像処理装置。
【請求項４】
前記テンプレート選択手段は、さらに、前記立体画像における被写体の顔の向きおよび該被写体の位置に基づいて、前記立体画像テンプレートを選択するものである請求項３に記載の画像処理装置。
【請求項５】
前記テンプレート選択手段は、前記被写体の顔の向きが左側もしくは右側で、該被写体が前記立体画像の左側もしくは右側に配置され、前記立体画像テンプレートに含まれるキャラクタが右側もしくは左側に配置される場合、該被写体の顔の向きが前記キャラクタの方を向く場合には、上下方向のうち前記被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、前記被写体の顔の向きが前記キャラクタの方を向かない場合には、左右方向のうち前記被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、かつ、上下方向のうち前記被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、それ以外の顔の向きの前記キャラクタを含む立体画像テンプレートを選択するものである請求項４に記載の画像処理装置。
【請求項６】
前記テンプレート選択手段は、前記被写体の顔の向きが左側もしくは右側で、該被写体が中央に配置され、前記立体画像テンプレートに含まれるキャラクタが前記被写体の右側もしくは左側に配置される場合には、前記被写体の顔の向きに係わらず、上下方向のうち該被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、それ以外の顔の向きの前記キャラクタを含む立体画像テンプレートを選択するものである請求項４に記載の画像処理装置。
【請求項７】
前記テンプレート選択手段は、前記被写体の顔の向きが中央の場合には、該被写体の配置および顔の向きに係わらず、上下方向のうち前記被写体の顔の向きと逆方向の前記立体画像テンプレートに含まれるキャラクタの顔の向きを非選択とし、それ以外の顔の向きの前記キャラクタを含む立体画像テンプレートを選択するものである請求項４に記載の画像処理装置。
【請求項８】
前記テンプレート選択手段は、前記立体画像テンプレートに含まれるキャラクタの立体度および顔の向きに優先順位を設け、該優先順位に従って前記立体画像テンプレートを選択するものである請求項４に記載の画像処理装置。
【請求項９】
前記テンプレート選択手段は、前記立体画像テンプレートに含まれるキャラクタの立体度および顔の向きをプレビュー画面に表示して、該プレビュー画面に表示された複数の立体画像テンプレートの中から、ユーザにより選択される１つの立体画像テンプレートを選択するものである請求項１〜８のいずれかに記載の画像処理装置。
【請求項１０】
前記被写体抽出手段は、前記被写体の複数の部位を抽出し、
前記立体度算出手段は、前記被写体の複数の部位の立体度を算出するものである請求項１〜９のいずれかに記載の画像処理装置。
【請求項１１】
前記立体画像データ記録手段は、前記被写体の立体度を、前記立体画像データのＥｘｉｆタグに記録するものである請求項１〜１０のいずれかに記載の画像処理装置。
【請求項１２】
前記立体画像データ記録手段は、前記被写体の立体度を、前記立体画像データとは別のファイルに記録するものである請求項１〜１０のいずれかに記載の画像処理装置。
【請求項１３】
前記立体度算出手段は、前記視点の異なる複数の平面画像データから前記被写体の視差および前記視点から前記被写体までの距離を算出し、該視差および距離から前記被写体の立体度を算出するものである請求項１〜１２のいずれかに記載の画像処理装置。
【請求項１４】
請求項１〜１３のいずれかに記載の画像処理装置と、
前記画像処理装置から出力される合成立体画像データに対応する合成立体画像を印刷する印刷装置と、を有することを特徴とする立体画像印刷システム。
【請求項１５】
外部から入力される、立体画像を構成する立体画像データを受け取る立体画像データ入力ステップと、
前記立体画像データから被写体を抽出する被写体抽出ステップと、
前記立体画像データに含まれる視点の異なる複数の平面画像データから前記被写体の立体度を算出する立体度算出ステップと、
前記立体度と前記立体画像データとを関連付けて記録する立体画像データ記録ステップと、
あらかじめ記録されている複数種類の立体画像テンプレートの中から、前記立体画像データと関連付けて記録された立体度に基づいて所定数の立体画像テンプレートを選択するテンプレート選択ステップと、
前記立体画像データと前記選択された所定数の立体画像テンプレートのうちユーザにより選択される１つの立体画像テンプレートとを合成し、合成立体画像を構成する合成立体画像データを出力する合成ステップと、を有することを特徴とする画像処理方法。
【請求項１６】
請求項１５に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項１】
立体画像を構成する立体画像データを外部から入力するための立体画像データ入力手段と、
前記立体画像データから被写体を抽出する被写体抽出手段と、
前記立体画像データに含まれる視点の異なる複数の平面画像データから前記被写体の立体度を算出する立体度算出手段と、
前記立体度と前記立体画像データとを関連付けて記録する立体画像データ記録手段と、
複数種類の立体画像テンプレートが記録されたテンプレート記録手段と、
前記テンプレート記録手段に記録された複数種類の立体画像テンプレートの中から、前記立体画像データと関連付けて記録された立体度に基づいて所定数の立体画像テンプレートを選択するテンプレート選択手段と、
前記立体画像データと前記テンプレート選択手段により選択される所定数の立体画像テンプレートのうちユーザにより選択される１つの立体画像テンプレートとを合成し、合成立体画像を構成する合成立体画像データを出力する合成手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記テンプレート選択手段は、前記被写体の立体度をＮとして、Ｎ／３よりも大きく３Ｎよりも小さい範囲の立体度のキャラクタを含む立体画像テンプレートを選択するものである請求項１に記載の画像処理装置。
【請求項３】
前記被写体抽出手段は、さらに、前記被写体の顔を抽出するものであって、
さらに、前記被写体の顔の向きを検出する顔の向き検出手段を有する請求項１または２に記載の画像処理装置。
【請求項４】
前記テンプレート選択手段は、さらに、前記立体画像における被写体の顔の向きおよび該被写体の位置に基づいて、前記立体画像テンプレートを選択するものである請求項３に記載の画像処理装置。
【請求項５】
前記テンプレート選択手段は、前記被写体の顔の向きが左側もしくは右側で、該被写体が前記立体画像の左側もしくは右側に配置され、前記立体画像テンプレートに含まれるキャラクタが右側もしくは左側に配置される場合、該被写体の顔の向きが前記キャラクタの方を向く場合には、上下方向のうち前記被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、前記被写体の顔の向きが前記キャラクタの方を向かない場合には、左右方向のうち前記被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、かつ、上下方向のうち前記被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、それ以外の顔の向きの前記キャラクタを含む立体画像テンプレートを選択するものである請求項４に記載の画像処理装置。
【請求項６】
前記テンプレート選択手段は、前記被写体の顔の向きが左側もしくは右側で、該被写体が中央に配置され、前記立体画像テンプレートに含まれるキャラクタが前記被写体の右側もしくは左側に配置される場合には、前記被写体の顔の向きに係わらず、上下方向のうち該被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、それ以外の顔の向きの前記キャラクタを含む立体画像テンプレートを選択するものである請求項４に記載の画像処理装置。
【請求項７】
前記テンプレート選択手段は、前記被写体の顔の向きが中央の場合には、該被写体の配置および顔の向きに係わらず、上下方向のうち前記被写体の顔の向きと逆方向の前記立体画像テンプレートに含まれるキャラクタの顔の向きを非選択とし、それ以外の顔の向きの前記キャラクタを含む立体画像テンプレートを選択するものである請求項４に記載の画像処理装置。
【請求項８】
前記テンプレート選択手段は、前記立体画像テンプレートに含まれるキャラクタの立体度および顔の向きに優先順位を設け、該優先順位に従って前記立体画像テンプレートを選択するものである請求項４に記載の画像処理装置。
【請求項９】
前記テンプレート選択手段は、前記立体画像テンプレートに含まれるキャラクタの立体度および顔の向きをプレビュー画面に表示して、該プレビュー画面に表示された複数の立体画像テンプレートの中から、ユーザにより選択される１つの立体画像テンプレートを選択するものである請求項１〜８のいずれかに記載の画像処理装置。
【請求項１０】
前記被写体抽出手段は、前記被写体の複数の部位を抽出し、
前記立体度算出手段は、前記被写体の複数の部位の立体度を算出するものである請求項１〜９のいずれかに記載の画像処理装置。
【請求項１１】
前記立体画像データ記録手段は、前記被写体の立体度を、前記立体画像データのＥｘｉｆタグに記録するものである請求項１〜１０のいずれかに記載の画像処理装置。
【請求項１２】
前記立体画像データ記録手段は、前記被写体の立体度を、前記立体画像データとは別のファイルに記録するものである請求項１〜１０のいずれかに記載の画像処理装置。
【請求項１３】
前記立体度算出手段は、前記視点の異なる複数の平面画像データから前記被写体の視差および前記視点から前記被写体までの距離を算出し、該視差および距離から前記被写体の立体度を算出するものである請求項１〜１２のいずれかに記載の画像処理装置。
【請求項１４】
請求項１〜１３のいずれかに記載の画像処理装置と、
前記画像処理装置から出力される合成立体画像データに対応する合成立体画像を印刷する印刷装置と、を有することを特徴とする立体画像印刷システム。
【請求項１５】
外部から入力される、立体画像を構成する立体画像データを受け取る立体画像データ入力ステップと、
前記立体画像データから被写体を抽出する被写体抽出ステップと、
前記立体画像データに含まれる視点の異なる複数の平面画像データから前記被写体の立体度を算出する立体度算出ステップと、
前記立体度と前記立体画像データとを関連付けて記録する立体画像データ記録ステップと、
あらかじめ記録されている複数種類の立体画像テンプレートの中から、前記立体画像データと関連付けて記録された立体度に基づいて所定数の立体画像テンプレートを選択するテンプレート選択ステップと、
前記立体画像データと前記選択された所定数の立体画像テンプレートのうちユーザにより選択される１つの立体画像テンプレートとを合成し、合成立体画像を構成する合成立体画像データを出力する合成ステップと、を有することを特徴とする画像処理方法。
【請求項１６】
請求項１５に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
【図２】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１】
【図３】
【図４】
【公開番号】特開２０１２−１６００５８（Ｐ２０１２−１６００５８Ａ）
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願番号】特願２０１１−１９７５１（Ｐ２０１１−１９７５１）
【出願日】平成２３年２月１日（２０１１．２．１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願日】平成２３年２月１日（２０１１．２．１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]