画像処理装置、立体画像印刷システム、画像処理方法およびプログラム
【課題】立体ベクトルを用いて、より自然で立体視しやすい立体画像を生成する画像処理装置を提供する。
【解決手段】画像処理装置は、立体画像を構成する立体画像データを外部から入力するための立体画像データ入力手段と、立体画像データから被写体を抽出する被写体抽出手段と、立体画像データに含まれる視点の異なる複数の平面画像データから被写体の立体ベクトルを算出する立体ベクトル算出手段と、立体ベクトルと立体画像データとを関連付けて記録する立体画像データ記録手段と、を有する。
【解決手段】画像処理装置は、立体画像を構成する立体画像データを外部から入力するための立体画像データ入力手段と、立体画像データから被写体を抽出する被写体抽出手段と、立体画像データに含まれる視点の異なる複数の平面画像データから被写体の立体ベクトルを算出する立体ベクトル算出手段と、立体ベクトルと立体画像データとを関連付けて記録する立体画像データ記録手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像データに対して立体画像を生成するための画像処理を行う画像処理装置、立体画像印刷システム、画像処理方法およびプログラムに関するものである。
【背景技術】
【０００２】
従来から、視線の異なる複数の画像を組み合わせて表示することで、視差を利用した立体視が実現されている。例えば、（１）左目用と右目用の画像に対して、それぞれ直交する直線偏光をかけて、偏光メガネを用いて立体視を行う方法、（２）左目用と右目用の画像を交互に表示して、表示手段と同期した液晶シャッターを備えたメガネを用いて立体視を行う方法、（３）左目用と右目用の画像に対して、それぞれ赤と青の光を重ねて表示し、左右に赤と青のカラーフィルタの付いたメガネを用いて立体視を行う方法が挙げられる。
【０００３】
また、いわゆる裸眼立体視の方法として、例えば、複数の画像を短冊状に切り取って交互に配置し、パララックスバリア（視差バリア）、またはレンチキュラーレンズを用いて、左右の眼でそれぞれの画像を見ることで立体視を行う方法も挙げられる。
【０００４】
ここで、本発明に関連する先行技術文献として、特許文献１〜４が挙げられる。
特許文献１には、複数の位置から複数の撮像装置によって撮影され、当該複数の位置のうちの所望の位置と所望の撮影時刻が指定されると、撮影時刻の異なる複数のフレーム画像が選択され、立体画像形成部により、所定の光学系を介して観察した場合に観察視点位置の移動に従って順次観察できるように合成され立体印刷される、立体画像形成装置が開示されている。
【０００５】
特許文献２には、３次元表示面または該３次元表示面の近傍に配置された実物体の位置または姿勢若しくは形状を検出する検出部と、実物体の形状と位置または姿勢とに基づいて、実物体が３次元表示面により照射された光線を遮蔽する領域である遮蔽領域を算出する遮蔽領域算出部と、遮蔽領域に対して、遮蔽領域以外の領域と異なる描画処理を行って、立体画像を描画する描画部とを備えた立体画像生成装置が開示されている。
【０００６】
特許文献３には、撮影空間を撮影したときに撮像系により捉えられた各点の輝度値を表す輝度画像を取得する輝度画像取得手段と、各点の空間的な位置を所定の座標系で表した３次元情報を取得する３次元情報取得手段と、所定の入力装置から、座標系の軸方向ごとのオフセット値を指定する入力を受け付けて、該各オフセット値を所定のメモリに記憶し、座標系の原点をオフセット値分変位させた点をオフセット原点として設定するオフセット原点設定手段とを備え、それぞれの情報を格納する領域を有する所定フォーマットのファイルを生成するファイル生成装置が開示されている。
【０００７】
特許文献４には、立体強度のレベル値が大きいほど立体感の強い立体視画像が表示されることを表わす、立体視画像の立体強度を示すタグ（立体強度タグ）が画像制御情報として含まれ、立体視画像を表示させたい表示装置の指定を付属情報として管理することが可能な立体視画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−１６５７９５号公報
【特許文献２】特開２００８−９０６１７号公報
【特許文献３】特開２００８−２５２４９３号公報
【特許文献４】特開２００４−３３４８３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
立体画像データの表示方法は、従来、立体度（奥行き量、または飛び出し量）、および立体視差量を調整することで、立体画像を見ることによる疲労感を軽減したり、あるいは立体画像の不自然さを調整するものが多く提案されている。つまり、従来は被写体が画面に対してどの程度飛び出しているか、または引き込んでいるかを表して調整するものであったが、被写体がどの方向にどの程度飛び出しているか、または引き込んでいるかを表す指標は開示も示唆もされていなかった。
また、立体画像印刷は、専用の機材が必要であったり手間がかかるため、通常のプリントよりも高価となることから、ユーザの所望の形で１回で印刷できることが望ましい。
【００１０】
本発明の目的は、被写体がどの方向にどの程度飛び出しているか、または引き込んでいるかを表す指標を立体ベクトルとして表現し、立体ベクトルを様々な画像処理に用いることで、より自然で立体視しやすい立体画像を生成する画像処理装置、立体画像印刷システム、画像処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明は、立体画像を構成する立体画像データを外部から入力するための立体画像データ入力手段と、
前記立体画像データから被写体を抽出する被写体抽出手段と、
前記立体画像データに含まれる視点の異なる複数の平面画像データから前記被写体の立体ベクトルを算出する立体ベクトル算出手段と、
前記立体ベクトルと前記立体画像データとを関連付けて記録する立体画像データ記録手段と、を有することを特徴とする画像処理装置を提供する。
【００１２】
ここで、前記被写体抽出手段は、さらに、前記被写体の顔を抽出するものであって、
さらに、前記被写体の顔の向きを検出する顔の向き検出手段を有し、
前記立体ベクトル算出手段は、さらに、前記顔の向きを利用して顔の立体ベクトルを算出するものであることが好ましい。
【００１３】
また、前記被写体抽出手段は、前記被写体の複数の部位を抽出し、
前記立体ベクトル算出手段は、前記被写体の複数の部位の立体ベクトルを算出するものであることが好ましい。
【００１４】
また、前記立体画像データ記録手段は、前記被写体の複数の部位の立体ベクトルのうち、最も大きい立体ベクトルと前記立体画像データとを関連付けて記録するものであることが好ましい。
【００１５】
また、前記立体画像データ記録手段は、前記被写体の立体ベクトルを、前記立体画像データのＥｘｉｆタグに記録するものであることが好ましい。
【００１６】
また、前記立体画像データ記録手段は、前記被写体の立体ベクトルを、前記立体画像データとは別のファイルに記録するものであることが好ましい。
【００１７】
また、前記立体ベクトル算出手段は、前記視点の異なる複数の平面画像データから前記被写体の視差および前記視点から前記被写体までの距離を算出し、該視点の異なる複数の平面画像データ、視差および距離から前記被写体の立体ベクトルを算出するものであることが好ましい。
【００１８】
さらに、複数種類の立体画像テンプレートが記録されたテンプレート記録手段と、
前記テンプレート記録手段に記録された複数種類の立体画像テンプレートの中から、前記立体画像データと関連付けて記録された立体ベクトルに基づいて所定数の立体画像テンプレートを選択するテンプレート選択手段と、
前記立体画像データと前記テンプレート選択手段により選択される所定数の立体画像テンプレートのうちユーザにより選択される１つの立体画像テンプレートとを合成し、合成立体画像を構成する合成立体画像データを出力する合成手段と、を有することが好ましい。
【００１９】
ここで、前記テンプレート選択手段は、前記被写体の飛び出し量をＮとして、Ｎ／３よりも大きく３Ｎよりも小さい範囲の飛び出し量のキャラクタを含む立体画像テンプレートを選択するものであることが好ましい。
【００２０】
また、前記テンプレート選択手段は、さらに、前記立体画像における被写体の顔の向きおよび該被写体の位置に基づいて、前記立体画像テンプレートを選択するものであることが好ましい。
【００２１】
また、前記テンプレート選択手段は、前記被写体の顔の向きが左側もしくは右側で、該被写体が前記立体画像の左側もしくは右側に配置され、前記立体画像テンプレートに含まれるキャラクタが右側もしくは左側に配置される場合、該被写体の顔の向きが前記キャラクタの方を向く場合には、上下方向のうち前記被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、前記被写体の顔の向きが前記キャラクタの方を向かない場合には、左右方向のうち前記被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、かつ、上下方向のうち前記被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、それ以外の顔の向きの前記キャラクタを含む立体画像テンプレートを選択するものであることが好ましい。
【００２２】
また、前記テンプレート選択手段は、前記被写体の顔の向きが左側もしくは右側で、該被写体が中央に配置され、前記立体画像テンプレートに含まれるキャラクタが前記被写体の右側もしくは左側に配置される場合には、前記被写体の顔の向きに係わらず、上下方向のうち該被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、それ以外の顔の向きの前記キャラクタを含む立体画像テンプレートを選択するものであることが好ましい。
【００２３】
また、前記テンプレート選択手段は、前記被写体の顔の向きが中央の場合には、該被写体の配置および顔の向きに係わらず、上下方向のうち前記被写体の顔の向きと逆方向の前記立体画像テンプレートに含まれるキャラクタの顔の向きを非選択とし、それ以外の顔の向きの前記キャラクタを含む立体画像テンプレートを選択するものであることが好ましい。
【００２４】
また、前記テンプレート選択手段は、前記立体画像テンプレートに含まれるキャラクタの飛び出し量および顔の向きに優先順位を設け、該優先順位に従って前記立体画像テンプレートを選択するものであることが好ましい。
【００２５】
また、前記テンプレート選択手段は、前記立体画像テンプレートに含まれるキャラクタの飛び出し量および顔の向きをプレビュー画面に表示して、該プレビュー画面に表示された複数の立体画像テンプレートの中から、ユーザにより選択される１つの立体画像テンプレートを選択するものであることが好ましい。
【００２６】
また、本発明は、上記のいずれかに記載の画像処理装置と、
前記画像処理装置から出力される合成立体画像データに対応する合成立体画像を印刷する印刷装置と、を有することを特徴とする立体画像印刷システムを提供する。
【００２７】
また、本発明は、外部から入力される、立体画像を構成する立体画像データを受け取る立体画像データ入力ステップと、
前記立体画像データから被写体を抽出する被写体抽出ステップと、
前記立体画像データに含まれる視点の異なる複数の平面画像データから前記被写体の立体ベクトルを算出する立体ベクトル算出ステップと、
前記立体ベクトルと前記立体画像データとを関連付けて記録する立体画像データ記録ステップと、を有することを特徴とする画像処理方法を提供する。
【００２８】
また、本発明は、上記に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラムを提供する。
【発明の効果】
【００２９】
本発明によれば、立体ベクトルを意識することなく、より自然で立体視しやすい立体画像、より自然で立体視しやすいレイアウトのユーザ画像とキャラクタ画像の合成画像、およびこれらを印刷した立体プリント（立体写真）を、失敗なく得ることができる。
【図面の簡単な説明】
【００３０】
【図１】（ａ）は、平面画像データの軸を示す説明図であり、（ｂ）は、本発明に係る立体画像データの軸および立体ベクトルの一例を示す説明図である。
【図２】本発明に係る画像処理装置の第１実施形態を示すブロック図である。
【図３】本発明に係る立体画像データの軸および立体ベクトルの、他の一例を示す説明図である。
【図４】本発明に係る画像処理装置の第１実施形態における処理の流れの一例を示すフローチャートである。
【図５】立体画像データのファイル構成の一例を示す説明図である。
【図６】立体画像データのファイルの、ヘッダの一例を示す説明図である。
【図７】立体画像データのファイルの、ヘッダの他の一例を示す説明図である。
【図８】被写体の顔の向きと立体ベクトルの一例を示す説明図である。
【図９】本発明に係る画像処理装置の第２実施形態を示すブロック図である。
【図１０】本発明に係る画像処理装置の第２実施形態における処理の流れの一例を示すフローチャートである。
【図１１】立体画像データのファイルの、ヘッダの他の一例を示す説明図である。
【図１２】本発明に係る第３実施形態である立体画像印刷システムを示すブロック図である。
【図１３】立体プリントの一例を示す説明図である。
【図１４】立体プリントの他の一例を示す説明図である。
【図１５】立体プリントの他の一例を示す説明図である。
【図１６】立体プリントの他の一例を示す説明図である。
【図１７】立体プリントの他の一例を示す説明図である。
【図１８】立体プリントの他の一例を示す説明図である。
【図１９】本発明に係る第３実施形態である立体画像印刷システムにおける処理の流れの一例を示すフローチャートである。
【図２０】図１９のフローチャートの続きを示すフローチャートである。
【図２１】図１９のフローチャートの続きを示すフローチャートである。
【図２２】図１９のフローチャートの続きを示すフローチャートである。
【発明を実施するための形態】
【００３１】
本発明に係る画像処理方法を実施する画像処理装置、および立体画像印刷システムを、添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。
【００３２】
始めに、本発明に係る立体画像における被写体の立体ベクトルについて説明する。
図１（ａ）および（ｂ）は、ユーザ画像の平面画像データと立体画像データとを比較した図である。
図１（ａ）は、従来の平面画像を構成する平面画像データ（Ｘ，Ｙ軸の２次元データ）の軸を示す図であり、水平軸をＸ軸、垂直軸をＹ軸として表現している。図１（ｂ）は、本発明に係る立体画像を構成する立体画像データ（Ｘ，Ｙ，Ｚ軸の３次元データ）の軸および立体ベクトルの一例を示す図であり、平面画像データのＸ軸、Ｙ軸、および平面画像データのＸ軸、Ｙ軸からなる平面に直交するＺ軸を有し、Ｚ軸は被写体の飛び出し方向（奥行き量、または飛び出し量）を表す軸である。つまり、立体ベクトルは、立体画像データに含まれるＸ，Ｙ，Ｚ軸の３次元データを表す。
【００３３】
立体画像データとしては、例えば、右目用の平面画像および左目用の平面画像を含むステレオ画像の画像データを例示することができる。つまり、ステレオ画像の画像データは、１つの画像データ内に、右目用の平面画像の画像データおよび左目用の平面画像の画像データを含む。なお、立体画像データは、ステレオ画像の画像データに限らず、視点の異なる複数の平面画像の画像データを１つの立体画像データ内に含むものであればよい。
【００３４】
ここで、立体画像における被写体の立体ベクトルを求めるためには、まず、例えば、特開２００６−１６５７９５号公報、特開２００１−３４６２２６号公報、特開２００８−９０６１７号公報等に記載の方法により、被写体をボリュームデータ（Ｘ，Ｙ，Ｚ軸の３次元データ）として描画し、右目用と左目用のそれぞれの平面画像（主画像、副画像）間のテンプレートマッチングによる対応点検出結果より、右目用の平面画像と左目用の平面画像との間の視差（視差量）および視点から被写体までの距離を算出する。
【００３５】
次に、右目用の平面画像と左目用の平面画像（の画像データ）および求められた視差および距離から、Ｘ，Ｙ，Ｚ軸で表される立体ベクトルの、それぞれの軸の値を算出することで、（Ｘ，Ｙ，Ｚ）で表される立体ベクトルを求めることができる。Ｚ軸方向の値（飛び出し量）は、例えば、特開２０１０−４５５８４号公報等に記載されているように、視差および距離に比例し、視差が大きくなると大きくなり、距離が長くなると大きくなる。従って、Ｚ軸方向の値は、距離が求まれば、視差に応じて一意に算出することができる。例えば、図１（ｂ）では、Ｚ軸の値（Ｚ軸方向の飛び出し量）をＺ１とすると、立体ベクトルは（０，０，Ｚ１）（始点座標（０，０，０）、終点座標（０，０，Ｚ１）））となる。また、Ｘ軸方向およびＹ軸方向の値は、例えば、Ｚ軸方向の値が突出している部分を検出し、検出したＺ軸方向の値に対応する手、足、顔等の被写体の部位を特定し、被写体の胴体と特定した部位との位置関係から算出することができる。例えば、Ｚ軸方向の値が突出している部分として被写体の手を検出した場合、胴体の肩の位置および手の先の位置からＸ軸方向およびＹ軸方向の値を算出する。なお、立体ベクトルの算出方法は何ら限定されず、立体画像データに含まれる視点の異なる複数の平面画像データから被写体の立体ベクトルを算出する、既存の方法を含む各種の方法を用いることができる。
【００３６】
次に、本発明に係る画像処理装置について説明する。
図２は、本発明に係る画像処理方法を実施する、本発明に係る画像処理装置の構成を表す第１実施形態のブロック図である。
図２に示す画像処理装置１０は、立体画像データ入力手段１２、被写体抽出手段１４、立体ベクトル算出手段１６、および立体画像データ記録手段１８によって構成される。
【００３７】
立体画像データ入力手段１２は、立体画像データを入力するための入力手段であって、立体画像データを画像処理装置１０の外部から入力するための外部インタフェースを有する。立体画像データの作成方法には特に限定はなく、ユーザが３Ｄ対応のデジタルスチルカメラまたはデジタルビデオカメラで撮影した動画像／静止画像データ、ならびにネットワーク上からダウンロードした動画像／静止画像データなど、種々の立体画像データを入力することができる。外部インタフェースは、ＵＳＢ（Universal Serial Bus）、メモリーカードＲ／Ｗ（reader/writer）、光学ディスク、および有線／無線ＬＡＮ（Local Area Network）などであればよい。立体画像データは、外部から外部インタフェースを介して入力される。立体画像データ入力手段１２は、外部から入力される立体画像データを受け取って画像処理装置１０の各部位へ供給する。
【００３８】
被写体抽出手段１４には、立体画像データ入力手段１２から立体画像データが入力される。被写体抽出手段１４は、立体画像データを解析して立体画像における被写体（の領域）を抽出する。被写体の抽出方法は、例えば、エッジ検出、色彩検出等の既存の方法を含む各種の方法を用いることができる。また、被写体の各部位、例えば、顔、左右の手、胴体、足等について、それぞれの領域を抽出する。被写体抽出手段１４は、抽出された被写体の情報および被写体の各部位の情報を生成し、被写体情報として出力する。
【００３９】
立体ベクトル算出手段１６には、立体画像データ入力手段１２から立体画像データ、および被写体抽出手段１４から被写体情報が入力される。立体ベクトル算出手段１６は、前述のように、立体画像データに含まれる主画像データおよび副画像データ間の被写体のテンプレートマッチングを行って対応点を検出し、対応点検出結果に基づいて、被写体または被写体の各部位ごとに視差および距離を算出する。また、算出された視差および距離から、立体ベクトルの各軸の値を算出して立体ベクトルを求め出力する。
【００４０】
図３の例では、Ｚ軸を紙面の垂直方向にとり、被写体が顔と右手を右上前方に向けた場合の立体ベクトルを示す。このとき、顔の立体ベクトルを（Ｘ２，Ｙ２，Ｚ２）（始点座標（０，０，０）、終点座標（Ｘ２，Ｙ２，Ｚ２）、以下同様である。）、右手の立体ベクトルを（Ｘ３，Ｙ３，Ｚ３）とする。ここで、立体ベクトル算出手段１６は、顔の立体ベクトルと右手の立体ベクトルとを比較する場合に、例えば、ベクトルの大きさを比較して大きい方である右手の立体ベクトルを、立体画像データに関連付けて記録する立体ベクトルとして出力することができる。ベクトルの大きさは、例えば、顔の立体ベクトルは式（１）で、右手の立体ベクトルは式（２）で、それぞれ求められる。なお、出力する立体ベクトルはこれに限定されず、顔、左手、胴体、および足のうち１以上の立体ベクトルを出力してもよい。
【００４１】
√（Ｘ２２＋Ｙ２２＋Ｚ２２） ・・・ （１）
√（Ｘ３２＋Ｙ３２＋Ｚ３２） ・・・ （２）
【００４２】
立体画像データ記録手段１８には、立体画像データ入力手段１２から立体画像データ、および立体ベクトル算出手段１６から立体ベクトルが入力される。立体画像データ記録手段１８は、立体ベクトルと立体画像データとを関連付けて記録する。立体画像データ記録手段１８は、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の半導体メモリでもよいし、ＨＤＤ（Hard Disk Drive）等の磁気記録媒体でもよい。
【００４３】
また、立体ベクトルは、立体画像データのＥｘｉｆ（Exchangeable image file format）タグの一部にその値を書き込んでもよいし、立体画像データファイル（例えば、ファイル名：Image0001.jpg）と別のファイル（例えば、ファイル名：Image0001.vct）として記録するようにしてもよい。
【００４４】
次に、本発明に係る画像処理方法を実現する、本発明に係る画像処理装置１０の第１実施形態の動作を説明する。
【００４５】
図４は、本発明に係る第１実施形態の画像処理方法の処理の流れの一例を示すフローチャートである。
まず、立体画像データ入力手段１２を介して、素材となる立体画像データが入力される（ステップＳ１０）。立体画像データは、被写体抽出手段１４に入力されて立体画像が解析され（ステップＳ１２）、被写体が抽出される（ステップＳ１４）。また、被写体の各部位、例えば、顔、左右の手、胴体、足等について、それぞれの領域が抽出され、抽出された被写体および被写体の各部位の情報が生成され、被写体情報として出力される。
【００４６】
立体画像データ、および被写体情報は、立体ベクトル算出手段１６に入力され、立体画像データの主画像データおよび副画像データ間の、被写体のテンプレートマッチングが行われて対応点が検出される（ステップＳ１６）。対応点検出結果に基づいて、被写体または被写体の各部位ごとに視差および距離が算出される（ステップＳ１８）。また、算出された視差および距離から、立体ベクトルの各軸の値が算出されて立体ベクトルが求められ出力される（ステップＳ２０）。
【００４７】
立体画像データ、および立体ベクトルは、立体画像データ記録手段１８に入力され、立体ベクトルと立体画像データとが関連付けられて、すなわち、立体ベクトルが立体画像データのＥｘｉｆタグへ書き込まれて、または別のファイルへ出力されて記録される（ステップＳ２２）。例えば、図５に示すファイルフォーマットの例では、立体画像データ３０のヘッダ３２内のＥｘｉｆタグに立体ベクトルが書き込まれる。
また、ヘッダ３２内のＥｘｉｆタグへの記入の例としては、被写体の立体ベクトルのみ記録する場合を図６に示し、被写体の各部位ごとの立体ベクトルを記録する場合を図７に示す。
【００４８】
このように、立体ベクトルと立体画像データとを関連付けて記録しておき、立体ベクトルを利用して立体画像データから立体画像を合成することで、より自然で立体視しやすい立体画像を得ることができる。
【００４９】
次に、被写体の顔の向きの立体ベクトル（顔の立体ベクトル）を用いる場合を第２実施形態として説明する。
第２実施形態では、第１実施形態の画像処理装置に加えて、さらに顔の向きの検出を行うことで、より高精度の立体ベクトルを算出する。
図８は、被写体の顔の向きと立体ベクトルの例である。顔の向きの立体ベクトルも被写体の立体ベクトルと同様に、（Ｘ，Ｙ，Ｚ）で表される。例えば、図８の左上に示すように、顔の向きの立体ベクトルが（−１，１，１）であれば、顔は紙面に向かって左上を向き、飛び出し量（Ｚ軸方向の値）は（１）であることを表している。これ以外の顔の向きの立体ベクトルについても同様である。
【００５０】
図９は、上述の第１実施形態と異なる、本発明に係る画像処理装置２２の構成を表す第２実施形態のブロック図である。
画像処理装置２２は、図２に示す本発明に係る第１実施形態の画像処理装置１０と比べ、被写体抽出手段１４内に顔の向き検出手段２０をさらに備えたものであり、基本的に同様の構成を有するものである。よって、同様の構成要素には同一の符号を付し、その詳細な説明は省略する。
【００５１】
顔の向き検出手段２０は、被写体の顔の領域から、天地方向の顔の向き（角度）、および左右方向の顔の向き（角度）を算出する。顔の向き検出方法は、例えば、マシンラーニング手法を利用して、顔画像からランドマークを示す点の位置を検出する特開２００６−２０２２７６号に記載の方法、および、一定の大きさの画像データを切り出して、特徴部分の画像データと照合を行う特開２００４−３３４８３６号に記載の方法等の既存の方法を含む各種の方法を用いることができる。ここで、顔の認識については、複数の人物の顔を認識してもよいし、特定の人物の顔について認識してもよい。また、複数の人物のうち、特定の人物は顔を含む各部位を検出し、残りの人物は顔のみを検出するようにしてもよい。なお、顔の向きの情報についても、被写体情報として出力する。
【００５２】
顔の向き検出手段２０は、本実施形態では、被写体抽出段手段１４の内部に設けられているが、これに限定されず、顔の向き検出手段２０が被写体抽出手段１４の外部に設けられていてもよい。
【００５３】
立体ベクトル算出手段１６は、視差および距離、さらに、被写体情報に含まれる顔の向きの情報を利用して、顔の立体ベクトルの各軸の値を算出する。
【００５４】
次に、本発明に係る画像処理装置の第２実施形態である、本発明に係る画像処理装置２２動作を説明する。
【００５５】
図１０は、本発明に係る第２実施形態の画像処理方法の処理の流れの一例を示すフローチャートである。
まず、立体画像データ入力手段１２を介して、素材となる立体画像データが入力される（ステップＳ３０）。立体画像データは、被写体抽出手段１４に入力され、立体画像が解析され（ステップＳ３２）、被写体の顔が検出される（ステップＳ３４）。また、顔の向き検出手段２０により被写体の顔の向きの検出が行われ、被写体および被写体の顔の向きの情報が生成され、被写体情報として出力される。
【００５６】
立体画像データ、および被写体情報は、立体ベクトル算出手段１６に入力され、立体画像データの主画像データおよび副画像データ間の、被写体（顔）のテンプレートマッチングが行われて対応点が検出される（ステップＳ３６）。対応点検出結果に基づいて、被写体および被写体の顔ごとに視差および距離が算出される（ステップＳ３８）。また、算出された視差および距離、さらに、顔の向きを利用して、立体ベクトル（顔の立体ベクトルを含む）の各軸の値が算出されて立体ベクトルが求められ出力される（ステップＳ４０）。
【００５７】
立体ベクトルが求められると、立体画像に写っている全ての人物について、立体ベクトルの算出が終了したか判定され（ステップＳ４２）、全ての人物についての立体ベクトルの算出が終了していなければ、ステップＳ３６へと戻り、残りの人物について立体ベクトルが求められる（ステップＳ４２で“Ｎ”）。
【００５８】
全ての人物についての立体ベクトルの算出が終了していれば（ステップＳ４２で“Ｙ”）、立体画像データ、および立体ベクトル（顔の立体ベクトルを含む）は、立体画像データ記録手段１８に入力され、立体ベクトルと立体画像データとが関連付けられて、すなわち、立体ベクトルが立体画像データのＥｘｉｆタグへ書き込まれて、または別のファイルへ出力されて記録される（ステップＳ４４）。例えば、Ｅｘｉｆタグへの記入の例としては、図１１に示すように、顔立体ベクトルを含む各部位の立体ベクトルを記録することができる。
【００５９】
このように、顔の立体ベクトルと立体画像データとを関連付けて記録しておき、顔の立体ベクトルを利用して立体画像データから立体画像を合成することで、被写体抽出の精度を上げることができ、より自然で立体視しやすい立体画像を得ることができる。
【００６０】
次に、立体画像データと立体画像テンプレートとを合成する画像処理装置と、立体画像データを印刷する印刷装置とを有する立体画像印刷システムについて、第３実施形態として説明する。
第３実施形態では、第２実施形態の画像処理装置に加えて、キャラクタ等の含まれるテンプレートを合成することで、よりエンターテイメント性の向上した立体画像を得る。
【００６１】
図１２は、上述の第１，第２実施形態と異なる、本発明に係る立体画像印刷システム５０の構成を表す第３実施形態のブロック図である。
立体画像印刷システム５０は、図９に示す本発明に係る第２実施形態の画像処理装置２２と比べ、テンプレート記録手段４０、テンプレート選択手段４２、および合成手段４４をさらに備えた画像処理装置５２と、印刷装置５４とから構成され、画像処理装置５２は基本的に同様の構成を有するものである。よって、同様の構成要素には同一の符号を付し、その詳細な説明は省略する。
【００６２】
テンプレート記録手段４０には、ユーザの立体画像データと合成するための複数種類の立体画像テンプレートがあらかじめ記録されている。合成用の立体画像テンプレートとしては、例えば、テーマパーク等におけるキャラクタを用いたものが挙げられ、ユーザの立体画像（ユーザ画像）の被写体と立体画像テンプレートのキャラクタとを合成した立体画像を得ることができるものである。
【００６３】
テンプレート選択手段４２には、立体画像データ記録手段１８から立体画像データと関連付けて記録された立体ベクトル（被写体情報を含む）、およびテンプレート記録手段４０から立体画像テンプレートが入力される。テンプレート選択手段４２は、テンプレート記録手段４０に記憶された複数種類の立体画像テンプレートの中から、立体ベクトルおよび顔の向きに基づき、所定数の適切な立体画像テンプレートを選択し、図示しない表示装置に表示する。テンプレート選択手段４２は、表示装置に表示された所定数の立体画像テンプレートの中から、図示しない入力手段を介してユーザにより選択された立体画像テンプレートを出力する。
【００６４】
なお、本実施形態では、被写体抽出手段１４から立体ベクトル算出手段１６に入力される被写体情報に含まれる被検者の顔の向きの情報（被写体情報）を立体ベクトルとともにまとめて立体ベクトル算出手段１６から出力しているが、本発明はこれに限定されず、被写体抽出手段１４から出力される被写体の顔の向きの情報（被写体情報）と、立体ベクトル算出手段１６から出力される被写体の立体ベクトルを別々に、立体画像データ記録手段１８およびテンプレート選択手段４２にそれぞれ入力する構成としてもよい。
【００６５】
ここで、テンプレート選択手段４２による立体画像テンプレートの選択方法について説明する。
図１３は、立体画像６０ａ上において、ユーザの立体画像の被写体６２が左側、立体画像テンプレートのキャラクタ６３が右側に配置された例である。被写体６２の立体ベクトル６６は（−１，１，１）、つまり向かって左上に視線が向いた状態であり、キャラクタ６３の立体ベクトル６８は（１，１，１）、つまり向かって右上に視線が向いた状態である。この状態では、被写体６２とキャラクタ６３は、お互いに反目した形になり、さらに合成画像を立体印刷した合成プリントを立体視しようとしても、立体ベクトルの方向が異なるため立体視しづらいプリントとなってしまう。
【００６６】
このため、テンプレート選択手段４２では、被写体６２の立体ベクトルに基づいて、例えば、図１４に示す立体画像６０ｂのように、被写体６２の立体ベクトル６６と同じ方向の成分の立体ベクトル７０を持つキャラクタ６４を選択して配置したり、あるいは、図１５に示す立体画像６０ｃのように、被写体とキャラクタの配置を入れ替えて、被写体７２の立体ベクトル７６と、キャラクタ７４の立体ベクトル７８とが、向かい合うように配置することができるように、適切な立体画像テンプレートが選択される。
【００６７】
ユーザの立体画像（ユーザ画像）の被写体の立体ベクトル、顔の向きおよび配置と、合成用立体画像テンプレートのキャラクタ（表１ではキャラと記載）の立体ベクトルおよび顔の向きとの組み合わせのうち、ユーザ立体ベクトルが上向きの場合のマトリックスの一例を表１に示す。なお、ユーザ立体ベクトルが下向きの場合には、ＯＫ（適切）およびＮＧ（不適切）となるキャラクタ立体ベクトルは逆の組み合わせとなる。
【００６８】
【表１】
【００６９】
ユーザ画像の被写体が立体画像の左側に配置されている場合、キャラクタ画像のキャラクタは被写体の右側に配置され、被写体が右側に配置されている場合、キャラクタは被写体の左側に配置されるものとする。また、被写体が中央に配置されている場合、キャラクタは被写体の右側もしくは左側に配置される（どちら側に配置されるかはユーザにより選択される）ものとする。
【００７０】
被写体の顔の向きが左側（左上、左正、左下）もしくは右側（右上、右正、右下）で、被写体が左側もしくは右側に配置されている場合に、被写体の顔の向きがキャラクタの方を向く場合には、上下方向のうち被写体の顔の向きと逆方向のキャラクタの顔の向きをＮＧ（非選択）とする。また、被写体の顔の向きがキャラクタの方を向かない場合には、左右方向のうち被写体の顔の向きと逆方向のキャラクタの顔の向きをＮＧとし、かつ、上下方向のうち被写体の顔の向きと逆方向のキャラクタの顔の向きをＮＧとする。
【００７１】
また、被写体の顔の向きが左側もしくは右側で、被写体が中央に配置されている場合には、キャラクタが被写体の左側に配置されるか右側に配置されるかに応じて、被写体の顔の向きがキャラクタの方を向くか向かないかが変わってくる。従って、被写体が中央に配置されている場合には、被写体の顔の向きに係わらず、上下方向のうち被写体の顔の向きと逆方向のキャラクタの顔の向きをＮＧとする。
【００７２】
また、被写体の顔の向きが中央（中央上、中央正、中央下）の場合には、被写体が左側、中央、右側のどの位置に配置されている場合であっても、被写体の顔の向きはキャラクタの配置に係わらず中立な向きとなる。従って、被写体の顔の向きが中央の場合には、被写体の配置および顔の向きに係わらず、上下方向のうち被写体の顔の向きと逆方向のキャラクタの顔の向きをＮＧとする。
【００７３】
例えば、被写体の顔の向きが左上で、左側に配置されている場合、被写体の顔の向きは、右側に配置されるキャラクタの方を向かない。従って、キャラクタの右側方向の顔の向きをＮＧとし、かつ、キャラクタの下側方向の顔の向きをＮＧとする。つまり、キャラクタの顔の向きのうち、右側方向に含まれる右上、右正、右下をＮＧ、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の中央上、左上、左正、中央正をＯＫ（選択）とする。
【００７４】
被写体の顔の向きが左上で、右側に配置されている場合、被写体の顔の向きは、左側に配置されるキャラクタの方を向く。従って、キャラクタの下側方向の顔の向きをＮＧとする。つまり、キャラクタの顔の向きのうち、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の右正、右上、中央上、左上、左正、中央正をＯＫとする。
【００７５】
被写体の顔の向きが左上で、中央に配置されている場合、被写体の顔の向きに係わらず、キャラクタの下側方向の顔の向きをＮＧとする。つまり、キャラクタの顔の向きのうち、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の右正、右上、中央上、左上、左正、中央正をＯＫとする。
【００７６】
続いて、被写体の顔の向きが右上で、左側に配置されている場合は、被写体の顔の向きが左上で、右側に配置される場合に対して左右逆の状態となる。従って、この場合には、ＮＧとするキャラクタの顔の向きを左右逆向きにすればよく、キャラクタの下側方向の顔の向きをＮＧとする。つまり、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の右正、右上、中央上、左上、左正、中央正をＯＫとする。
【００７７】
被写体の顔の向きが右上で、右側に配置されている場合、同じく、被写体の顔の向きが左上で、左側に配置される場合に対して左右逆の状態となる。従って、同様に、ＮＧとするキャラクタの顔の向きを左右逆向きにして、キャラクタの左側方向の顔の向きをＮＧとし、かつ、下側方向の顔の向きをＮＧとする。つまり、左側方向に含まれる左上、左正、左下、および、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の右正、右上、中央上、中央正をＯＫとする。
【００７８】
被写体の顔の向きが右上で、中央に配置されている場合も同様に、被写体の顔の向きが左上で、中央に配置される場合に対して左右逆の状態となる。従って、同様に、ＮＧとするキャラクタの顔の向きを左右逆向きにして、キャラクタの下側方向の顔の向きをＮＧとする。つまり、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の右正、右上、中央上、左上、左正、中央正をＯＫとする。
【００７９】
続いて、被写体の顔の向きが中央上の場合、被写体の配置および顔の向きに係わらず、キャラクタの下側方向の顔の向きをＮＧとする。つまり、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の右正、右上、中央上、左上、左正、中央正をＯＫとする。
【００８０】
また、立体ベクトルの大きさも考慮して立体画像テンプレートを選択するようにしてもよい。例えば、図１６に示す立体画像６０ｄでは、キャラクタ８２の立体ベクトル８６が、被写体８０の立体ベクトル８４よりも飛び出し量が大きい場合を示し、図１７に示す立体画像６０ｅは、被写体８８の立体ベクトル９２がキャラクタ９０の立体ベクトル９４よりも飛び出し量が大きい場合を示す。このように、被写体とキャラクタの立体ベクトルの大きさがアンバランスになる組み合わせは、選択肢から外すようにすることができる。
【００８１】
なお、図１６および図１７では、被写体の飛び出し量を（３）としているが、被写体とキャラクタのバランスが取れる範囲であれば、被写体の飛び出し量とキャラクタの飛び出し量とが異なっていてもよい。具体的には、例えば、被写体の飛び出し量（Ｎ）に対してキャラクタの飛び出し量が（Ｎ／３）よりも大きく（３Ｎ）よりも小さい範囲であることが望ましい。
【００８２】
立体ベクトルの大きさも考慮した場合の、ユーザの被写体の立体ベクトルおよび配置と、キャラクタの立体ベクトルとの組み合わせの、マトリックスの一例を表２に示す。
【００８３】
【表２】
【００８４】
さらに、図１８に示すように、組み合わせ可能なキャラクタの立体ベクトルに優先順位を設けて、優先順位に従って立体画像テンプレートが選択されるようにしてもよい。例えば、表３に示すように、ユーザ立体ベクトルが左上（−１，１，１）の場合、立体画像１００における被写体１０２の立体ベクトル１０６に対して、キャラクタ１０４の立体ベクトル１０８ａ〜１０８ｈのうち、１０８ｂを１番、１０８ｄを２番というように優先順位を付け、立体ベクトル１０８ｆ、１０８ｇ、および１０８ｈの不適切な組み合わせの場合は、選択されないようにＮＧとする。
【００８５】
【表３】
【００８６】
また、優先順位の替わりに、これらの立体ベクトルの方向をプレビュー画面に表示して、ユーザが選択可能なように構成してもよい。さらに、保存容量を節約するために、あらゆる組み合わせを用意するのではなく、最も適切な組み合わせに近い立体画像テンプレートを用意するようにしてもよい。
【００８７】
続いて、合成手段４４には、立体画像データ記録手段１８から立体ベクトルと関連付けられた立体画像データと、テンプレート選択手段４２で選択された立体画像テンプレートが入力される。合成手段４４は、立体画像データと、テンプレート選択手段４２によって選択された立体画像テンプレート（つまり、立体画像の被写体と立体画像テンプレートのキャラクタ）とを合成して、合成立体画像を構成する合成立体画像データを生成し出力する。
【００８８】
印刷装置５４には、合成手段４４から合成立体画像データが入力される。印刷装置５４は、合成立体画像データに対応する合成立体画像をプリントアウトすることができるプリンタである。立体画像のプリントとしては、例えば、複数の画像を短冊状に切り取って交互に配置し、パララックスバリア（視差バリア）、またはレンチキュラーレンズを用いて裸眼立体視が可能なように印刷することが挙げられる。
【００８９】
次に、本発明の第３実施形態である、本発明に係る立体画像印刷システム５０の動作を説明する。
【００９０】
図１９〜図２２は、本発明に係る第３実施形態の画像処理方法の処理の流れの一例を示すフローチャートである。
まず、立体画像データ入力手段１２を介して、素材となる立体画像データが入力される（ステップＳ１００）。立体画像データから、上述の第２実施形態と同様に、被写体（ユーザ）および顔の向きの検出、立体ベクトル算出処理が行われ、立体画像データ（ユーザ立体画像データ）、および立体ベクトル（ユーザ立体ベクトル）が関連付けられて立体画像データ記録手段１８に記録される。
【００９１】
また、被写体（ユーザ）情報（顔の向きの情報を含む）およびユーザ立体ベクトルに基づき（ステップＳ１０２）、適切な立体画像テンプレートをテンプレート記録手段４０から読み込み、図示しない表示装置に複数表示し（ステップＳ１０６）、操作者による合成用の立体画像テンプレート（キャラクタ）の選択が行われる（ステップＳ１０８）。なお、ここで選択される立体画像テンプレート（キャラクタ）は、配置については決定されていない。また、合成用の立体画像テンプレート（キャラクタ）の選択は、自動的に行われてもよい。
【００９２】
合成用の立体画像テンプレート（キャラクタ）が選択されると、立体画像データの被写体の配置位置が検出または選択される（ステップＳ１１０）。被写体（ユーザ）の配置位置が左の場合には（ステップＳ１１０で“左”）、被写体が左に配置された場合のマトリックスが選択され（ステップＳ１１２）、被写体の配置位置が中央の場合には（ステップＳ１１０で“中央”）、被写体が中央に配置された場合のマトリックスが選択され（ステップＳ１１４）、被写体の配置位置が右の場合には（ステップＳ１１０で“右”）、被写体が右に配置された場合のマトリックスが選択される（ステップＳ１１６）。
【００９３】
続いて、被写体の立体ベクトル（ユーザ立体ベクトル）に基づいて、マトリックスが選択される。立体ベクトルの左右方向の向きが左の場合であって（ステップＳ１１８で“左”）、立体ベクトルの上下方向の向きが上の場合（ステップＳ１２０で“上”）、ユーザ立体ベクトルが左上のマトリックスが選択される（ステップＳ１２６）。同様に、立体ベクトルの左右方向の向きが左の場合であって（ステップＳ１１８で“左”）、立体ベクトルの上下方向の向きが正面の場合（ステップＳ１２０で“正面”）、ユーザ立体ベクトルが左正面のマトリックスが選択され（ステップＳ１２８）る。また、立体ベクトルの左右方向の向きが左の場合であって（ステップＳ１１８で“左”）、立体ベクトルの上下方向の向きが下の場合（ステップＳ１２０で“下”）、ユーザ立体ベクトルが左下のマトリックスが選択される（ステップＳ１３０）。
【００９４】
立体ベクトルの左右方向の向きが中央の場合（ステップＳ１１８で“中央”）も同様に、ステップＳ１２２，Ｓ１３２〜Ｓ１３６において、ユーザ立体ベクトルが中央上、中央正面、または中央下のいずれかのマトリックスが選択される。立体ベクトルの左右方向の向きが右の場合（ステップＳ１１８で“右”）も同様に、ステップＳ１２４，Ｓ１３８〜Ｓ１４２において、ユーザ立体ベクトルが右上、右正面、または右下のいずれかのマトリックスが選択される。
【００９５】
ユーザ立体ベクトルに基づきマトリックスが選択されると、当該マトリックスに含まれる被写体（ユーザ）とキャラクタの位置関係から、合成可能（適切）な複数の立体画像テンプレートが提示され、一意のキャラクタの配置位置と立体ベクトルを有する立体画像テンプレートが、操作者によって選択される（ステップＳ１４４）。なお、最も適切と考えられるキャラクタの配置位置と立体ベクトルを有する立体画像テンプレートが自動的に選択されるようにしてもよい。
【００９６】
キャラクタの配置位置と立体ベクトルを有する立体画像テンプレート、および立体画像データは、合成手段４４に入力される。キャラクタの配置位置と立体ベクトルを有する立体画像テンプレート、および立体画像データは合成されて、合成立体画像データが生成され出力される（ステップＳ１４６）。
【００９７】
合成立体画像データは、印刷装置５４に入力され、立体画像が印刷される（ステップＳ１４８）。
【００９８】
このように、ユーザは立体ベクトル値を意識することなく、所望の合成用の立体画像テンプレートを選択するだけで、被写体の配置と立体ベクトル（ユーザ立体ベクトル）に基づいて、不適切な立体画像テンプレートが選択されることを排除することが可能となり、満足度を向上させることができる。
【００９９】
また、被写体の配置に合わせて、立体画像テンプレートのキャラクタの配置および立体ベクトルを変更することで、つまり、被写体とキャラクタの立体感が最も適合した立体画像テンプレートが選択されることで、よりエンターテイメント性が高く満足度が高い立体画像が印刷された立体プリントを得ることができる。
【０１００】
なお、本発明においては、上述した画像処理方法の各工程をコンピュータに実行させるための画像処理プログラムとして構成しても良いし、また、コンピュータを、画像処理方法の各工程を実施する各手段として、または、上述した画像処理装置を構成する各手段として機能させる画像処理プログラムとして構成しても良い。
また、本発明を、上述した画像処理プログラムをコンピュータにより読取可能な媒体またはコンピュータにより読取可能なメモリとして構成してもよい。
【０１０１】
以上、本発明の画像処理装置、立体画像印刷システム、画像処理方法およびプログラムについて詳細に説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。
【符号の説明】
【０１０２】
１０，２２，５２ 画像処理装置
１２ 立体画像データ入力手段
１４ 被写体抽出手段
１６ 立体ベクトル算出手段
１８ 立体画像データ記録手段
２０ 顔の向き検出手段
３０ 立体画像データ
３２ ヘッダ
４０ テンプレート記録手段
４２ テンプレート選択手段
４４ 合成手段
５０ 立体画像印刷システム
５４ 印刷装置
６０ａ〜６０ｅ，１００ 立体画像
６２，７２，８０，８８，１０２ 被写体
６３，６４，７４，８２，９０，１０４ キャラクタ
６６，６８，７０，７６，７８，８４，８６，９２，９４，１０６，１０８ａ〜１０８ｈ 立体ベクトル
【技術分野】
【０００１】
本発明は、立体画像データに対して立体画像を生成するための画像処理を行う画像処理装置、立体画像印刷システム、画像処理方法およびプログラムに関するものである。
【背景技術】
【０００２】
従来から、視線の異なる複数の画像を組み合わせて表示することで、視差を利用した立体視が実現されている。例えば、（１）左目用と右目用の画像に対して、それぞれ直交する直線偏光をかけて、偏光メガネを用いて立体視を行う方法、（２）左目用と右目用の画像を交互に表示して、表示手段と同期した液晶シャッターを備えたメガネを用いて立体視を行う方法、（３）左目用と右目用の画像に対して、それぞれ赤と青の光を重ねて表示し、左右に赤と青のカラーフィルタの付いたメガネを用いて立体視を行う方法が挙げられる。
【０００３】
また、いわゆる裸眼立体視の方法として、例えば、複数の画像を短冊状に切り取って交互に配置し、パララックスバリア（視差バリア）、またはレンチキュラーレンズを用いて、左右の眼でそれぞれの画像を見ることで立体視を行う方法も挙げられる。
【０００４】
ここで、本発明に関連する先行技術文献として、特許文献１〜４が挙げられる。
特許文献１には、複数の位置から複数の撮像装置によって撮影され、当該複数の位置のうちの所望の位置と所望の撮影時刻が指定されると、撮影時刻の異なる複数のフレーム画像が選択され、立体画像形成部により、所定の光学系を介して観察した場合に観察視点位置の移動に従って順次観察できるように合成され立体印刷される、立体画像形成装置が開示されている。
【０００５】
特許文献２には、３次元表示面または該３次元表示面の近傍に配置された実物体の位置または姿勢若しくは形状を検出する検出部と、実物体の形状と位置または姿勢とに基づいて、実物体が３次元表示面により照射された光線を遮蔽する領域である遮蔽領域を算出する遮蔽領域算出部と、遮蔽領域に対して、遮蔽領域以外の領域と異なる描画処理を行って、立体画像を描画する描画部とを備えた立体画像生成装置が開示されている。
【０００６】
特許文献３には、撮影空間を撮影したときに撮像系により捉えられた各点の輝度値を表す輝度画像を取得する輝度画像取得手段と、各点の空間的な位置を所定の座標系で表した３次元情報を取得する３次元情報取得手段と、所定の入力装置から、座標系の軸方向ごとのオフセット値を指定する入力を受け付けて、該各オフセット値を所定のメモリに記憶し、座標系の原点をオフセット値分変位させた点をオフセット原点として設定するオフセット原点設定手段とを備え、それぞれの情報を格納する領域を有する所定フォーマットのファイルを生成するファイル生成装置が開示されている。
【０００７】
特許文献４には、立体強度のレベル値が大きいほど立体感の強い立体視画像が表示されることを表わす、立体視画像の立体強度を示すタグ（立体強度タグ）が画像制御情報として含まれ、立体視画像を表示させたい表示装置の指定を付属情報として管理することが可能な立体視画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−１６５７９５号公報
【特許文献２】特開２００８−９０６１７号公報
【特許文献３】特開２００８−２５２４９３号公報
【特許文献４】特開２００４−３３４８３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
立体画像データの表示方法は、従来、立体度（奥行き量、または飛び出し量）、および立体視差量を調整することで、立体画像を見ることによる疲労感を軽減したり、あるいは立体画像の不自然さを調整するものが多く提案されている。つまり、従来は被写体が画面に対してどの程度飛び出しているか、または引き込んでいるかを表して調整するものであったが、被写体がどの方向にどの程度飛び出しているか、または引き込んでいるかを表す指標は開示も示唆もされていなかった。
また、立体画像印刷は、専用の機材が必要であったり手間がかかるため、通常のプリントよりも高価となることから、ユーザの所望の形で１回で印刷できることが望ましい。
【００１０】
本発明の目的は、被写体がどの方向にどの程度飛び出しているか、または引き込んでいるかを表す指標を立体ベクトルとして表現し、立体ベクトルを様々な画像処理に用いることで、より自然で立体視しやすい立体画像を生成する画像処理装置、立体画像印刷システム、画像処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明は、立体画像を構成する立体画像データを外部から入力するための立体画像データ入力手段と、
前記立体画像データから被写体を抽出する被写体抽出手段と、
前記立体画像データに含まれる視点の異なる複数の平面画像データから前記被写体の立体ベクトルを算出する立体ベクトル算出手段と、
前記立体ベクトルと前記立体画像データとを関連付けて記録する立体画像データ記録手段と、を有することを特徴とする画像処理装置を提供する。
【００１２】
ここで、前記被写体抽出手段は、さらに、前記被写体の顔を抽出するものであって、
さらに、前記被写体の顔の向きを検出する顔の向き検出手段を有し、
前記立体ベクトル算出手段は、さらに、前記顔の向きを利用して顔の立体ベクトルを算出するものであることが好ましい。
【００１３】
また、前記被写体抽出手段は、前記被写体の複数の部位を抽出し、
前記立体ベクトル算出手段は、前記被写体の複数の部位の立体ベクトルを算出するものであることが好ましい。
【００１４】
また、前記立体画像データ記録手段は、前記被写体の複数の部位の立体ベクトルのうち、最も大きい立体ベクトルと前記立体画像データとを関連付けて記録するものであることが好ましい。
【００１５】
また、前記立体画像データ記録手段は、前記被写体の立体ベクトルを、前記立体画像データのＥｘｉｆタグに記録するものであることが好ましい。
【００１６】
また、前記立体画像データ記録手段は、前記被写体の立体ベクトルを、前記立体画像データとは別のファイルに記録するものであることが好ましい。
【００１７】
また、前記立体ベクトル算出手段は、前記視点の異なる複数の平面画像データから前記被写体の視差および前記視点から前記被写体までの距離を算出し、該視点の異なる複数の平面画像データ、視差および距離から前記被写体の立体ベクトルを算出するものであることが好ましい。
【００１８】
さらに、複数種類の立体画像テンプレートが記録されたテンプレート記録手段と、
前記テンプレート記録手段に記録された複数種類の立体画像テンプレートの中から、前記立体画像データと関連付けて記録された立体ベクトルに基づいて所定数の立体画像テンプレートを選択するテンプレート選択手段と、
前記立体画像データと前記テンプレート選択手段により選択される所定数の立体画像テンプレートのうちユーザにより選択される１つの立体画像テンプレートとを合成し、合成立体画像を構成する合成立体画像データを出力する合成手段と、を有することが好ましい。
【００１９】
ここで、前記テンプレート選択手段は、前記被写体の飛び出し量をＮとして、Ｎ／３よりも大きく３Ｎよりも小さい範囲の飛び出し量のキャラクタを含む立体画像テンプレートを選択するものであることが好ましい。
【００２０】
また、前記テンプレート選択手段は、さらに、前記立体画像における被写体の顔の向きおよび該被写体の位置に基づいて、前記立体画像テンプレートを選択するものであることが好ましい。
【００２１】
また、前記テンプレート選択手段は、前記被写体の顔の向きが左側もしくは右側で、該被写体が前記立体画像の左側もしくは右側に配置され、前記立体画像テンプレートに含まれるキャラクタが右側もしくは左側に配置される場合、該被写体の顔の向きが前記キャラクタの方を向く場合には、上下方向のうち前記被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、前記被写体の顔の向きが前記キャラクタの方を向かない場合には、左右方向のうち前記被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、かつ、上下方向のうち前記被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、それ以外の顔の向きの前記キャラクタを含む立体画像テンプレートを選択するものであることが好ましい。
【００２２】
また、前記テンプレート選択手段は、前記被写体の顔の向きが左側もしくは右側で、該被写体が中央に配置され、前記立体画像テンプレートに含まれるキャラクタが前記被写体の右側もしくは左側に配置される場合には、前記被写体の顔の向きに係わらず、上下方向のうち該被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、それ以外の顔の向きの前記キャラクタを含む立体画像テンプレートを選択するものであることが好ましい。
【００２３】
また、前記テンプレート選択手段は、前記被写体の顔の向きが中央の場合には、該被写体の配置および顔の向きに係わらず、上下方向のうち前記被写体の顔の向きと逆方向の前記立体画像テンプレートに含まれるキャラクタの顔の向きを非選択とし、それ以外の顔の向きの前記キャラクタを含む立体画像テンプレートを選択するものであることが好ましい。
【００２４】
また、前記テンプレート選択手段は、前記立体画像テンプレートに含まれるキャラクタの飛び出し量および顔の向きに優先順位を設け、該優先順位に従って前記立体画像テンプレートを選択するものであることが好ましい。
【００２５】
また、前記テンプレート選択手段は、前記立体画像テンプレートに含まれるキャラクタの飛び出し量および顔の向きをプレビュー画面に表示して、該プレビュー画面に表示された複数の立体画像テンプレートの中から、ユーザにより選択される１つの立体画像テンプレートを選択するものであることが好ましい。
【００２６】
また、本発明は、上記のいずれかに記載の画像処理装置と、
前記画像処理装置から出力される合成立体画像データに対応する合成立体画像を印刷する印刷装置と、を有することを特徴とする立体画像印刷システムを提供する。
【００２７】
また、本発明は、外部から入力される、立体画像を構成する立体画像データを受け取る立体画像データ入力ステップと、
前記立体画像データから被写体を抽出する被写体抽出ステップと、
前記立体画像データに含まれる視点の異なる複数の平面画像データから前記被写体の立体ベクトルを算出する立体ベクトル算出ステップと、
前記立体ベクトルと前記立体画像データとを関連付けて記録する立体画像データ記録ステップと、を有することを特徴とする画像処理方法を提供する。
【００２８】
また、本発明は、上記に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラムを提供する。
【発明の効果】
【００２９】
本発明によれば、立体ベクトルを意識することなく、より自然で立体視しやすい立体画像、より自然で立体視しやすいレイアウトのユーザ画像とキャラクタ画像の合成画像、およびこれらを印刷した立体プリント（立体写真）を、失敗なく得ることができる。
【図面の簡単な説明】
【００３０】
【図１】（ａ）は、平面画像データの軸を示す説明図であり、（ｂ）は、本発明に係る立体画像データの軸および立体ベクトルの一例を示す説明図である。
【図２】本発明に係る画像処理装置の第１実施形態を示すブロック図である。
【図３】本発明に係る立体画像データの軸および立体ベクトルの、他の一例を示す説明図である。
【図４】本発明に係る画像処理装置の第１実施形態における処理の流れの一例を示すフローチャートである。
【図５】立体画像データのファイル構成の一例を示す説明図である。
【図６】立体画像データのファイルの、ヘッダの一例を示す説明図である。
【図７】立体画像データのファイルの、ヘッダの他の一例を示す説明図である。
【図８】被写体の顔の向きと立体ベクトルの一例を示す説明図である。
【図９】本発明に係る画像処理装置の第２実施形態を示すブロック図である。
【図１０】本発明に係る画像処理装置の第２実施形態における処理の流れの一例を示すフローチャートである。
【図１１】立体画像データのファイルの、ヘッダの他の一例を示す説明図である。
【図１２】本発明に係る第３実施形態である立体画像印刷システムを示すブロック図である。
【図１３】立体プリントの一例を示す説明図である。
【図１４】立体プリントの他の一例を示す説明図である。
【図１５】立体プリントの他の一例を示す説明図である。
【図１６】立体プリントの他の一例を示す説明図である。
【図１７】立体プリントの他の一例を示す説明図である。
【図１８】立体プリントの他の一例を示す説明図である。
【図１９】本発明に係る第３実施形態である立体画像印刷システムにおける処理の流れの一例を示すフローチャートである。
【図２０】図１９のフローチャートの続きを示すフローチャートである。
【図２１】図１９のフローチャートの続きを示すフローチャートである。
【図２２】図１９のフローチャートの続きを示すフローチャートである。
【発明を実施するための形態】
【００３１】
本発明に係る画像処理方法を実施する画像処理装置、および立体画像印刷システムを、添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。
【００３２】
始めに、本発明に係る立体画像における被写体の立体ベクトルについて説明する。
図１（ａ）および（ｂ）は、ユーザ画像の平面画像データと立体画像データとを比較した図である。
図１（ａ）は、従来の平面画像を構成する平面画像データ（Ｘ，Ｙ軸の２次元データ）の軸を示す図であり、水平軸をＸ軸、垂直軸をＹ軸として表現している。図１（ｂ）は、本発明に係る立体画像を構成する立体画像データ（Ｘ，Ｙ，Ｚ軸の３次元データ）の軸および立体ベクトルの一例を示す図であり、平面画像データのＸ軸、Ｙ軸、および平面画像データのＸ軸、Ｙ軸からなる平面に直交するＺ軸を有し、Ｚ軸は被写体の飛び出し方向（奥行き量、または飛び出し量）を表す軸である。つまり、立体ベクトルは、立体画像データに含まれるＸ，Ｙ，Ｚ軸の３次元データを表す。
【００３３】
立体画像データとしては、例えば、右目用の平面画像および左目用の平面画像を含むステレオ画像の画像データを例示することができる。つまり、ステレオ画像の画像データは、１つの画像データ内に、右目用の平面画像の画像データおよび左目用の平面画像の画像データを含む。なお、立体画像データは、ステレオ画像の画像データに限らず、視点の異なる複数の平面画像の画像データを１つの立体画像データ内に含むものであればよい。
【００３４】
ここで、立体画像における被写体の立体ベクトルを求めるためには、まず、例えば、特開２００６−１６５７９５号公報、特開２００１−３４６２２６号公報、特開２００８−９０６１７号公報等に記載の方法により、被写体をボリュームデータ（Ｘ，Ｙ，Ｚ軸の３次元データ）として描画し、右目用と左目用のそれぞれの平面画像（主画像、副画像）間のテンプレートマッチングによる対応点検出結果より、右目用の平面画像と左目用の平面画像との間の視差（視差量）および視点から被写体までの距離を算出する。
【００３５】
次に、右目用の平面画像と左目用の平面画像（の画像データ）および求められた視差および距離から、Ｘ，Ｙ，Ｚ軸で表される立体ベクトルの、それぞれの軸の値を算出することで、（Ｘ，Ｙ，Ｚ）で表される立体ベクトルを求めることができる。Ｚ軸方向の値（飛び出し量）は、例えば、特開２０１０−４５５８４号公報等に記載されているように、視差および距離に比例し、視差が大きくなると大きくなり、距離が長くなると大きくなる。従って、Ｚ軸方向の値は、距離が求まれば、視差に応じて一意に算出することができる。例えば、図１（ｂ）では、Ｚ軸の値（Ｚ軸方向の飛び出し量）をＺ１とすると、立体ベクトルは（０，０，Ｚ１）（始点座標（０，０，０）、終点座標（０，０，Ｚ１）））となる。また、Ｘ軸方向およびＹ軸方向の値は、例えば、Ｚ軸方向の値が突出している部分を検出し、検出したＺ軸方向の値に対応する手、足、顔等の被写体の部位を特定し、被写体の胴体と特定した部位との位置関係から算出することができる。例えば、Ｚ軸方向の値が突出している部分として被写体の手を検出した場合、胴体の肩の位置および手の先の位置からＸ軸方向およびＹ軸方向の値を算出する。なお、立体ベクトルの算出方法は何ら限定されず、立体画像データに含まれる視点の異なる複数の平面画像データから被写体の立体ベクトルを算出する、既存の方法を含む各種の方法を用いることができる。
【００３６】
次に、本発明に係る画像処理装置について説明する。
図２は、本発明に係る画像処理方法を実施する、本発明に係る画像処理装置の構成を表す第１実施形態のブロック図である。
図２に示す画像処理装置１０は、立体画像データ入力手段１２、被写体抽出手段１４、立体ベクトル算出手段１６、および立体画像データ記録手段１８によって構成される。
【００３７】
立体画像データ入力手段１２は、立体画像データを入力するための入力手段であって、立体画像データを画像処理装置１０の外部から入力するための外部インタフェースを有する。立体画像データの作成方法には特に限定はなく、ユーザが３Ｄ対応のデジタルスチルカメラまたはデジタルビデオカメラで撮影した動画像／静止画像データ、ならびにネットワーク上からダウンロードした動画像／静止画像データなど、種々の立体画像データを入力することができる。外部インタフェースは、ＵＳＢ（Universal Serial Bus）、メモリーカードＲ／Ｗ（reader/writer）、光学ディスク、および有線／無線ＬＡＮ（Local Area Network）などであればよい。立体画像データは、外部から外部インタフェースを介して入力される。立体画像データ入力手段１２は、外部から入力される立体画像データを受け取って画像処理装置１０の各部位へ供給する。
【００３８】
被写体抽出手段１４には、立体画像データ入力手段１２から立体画像データが入力される。被写体抽出手段１４は、立体画像データを解析して立体画像における被写体（の領域）を抽出する。被写体の抽出方法は、例えば、エッジ検出、色彩検出等の既存の方法を含む各種の方法を用いることができる。また、被写体の各部位、例えば、顔、左右の手、胴体、足等について、それぞれの領域を抽出する。被写体抽出手段１４は、抽出された被写体の情報および被写体の各部位の情報を生成し、被写体情報として出力する。
【００３９】
立体ベクトル算出手段１６には、立体画像データ入力手段１２から立体画像データ、および被写体抽出手段１４から被写体情報が入力される。立体ベクトル算出手段１６は、前述のように、立体画像データに含まれる主画像データおよび副画像データ間の被写体のテンプレートマッチングを行って対応点を検出し、対応点検出結果に基づいて、被写体または被写体の各部位ごとに視差および距離を算出する。また、算出された視差および距離から、立体ベクトルの各軸の値を算出して立体ベクトルを求め出力する。
【００４０】
図３の例では、Ｚ軸を紙面の垂直方向にとり、被写体が顔と右手を右上前方に向けた場合の立体ベクトルを示す。このとき、顔の立体ベクトルを（Ｘ２，Ｙ２，Ｚ２）（始点座標（０，０，０）、終点座標（Ｘ２，Ｙ２，Ｚ２）、以下同様である。）、右手の立体ベクトルを（Ｘ３，Ｙ３，Ｚ３）とする。ここで、立体ベクトル算出手段１６は、顔の立体ベクトルと右手の立体ベクトルとを比較する場合に、例えば、ベクトルの大きさを比較して大きい方である右手の立体ベクトルを、立体画像データに関連付けて記録する立体ベクトルとして出力することができる。ベクトルの大きさは、例えば、顔の立体ベクトルは式（１）で、右手の立体ベクトルは式（２）で、それぞれ求められる。なお、出力する立体ベクトルはこれに限定されず、顔、左手、胴体、および足のうち１以上の立体ベクトルを出力してもよい。
【００４１】
√（Ｘ２２＋Ｙ２２＋Ｚ２２） ・・・ （１）
√（Ｘ３２＋Ｙ３２＋Ｚ３２） ・・・ （２）
【００４２】
立体画像データ記録手段１８には、立体画像データ入力手段１２から立体画像データ、および立体ベクトル算出手段１６から立体ベクトルが入力される。立体画像データ記録手段１８は、立体ベクトルと立体画像データとを関連付けて記録する。立体画像データ記録手段１８は、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の半導体メモリでもよいし、ＨＤＤ（Hard Disk Drive）等の磁気記録媒体でもよい。
【００４３】
また、立体ベクトルは、立体画像データのＥｘｉｆ（Exchangeable image file format）タグの一部にその値を書き込んでもよいし、立体画像データファイル（例えば、ファイル名：Image0001.jpg）と別のファイル（例えば、ファイル名：Image0001.vct）として記録するようにしてもよい。
【００４４】
次に、本発明に係る画像処理方法を実現する、本発明に係る画像処理装置１０の第１実施形態の動作を説明する。
【００４５】
図４は、本発明に係る第１実施形態の画像処理方法の処理の流れの一例を示すフローチャートである。
まず、立体画像データ入力手段１２を介して、素材となる立体画像データが入力される（ステップＳ１０）。立体画像データは、被写体抽出手段１４に入力されて立体画像が解析され（ステップＳ１２）、被写体が抽出される（ステップＳ１４）。また、被写体の各部位、例えば、顔、左右の手、胴体、足等について、それぞれの領域が抽出され、抽出された被写体および被写体の各部位の情報が生成され、被写体情報として出力される。
【００４６】
立体画像データ、および被写体情報は、立体ベクトル算出手段１６に入力され、立体画像データの主画像データおよび副画像データ間の、被写体のテンプレートマッチングが行われて対応点が検出される（ステップＳ１６）。対応点検出結果に基づいて、被写体または被写体の各部位ごとに視差および距離が算出される（ステップＳ１８）。また、算出された視差および距離から、立体ベクトルの各軸の値が算出されて立体ベクトルが求められ出力される（ステップＳ２０）。
【００４７】
立体画像データ、および立体ベクトルは、立体画像データ記録手段１８に入力され、立体ベクトルと立体画像データとが関連付けられて、すなわち、立体ベクトルが立体画像データのＥｘｉｆタグへ書き込まれて、または別のファイルへ出力されて記録される（ステップＳ２２）。例えば、図５に示すファイルフォーマットの例では、立体画像データ３０のヘッダ３２内のＥｘｉｆタグに立体ベクトルが書き込まれる。
また、ヘッダ３２内のＥｘｉｆタグへの記入の例としては、被写体の立体ベクトルのみ記録する場合を図６に示し、被写体の各部位ごとの立体ベクトルを記録する場合を図７に示す。
【００４８】
このように、立体ベクトルと立体画像データとを関連付けて記録しておき、立体ベクトルを利用して立体画像データから立体画像を合成することで、より自然で立体視しやすい立体画像を得ることができる。
【００４９】
次に、被写体の顔の向きの立体ベクトル（顔の立体ベクトル）を用いる場合を第２実施形態として説明する。
第２実施形態では、第１実施形態の画像処理装置に加えて、さらに顔の向きの検出を行うことで、より高精度の立体ベクトルを算出する。
図８は、被写体の顔の向きと立体ベクトルの例である。顔の向きの立体ベクトルも被写体の立体ベクトルと同様に、（Ｘ，Ｙ，Ｚ）で表される。例えば、図８の左上に示すように、顔の向きの立体ベクトルが（−１，１，１）であれば、顔は紙面に向かって左上を向き、飛び出し量（Ｚ軸方向の値）は（１）であることを表している。これ以外の顔の向きの立体ベクトルについても同様である。
【００５０】
図９は、上述の第１実施形態と異なる、本発明に係る画像処理装置２２の構成を表す第２実施形態のブロック図である。
画像処理装置２２は、図２に示す本発明に係る第１実施形態の画像処理装置１０と比べ、被写体抽出手段１４内に顔の向き検出手段２０をさらに備えたものであり、基本的に同様の構成を有するものである。よって、同様の構成要素には同一の符号を付し、その詳細な説明は省略する。
【００５１】
顔の向き検出手段２０は、被写体の顔の領域から、天地方向の顔の向き（角度）、および左右方向の顔の向き（角度）を算出する。顔の向き検出方法は、例えば、マシンラーニング手法を利用して、顔画像からランドマークを示す点の位置を検出する特開２００６−２０２２７６号に記載の方法、および、一定の大きさの画像データを切り出して、特徴部分の画像データと照合を行う特開２００４−３３４８３６号に記載の方法等の既存の方法を含む各種の方法を用いることができる。ここで、顔の認識については、複数の人物の顔を認識してもよいし、特定の人物の顔について認識してもよい。また、複数の人物のうち、特定の人物は顔を含む各部位を検出し、残りの人物は顔のみを検出するようにしてもよい。なお、顔の向きの情報についても、被写体情報として出力する。
【００５２】
顔の向き検出手段２０は、本実施形態では、被写体抽出段手段１４の内部に設けられているが、これに限定されず、顔の向き検出手段２０が被写体抽出手段１４の外部に設けられていてもよい。
【００５３】
立体ベクトル算出手段１６は、視差および距離、さらに、被写体情報に含まれる顔の向きの情報を利用して、顔の立体ベクトルの各軸の値を算出する。
【００５４】
次に、本発明に係る画像処理装置の第２実施形態である、本発明に係る画像処理装置２２動作を説明する。
【００５５】
図１０は、本発明に係る第２実施形態の画像処理方法の処理の流れの一例を示すフローチャートである。
まず、立体画像データ入力手段１２を介して、素材となる立体画像データが入力される（ステップＳ３０）。立体画像データは、被写体抽出手段１４に入力され、立体画像が解析され（ステップＳ３２）、被写体の顔が検出される（ステップＳ３４）。また、顔の向き検出手段２０により被写体の顔の向きの検出が行われ、被写体および被写体の顔の向きの情報が生成され、被写体情報として出力される。
【００５６】
立体画像データ、および被写体情報は、立体ベクトル算出手段１６に入力され、立体画像データの主画像データおよび副画像データ間の、被写体（顔）のテンプレートマッチングが行われて対応点が検出される（ステップＳ３６）。対応点検出結果に基づいて、被写体および被写体の顔ごとに視差および距離が算出される（ステップＳ３８）。また、算出された視差および距離、さらに、顔の向きを利用して、立体ベクトル（顔の立体ベクトルを含む）の各軸の値が算出されて立体ベクトルが求められ出力される（ステップＳ４０）。
【００５７】
立体ベクトルが求められると、立体画像に写っている全ての人物について、立体ベクトルの算出が終了したか判定され（ステップＳ４２）、全ての人物についての立体ベクトルの算出が終了していなければ、ステップＳ３６へと戻り、残りの人物について立体ベクトルが求められる（ステップＳ４２で“Ｎ”）。
【００５８】
全ての人物についての立体ベクトルの算出が終了していれば（ステップＳ４２で“Ｙ”）、立体画像データ、および立体ベクトル（顔の立体ベクトルを含む）は、立体画像データ記録手段１８に入力され、立体ベクトルと立体画像データとが関連付けられて、すなわち、立体ベクトルが立体画像データのＥｘｉｆタグへ書き込まれて、または別のファイルへ出力されて記録される（ステップＳ４４）。例えば、Ｅｘｉｆタグへの記入の例としては、図１１に示すように、顔立体ベクトルを含む各部位の立体ベクトルを記録することができる。
【００５９】
このように、顔の立体ベクトルと立体画像データとを関連付けて記録しておき、顔の立体ベクトルを利用して立体画像データから立体画像を合成することで、被写体抽出の精度を上げることができ、より自然で立体視しやすい立体画像を得ることができる。
【００６０】
次に、立体画像データと立体画像テンプレートとを合成する画像処理装置と、立体画像データを印刷する印刷装置とを有する立体画像印刷システムについて、第３実施形態として説明する。
第３実施形態では、第２実施形態の画像処理装置に加えて、キャラクタ等の含まれるテンプレートを合成することで、よりエンターテイメント性の向上した立体画像を得る。
【００６１】
図１２は、上述の第１，第２実施形態と異なる、本発明に係る立体画像印刷システム５０の構成を表す第３実施形態のブロック図である。
立体画像印刷システム５０は、図９に示す本発明に係る第２実施形態の画像処理装置２２と比べ、テンプレート記録手段４０、テンプレート選択手段４２、および合成手段４４をさらに備えた画像処理装置５２と、印刷装置５４とから構成され、画像処理装置５２は基本的に同様の構成を有するものである。よって、同様の構成要素には同一の符号を付し、その詳細な説明は省略する。
【００６２】
テンプレート記録手段４０には、ユーザの立体画像データと合成するための複数種類の立体画像テンプレートがあらかじめ記録されている。合成用の立体画像テンプレートとしては、例えば、テーマパーク等におけるキャラクタを用いたものが挙げられ、ユーザの立体画像（ユーザ画像）の被写体と立体画像テンプレートのキャラクタとを合成した立体画像を得ることができるものである。
【００６３】
テンプレート選択手段４２には、立体画像データ記録手段１８から立体画像データと関連付けて記録された立体ベクトル（被写体情報を含む）、およびテンプレート記録手段４０から立体画像テンプレートが入力される。テンプレート選択手段４２は、テンプレート記録手段４０に記憶された複数種類の立体画像テンプレートの中から、立体ベクトルおよび顔の向きに基づき、所定数の適切な立体画像テンプレートを選択し、図示しない表示装置に表示する。テンプレート選択手段４２は、表示装置に表示された所定数の立体画像テンプレートの中から、図示しない入力手段を介してユーザにより選択された立体画像テンプレートを出力する。
【００６４】
なお、本実施形態では、被写体抽出手段１４から立体ベクトル算出手段１６に入力される被写体情報に含まれる被検者の顔の向きの情報（被写体情報）を立体ベクトルとともにまとめて立体ベクトル算出手段１６から出力しているが、本発明はこれに限定されず、被写体抽出手段１４から出力される被写体の顔の向きの情報（被写体情報）と、立体ベクトル算出手段１６から出力される被写体の立体ベクトルを別々に、立体画像データ記録手段１８およびテンプレート選択手段４２にそれぞれ入力する構成としてもよい。
【００６５】
ここで、テンプレート選択手段４２による立体画像テンプレートの選択方法について説明する。
図１３は、立体画像６０ａ上において、ユーザの立体画像の被写体６２が左側、立体画像テンプレートのキャラクタ６３が右側に配置された例である。被写体６２の立体ベクトル６６は（−１，１，１）、つまり向かって左上に視線が向いた状態であり、キャラクタ６３の立体ベクトル６８は（１，１，１）、つまり向かって右上に視線が向いた状態である。この状態では、被写体６２とキャラクタ６３は、お互いに反目した形になり、さらに合成画像を立体印刷した合成プリントを立体視しようとしても、立体ベクトルの方向が異なるため立体視しづらいプリントとなってしまう。
【００６６】
このため、テンプレート選択手段４２では、被写体６２の立体ベクトルに基づいて、例えば、図１４に示す立体画像６０ｂのように、被写体６２の立体ベクトル６６と同じ方向の成分の立体ベクトル７０を持つキャラクタ６４を選択して配置したり、あるいは、図１５に示す立体画像６０ｃのように、被写体とキャラクタの配置を入れ替えて、被写体７２の立体ベクトル７６と、キャラクタ７４の立体ベクトル７８とが、向かい合うように配置することができるように、適切な立体画像テンプレートが選択される。
【００６７】
ユーザの立体画像（ユーザ画像）の被写体の立体ベクトル、顔の向きおよび配置と、合成用立体画像テンプレートのキャラクタ（表１ではキャラと記載）の立体ベクトルおよび顔の向きとの組み合わせのうち、ユーザ立体ベクトルが上向きの場合のマトリックスの一例を表１に示す。なお、ユーザ立体ベクトルが下向きの場合には、ＯＫ（適切）およびＮＧ（不適切）となるキャラクタ立体ベクトルは逆の組み合わせとなる。
【００６８】
【表１】
【００６９】
ユーザ画像の被写体が立体画像の左側に配置されている場合、キャラクタ画像のキャラクタは被写体の右側に配置され、被写体が右側に配置されている場合、キャラクタは被写体の左側に配置されるものとする。また、被写体が中央に配置されている場合、キャラクタは被写体の右側もしくは左側に配置される（どちら側に配置されるかはユーザにより選択される）ものとする。
【００７０】
被写体の顔の向きが左側（左上、左正、左下）もしくは右側（右上、右正、右下）で、被写体が左側もしくは右側に配置されている場合に、被写体の顔の向きがキャラクタの方を向く場合には、上下方向のうち被写体の顔の向きと逆方向のキャラクタの顔の向きをＮＧ（非選択）とする。また、被写体の顔の向きがキャラクタの方を向かない場合には、左右方向のうち被写体の顔の向きと逆方向のキャラクタの顔の向きをＮＧとし、かつ、上下方向のうち被写体の顔の向きと逆方向のキャラクタの顔の向きをＮＧとする。
【００７１】
また、被写体の顔の向きが左側もしくは右側で、被写体が中央に配置されている場合には、キャラクタが被写体の左側に配置されるか右側に配置されるかに応じて、被写体の顔の向きがキャラクタの方を向くか向かないかが変わってくる。従って、被写体が中央に配置されている場合には、被写体の顔の向きに係わらず、上下方向のうち被写体の顔の向きと逆方向のキャラクタの顔の向きをＮＧとする。
【００７２】
また、被写体の顔の向きが中央（中央上、中央正、中央下）の場合には、被写体が左側、中央、右側のどの位置に配置されている場合であっても、被写体の顔の向きはキャラクタの配置に係わらず中立な向きとなる。従って、被写体の顔の向きが中央の場合には、被写体の配置および顔の向きに係わらず、上下方向のうち被写体の顔の向きと逆方向のキャラクタの顔の向きをＮＧとする。
【００７３】
例えば、被写体の顔の向きが左上で、左側に配置されている場合、被写体の顔の向きは、右側に配置されるキャラクタの方を向かない。従って、キャラクタの右側方向の顔の向きをＮＧとし、かつ、キャラクタの下側方向の顔の向きをＮＧとする。つまり、キャラクタの顔の向きのうち、右側方向に含まれる右上、右正、右下をＮＧ、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の中央上、左上、左正、中央正をＯＫ（選択）とする。
【００７４】
被写体の顔の向きが左上で、右側に配置されている場合、被写体の顔の向きは、左側に配置されるキャラクタの方を向く。従って、キャラクタの下側方向の顔の向きをＮＧとする。つまり、キャラクタの顔の向きのうち、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の右正、右上、中央上、左上、左正、中央正をＯＫとする。
【００７５】
被写体の顔の向きが左上で、中央に配置されている場合、被写体の顔の向きに係わらず、キャラクタの下側方向の顔の向きをＮＧとする。つまり、キャラクタの顔の向きのうち、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の右正、右上、中央上、左上、左正、中央正をＯＫとする。
【００７６】
続いて、被写体の顔の向きが右上で、左側に配置されている場合は、被写体の顔の向きが左上で、右側に配置される場合に対して左右逆の状態となる。従って、この場合には、ＮＧとするキャラクタの顔の向きを左右逆向きにすればよく、キャラクタの下側方向の顔の向きをＮＧとする。つまり、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の右正、右上、中央上、左上、左正、中央正をＯＫとする。
【００７７】
被写体の顔の向きが右上で、右側に配置されている場合、同じく、被写体の顔の向きが左上で、左側に配置される場合に対して左右逆の状態となる。従って、同様に、ＮＧとするキャラクタの顔の向きを左右逆向きにして、キャラクタの左側方向の顔の向きをＮＧとし、かつ、下側方向の顔の向きをＮＧとする。つまり、左側方向に含まれる左上、左正、左下、および、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の右正、右上、中央上、中央正をＯＫとする。
【００７８】
被写体の顔の向きが右上で、中央に配置されている場合も同様に、被写体の顔の向きが左上で、中央に配置される場合に対して左右逆の状態となる。従って、同様に、ＮＧとするキャラクタの顔の向きを左右逆向きにして、キャラクタの下側方向の顔の向きをＮＧとする。つまり、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の右正、右上、中央上、左上、左正、中央正をＯＫとする。
【００７９】
続いて、被写体の顔の向きが中央上の場合、被写体の配置および顔の向きに係わらず、キャラクタの下側方向の顔の向きをＮＧとする。つまり、下側方向に含まれる右下、中央下、左下をＮＧとし、それ以外の右正、右上、中央上、左上、左正、中央正をＯＫとする。
【００８０】
また、立体ベクトルの大きさも考慮して立体画像テンプレートを選択するようにしてもよい。例えば、図１６に示す立体画像６０ｄでは、キャラクタ８２の立体ベクトル８６が、被写体８０の立体ベクトル８４よりも飛び出し量が大きい場合を示し、図１７に示す立体画像６０ｅは、被写体８８の立体ベクトル９２がキャラクタ９０の立体ベクトル９４よりも飛び出し量が大きい場合を示す。このように、被写体とキャラクタの立体ベクトルの大きさがアンバランスになる組み合わせは、選択肢から外すようにすることができる。
【００８１】
なお、図１６および図１７では、被写体の飛び出し量を（３）としているが、被写体とキャラクタのバランスが取れる範囲であれば、被写体の飛び出し量とキャラクタの飛び出し量とが異なっていてもよい。具体的には、例えば、被写体の飛び出し量（Ｎ）に対してキャラクタの飛び出し量が（Ｎ／３）よりも大きく（３Ｎ）よりも小さい範囲であることが望ましい。
【００８２】
立体ベクトルの大きさも考慮した場合の、ユーザの被写体の立体ベクトルおよび配置と、キャラクタの立体ベクトルとの組み合わせの、マトリックスの一例を表２に示す。
【００８３】
【表２】
【００８４】
さらに、図１８に示すように、組み合わせ可能なキャラクタの立体ベクトルに優先順位を設けて、優先順位に従って立体画像テンプレートが選択されるようにしてもよい。例えば、表３に示すように、ユーザ立体ベクトルが左上（−１，１，１）の場合、立体画像１００における被写体１０２の立体ベクトル１０６に対して、キャラクタ１０４の立体ベクトル１０８ａ〜１０８ｈのうち、１０８ｂを１番、１０８ｄを２番というように優先順位を付け、立体ベクトル１０８ｆ、１０８ｇ、および１０８ｈの不適切な組み合わせの場合は、選択されないようにＮＧとする。
【００８５】
【表３】
【００８６】
また、優先順位の替わりに、これらの立体ベクトルの方向をプレビュー画面に表示して、ユーザが選択可能なように構成してもよい。さらに、保存容量を節約するために、あらゆる組み合わせを用意するのではなく、最も適切な組み合わせに近い立体画像テンプレートを用意するようにしてもよい。
【００８７】
続いて、合成手段４４には、立体画像データ記録手段１８から立体ベクトルと関連付けられた立体画像データと、テンプレート選択手段４２で選択された立体画像テンプレートが入力される。合成手段４４は、立体画像データと、テンプレート選択手段４２によって選択された立体画像テンプレート（つまり、立体画像の被写体と立体画像テンプレートのキャラクタ）とを合成して、合成立体画像を構成する合成立体画像データを生成し出力する。
【００８８】
印刷装置５４には、合成手段４４から合成立体画像データが入力される。印刷装置５４は、合成立体画像データに対応する合成立体画像をプリントアウトすることができるプリンタである。立体画像のプリントとしては、例えば、複数の画像を短冊状に切り取って交互に配置し、パララックスバリア（視差バリア）、またはレンチキュラーレンズを用いて裸眼立体視が可能なように印刷することが挙げられる。
【００８９】
次に、本発明の第３実施形態である、本発明に係る立体画像印刷システム５０の動作を説明する。
【００９０】
図１９〜図２２は、本発明に係る第３実施形態の画像処理方法の処理の流れの一例を示すフローチャートである。
まず、立体画像データ入力手段１２を介して、素材となる立体画像データが入力される（ステップＳ１００）。立体画像データから、上述の第２実施形態と同様に、被写体（ユーザ）および顔の向きの検出、立体ベクトル算出処理が行われ、立体画像データ（ユーザ立体画像データ）、および立体ベクトル（ユーザ立体ベクトル）が関連付けられて立体画像データ記録手段１８に記録される。
【００９１】
また、被写体（ユーザ）情報（顔の向きの情報を含む）およびユーザ立体ベクトルに基づき（ステップＳ１０２）、適切な立体画像テンプレートをテンプレート記録手段４０から読み込み、図示しない表示装置に複数表示し（ステップＳ１０６）、操作者による合成用の立体画像テンプレート（キャラクタ）の選択が行われる（ステップＳ１０８）。なお、ここで選択される立体画像テンプレート（キャラクタ）は、配置については決定されていない。また、合成用の立体画像テンプレート（キャラクタ）の選択は、自動的に行われてもよい。
【００９２】
合成用の立体画像テンプレート（キャラクタ）が選択されると、立体画像データの被写体の配置位置が検出または選択される（ステップＳ１１０）。被写体（ユーザ）の配置位置が左の場合には（ステップＳ１１０で“左”）、被写体が左に配置された場合のマトリックスが選択され（ステップＳ１１２）、被写体の配置位置が中央の場合には（ステップＳ１１０で“中央”）、被写体が中央に配置された場合のマトリックスが選択され（ステップＳ１１４）、被写体の配置位置が右の場合には（ステップＳ１１０で“右”）、被写体が右に配置された場合のマトリックスが選択される（ステップＳ１１６）。
【００９３】
続いて、被写体の立体ベクトル（ユーザ立体ベクトル）に基づいて、マトリックスが選択される。立体ベクトルの左右方向の向きが左の場合であって（ステップＳ１１８で“左”）、立体ベクトルの上下方向の向きが上の場合（ステップＳ１２０で“上”）、ユーザ立体ベクトルが左上のマトリックスが選択される（ステップＳ１２６）。同様に、立体ベクトルの左右方向の向きが左の場合であって（ステップＳ１１８で“左”）、立体ベクトルの上下方向の向きが正面の場合（ステップＳ１２０で“正面”）、ユーザ立体ベクトルが左正面のマトリックスが選択され（ステップＳ１２８）る。また、立体ベクトルの左右方向の向きが左の場合であって（ステップＳ１１８で“左”）、立体ベクトルの上下方向の向きが下の場合（ステップＳ１２０で“下”）、ユーザ立体ベクトルが左下のマトリックスが選択される（ステップＳ１３０）。
【００９４】
立体ベクトルの左右方向の向きが中央の場合（ステップＳ１１８で“中央”）も同様に、ステップＳ１２２，Ｓ１３２〜Ｓ１３６において、ユーザ立体ベクトルが中央上、中央正面、または中央下のいずれかのマトリックスが選択される。立体ベクトルの左右方向の向きが右の場合（ステップＳ１１８で“右”）も同様に、ステップＳ１２４，Ｓ１３８〜Ｓ１４２において、ユーザ立体ベクトルが右上、右正面、または右下のいずれかのマトリックスが選択される。
【００９５】
ユーザ立体ベクトルに基づきマトリックスが選択されると、当該マトリックスに含まれる被写体（ユーザ）とキャラクタの位置関係から、合成可能（適切）な複数の立体画像テンプレートが提示され、一意のキャラクタの配置位置と立体ベクトルを有する立体画像テンプレートが、操作者によって選択される（ステップＳ１４４）。なお、最も適切と考えられるキャラクタの配置位置と立体ベクトルを有する立体画像テンプレートが自動的に選択されるようにしてもよい。
【００９６】
キャラクタの配置位置と立体ベクトルを有する立体画像テンプレート、および立体画像データは、合成手段４４に入力される。キャラクタの配置位置と立体ベクトルを有する立体画像テンプレート、および立体画像データは合成されて、合成立体画像データが生成され出力される（ステップＳ１４６）。
【００９７】
合成立体画像データは、印刷装置５４に入力され、立体画像が印刷される（ステップＳ１４８）。
【００９８】
このように、ユーザは立体ベクトル値を意識することなく、所望の合成用の立体画像テンプレートを選択するだけで、被写体の配置と立体ベクトル（ユーザ立体ベクトル）に基づいて、不適切な立体画像テンプレートが選択されることを排除することが可能となり、満足度を向上させることができる。
【００９９】
また、被写体の配置に合わせて、立体画像テンプレートのキャラクタの配置および立体ベクトルを変更することで、つまり、被写体とキャラクタの立体感が最も適合した立体画像テンプレートが選択されることで、よりエンターテイメント性が高く満足度が高い立体画像が印刷された立体プリントを得ることができる。
【０１００】
なお、本発明においては、上述した画像処理方法の各工程をコンピュータに実行させるための画像処理プログラムとして構成しても良いし、また、コンピュータを、画像処理方法の各工程を実施する各手段として、または、上述した画像処理装置を構成する各手段として機能させる画像処理プログラムとして構成しても良い。
また、本発明を、上述した画像処理プログラムをコンピュータにより読取可能な媒体またはコンピュータにより読取可能なメモリとして構成してもよい。
【０１０１】
以上、本発明の画像処理装置、立体画像印刷システム、画像処理方法およびプログラムについて詳細に説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。
【符号の説明】
【０１０２】
１０，２２，５２ 画像処理装置
１２ 立体画像データ入力手段
１４ 被写体抽出手段
１６ 立体ベクトル算出手段
１８ 立体画像データ記録手段
２０ 顔の向き検出手段
３０ 立体画像データ
３２ ヘッダ
４０ テンプレート記録手段
４２ テンプレート選択手段
４４ 合成手段
５０ 立体画像印刷システム
５４ 印刷装置
６０ａ〜６０ｅ，１００ 立体画像
６２，７２，８０，８８，１０２ 被写体
６３，６４，７４，８２，９０，１０４ キャラクタ
６６，６８，７０，７６，７８，８４，８６，９２，９４，１０６，１０８ａ〜１０８ｈ 立体ベクトル
【特許請求の範囲】
【請求項１】
立体画像を構成する立体画像データを外部から入力するための立体画像データ入力手段と、
前記立体画像データから被写体を抽出する被写体抽出手段と、
前記立体画像データに含まれる視点の異なる複数の平面画像データから前記被写体の立体ベクトルを算出する立体ベクトル算出手段と、
前記立体ベクトルと前記立体画像データとを関連付けて記録する立体画像データ記録手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記被写体抽出手段は、さらに、前記被写体の顔を抽出するものであって、
さらに、前記被写体の顔の向きを検出する顔の向き検出手段を有し、
前記立体ベクトル算出手段は、さらに、前記顔の向きを利用して顔の立体ベクトルを算出するものである請求項１に記載の画像処理装置。
【請求項３】
前記被写体抽出手段は、前記被写体の複数の部位を抽出し、
前記立体ベクトル算出手段は、前記被写体の複数の部位の立体ベクトルを算出するものである請求項１または２に記載の画像処理装置。
【請求項４】
前記立体画像データ記録手段は、前記被写体の複数の部位の立体ベクトルのうち、最も大きい立体ベクトルと前記立体画像データとを関連付けて記録するものである請求項３に記載の画像処理装置。
【請求項５】
前記立体画像データ記録手段は、前記被写体の立体ベクトルを、前記立体画像データのＥｘｉｆタグに記録するものである請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
前記立体画像データ記録手段は、前記被写体の立体ベクトルを、前記立体画像データとは別のファイルに記録するものである請求項１〜４のいずれかに記載の画像処理装置。
【請求項７】
前記立体ベクトル算出手段は、前記視点の異なる複数の平面画像データから前記被写体の視差および前記視点から前記被写体までの距離を算出し、該視点の異なる複数の平面画像データ、視差および距離から前記被写体の立体ベクトルを算出するものである請求項１〜６のいずれかに記載の画像処理装置。
【請求項８】
さらに、複数種類の立体画像テンプレートが記録されたテンプレート記録手段と、
前記テンプレート記録手段に記録された複数種類の立体画像テンプレートの中から、前記立体画像データと関連付けて記録された立体ベクトルに基づいて所定数の立体画像テンプレートを選択するテンプレート選択手段と、
前記立体画像データと前記テンプレート選択手段により選択される所定数の立体画像テンプレートのうちユーザにより選択される１つの立体画像テンプレートとを合成し、合成立体画像を構成する合成立体画像データを出力する合成手段と、を有する請求項２に記載の画像処理装置。
【請求項９】
前記テンプレート選択手段は、前記被写体の飛び出し量をＮとして、Ｎ／３よりも大きく３Ｎよりも小さい範囲の飛び出し量のキャラクタを含む立体画像テンプレートを選択するものである請求項８に記載の画像処理装置。
【請求項１０】
前記テンプレート選択手段は、さらに、前記立体画像における被写体の顔の向きおよび該被写体の位置に基づいて、前記立体画像テンプレートを選択するものである請求項８または９に記載の画像処理装置。
【請求項１１】
前記テンプレート選択手段は、前記被写体の顔の向きが左側もしくは右側で、該被写体が前記立体画像の左側もしくは右側に配置され、前記立体画像テンプレートに含まれるキャラクタが右側もしくは左側に配置される場合、該被写体の顔の向きが前記キャラクタの方を向く場合には、上下方向のうち前記被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、前記被写体の顔の向きが前記キャラクタの方を向かない場合には、左右方向のうち前記被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、かつ、上下方向のうち前記被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、それ以外の顔の向きの前記キャラクタを含む立体画像テンプレートを選択するものである請求項１０に記載の画像処理装置。
【請求項１２】
前記テンプレート選択手段は、前記被写体の顔の向きが左側もしくは右側で、該被写体が中央に配置され、前記立体画像テンプレートに含まれるキャラクタが前記被写体の右側もしくは左側に配置される場合には、前記被写体の顔の向きに係わらず、上下方向のうち該被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、それ以外の顔の向きの前記キャラクタを含む立体画像テンプレートを選択するものである請求項１０に記載の画像処理装置。
【請求項１３】
前記テンプレート選択手段は、前記被写体の顔の向きが中央の場合には、該被写体の配置および顔の向きに係わらず、上下方向のうち前記被写体の顔の向きと逆方向の前記立体画像テンプレートに含まれるキャラクタの顔の向きを非選択とし、それ以外の顔の向きの前記キャラクタを含む立体画像テンプレートを選択するものである請求項１０に記載の画像処理装置。
【請求項１４】
前記テンプレート選択手段は、前記立体画像テンプレートに含まれるキャラクタの飛び出し量および顔の向きに優先順位を設け、該優先順位に従って前記立体画像テンプレートを選択するものである請求項１０に記載の画像処理装置。
【請求項１５】
前記テンプレート選択手段は、前記立体画像テンプレートに含まれるキャラクタの飛び出し量および顔の向きをプレビュー画面に表示して、該プレビュー画面に表示された複数の立体画像テンプレートの中から、ユーザにより選択される１つの立体画像テンプレートを選択するものである請求項８〜１４のいずれかに記載の画像処理装置。
【請求項１６】
請求項１〜１５のいずれかに記載の画像処理装置と、
前記画像処理装置から出力される合成立体画像データに対応する合成立体画像を印刷する印刷装置と、を有することを特徴とする立体画像印刷システム。
【請求項１７】
外部から入力される、立体画像を構成する立体画像データを受け取る立体画像データ入力ステップと、
前記立体画像データから被写体を抽出する被写体抽出ステップと、
前記立体画像データに含まれる視点の異なる複数の平面画像データから前記被写体の立体ベクトルを算出する立体ベクトル算出ステップと、
前記立体ベクトルと前記立体画像データとを関連付けて記録する立体画像データ記録ステップと、を有することを特徴とする画像処理方法。
【請求項１８】
請求項１７に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項１】
立体画像を構成する立体画像データを外部から入力するための立体画像データ入力手段と、
前記立体画像データから被写体を抽出する被写体抽出手段と、
前記立体画像データに含まれる視点の異なる複数の平面画像データから前記被写体の立体ベクトルを算出する立体ベクトル算出手段と、
前記立体ベクトルと前記立体画像データとを関連付けて記録する立体画像データ記録手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記被写体抽出手段は、さらに、前記被写体の顔を抽出するものであって、
さらに、前記被写体の顔の向きを検出する顔の向き検出手段を有し、
前記立体ベクトル算出手段は、さらに、前記顔の向きを利用して顔の立体ベクトルを算出するものである請求項１に記載の画像処理装置。
【請求項３】
前記被写体抽出手段は、前記被写体の複数の部位を抽出し、
前記立体ベクトル算出手段は、前記被写体の複数の部位の立体ベクトルを算出するものである請求項１または２に記載の画像処理装置。
【請求項４】
前記立体画像データ記録手段は、前記被写体の複数の部位の立体ベクトルのうち、最も大きい立体ベクトルと前記立体画像データとを関連付けて記録するものである請求項３に記載の画像処理装置。
【請求項５】
前記立体画像データ記録手段は、前記被写体の立体ベクトルを、前記立体画像データのＥｘｉｆタグに記録するものである請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
前記立体画像データ記録手段は、前記被写体の立体ベクトルを、前記立体画像データとは別のファイルに記録するものである請求項１〜４のいずれかに記載の画像処理装置。
【請求項７】
前記立体ベクトル算出手段は、前記視点の異なる複数の平面画像データから前記被写体の視差および前記視点から前記被写体までの距離を算出し、該視点の異なる複数の平面画像データ、視差および距離から前記被写体の立体ベクトルを算出するものである請求項１〜６のいずれかに記載の画像処理装置。
【請求項８】
さらに、複数種類の立体画像テンプレートが記録されたテンプレート記録手段と、
前記テンプレート記録手段に記録された複数種類の立体画像テンプレートの中から、前記立体画像データと関連付けて記録された立体ベクトルに基づいて所定数の立体画像テンプレートを選択するテンプレート選択手段と、
前記立体画像データと前記テンプレート選択手段により選択される所定数の立体画像テンプレートのうちユーザにより選択される１つの立体画像テンプレートとを合成し、合成立体画像を構成する合成立体画像データを出力する合成手段と、を有する請求項２に記載の画像処理装置。
【請求項９】
前記テンプレート選択手段は、前記被写体の飛び出し量をＮとして、Ｎ／３よりも大きく３Ｎよりも小さい範囲の飛び出し量のキャラクタを含む立体画像テンプレートを選択するものである請求項８に記載の画像処理装置。
【請求項１０】
前記テンプレート選択手段は、さらに、前記立体画像における被写体の顔の向きおよび該被写体の位置に基づいて、前記立体画像テンプレートを選択するものである請求項８または９に記載の画像処理装置。
【請求項１１】
前記テンプレート選択手段は、前記被写体の顔の向きが左側もしくは右側で、該被写体が前記立体画像の左側もしくは右側に配置され、前記立体画像テンプレートに含まれるキャラクタが右側もしくは左側に配置される場合、該被写体の顔の向きが前記キャラクタの方を向く場合には、上下方向のうち前記被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、前記被写体の顔の向きが前記キャラクタの方を向かない場合には、左右方向のうち前記被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、かつ、上下方向のうち前記被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、それ以外の顔の向きの前記キャラクタを含む立体画像テンプレートを選択するものである請求項１０に記載の画像処理装置。
【請求項１２】
前記テンプレート選択手段は、前記被写体の顔の向きが左側もしくは右側で、該被写体が中央に配置され、前記立体画像テンプレートに含まれるキャラクタが前記被写体の右側もしくは左側に配置される場合には、前記被写体の顔の向きに係わらず、上下方向のうち該被写体の顔の向きと逆方向の前記キャラクタの顔の向きを非選択とし、それ以外の顔の向きの前記キャラクタを含む立体画像テンプレートを選択するものである請求項１０に記載の画像処理装置。
【請求項１３】
前記テンプレート選択手段は、前記被写体の顔の向きが中央の場合には、該被写体の配置および顔の向きに係わらず、上下方向のうち前記被写体の顔の向きと逆方向の前記立体画像テンプレートに含まれるキャラクタの顔の向きを非選択とし、それ以外の顔の向きの前記キャラクタを含む立体画像テンプレートを選択するものである請求項１０に記載の画像処理装置。
【請求項１４】
前記テンプレート選択手段は、前記立体画像テンプレートに含まれるキャラクタの飛び出し量および顔の向きに優先順位を設け、該優先順位に従って前記立体画像テンプレートを選択するものである請求項１０に記載の画像処理装置。
【請求項１５】
前記テンプレート選択手段は、前記立体画像テンプレートに含まれるキャラクタの飛び出し量および顔の向きをプレビュー画面に表示して、該プレビュー画面に表示された複数の立体画像テンプレートの中から、ユーザにより選択される１つの立体画像テンプレートを選択するものである請求項８〜１４のいずれかに記載の画像処理装置。
【請求項１６】
請求項１〜１５のいずれかに記載の画像処理装置と、
前記画像処理装置から出力される合成立体画像データに対応する合成立体画像を印刷する印刷装置と、を有することを特徴とする立体画像印刷システム。
【請求項１７】
外部から入力される、立体画像を構成する立体画像データを受け取る立体画像データ入力ステップと、
前記立体画像データから被写体を抽出する被写体抽出ステップと、
前記立体画像データに含まれる視点の異なる複数の平面画像データから前記被写体の立体ベクトルを算出する立体ベクトル算出ステップと、
前記立体ベクトルと前記立体画像データとを関連付けて記録する立体画像データ記録ステップと、を有することを特徴とする画像処理方法。
【請求項１８】
請求項１７に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
【図２】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図１】
【図３】
【図８】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図１】
【図３】
【図８】
【公開番号】特開２０１２−１６００３９（Ｐ２０１２−１６００３９Ａ）
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願番号】特願２０１１−１９４９４（Ｐ２０１１−１９４９４）
【出願日】平成２３年２月１日（２０１１．２．１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願日】平成２３年２月１日（２０１１．２．１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]