画像処理装置および方法
【課題】より高精度に画像を置換できるようにする。
【解決手段】検出部は、画像から検出対象物を検出する。記憶部は、登録が指示された場合、検出部により検出された検出対象物の画像である置換前画像と、置換前画像と置換される画像である置換後画像とを対応付けた対応定義情報を記憶する。画像合成処理部は、置換が指示された場合、検出部により画像から検出対象物が検出されたとき、対応定義情報に基づいて、前記画像の置換前画像を置換後画像に置換する。
【解決手段】検出部は、画像から検出対象物を検出する。記憶部は、登録が指示された場合、検出部により検出された検出対象物の画像である置換前画像と、置換前画像と置換される画像である置換後画像とを対応付けた対応定義情報を記憶する。画像合成処理部は、置換が指示された場合、検出部により画像から検出対象物が検出されたとき、対応定義情報に基づいて、前記画像の置換前画像を置換後画像に置換する。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は画像処理装置および方法に関し、特に、より高精度に画像を置換するようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
テレビジョン受像機やパーソナルコンピュータが高機能になるに従い、ユーザが様々なコンテンツやアプリケーションを利用することができるようになっている。
【０００３】
例えば、動画像に表示された画像から顔画像を検出し、検出された顔画像にユーザの顔画像を合成して表示させる技術が提案されている（例えば特許文献１参照）。
【０００４】
特許文献１の技術は、ユーザの怒り、悲しみ、笑い等の様々な表情についての表情パターンを保持し、検出された顔画像の表情パターンを特定することで、検出された顔画像をユーザの顔画像に差し替えた合成画像を生成する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】２００７−３００５６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の技術は、動画像から顔を検出し、検出された顔画像の表情を特定するだけであり、顔の向きは考慮されていなかった。
【０００７】
このような、特許文献１の技術では、動画像から検出された顔画像が略正面を向いていないと、検出された顔画像をユーザの顔画像に差し替えることができなかった。
【０００８】
また、特許文献１の技術では、検出された顔画像の表情パターンと、保持されたユーザの顔画像の表情パターンとから差し替えるユーザの顔画像を特定しており、ユーザが、検出された顔画像と、ユーザの顔画像とを任意に対応付けることができなかった。
【０００９】
従って、顔の表情に基づいて顔画像の差し替えが実行された場合、ユーザの所望する顔画像に差し替えられないおそれがあった。
【００１０】
本技術は、このような状況に鑑みてなされたものであり、より高精度に画像を置換できるようにするものである。
【課題を解決するための手段】
【００１１】
本技術の一側面の画像処理装置は、画像から検出対象物を検出する検出部と、登録が指示された場合、前記検出部により検出された前記検出対象物の画像である置換前画像と、前記置換前画像と置換される画像である置換後画像とを対応付けた対応定義情報を記憶する記憶部と、置換が指示された場合、前記検出部により前記画像から前記検出対象物が検出されたとき、前記対応定義情報に基づいて、前記画像の前記置換前画像を前記置換後画像に置換する画像合成処理部とを備える。
【００１２】
前記置換前画像の特徴を検出する特徴検出部をさらに備え、前記記憶部は、前記置換前画像と前記特徴を対応付けた特徴対応表を記憶することができる。
【００１３】
前記置換が指示された場合、前記特徴検出部により検出された前記特徴と、前記特徴対応表に含まれる前記特徴の類似度を算出する算出部と、前記算出により算出された前記類似度に基づいて、前記特徴検出部により検出された前記特徴に最も類似する前記特徴を有する前記置換前画像を前記特徴対応表から取得するとともに、取得された前記置換前画像に対応する前記置換後画像を前記対応定義情報から取得する取得部とをさらに備え、前記画像合成処理部は、前記取得部により取得された前記置換後画像を用いて、前記置換前画像を置換することができる。
【００１４】
前記画像を保持する画像保持部と、前記画像に対応する音声を保持する音声保持部と、前記画像保持部に保持された前記画像と、前記音声保持部に保持された前記音声との出力タイミングを同期させるように制御する同期制御部とをさらに備えることができる。
【００１５】
前記取得部は、編集が指示された場合、前記対応定義情報に含まれる前記置換前画像と置換後画像の組を取得するとともに、新たな置換後画像を取得し、前記記憶部は、前記取得部により前記新たな置換後画像が取得された場合、前記置換前画像と前記新たな置換後画像を対応付けて記憶することができる。
【００１６】
前記検出対象物は、顔であるようにすることができる。
【００１７】
本技術の一側面の画像処理方法は、画像から検出対象物を検出する検出ステップと、登録が指示された場合、前記検出ステップの処理により検出された前記検出対象物の画像である置換前画像と、前記置換前画像と置換される画像である置換後画像とを対応付けた対応定義情報を記憶する記憶ステップと、置換が指示された場合、前記検出ステップの処理により前記画像から前記検出対象物が検出されたとき、前記対応定義情報に基づいて、前記画像の前記置換前画像を前記置換後画像に置換する画像合成処理部とを含む。
【００１８】
本技術の一側面においては、画像から検出対象物が検出され、登録が指示された場合、検出された検出対象物の画像である置換前画像と、置換前画像と置換される画像である置換後画像とを対応付けた対応定義情報が記憶され、置換が指示された場合、画像から検出対象物が検出されたとき、対応定義情報に基づいて、画像の置換前画像が置換後画像に置換される。
【発明の効果】
【００１９】
本技術の側面によれば、より高精度に画像を置換することが可能になる。
【図面の簡単な説明】
【００２０】
【図１】本技術の画像処理システムの一実施の形態の構成を示す図である。
【図２】画像処理装置の一実施の形態の構成を示すブロック図である。
【図３】CPUの機能的構成例を示すブロック図である。
【図４】リモートコントローラの概略を示す図である。
【図５】画像処理装置のモードの状態遷移を説明する図である。
【図６】登録処理を説明するフローチャートである。
【図７】表示部の出力の例を示す図である。
【図８】顔特徴対応表の例を示す図である。
【図９】表示部の出力の例を示す図である。
【図１０】画像置換処理を説明するフローチャートである。
【図１１】表示部の出力の例を示す図である。
【図１２】編集処理を説明するフローチャートである。
【図１３】表示部の出力の例を示す図である。
【図１４】表示部の出力の例を示す図である。
【発明を実施するための最良の形態】
【００２１】
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．画像処理システムの構成
２．登録処理
３．画像置換処理
４．編集処理
５．その他
【００２２】
［画像処理システムの構成］
【００２３】
図１は、本技術が適用される画像処理システム１の一実施の形態の構成を示す図である。図１の画像処理システム１は、画像処理装置２１、出力装置２２、画像再生装置２３、およびリモートコントローラ２４から構成される。
【００２４】
画像処理装置２１は、例えば、STB（Set Top Box）の形式で構成され、画像再生装置２３と出力装置２２の間に挿入される。画像処理装置２１は、メモリカードスロット４１、カメラ４２、スキャナ４３、および赤外線受信部４４を有している。図２を参照して、画像処理装置２１の詳細について説明する。
【００２５】
図２は、画像処理装置２１の一実施の形態の構成を示すブロック図である。
【００２６】
画像処理装置２１は、メモリカードスロット４１、カメラ４２、スキャナ４３、および赤外線受信部４４に加え、CPU（Central Processing Unit）１０１、映像入力部１０２、映像フレームバッファメモリ１０３、映像出力部１０４、音声入力部１０５、音声フレームバッファメモリ１０６、音声出力部１０７、顔特徴登録DB（データベース）１０８、および記憶部１０９から構成される。
【００２７】
メモリカードスロット４１は、挿入されたメモリカード５１に対して、各種の情報を読み書きする。
【００２８】
カメラ４２は、CCD（Charge Coupled Device）イメージセンサ、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子により構成される。
【００２９】
スキャナ４３は、センサを用いて画像情報等を取り込む。赤外線受信部４４は、リモートコントローラ２４からの赤外線信号を受信する。
【００３０】
CPU１０１は、プログラムに従って各種の動作を制御する。図３を参照して、CPU１０１の機能的な構成について説明する。
【００３１】
図３は、CPU１０１の機能的な構成例を示すブロック図である。CPU１０１は、取得部１２１、顔検出部１２２、顔特徴検出部１２３、記憶部１２４、算出部１２５、判定部１２６、画像合成処理部１２７、同期制御部１２８、および編集部１２９の機能ブロックを有している。
【００３２】
なお、CPU１０１の各ブロックは、必要に応じて相互に信号、データを授受することが可能とされている。
【００３３】
取得部１２１は、各種の情報を取得する。顔検出部１２２は、画像から顔を検出する。顔特徴検出部１２３は、顔特徴を検出する。記憶部１２４は、各種の情報を記憶する。算出部１２５は、各種の算出処理を実行する。判定部１２６は、各種の判定処理を実行する。画像合成処理部１２７は、画像の合成処理を実行する。同期制御部１２８は、同期制御処理を実行する。編集部１２９は、各種の情報を編集する。
【００３４】
図２に戻り、映像入力部１０２は、画像再生装置２３から出力される画像の入力を受け付ける。画像保持部としての映像フレームバッファメモリ１０３は、RAM（Random Access Memory）等により構成され、映像入力部１０２を介して入力された画像を一時的に保持する。
【００３５】
映像出力部１０４は、映像フレームバッファメモリ１０３に保持された画像を出力装置２２に出力する。
【００３６】
音声入力部１０５は、画像再生装置２３から出力される音声の入力を受け付ける。音声保持部としての音声フレームバッファメモリ１０６は、RAM等により構成され、音声入力部１０５を介して入力された音声を一時的に保持する。
【００３７】
なお、映像フレームバッファメモリ１０３と音声フレームバッファメモリ１０６は、１つのRAM等により構成することもできる。
【００３８】
音声出力部１０７は、音声フレームバッファメモリ１０６に保持された音声を出力装置２２に出力する。
【００３９】
顔特徴登録DB１０８は、後述する顔特徴対応表、および対応定義情報を保持する。記憶部１０９は、ハードディスクや不揮発性メモリなどにより構成される。
【００４０】
図１に戻り、例えば、テレビジョン受像機等により構成される出力装置２２は、画像処理装置２１から出力された映像を表示部６１に出力するとともに、画像処理装置２１から出力された音声を内蔵するスピーカ（図示せず）から出力する。
【００４１】
画像再生装置２３は、スロット８１から挿入されたDVD（Digital Versatile Disc）、BD（Blu-ray Disc）（商標）等の光ディスクを読み込み、映像および音声を画像処理装置２１に出力する。
【００４２】
リモートコントローラ２４は、ユーザにより操作され、赤外線受信部４４を介して、画像処理装置２１に各種の指示を出力する。図４を参照して、リモートコントローラ２４の詳細について説明する。
【００４３】
図４は、リモートコントローラ２４の概略を示す図である。リモートコントローラ２４は、鑑賞モードボタン１４１、登録モードボタン１４２、編集モードボタン１４３、方向ボタン１４４、決定ボタン１４５、および取消ボタン１４６を有している。
【００４４】
鑑賞モードボタン１４１、登録モードボタン１４２、および編集モードボタン１４３のいずれかのモード変更ボタンが操作された場合、画像処理装置２１のモードが変更される。図５を参照して、画像処理装置２１の各モードについて説明する。
【００４５】
図５は、画像処理装置２１のモードの状態遷移を説明する図である。画像処理装置２１は、鑑賞モード、登録モード、および編集モードの３つのモードを有している。画像処理装置２１に対して電源供給が開始されると、画像処理装置２１のモードは鑑賞モードに遷移する。
【００４６】
鑑賞モードは、画像再生装置２３から出力された映像および音声を出力装置２２に出力させるモードである。
【００４７】
また、鑑賞モードでは、画像再生装置２３から出力された画像から顔を検出し、検出された顔の画像が既に登録された顔画像と同じか類似している場合、その検出された顔の画像を、既に登録された顔画像（例えば、ユーザの顔画像）に置き換えて、出力装置２２に出力する。
【００４８】
鑑賞モードの状態で、リモートコントローラ２４の登録モードボタン１４２が操作された場合、画像処理装置２１は、登録モードに遷移する。
【００４９】
登録モードは、鑑賞モードにおいて顔画像を置換するために、置換前画像と置換後画像の組を顔特徴登録DB１０８に登録するモードである。
【００５０】
置換前画像は、画像再生装置２３により出力された画像から検出された顔の画像であり、置換後画像と置換される画像である。
【００５１】
置換後画像は、カメラ４２、スキャナ４３、メモリカード５１、および記憶部１０９のいずれかから取得される新たな顔画像（例えばユーザの顔画像）であり、置換前画像と置換される画像である。
【００５２】
登録モードが終了された場合、および登録モードの状態で、リモートコントローラ２４の鑑賞モードボタン１４１が操作された場合、画像処理装置２１は、鑑賞モードに遷移する。
【００５３】
鑑賞モードの状態で、リモートコントローラ２４の編集モードボタン１４３が操作された場合、画像処理装置２１のモードは、編集モードに遷移する。
【００５４】
編集モードは、登録モードにおいて登録された置換前画像と置換後画像の組を編集するモードである。例えば、置換前画像と置換後画像の組合せを変更したり、置換前画像と置換後画像の組を削除する処理が実行される。
【００５５】
編集モードが終了された場合、および編集モードの状態で、リモートコントローラ２４の鑑賞モードボタン１４１が操作された場合、画像処理装置２１のモードは、鑑賞モードに遷移する。
【００５６】
なお、登録モードの状態で、リモートコントローラ２４の編集モードボタン１４３が操作された場合、画像処理装置２１のモードが、編集モードに遷移するようにすることもできる。
【００５７】
同様に、編集モードの状態で、リモートコントローラ２４の登録モードボタン１４２が操作された場合、画像処理装置２１のモードが、登録モードに遷移するようにすることもできる。
【００５８】
図４に戻り、方向ボタン１４４は、ユーザの操作によりカーソル等を上下左右に移動させるとき操作される。決定ボタン１４５は、カーソル等により選択されている項目、ボタンを選択するとき操作される。取消ボタン１４６は、ユーザによる操作をキャンセルするとき操作される。
【００５９】
［登録処理］
【００６０】
図６乃至図９を参照して、登録処理について説明する。図６は、登録処理を説明するフローチャートである。図７は、表示部６１の出力の例を示す図である。図８は、顔特徴対応表の例を示す図である。
【００６１】
図６の登録処理は、登録モードの処理である。登録処理は、例えば、鑑賞モードが実行され、画像再生装置２３がブルーレイディスクから再生した動画像を画像処理装置２１を介して出力装置２２に供給し、表示させている場合に実行される。
【００６２】
すなわち、ユーザは動画像を視聴しながら所定の画像が表示されたタイミングでリモートコントローラ２４の登録モードボタン１４２を操作する。つまり、ユーザにより登録が指示されたときに登録処理が開始される。
【００６３】
ステップＳ１において、映像フレームバッファメモリ１０３は、フレーム画像を取得する。フレーム画像は、例えば、ユーザにより画像再生装置２３の一時停止が指示された場合の画像である。
【００６４】
すなわち、ユーザにより一時停止が指示された場合、画像再生装置２３から出力されたフレーム画像が、映像入力部１０２を介して、映像フレームバッファメモリ１０３に記憶される。
【００６５】
また、フレーム画像は、ユーザによりリモートコントローラ２４の登録モードボタン１４２が操作された時の画像とすることもできる。
【００６６】
例えば、ステップＳ１の処理により、図７Ａに示されるフレーム画像が取得される。図７Ａのフレーム画像には、人２０１Ａ，２０１Ｂ，２０１Ｃの３人が表示されている。
【００６７】
ステップＳ２において、顔検出部１２２は、顔を検出する。すなわち、ステップＳ１の処理により取得されたフレーム画像から顔の領域が検出される。
【００６８】
例えば、顔の検出のために、数十から数百種類の顔画像を合成した基準画像があらかじめ用意される。顔検出部１２２は、取得されたフレーム画像中に矩形領域を設定し、基準画像と矩形領域の画像を比較して画像の類似度を算出する。類似度が閾値より大きい画像が顔画像とされる。
【００６９】
顔検出部１２２は、取得されたフレーム画像に対して、様々な矩形領域を設定し、類似度を適宜算出することにより、取得されたフレーム画像から顔の領域を検出する。なお、顔の検出方法は、この方法に限られず、顔が検出できればどのような方法を利用してもよい。
【００７０】
ステップＳ３において、判定部１２６は、顔が検出できたかを判定する。すなわち、ステップＳ１の処理により取得されたフレーム画像に顔が存在するかが判定される。
【００７１】
ステップＳ３において、顔が検出されていないと判定された場合、ステップＳ４において、映像出力部１０４は、出力装置２２にエラーを出力する。例えば、エラーとして「顔が検出できませんでした」等のメッセージが出力装置２２の表示部６１に表示される。
【００７２】
一方、ステップＳ３において、顔が検出されたと判定された場合、処理はステップＳ５に進む。例えば、ステップＳ１の処理により図７Ａに示されるフレーム画像が取得された場合、ステップＳ２の処理により人２０１Ａ，２０１Ｂ，２０１Ｃの顔がそれぞれ検出される。
【００７３】
ステップＳ５において、映像出力部１０４は、置換前画像候補を出力する。すなわち、ステップＳ２の処理により検出された顔の領域が置換前画像候補として出力される。
【００７４】
例えば、図７Ｂに示される人２０１Ａ，２０１Ｂ，２０１Ｃの顔画像に対応する領域に、置換対象候補枠２１１Ａ，２１１Ｂ，２１１Ｃが出力される。
【００７５】
ステップＳ６において、取得部１２１は、置換前画像を取得する。すなわち、ステップＳ５の処理により出力された置換前画像候補から１つの置換前画像が取得される。
【００７６】
例えば、ユーザのリモートコントローラ２４の方向ボタン１４４の操作により、図７Ｂの選択枠２１２が置換対象候補枠２１１Ａ，２１１Ｂ，２１１Ｃのいずれかに重畳されて表示される。
【００７７】
そして、ユーザによりリモートコントローラ２４の決定ボタン１４５が操作された時の置換対象候補枠２１１（図７Ｂの例では置換対象候補枠２１１Ａ）内の画像が、置換前画像として取得される。
【００７８】
ステップＳ７において、顔特徴検出部１２３は、ステップＳ６の処理により取得された置換前画像の顔特徴を検出する。顔特徴は、例えば、目の位置、目と目の間隔、口の面積等、顔のパーツに基づいて検出されるものであり、それらをまとめた顔特徴ベクトルで表わされる。
【００７９】
ステップＳ８において、記憶部１２４は、置換前画像と顔特徴を対応付けた顔特徴対応表を記憶する。すなわち、ステップＳ６の処理により取得された置換前画像と、ステップＳ７の処理により検出された顔特徴とが対応付けられた顔特徴対応表が顔特徴登録DB１０８に記憶される。
【００８０】
図８は、顔特徴対応表の例を示す図である。顔特徴対応表には、例えば図８に示されるように、顔特徴としての顔特徴ベクトルＶ１，Ｖ２，Ｖ３と、置換前画像のファイル名Face0001，Face0002，Face0003とがそれぞれ対応付けられて記憶される。
【００８１】
また図８に示されるように、ID（Identification）を顔特徴ベクトルおよび置換前画像ファイル名に対応付けるようにすることもできる。
【００８２】
IDは、例えば、DVD，BD等の映像コンテンツごとに固有に設定されたものや、アクション、スポーツ、ドラマ等のカテゴリ毎に設定されたものである。IDは、顔特徴ベクトルおよび置換前画像ファイル名の組に対して、複数設定することができる。
【００８３】
図６に戻り、ステップＳ９において、映像出力部１０４は、出力装置２２に置換後画像候補を出力する。置換後画像候補は、カメラ４２、スキャナ４３、メモリカード５１、および記憶部１０９のいずれかから取得される。図９を参照して、置換後画像候補について説明する。
【００８４】
図９は、表示部６１の出力の例を示す図である。図９の例では、置換前画像としての人２１０Aの顔画像と、メモリカード５１内に記憶された顔画像２４１Ｐ，２４１Ｐ’，２４１Ｐ’’，２４１Ｑ，２４１Ｒ，２４１Ｓが表示されている。
【００８５】
なお、顔画像２４１P’，２４１P’’は、顔画像２４１Ｐの横向き（顔画像２４１Ｐ’は左向き、顔画像２４１Ｐ’’は右向き）の顔画像を示している。
【００８６】
図９の例では、ユーザによりプルダウンメニュー２２１が操作されることで、カメラ４２、スキャナ４３、メモリカード５１、および記憶部１０９のうちのメモリカード５１が選択されている。
【００８７】
図６のステップＳ１０において、取得部１２１は、置換後画像を取得する。例えば、ユーザの操作により、図９のメモリカード５１の顔画像２４１Ｐ，２４１Ｐ’，２４１Ｐ’’，２４１Ｑ，２４１Ｒ，２４１Ｓから所定の顔画像（例えば、顔画像２４１Ｐ）が置換後画像として選択され、取得される。
【００８８】
ステップＳ１１において、記憶部１２４は、置換前画像と置換後画像を対応付けた対応定義情報を記憶する。すなわち、ステップＳ６の処理により取得された置換前画像と、ステップＳ１０の処理により取得された置換後画像とが対応付けられて、顔特徴登録DB１０８に登録される。
【００８９】
ステップＳ４，Ｓ１１の処理の後、図６の登録処理は終了する。
【００９０】
このように、ユーザが顔画像を複数枚用意することで、簡単に置換前画像と置換後画像を対応付けて、予め用意しておくことができる。
【００９１】
例えば、Ａの顔をＢの顔に置換する場合、Ａの正面だけでなく、色々な角度からの顔に対応して、Ｂの色々な角度の顔画像を対応付けることができる。また、Ａの様々な表情に対応して、Ｂの様々な表情の顔画像を対応付けることができる。
【００９２】
これにより、登録される置換前画像と置換後画像の組の数が増加し、より精度の高い置換を実行することができる。
【００９３】
［画像置換処理］
【００９４】
次に、図１０と図１１を参照して、画像置換処理について説明する。図１０は、画像置換処理を説明するフローチャートである。
【００９５】
図１０の画像置換処理は、鑑賞モードの処理である。画像置換処理は、例えば、登録モードが実行されている場合に、ユーザによりリモートコントローラ２４の鑑賞モードボタン１４１が操作されたとき、すなわちユーザにより置換が指示されたときに開始される。
【００９６】
ステップＳ２１において、映像フレームバッファメモリ１０３は、フレーム画像を取得する。すなわち、画像再生装置２３から出力された画像のうちの所定のフレーム画像が、映像入力部１０２を介して取得される。
【００９７】
ステップＳ２２において、音声フレームバッファメモリ１０６は、フレーム画像に対応する音声を取得する。すなわち、ステップＳ２１の処理、および後述するステップＳ３５の処理により取得されたフレーム画像に対応する音声が、音声入力部１０５を介して取得される。
【００９８】
ステップＳ２３において、顔検出部１２２は、顔を検出する。すなわち、ステップＳ２１の処理、および後述するステップＳ３５の処理により取得されたフレーム画像から顔の領域が検出される。顔の検出方法は、図６のステップＳ２の手法と同様である。
【００９９】
ステップＳ２４において、判定部１２６は、顔が検出できたかを判定する。すなわち、ステップＳ２１の処理により取得されたフレーム画像に顔が存在するかが判定される。
【０１００】
例えば、図７Ａに示されるフレーム画像が取得された場合、人２０１Ａ，２０１Ｂ，２０１Ｃの顔がそれぞれ検出される。
【０１０１】
ステップＳ２４において、顔が検出されたと判定された場合、ステップＳ２５において、顔特徴検出部１２３は、顔特徴を検出する。すなわち、ステップＳ２３の処理により検出された顔画像から顔特徴が検出される。
【０１０２】
例えば、図７Ａの例では、検出された人２０１Ａ，２０１Ｂ，２０１Ｃの顔に対して、それぞれ顔特徴が検出される。
【０１０３】
ステップＳ２６において、取得部１２１は、顔特徴登録DB１０８から顔特徴対応表を取得する。すなわち、図６のステップＳ８の処理で記憶された顔特徴対応表が取得される。
【０１０４】
ステップＳ２７において、算出部１２５は、検出された顔特徴と置換前画像の顔特徴の類似度を算出する。すなわち、ステップＳ２５の処理により検出された顔特徴と、ステップＳ２６の処理により取得された顔特徴対応表の顔特徴との類似度が算出される。
【０１０５】
検出された人２０１Ａ，２０１Ｂ，２０１Ｃの顔特徴としての顔特徴ベクトルをそれぞれＶａ，Ｖｂ，Ｖｃとすると、例えば図８の顔特徴ベクトルＶ１，Ｖ２，Ｖ３に対する類似度は、｜Ｖａ−Ｖ１｜，｜Ｖａ−Ｖ２｜，｜Ｖａ−Ｖ３｜，｜Ｖｂ−Ｖ１｜，｜Ｖｂ−Ｖ２｜，｜Ｖｂ−Ｖ３｜，｜Ｖｃ−Ｖ１｜，｜Ｖｃ−Ｖ２｜，｜Ｖｃ−Ｖ３｜の式、すなわち、差の絶対値によりそれぞれ算出される。
【０１０６】
なお、画像再生装置２３から出力される映像のIDが「０００１」である場合、類似度として、同じIDの画像の特徴ベクトルとの差｜Ｖａ−Ｖ１｜，｜Ｖａ−Ｖ２｜，｜Ｖｂ−Ｖ１｜，｜Ｖｂ−Ｖ２｜，｜Ｖｃ−Ｖ１｜，｜Ｖｃ−Ｖ２｜だけを計算すればよく、異なるIDの画像の特徴ベクトルとの差｜Ｖａ−Ｖ３｜，｜Ｖｂ−Ｖ３｜，｜Ｖｃ−Ｖ３｜の計算を省略することができる。
【０１０７】
このように、IDを利用することで、より迅速に類似度を算出することができる。
【０１０８】
また、類似度の算出方法は、上述の方法に限られず、他の方法を用いることもできる。
【０１０９】
ステップＳ２８において、取得部１２１は、類似度の値の最小値を取得する。例えば、最小値として｜Ｖａ−Ｖ１｜が取得されたとする。
【０１１０】
ステップＳ２９において、判定部１２６は、ステップＳ２８の処理により取得された類似度の値の最小値が所定の閾値以上であるかを判定する。すなわち、検出された顔の画像と、置換前画像とが類似しているかが判定される。
【０１１１】
ステップＳ２９において、類似度の値の最小値が所定の閾値以上であると判定された場合、すなわち、検出された顔の画像と、置換前画像とが類似している場合、処理はステップＳ３０に進む。
【０１１２】
ステップＳ３０において、取得部１２１は、類似度が最小となった顔特徴に対応する置換後画像を取得する。すなわち、顔特徴に対応する置換前画像が顔特徴対応表から取得されるとともに、取得された置換前画像に対応する置換後画像が対応定義情報から取得される。
【０１１３】
例えば、ステップＳ２８の処理により置換前画像として人２０１Ａの顔画像が取得された場合、人２０１Ａの顔画像に対応する置換後画像として顔画像２４１Ｐが取得される。
【０１１４】
ステップＳ３１において、画像合成処理部１２７は、ステップＳ２３の処理により検出された顔画像をステップＳ３０の処理により取得された置換後画像に置換する。すなわち、人２０１Ａの顔画像が顔画像２４１Ｐで置き換えられるように合成される。
【０１１５】
ステップＳ３１の処理の後、ステップＳ２４において顔が検出できなかったと判定された場合、およびステップＳ２９において類似度の値の最小値が所定の閾値未満であると判定された場合、処理はステップＳ３２に進む。
【０１１６】
ステップＳ３２において、同期制御部１２８は、出力タイミングを設定する。すなわち、ステップＳ２１の処理、および後述するステップＳ３５の処理により取得されたフレーム画像と、ステップＳ２２の処理により取得された音声の出力タイミングが同期される。
【０１１７】
ステップＳ３３において、映像出力部１０４は、ステップＳ３２の処理により設定された出力タイミングでフレーム画像を出力装置２２に出力する。
【０１１８】
ステップＳ３４において、音声出力部１０４は、ステップＳ３２の処理により設定された出力タイミングで音声を出力装置２２に出力する。
【０１１９】
すなわち、同期された出力タイミングでフレーム画像と音声が、出力装置２２に出力される。例えば、ステップＳ３１の処理により置換後画像が置き換えられた画像が表示部６１に表示される。図１１を参照して、置換後画像の表示について説明する。
【０１２０】
図１１は、表示部６１の出力の例を示す図である。図１１の例では、図７Ａの人２０１Ａの顔の画像が、顔画像２４１Ｐに置き換えられている。このように、ユーザが置換前画像と置換後画像を対応付けることで、簡単に動画のコラージュを作成することができる。
【０１２１】
図１０のステップＳ３５において、映像フレームバッファメモリ１０３は、映像入力部１０２を介して、次のフレーム画像を取得する。ステップＳ３５の処理の後、処理はステップＳ２２に戻り、それ以降の処理が繰り返される。
【０１２２】
このように、画像再生装置２３から出力される動画のコンテンツソースにメタデータ等が付加されていない場合でも、ユーザが簡単に動画のコラージュを視聴することができる。
【０１２３】
例えば、所定のコンテンツの任意の登場人物を、他の任意の人（例えば自分自身）に置き換えて、コンテンツを楽しむことができる。
【０１２４】
また、画像置換処理の時間が長くなる場合でも、入力された画像と音声を同期して出力するので、映像に対する音声のズレを補正（例えばリップシンク）することができる。従って、ユーザが置換された画像を違和感なく視聴することができる。
【０１２５】
［編集処理］
【０１２６】
次に、図１２乃至図１４を参照して、編集処理について説明する。図１２は、編集処理を説明するフローチャートである。
【０１２７】
図１２の編集処理は、編集モードの処理である。編集処理は、例えば、鑑賞モードが実行されている場合に、ユーザによりリモートコントローラ２４の編集モードボタン１４３が操作されたとき、すなわちユーザにより編集が指示されたときに開始される。
【０１２８】
ステップＳ６１において、取得部１２１は、対応定義情報を取得する。すなわち、図６のステップＳ１１の処理により記憶された対応定義情報が、顔特徴登録ＤＢ１０８から読み出される。
【０１２９】
ステップＳ６２において、映像出力部１０４は、表示装置２２に対応定義情報を出力する。すなわち、ステップＳ６１の処理により取得された対応定義情報が、表示装置２２の表示部６１に表示される。図１３を参照して、表示部６１に出力される対応定義情報の例を説明する。
【０１３０】
図１３は、表示部６１に出力される対応定義情報の例を示す図である。図１３に示されるように、表示部６１には、対応定義情報として置換前画像と置換後画像の組のリストが表示される。
【０１３１】
図１３の例では、人２０１Ａの顔画像と顔画像２４１Ｐの組、人２０１Ａ’の顔画像と顔画像２４１Ｐ’の組、および人２０１Ｂの顔画像と顔画像２４１Ｒの組が表示されている。
【０１３２】
図１２に戻り、ステップＳ６３において、取得部１２１は、置換前画像と置換後画像の組を取得する。すなわち、ユーザの操作により選択された置換前画像と置換後画像の組が取得される。
【０１３３】
例えば、ユーザの操作により、図１３のカーソル２６１および選択枠２６２が図中の上下に移動され、所定の置換前画像と置換後画像の組が選択される。
【０１３４】
表示部６１の画面内にユーザが所望する置換前画像と置換後画像の組が無い場合、スクロール枠２６３が操作されることにより、他の置換前画像と置換後画像の組のリストが表示される。
【０１３５】
図１２のステップＳ６４において、判定部１２６は、置き換えが指示されたかを判定する。すなわち、ユーザの操作により図１３の置き換えボタン２６４が選択されたかが判定される。
【０１３６】
ステップＳ６４において、まだ置き換えが指示されていないと判定された場合、すなわち、まだ置き換えボタン２６４が選択されていない場合、ステップＳ６５において、判定部１２６は、削除が指示されたかを判定する。すなわち、ユーザの操作により図１３の削除ボタン２６５が選択されたかが判定される。
【０１３７】
ステップＳ６４において、まだ削除が指示されていないと判定された場合、すなわち、まだ削除ボタン２６５が選択されていない場合、処理はステップＳ６４に戻り、それ以降の処理が繰り返される。
【０１３８】
一方、ステップＳ６５において、削除が指示されたと判定された場合、すなわち、削除ボタン２６５が選択された場合、処理はステップＳ６６に進む。
【０１３９】
ステップＳ６６において、編集部１２９は、選択された置換前画像と置換後画像の組を削除する。すなわち、対応定義情報（置換前画像と置換後画像の組のリスト）から、ステップＳ６３の処理により取得された置換前画像と置換後画像の組が削除される。
【０１４０】
一方、ステップＳ６４において、置き換えが指示されたと判定された場合、すなわち、置き換えボタン２６４が選択された場合、処理はステップＳ６７に進む。
【０１４１】
ステップＳ６７において、映像出力部１０２は、置換後画像候補を出力する。すなわち、出力装置２２に置換後画像候補が出力される。図１４を参照して、置換後画像候補について説明する。
【０１４２】
図１４は、表示部６１の出力の例を示す図である。図１４の例では、置換前画像としての人２１０A’の顔画像と、置換後画像としての顔画像２４１Ｐ’の組が表示されている。
【０１４３】
また、プルダウンメニュー２２１により選択されたメモリカード５１内に記憶された顔画像２４１Ｐ，２４１Ｐ’’，２４１Ｑ，２４１Ｑ’が表示されている。
【０１４４】
図１２のステップＳ６８において、取得部１２１は、新たな置換後画像を取得する。すなわち、図１４の顔画像２４１Ｐ，２４１Ｐ’’，２４１Ｑ，２４１Ｑ’のうちからユーザが指定した任意の顔画像（例えば、顔画像２４１Ｑ’）が取得される。
【０１４５】
ステップＳ６９において、記憶部１２４は、置換前画像と新たな置換後画像を対応付けて記憶する。例えば、対応定義情報に記憶された人２０１Ａ’の顔画像と顔画像２４１Ｐ’の組が、人２０１Ａ’の顔画像と顔画像２４１Ｑ’の組に更新される。
【０１４６】
ステップＳ６６，Ｓ６９の処理の後、ステップＳ７０において、判定部１２６は、終了が指示されたかを判定する。ステップＳ７０において、終了が指示されていないと判定された場合、処理はステップＳ６２に戻り、それ以降の処理が繰り返される。
【０１４７】
一方、ステップＳ７０において、終了が指示されたと判定された場合、図１２の編集処理は終了する。
【０１４８】
このように、ユーザが登録された置換前画像と置換後画像の組を容易に編集（変更または削除）することができる。
【０１４９】
［その他］
【０１５０】
本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。
【０１５１】
本技術の実施の形態は、上述した実施形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。また、本技術の実施の形態は、一部の機能を他の装置が有していても良い。
【０１５２】
なお、本実施の形態においては、画像から顔を検出し、顔画像を置換したが、置換する検出対象物は、顔に限らず、人や乗り物など画像から検出できるものであればよい。
【０１５３】
また、画像処理装置２１、出力装置２２、および画像再生装置２３は、別々の装置ではなく一体化された１つの装置、または２つの装置（例えば、パーソナルコンピュータ）により構成することもできる。
【０１５４】
さらに、画像再生装置２３により出力されるDVDやBDの動画の他、記憶部１０９等に記憶された動画や、インターネット等のネットワークを介して取得された動画（例えばストリーム再生される動画）に対しても適用することができる。
【０１５５】
なお、本技術は以下のような構成も取ることができる。
（１）画像から検出対象物を検出する検出部と、登録が指示された場合、前記検出部により検出された前記検出対象物の画像である前記置換前画像と、置換後画像とを対応付けた対応定義情報を記憶する記憶部と、置換が指示された場合、前記検出部により前記画像から前記検出対象物が検出されたとき、前記対応定義情報に基づいて、前記置換前画像を前記置換後画像に置換する画像合成処理部とを備える画像処理装置。
（２）前記置換前画像の特徴を検出する特徴検出部をさらに備え、前記記憶部は、前記置換前画像と前記特徴を対応付けた特徴対応表を記憶する前記（１）に記載の画像処理装置。
（３）前記置換が指示された場合、前記特徴検出部により検出された前記特徴と、前記特徴対応表に含まれる前記特徴の類似度を算出する算出部と、前記算出により算出された前記類似度に基づいて、前記特徴検出部により検出された前記特徴に最も類似する前記特徴を有する前記置換前画像を前記特徴対応表から取得するとともに、取得された前記置換前画像に対応する前記置換後画像を前記対応定義情報から取得する取得部とをさらに備え、前記画像合成処理部は、前記取得部により取得された前記置換後画像を用いて、前記置換前画像を置換する前記（２）に記載の画像処理装置。
（４）前記画像を保持する画像保持部と、前記画像に対応する音声を保持する音声保持部と、前記画像保持部に保持された前記画像と、前記音声保持部に保持された前記音声との出力タイミングを同期させるように制御する同期制御部とをさらに備える前記（１）から（３）のいずれかに記載の画像処理装置。
（５）前記取得部は、編集が指示された場合、前記対応定義情報に含まれる前記置換前画像と置換後画像の組を取得するとともに、新たな置換後画像を取得し、前記記憶部は、前記取得部により前記新たな置換後画像が取得された場合、前記置換前画像と前記新たな置換後画像を対応付けて記憶する前記（３）または（４）に記載の画像処理装置。
（６）前記検出対象物は、顔である前記（１）から（５）のいずれかに記載の画像処理装置。
（７）画像から検出対象物を検出する検出ステップと、登録が指示された場合、前記検出ステップの処理により検出された前記検出対象物の画像である前記置換前画像と、置換後画像とを対応付けた対応定義情報を記憶する記憶ステップと、置換が指示された場合、前記検出ステップの処理により前記画像から前記検出対象物が検出されたとき、前記対応定義情報に基づいて、前記置換前画像を前記置換後画像に置換する画像合成処理部とを含む画像処理方法。
【符号の説明】
【０１５６】
２１ 画像処理装置， １０３ 映像フレームバッファメモリ， １０６ 音声フレームバッファメモリ， １２１ 取得部， １２２ 顔検出部， １２３ 顔特徴検出部， １２４ 記憶部， １２５ 算出部， １２７ 画像合成処理部， １２８ 同期制御部
【技術分野】
【０００１】
本技術は画像処理装置および方法に関し、特に、より高精度に画像を置換するようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
テレビジョン受像機やパーソナルコンピュータが高機能になるに従い、ユーザが様々なコンテンツやアプリケーションを利用することができるようになっている。
【０００３】
例えば、動画像に表示された画像から顔画像を検出し、検出された顔画像にユーザの顔画像を合成して表示させる技術が提案されている（例えば特許文献１参照）。
【０００４】
特許文献１の技術は、ユーザの怒り、悲しみ、笑い等の様々な表情についての表情パターンを保持し、検出された顔画像の表情パターンを特定することで、検出された顔画像をユーザの顔画像に差し替えた合成画像を生成する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】２００７−３００５６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の技術は、動画像から顔を検出し、検出された顔画像の表情を特定するだけであり、顔の向きは考慮されていなかった。
【０００７】
このような、特許文献１の技術では、動画像から検出された顔画像が略正面を向いていないと、検出された顔画像をユーザの顔画像に差し替えることができなかった。
【０００８】
また、特許文献１の技術では、検出された顔画像の表情パターンと、保持されたユーザの顔画像の表情パターンとから差し替えるユーザの顔画像を特定しており、ユーザが、検出された顔画像と、ユーザの顔画像とを任意に対応付けることができなかった。
【０００９】
従って、顔の表情に基づいて顔画像の差し替えが実行された場合、ユーザの所望する顔画像に差し替えられないおそれがあった。
【００１０】
本技術は、このような状況に鑑みてなされたものであり、より高精度に画像を置換できるようにするものである。
【課題を解決するための手段】
【００１１】
本技術の一側面の画像処理装置は、画像から検出対象物を検出する検出部と、登録が指示された場合、前記検出部により検出された前記検出対象物の画像である置換前画像と、前記置換前画像と置換される画像である置換後画像とを対応付けた対応定義情報を記憶する記憶部と、置換が指示された場合、前記検出部により前記画像から前記検出対象物が検出されたとき、前記対応定義情報に基づいて、前記画像の前記置換前画像を前記置換後画像に置換する画像合成処理部とを備える。
【００１２】
前記置換前画像の特徴を検出する特徴検出部をさらに備え、前記記憶部は、前記置換前画像と前記特徴を対応付けた特徴対応表を記憶することができる。
【００１３】
前記置換が指示された場合、前記特徴検出部により検出された前記特徴と、前記特徴対応表に含まれる前記特徴の類似度を算出する算出部と、前記算出により算出された前記類似度に基づいて、前記特徴検出部により検出された前記特徴に最も類似する前記特徴を有する前記置換前画像を前記特徴対応表から取得するとともに、取得された前記置換前画像に対応する前記置換後画像を前記対応定義情報から取得する取得部とをさらに備え、前記画像合成処理部は、前記取得部により取得された前記置換後画像を用いて、前記置換前画像を置換することができる。
【００１４】
前記画像を保持する画像保持部と、前記画像に対応する音声を保持する音声保持部と、前記画像保持部に保持された前記画像と、前記音声保持部に保持された前記音声との出力タイミングを同期させるように制御する同期制御部とをさらに備えることができる。
【００１５】
前記取得部は、編集が指示された場合、前記対応定義情報に含まれる前記置換前画像と置換後画像の組を取得するとともに、新たな置換後画像を取得し、前記記憶部は、前記取得部により前記新たな置換後画像が取得された場合、前記置換前画像と前記新たな置換後画像を対応付けて記憶することができる。
【００１６】
前記検出対象物は、顔であるようにすることができる。
【００１７】
本技術の一側面の画像処理方法は、画像から検出対象物を検出する検出ステップと、登録が指示された場合、前記検出ステップの処理により検出された前記検出対象物の画像である置換前画像と、前記置換前画像と置換される画像である置換後画像とを対応付けた対応定義情報を記憶する記憶ステップと、置換が指示された場合、前記検出ステップの処理により前記画像から前記検出対象物が検出されたとき、前記対応定義情報に基づいて、前記画像の前記置換前画像を前記置換後画像に置換する画像合成処理部とを含む。
【００１８】
本技術の一側面においては、画像から検出対象物が検出され、登録が指示された場合、検出された検出対象物の画像である置換前画像と、置換前画像と置換される画像である置換後画像とを対応付けた対応定義情報が記憶され、置換が指示された場合、画像から検出対象物が検出されたとき、対応定義情報に基づいて、画像の置換前画像が置換後画像に置換される。
【発明の効果】
【００１９】
本技術の側面によれば、より高精度に画像を置換することが可能になる。
【図面の簡単な説明】
【００２０】
【図１】本技術の画像処理システムの一実施の形態の構成を示す図である。
【図２】画像処理装置の一実施の形態の構成を示すブロック図である。
【図３】CPUの機能的構成例を示すブロック図である。
【図４】リモートコントローラの概略を示す図である。
【図５】画像処理装置のモードの状態遷移を説明する図である。
【図６】登録処理を説明するフローチャートである。
【図７】表示部の出力の例を示す図である。
【図８】顔特徴対応表の例を示す図である。
【図９】表示部の出力の例を示す図である。
【図１０】画像置換処理を説明するフローチャートである。
【図１１】表示部の出力の例を示す図である。
【図１２】編集処理を説明するフローチャートである。
【図１３】表示部の出力の例を示す図である。
【図１４】表示部の出力の例を示す図である。
【発明を実施するための最良の形態】
【００２１】
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．画像処理システムの構成
２．登録処理
３．画像置換処理
４．編集処理
５．その他
【００２２】
［画像処理システムの構成］
【００２３】
図１は、本技術が適用される画像処理システム１の一実施の形態の構成を示す図である。図１の画像処理システム１は、画像処理装置２１、出力装置２２、画像再生装置２３、およびリモートコントローラ２４から構成される。
【００２４】
画像処理装置２１は、例えば、STB（Set Top Box）の形式で構成され、画像再生装置２３と出力装置２２の間に挿入される。画像処理装置２１は、メモリカードスロット４１、カメラ４２、スキャナ４３、および赤外線受信部４４を有している。図２を参照して、画像処理装置２１の詳細について説明する。
【００２５】
図２は、画像処理装置２１の一実施の形態の構成を示すブロック図である。
【００２６】
画像処理装置２１は、メモリカードスロット４１、カメラ４２、スキャナ４３、および赤外線受信部４４に加え、CPU（Central Processing Unit）１０１、映像入力部１０２、映像フレームバッファメモリ１０３、映像出力部１０４、音声入力部１０５、音声フレームバッファメモリ１０６、音声出力部１０７、顔特徴登録DB（データベース）１０８、および記憶部１０９から構成される。
【００２７】
メモリカードスロット４１は、挿入されたメモリカード５１に対して、各種の情報を読み書きする。
【００２８】
カメラ４２は、CCD（Charge Coupled Device）イメージセンサ、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子により構成される。
【００２９】
スキャナ４３は、センサを用いて画像情報等を取り込む。赤外線受信部４４は、リモートコントローラ２４からの赤外線信号を受信する。
【００３０】
CPU１０１は、プログラムに従って各種の動作を制御する。図３を参照して、CPU１０１の機能的な構成について説明する。
【００３１】
図３は、CPU１０１の機能的な構成例を示すブロック図である。CPU１０１は、取得部１２１、顔検出部１２２、顔特徴検出部１２３、記憶部１２４、算出部１２５、判定部１２６、画像合成処理部１２７、同期制御部１２８、および編集部１２９の機能ブロックを有している。
【００３２】
なお、CPU１０１の各ブロックは、必要に応じて相互に信号、データを授受することが可能とされている。
【００３３】
取得部１２１は、各種の情報を取得する。顔検出部１２２は、画像から顔を検出する。顔特徴検出部１２３は、顔特徴を検出する。記憶部１２４は、各種の情報を記憶する。算出部１２５は、各種の算出処理を実行する。判定部１２６は、各種の判定処理を実行する。画像合成処理部１２７は、画像の合成処理を実行する。同期制御部１２８は、同期制御処理を実行する。編集部１２９は、各種の情報を編集する。
【００３４】
図２に戻り、映像入力部１０２は、画像再生装置２３から出力される画像の入力を受け付ける。画像保持部としての映像フレームバッファメモリ１０３は、RAM（Random Access Memory）等により構成され、映像入力部１０２を介して入力された画像を一時的に保持する。
【００３５】
映像出力部１０４は、映像フレームバッファメモリ１０３に保持された画像を出力装置２２に出力する。
【００３６】
音声入力部１０５は、画像再生装置２３から出力される音声の入力を受け付ける。音声保持部としての音声フレームバッファメモリ１０６は、RAM等により構成され、音声入力部１０５を介して入力された音声を一時的に保持する。
【００３７】
なお、映像フレームバッファメモリ１０３と音声フレームバッファメモリ１０６は、１つのRAM等により構成することもできる。
【００３８】
音声出力部１０７は、音声フレームバッファメモリ１０６に保持された音声を出力装置２２に出力する。
【００３９】
顔特徴登録DB１０８は、後述する顔特徴対応表、および対応定義情報を保持する。記憶部１０９は、ハードディスクや不揮発性メモリなどにより構成される。
【００４０】
図１に戻り、例えば、テレビジョン受像機等により構成される出力装置２２は、画像処理装置２１から出力された映像を表示部６１に出力するとともに、画像処理装置２１から出力された音声を内蔵するスピーカ（図示せず）から出力する。
【００４１】
画像再生装置２３は、スロット８１から挿入されたDVD（Digital Versatile Disc）、BD（Blu-ray Disc）（商標）等の光ディスクを読み込み、映像および音声を画像処理装置２１に出力する。
【００４２】
リモートコントローラ２４は、ユーザにより操作され、赤外線受信部４４を介して、画像処理装置２１に各種の指示を出力する。図４を参照して、リモートコントローラ２４の詳細について説明する。
【００４３】
図４は、リモートコントローラ２４の概略を示す図である。リモートコントローラ２４は、鑑賞モードボタン１４１、登録モードボタン１４２、編集モードボタン１４３、方向ボタン１４４、決定ボタン１４５、および取消ボタン１４６を有している。
【００４４】
鑑賞モードボタン１４１、登録モードボタン１４２、および編集モードボタン１４３のいずれかのモード変更ボタンが操作された場合、画像処理装置２１のモードが変更される。図５を参照して、画像処理装置２１の各モードについて説明する。
【００４５】
図５は、画像処理装置２１のモードの状態遷移を説明する図である。画像処理装置２１は、鑑賞モード、登録モード、および編集モードの３つのモードを有している。画像処理装置２１に対して電源供給が開始されると、画像処理装置２１のモードは鑑賞モードに遷移する。
【００４６】
鑑賞モードは、画像再生装置２３から出力された映像および音声を出力装置２２に出力させるモードである。
【００４７】
また、鑑賞モードでは、画像再生装置２３から出力された画像から顔を検出し、検出された顔の画像が既に登録された顔画像と同じか類似している場合、その検出された顔の画像を、既に登録された顔画像（例えば、ユーザの顔画像）に置き換えて、出力装置２２に出力する。
【００４８】
鑑賞モードの状態で、リモートコントローラ２４の登録モードボタン１４２が操作された場合、画像処理装置２１は、登録モードに遷移する。
【００４９】
登録モードは、鑑賞モードにおいて顔画像を置換するために、置換前画像と置換後画像の組を顔特徴登録DB１０８に登録するモードである。
【００５０】
置換前画像は、画像再生装置２３により出力された画像から検出された顔の画像であり、置換後画像と置換される画像である。
【００５１】
置換後画像は、カメラ４２、スキャナ４３、メモリカード５１、および記憶部１０９のいずれかから取得される新たな顔画像（例えばユーザの顔画像）であり、置換前画像と置換される画像である。
【００５２】
登録モードが終了された場合、および登録モードの状態で、リモートコントローラ２４の鑑賞モードボタン１４１が操作された場合、画像処理装置２１は、鑑賞モードに遷移する。
【００５３】
鑑賞モードの状態で、リモートコントローラ２４の編集モードボタン１４３が操作された場合、画像処理装置２１のモードは、編集モードに遷移する。
【００５４】
編集モードは、登録モードにおいて登録された置換前画像と置換後画像の組を編集するモードである。例えば、置換前画像と置換後画像の組合せを変更したり、置換前画像と置換後画像の組を削除する処理が実行される。
【００５５】
編集モードが終了された場合、および編集モードの状態で、リモートコントローラ２４の鑑賞モードボタン１４１が操作された場合、画像処理装置２１のモードは、鑑賞モードに遷移する。
【００５６】
なお、登録モードの状態で、リモートコントローラ２４の編集モードボタン１４３が操作された場合、画像処理装置２１のモードが、編集モードに遷移するようにすることもできる。
【００５７】
同様に、編集モードの状態で、リモートコントローラ２４の登録モードボタン１４２が操作された場合、画像処理装置２１のモードが、登録モードに遷移するようにすることもできる。
【００５８】
図４に戻り、方向ボタン１４４は、ユーザの操作によりカーソル等を上下左右に移動させるとき操作される。決定ボタン１４５は、カーソル等により選択されている項目、ボタンを選択するとき操作される。取消ボタン１４６は、ユーザによる操作をキャンセルするとき操作される。
【００５９】
［登録処理］
【００６０】
図６乃至図９を参照して、登録処理について説明する。図６は、登録処理を説明するフローチャートである。図７は、表示部６１の出力の例を示す図である。図８は、顔特徴対応表の例を示す図である。
【００６１】
図６の登録処理は、登録モードの処理である。登録処理は、例えば、鑑賞モードが実行され、画像再生装置２３がブルーレイディスクから再生した動画像を画像処理装置２１を介して出力装置２２に供給し、表示させている場合に実行される。
【００６２】
すなわち、ユーザは動画像を視聴しながら所定の画像が表示されたタイミングでリモートコントローラ２４の登録モードボタン１４２を操作する。つまり、ユーザにより登録が指示されたときに登録処理が開始される。
【００６３】
ステップＳ１において、映像フレームバッファメモリ１０３は、フレーム画像を取得する。フレーム画像は、例えば、ユーザにより画像再生装置２３の一時停止が指示された場合の画像である。
【００６４】
すなわち、ユーザにより一時停止が指示された場合、画像再生装置２３から出力されたフレーム画像が、映像入力部１０２を介して、映像フレームバッファメモリ１０３に記憶される。
【００６５】
また、フレーム画像は、ユーザによりリモートコントローラ２４の登録モードボタン１４２が操作された時の画像とすることもできる。
【００６６】
例えば、ステップＳ１の処理により、図７Ａに示されるフレーム画像が取得される。図７Ａのフレーム画像には、人２０１Ａ，２０１Ｂ，２０１Ｃの３人が表示されている。
【００６７】
ステップＳ２において、顔検出部１２２は、顔を検出する。すなわち、ステップＳ１の処理により取得されたフレーム画像から顔の領域が検出される。
【００６８】
例えば、顔の検出のために、数十から数百種類の顔画像を合成した基準画像があらかじめ用意される。顔検出部１２２は、取得されたフレーム画像中に矩形領域を設定し、基準画像と矩形領域の画像を比較して画像の類似度を算出する。類似度が閾値より大きい画像が顔画像とされる。
【００６９】
顔検出部１２２は、取得されたフレーム画像に対して、様々な矩形領域を設定し、類似度を適宜算出することにより、取得されたフレーム画像から顔の領域を検出する。なお、顔の検出方法は、この方法に限られず、顔が検出できればどのような方法を利用してもよい。
【００７０】
ステップＳ３において、判定部１２６は、顔が検出できたかを判定する。すなわち、ステップＳ１の処理により取得されたフレーム画像に顔が存在するかが判定される。
【００７１】
ステップＳ３において、顔が検出されていないと判定された場合、ステップＳ４において、映像出力部１０４は、出力装置２２にエラーを出力する。例えば、エラーとして「顔が検出できませんでした」等のメッセージが出力装置２２の表示部６１に表示される。
【００７２】
一方、ステップＳ３において、顔が検出されたと判定された場合、処理はステップＳ５に進む。例えば、ステップＳ１の処理により図７Ａに示されるフレーム画像が取得された場合、ステップＳ２の処理により人２０１Ａ，２０１Ｂ，２０１Ｃの顔がそれぞれ検出される。
【００７３】
ステップＳ５において、映像出力部１０４は、置換前画像候補を出力する。すなわち、ステップＳ２の処理により検出された顔の領域が置換前画像候補として出力される。
【００７４】
例えば、図７Ｂに示される人２０１Ａ，２０１Ｂ，２０１Ｃの顔画像に対応する領域に、置換対象候補枠２１１Ａ，２１１Ｂ，２１１Ｃが出力される。
【００７５】
ステップＳ６において、取得部１２１は、置換前画像を取得する。すなわち、ステップＳ５の処理により出力された置換前画像候補から１つの置換前画像が取得される。
【００７６】
例えば、ユーザのリモートコントローラ２４の方向ボタン１４４の操作により、図７Ｂの選択枠２１２が置換対象候補枠２１１Ａ，２１１Ｂ，２１１Ｃのいずれかに重畳されて表示される。
【００７７】
そして、ユーザによりリモートコントローラ２４の決定ボタン１４５が操作された時の置換対象候補枠２１１（図７Ｂの例では置換対象候補枠２１１Ａ）内の画像が、置換前画像として取得される。
【００７８】
ステップＳ７において、顔特徴検出部１２３は、ステップＳ６の処理により取得された置換前画像の顔特徴を検出する。顔特徴は、例えば、目の位置、目と目の間隔、口の面積等、顔のパーツに基づいて検出されるものであり、それらをまとめた顔特徴ベクトルで表わされる。
【００７９】
ステップＳ８において、記憶部１２４は、置換前画像と顔特徴を対応付けた顔特徴対応表を記憶する。すなわち、ステップＳ６の処理により取得された置換前画像と、ステップＳ７の処理により検出された顔特徴とが対応付けられた顔特徴対応表が顔特徴登録DB１０８に記憶される。
【００８０】
図８は、顔特徴対応表の例を示す図である。顔特徴対応表には、例えば図８に示されるように、顔特徴としての顔特徴ベクトルＶ１，Ｖ２，Ｖ３と、置換前画像のファイル名Face0001，Face0002，Face0003とがそれぞれ対応付けられて記憶される。
【００８１】
また図８に示されるように、ID（Identification）を顔特徴ベクトルおよび置換前画像ファイル名に対応付けるようにすることもできる。
【００８２】
IDは、例えば、DVD，BD等の映像コンテンツごとに固有に設定されたものや、アクション、スポーツ、ドラマ等のカテゴリ毎に設定されたものである。IDは、顔特徴ベクトルおよび置換前画像ファイル名の組に対して、複数設定することができる。
【００８３】
図６に戻り、ステップＳ９において、映像出力部１０４は、出力装置２２に置換後画像候補を出力する。置換後画像候補は、カメラ４２、スキャナ４３、メモリカード５１、および記憶部１０９のいずれかから取得される。図９を参照して、置換後画像候補について説明する。
【００８４】
図９は、表示部６１の出力の例を示す図である。図９の例では、置換前画像としての人２１０Aの顔画像と、メモリカード５１内に記憶された顔画像２４１Ｐ，２４１Ｐ’，２４１Ｐ’’，２４１Ｑ，２４１Ｒ，２４１Ｓが表示されている。
【００８５】
なお、顔画像２４１P’，２４１P’’は、顔画像２４１Ｐの横向き（顔画像２４１Ｐ’は左向き、顔画像２４１Ｐ’’は右向き）の顔画像を示している。
【００８６】
図９の例では、ユーザによりプルダウンメニュー２２１が操作されることで、カメラ４２、スキャナ４３、メモリカード５１、および記憶部１０９のうちのメモリカード５１が選択されている。
【００８７】
図６のステップＳ１０において、取得部１２１は、置換後画像を取得する。例えば、ユーザの操作により、図９のメモリカード５１の顔画像２４１Ｐ，２４１Ｐ’，２４１Ｐ’’，２４１Ｑ，２４１Ｒ，２４１Ｓから所定の顔画像（例えば、顔画像２４１Ｐ）が置換後画像として選択され、取得される。
【００８８】
ステップＳ１１において、記憶部１２４は、置換前画像と置換後画像を対応付けた対応定義情報を記憶する。すなわち、ステップＳ６の処理により取得された置換前画像と、ステップＳ１０の処理により取得された置換後画像とが対応付けられて、顔特徴登録DB１０８に登録される。
【００８９】
ステップＳ４，Ｓ１１の処理の後、図６の登録処理は終了する。
【００９０】
このように、ユーザが顔画像を複数枚用意することで、簡単に置換前画像と置換後画像を対応付けて、予め用意しておくことができる。
【００９１】
例えば、Ａの顔をＢの顔に置換する場合、Ａの正面だけでなく、色々な角度からの顔に対応して、Ｂの色々な角度の顔画像を対応付けることができる。また、Ａの様々な表情に対応して、Ｂの様々な表情の顔画像を対応付けることができる。
【００９２】
これにより、登録される置換前画像と置換後画像の組の数が増加し、より精度の高い置換を実行することができる。
【００９３】
［画像置換処理］
【００９４】
次に、図１０と図１１を参照して、画像置換処理について説明する。図１０は、画像置換処理を説明するフローチャートである。
【００９５】
図１０の画像置換処理は、鑑賞モードの処理である。画像置換処理は、例えば、登録モードが実行されている場合に、ユーザによりリモートコントローラ２４の鑑賞モードボタン１４１が操作されたとき、すなわちユーザにより置換が指示されたときに開始される。
【００９６】
ステップＳ２１において、映像フレームバッファメモリ１０３は、フレーム画像を取得する。すなわち、画像再生装置２３から出力された画像のうちの所定のフレーム画像が、映像入力部１０２を介して取得される。
【００９７】
ステップＳ２２において、音声フレームバッファメモリ１０６は、フレーム画像に対応する音声を取得する。すなわち、ステップＳ２１の処理、および後述するステップＳ３５の処理により取得されたフレーム画像に対応する音声が、音声入力部１０５を介して取得される。
【００９８】
ステップＳ２３において、顔検出部１２２は、顔を検出する。すなわち、ステップＳ２１の処理、および後述するステップＳ３５の処理により取得されたフレーム画像から顔の領域が検出される。顔の検出方法は、図６のステップＳ２の手法と同様である。
【００９９】
ステップＳ２４において、判定部１２６は、顔が検出できたかを判定する。すなわち、ステップＳ２１の処理により取得されたフレーム画像に顔が存在するかが判定される。
【０１００】
例えば、図７Ａに示されるフレーム画像が取得された場合、人２０１Ａ，２０１Ｂ，２０１Ｃの顔がそれぞれ検出される。
【０１０１】
ステップＳ２４において、顔が検出されたと判定された場合、ステップＳ２５において、顔特徴検出部１２３は、顔特徴を検出する。すなわち、ステップＳ２３の処理により検出された顔画像から顔特徴が検出される。
【０１０２】
例えば、図７Ａの例では、検出された人２０１Ａ，２０１Ｂ，２０１Ｃの顔に対して、それぞれ顔特徴が検出される。
【０１０３】
ステップＳ２６において、取得部１２１は、顔特徴登録DB１０８から顔特徴対応表を取得する。すなわち、図６のステップＳ８の処理で記憶された顔特徴対応表が取得される。
【０１０４】
ステップＳ２７において、算出部１２５は、検出された顔特徴と置換前画像の顔特徴の類似度を算出する。すなわち、ステップＳ２５の処理により検出された顔特徴と、ステップＳ２６の処理により取得された顔特徴対応表の顔特徴との類似度が算出される。
【０１０５】
検出された人２０１Ａ，２０１Ｂ，２０１Ｃの顔特徴としての顔特徴ベクトルをそれぞれＶａ，Ｖｂ，Ｖｃとすると、例えば図８の顔特徴ベクトルＶ１，Ｖ２，Ｖ３に対する類似度は、｜Ｖａ−Ｖ１｜，｜Ｖａ−Ｖ２｜，｜Ｖａ−Ｖ３｜，｜Ｖｂ−Ｖ１｜，｜Ｖｂ−Ｖ２｜，｜Ｖｂ−Ｖ３｜，｜Ｖｃ−Ｖ１｜，｜Ｖｃ−Ｖ２｜，｜Ｖｃ−Ｖ３｜の式、すなわち、差の絶対値によりそれぞれ算出される。
【０１０６】
なお、画像再生装置２３から出力される映像のIDが「０００１」である場合、類似度として、同じIDの画像の特徴ベクトルとの差｜Ｖａ−Ｖ１｜，｜Ｖａ−Ｖ２｜，｜Ｖｂ−Ｖ１｜，｜Ｖｂ−Ｖ２｜，｜Ｖｃ−Ｖ１｜，｜Ｖｃ−Ｖ２｜だけを計算すればよく、異なるIDの画像の特徴ベクトルとの差｜Ｖａ−Ｖ３｜，｜Ｖｂ−Ｖ３｜，｜Ｖｃ−Ｖ３｜の計算を省略することができる。
【０１０７】
このように、IDを利用することで、より迅速に類似度を算出することができる。
【０１０８】
また、類似度の算出方法は、上述の方法に限られず、他の方法を用いることもできる。
【０１０９】
ステップＳ２８において、取得部１２１は、類似度の値の最小値を取得する。例えば、最小値として｜Ｖａ−Ｖ１｜が取得されたとする。
【０１１０】
ステップＳ２９において、判定部１２６は、ステップＳ２８の処理により取得された類似度の値の最小値が所定の閾値以上であるかを判定する。すなわち、検出された顔の画像と、置換前画像とが類似しているかが判定される。
【０１１１】
ステップＳ２９において、類似度の値の最小値が所定の閾値以上であると判定された場合、すなわち、検出された顔の画像と、置換前画像とが類似している場合、処理はステップＳ３０に進む。
【０１１２】
ステップＳ３０において、取得部１２１は、類似度が最小となった顔特徴に対応する置換後画像を取得する。すなわち、顔特徴に対応する置換前画像が顔特徴対応表から取得されるとともに、取得された置換前画像に対応する置換後画像が対応定義情報から取得される。
【０１１３】
例えば、ステップＳ２８の処理により置換前画像として人２０１Ａの顔画像が取得された場合、人２０１Ａの顔画像に対応する置換後画像として顔画像２４１Ｐが取得される。
【０１１４】
ステップＳ３１において、画像合成処理部１２７は、ステップＳ２３の処理により検出された顔画像をステップＳ３０の処理により取得された置換後画像に置換する。すなわち、人２０１Ａの顔画像が顔画像２４１Ｐで置き換えられるように合成される。
【０１１５】
ステップＳ３１の処理の後、ステップＳ２４において顔が検出できなかったと判定された場合、およびステップＳ２９において類似度の値の最小値が所定の閾値未満であると判定された場合、処理はステップＳ３２に進む。
【０１１６】
ステップＳ３２において、同期制御部１２８は、出力タイミングを設定する。すなわち、ステップＳ２１の処理、および後述するステップＳ３５の処理により取得されたフレーム画像と、ステップＳ２２の処理により取得された音声の出力タイミングが同期される。
【０１１７】
ステップＳ３３において、映像出力部１０４は、ステップＳ３２の処理により設定された出力タイミングでフレーム画像を出力装置２２に出力する。
【０１１８】
ステップＳ３４において、音声出力部１０４は、ステップＳ３２の処理により設定された出力タイミングで音声を出力装置２２に出力する。
【０１１９】
すなわち、同期された出力タイミングでフレーム画像と音声が、出力装置２２に出力される。例えば、ステップＳ３１の処理により置換後画像が置き換えられた画像が表示部６１に表示される。図１１を参照して、置換後画像の表示について説明する。
【０１２０】
図１１は、表示部６１の出力の例を示す図である。図１１の例では、図７Ａの人２０１Ａの顔の画像が、顔画像２４１Ｐに置き換えられている。このように、ユーザが置換前画像と置換後画像を対応付けることで、簡単に動画のコラージュを作成することができる。
【０１２１】
図１０のステップＳ３５において、映像フレームバッファメモリ１０３は、映像入力部１０２を介して、次のフレーム画像を取得する。ステップＳ３５の処理の後、処理はステップＳ２２に戻り、それ以降の処理が繰り返される。
【０１２２】
このように、画像再生装置２３から出力される動画のコンテンツソースにメタデータ等が付加されていない場合でも、ユーザが簡単に動画のコラージュを視聴することができる。
【０１２３】
例えば、所定のコンテンツの任意の登場人物を、他の任意の人（例えば自分自身）に置き換えて、コンテンツを楽しむことができる。
【０１２４】
また、画像置換処理の時間が長くなる場合でも、入力された画像と音声を同期して出力するので、映像に対する音声のズレを補正（例えばリップシンク）することができる。従って、ユーザが置換された画像を違和感なく視聴することができる。
【０１２５】
［編集処理］
【０１２６】
次に、図１２乃至図１４を参照して、編集処理について説明する。図１２は、編集処理を説明するフローチャートである。
【０１２７】
図１２の編集処理は、編集モードの処理である。編集処理は、例えば、鑑賞モードが実行されている場合に、ユーザによりリモートコントローラ２４の編集モードボタン１４３が操作されたとき、すなわちユーザにより編集が指示されたときに開始される。
【０１２８】
ステップＳ６１において、取得部１２１は、対応定義情報を取得する。すなわち、図６のステップＳ１１の処理により記憶された対応定義情報が、顔特徴登録ＤＢ１０８から読み出される。
【０１２９】
ステップＳ６２において、映像出力部１０４は、表示装置２２に対応定義情報を出力する。すなわち、ステップＳ６１の処理により取得された対応定義情報が、表示装置２２の表示部６１に表示される。図１３を参照して、表示部６１に出力される対応定義情報の例を説明する。
【０１３０】
図１３は、表示部６１に出力される対応定義情報の例を示す図である。図１３に示されるように、表示部６１には、対応定義情報として置換前画像と置換後画像の組のリストが表示される。
【０１３１】
図１３の例では、人２０１Ａの顔画像と顔画像２４１Ｐの組、人２０１Ａ’の顔画像と顔画像２４１Ｐ’の組、および人２０１Ｂの顔画像と顔画像２４１Ｒの組が表示されている。
【０１３２】
図１２に戻り、ステップＳ６３において、取得部１２１は、置換前画像と置換後画像の組を取得する。すなわち、ユーザの操作により選択された置換前画像と置換後画像の組が取得される。
【０１３３】
例えば、ユーザの操作により、図１３のカーソル２６１および選択枠２６２が図中の上下に移動され、所定の置換前画像と置換後画像の組が選択される。
【０１３４】
表示部６１の画面内にユーザが所望する置換前画像と置換後画像の組が無い場合、スクロール枠２６３が操作されることにより、他の置換前画像と置換後画像の組のリストが表示される。
【０１３５】
図１２のステップＳ６４において、判定部１２６は、置き換えが指示されたかを判定する。すなわち、ユーザの操作により図１３の置き換えボタン２６４が選択されたかが判定される。
【０１３６】
ステップＳ６４において、まだ置き換えが指示されていないと判定された場合、すなわち、まだ置き換えボタン２６４が選択されていない場合、ステップＳ６５において、判定部１２６は、削除が指示されたかを判定する。すなわち、ユーザの操作により図１３の削除ボタン２６５が選択されたかが判定される。
【０１３７】
ステップＳ６４において、まだ削除が指示されていないと判定された場合、すなわち、まだ削除ボタン２６５が選択されていない場合、処理はステップＳ６４に戻り、それ以降の処理が繰り返される。
【０１３８】
一方、ステップＳ６５において、削除が指示されたと判定された場合、すなわち、削除ボタン２６５が選択された場合、処理はステップＳ６６に進む。
【０１３９】
ステップＳ６６において、編集部１２９は、選択された置換前画像と置換後画像の組を削除する。すなわち、対応定義情報（置換前画像と置換後画像の組のリスト）から、ステップＳ６３の処理により取得された置換前画像と置換後画像の組が削除される。
【０１４０】
一方、ステップＳ６４において、置き換えが指示されたと判定された場合、すなわち、置き換えボタン２６４が選択された場合、処理はステップＳ６７に進む。
【０１４１】
ステップＳ６７において、映像出力部１０２は、置換後画像候補を出力する。すなわち、出力装置２２に置換後画像候補が出力される。図１４を参照して、置換後画像候補について説明する。
【０１４２】
図１４は、表示部６１の出力の例を示す図である。図１４の例では、置換前画像としての人２１０A’の顔画像と、置換後画像としての顔画像２４１Ｐ’の組が表示されている。
【０１４３】
また、プルダウンメニュー２２１により選択されたメモリカード５１内に記憶された顔画像２４１Ｐ，２４１Ｐ’’，２４１Ｑ，２４１Ｑ’が表示されている。
【０１４４】
図１２のステップＳ６８において、取得部１２１は、新たな置換後画像を取得する。すなわち、図１４の顔画像２４１Ｐ，２４１Ｐ’’，２４１Ｑ，２４１Ｑ’のうちからユーザが指定した任意の顔画像（例えば、顔画像２４１Ｑ’）が取得される。
【０１４５】
ステップＳ６９において、記憶部１２４は、置換前画像と新たな置換後画像を対応付けて記憶する。例えば、対応定義情報に記憶された人２０１Ａ’の顔画像と顔画像２４１Ｐ’の組が、人２０１Ａ’の顔画像と顔画像２４１Ｑ’の組に更新される。
【０１４６】
ステップＳ６６，Ｓ６９の処理の後、ステップＳ７０において、判定部１２６は、終了が指示されたかを判定する。ステップＳ７０において、終了が指示されていないと判定された場合、処理はステップＳ６２に戻り、それ以降の処理が繰り返される。
【０１４７】
一方、ステップＳ７０において、終了が指示されたと判定された場合、図１２の編集処理は終了する。
【０１４８】
このように、ユーザが登録された置換前画像と置換後画像の組を容易に編集（変更または削除）することができる。
【０１４９】
［その他］
【０１５０】
本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。
【０１５１】
本技術の実施の形態は、上述した実施形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。また、本技術の実施の形態は、一部の機能を他の装置が有していても良い。
【０１５２】
なお、本実施の形態においては、画像から顔を検出し、顔画像を置換したが、置換する検出対象物は、顔に限らず、人や乗り物など画像から検出できるものであればよい。
【０１５３】
また、画像処理装置２１、出力装置２２、および画像再生装置２３は、別々の装置ではなく一体化された１つの装置、または２つの装置（例えば、パーソナルコンピュータ）により構成することもできる。
【０１５４】
さらに、画像再生装置２３により出力されるDVDやBDの動画の他、記憶部１０９等に記憶された動画や、インターネット等のネットワークを介して取得された動画（例えばストリーム再生される動画）に対しても適用することができる。
【０１５５】
なお、本技術は以下のような構成も取ることができる。
（１）画像から検出対象物を検出する検出部と、登録が指示された場合、前記検出部により検出された前記検出対象物の画像である前記置換前画像と、置換後画像とを対応付けた対応定義情報を記憶する記憶部と、置換が指示された場合、前記検出部により前記画像から前記検出対象物が検出されたとき、前記対応定義情報に基づいて、前記置換前画像を前記置換後画像に置換する画像合成処理部とを備える画像処理装置。
（２）前記置換前画像の特徴を検出する特徴検出部をさらに備え、前記記憶部は、前記置換前画像と前記特徴を対応付けた特徴対応表を記憶する前記（１）に記載の画像処理装置。
（３）前記置換が指示された場合、前記特徴検出部により検出された前記特徴と、前記特徴対応表に含まれる前記特徴の類似度を算出する算出部と、前記算出により算出された前記類似度に基づいて、前記特徴検出部により検出された前記特徴に最も類似する前記特徴を有する前記置換前画像を前記特徴対応表から取得するとともに、取得された前記置換前画像に対応する前記置換後画像を前記対応定義情報から取得する取得部とをさらに備え、前記画像合成処理部は、前記取得部により取得された前記置換後画像を用いて、前記置換前画像を置換する前記（２）に記載の画像処理装置。
（４）前記画像を保持する画像保持部と、前記画像に対応する音声を保持する音声保持部と、前記画像保持部に保持された前記画像と、前記音声保持部に保持された前記音声との出力タイミングを同期させるように制御する同期制御部とをさらに備える前記（１）から（３）のいずれかに記載の画像処理装置。
（５）前記取得部は、編集が指示された場合、前記対応定義情報に含まれる前記置換前画像と置換後画像の組を取得するとともに、新たな置換後画像を取得し、前記記憶部は、前記取得部により前記新たな置換後画像が取得された場合、前記置換前画像と前記新たな置換後画像を対応付けて記憶する前記（３）または（４）に記載の画像処理装置。
（６）前記検出対象物は、顔である前記（１）から（５）のいずれかに記載の画像処理装置。
（７）画像から検出対象物を検出する検出ステップと、登録が指示された場合、前記検出ステップの処理により検出された前記検出対象物の画像である前記置換前画像と、置換後画像とを対応付けた対応定義情報を記憶する記憶ステップと、置換が指示された場合、前記検出ステップの処理により前記画像から前記検出対象物が検出されたとき、前記対応定義情報に基づいて、前記置換前画像を前記置換後画像に置換する画像合成処理部とを含む画像処理方法。
【符号の説明】
【０１５６】
２１ 画像処理装置， １０３ 映像フレームバッファメモリ， １０６ 音声フレームバッファメモリ， １２１ 取得部， １２２ 顔検出部， １２３ 顔特徴検出部， １２４ 記憶部， １２５ 算出部， １２７ 画像合成処理部， １２８ 同期制御部
【特許請求の範囲】
【請求項１】
画像から検出対象物を検出する検出部と、
登録が指示された場合、前記検出部により検出された前記検出対象物の画像である置換前画像と、前記置換前画像と置換される画像である置換後画像とを対応付けた対応定義情報を記憶する記憶部と、
置換が指示された場合、前記検出部により前記画像から前記検出対象物が検出されたとき、前記対応定義情報に基づいて、前記画像の前記置換前画像を前記置換後画像に置換する画像合成処理部と
を備える画像処理装置。
【請求項２】
前記置換前画像の特徴を検出する特徴検出部をさらに備え、
前記記憶部は、前記置換前画像と前記特徴を対応付けた特徴対応表を記憶する
請求項１に記載の画像処理装置。
【請求項３】
前記置換が指示された場合、前記特徴検出部により検出された前記特徴と、前記特徴対応表に含まれる前記特徴の類似度を算出する算出部と、
前記算出により算出された前記類似度に基づいて、前記特徴検出部により検出された前記特徴に最も類似する前記特徴を有する前記置換前画像を前記特徴対応表から取得するとともに、取得された前記置換前画像に対応する前記置換後画像を前記対応定義情報から取得する取得部と
をさらに備え、
前記画像合成処理部は、前記取得部により取得された前記置換後画像を用いて、前記置換前画像を置換する
請求項２に記載の画像処理装置。
【請求項４】
前記画像を保持する画像保持部と、
前記画像に対応する音声を保持する音声保持部と、
前記画像保持部に保持された前記画像と、前記音声保持部に保持された前記音声との出力タイミングを同期させるように制御する同期制御部と
をさらに備える請求項３に記載の画像処理装置。
【請求項５】
前記取得部は、編集が指示された場合、前記対応定義情報に含まれる前記置換前画像と置換後画像の組を取得するとともに、新たな置換後画像を取得し、
前記記憶部は、前記取得部により前記新たな置換後画像が取得された場合、前記置換前画像と前記新たな置換後画像を対応付けて記憶する
請求項４に記載の画像処理装置。
【請求項６】
前記検出対象物は、顔である
請求項５に記載の画像処理装置。
【請求項７】
画像から検出対象物を検出する検出ステップと、
登録が指示された場合、前記検出ステップの処理により検出された前記検出対象物の画像である置換前画像と、前記置換前画像と置換される画像である置換後画像とを対応付けた対応定義情報を記憶する記憶ステップと、
置換が指示された場合、前記検出ステップの処理により前記画像から前記検出対象物が検出されたとき、前記対応定義情報に基づいて、前記画像の前記置換前画像を前記置換後画像に置換する画像合成処理部と
を含む画像処理方法。
【請求項１】
画像から検出対象物を検出する検出部と、
登録が指示された場合、前記検出部により検出された前記検出対象物の画像である置換前画像と、前記置換前画像と置換される画像である置換後画像とを対応付けた対応定義情報を記憶する記憶部と、
置換が指示された場合、前記検出部により前記画像から前記検出対象物が検出されたとき、前記対応定義情報に基づいて、前記画像の前記置換前画像を前記置換後画像に置換する画像合成処理部と
を備える画像処理装置。
【請求項２】
前記置換前画像の特徴を検出する特徴検出部をさらに備え、
前記記憶部は、前記置換前画像と前記特徴を対応付けた特徴対応表を記憶する
請求項１に記載の画像処理装置。
【請求項３】
前記置換が指示された場合、前記特徴検出部により検出された前記特徴と、前記特徴対応表に含まれる前記特徴の類似度を算出する算出部と、
前記算出により算出された前記類似度に基づいて、前記特徴検出部により検出された前記特徴に最も類似する前記特徴を有する前記置換前画像を前記特徴対応表から取得するとともに、取得された前記置換前画像に対応する前記置換後画像を前記対応定義情報から取得する取得部と
をさらに備え、
前記画像合成処理部は、前記取得部により取得された前記置換後画像を用いて、前記置換前画像を置換する
請求項２に記載の画像処理装置。
【請求項４】
前記画像を保持する画像保持部と、
前記画像に対応する音声を保持する音声保持部と、
前記画像保持部に保持された前記画像と、前記音声保持部に保持された前記音声との出力タイミングを同期させるように制御する同期制御部と
をさらに備える請求項３に記載の画像処理装置。
【請求項５】
前記取得部は、編集が指示された場合、前記対応定義情報に含まれる前記置換前画像と置換後画像の組を取得するとともに、新たな置換後画像を取得し、
前記記憶部は、前記取得部により前記新たな置換後画像が取得された場合、前記置換前画像と前記新たな置換後画像を対応付けて記憶する
請求項４に記載の画像処理装置。
【請求項６】
前記検出対象物は、顔である
請求項５に記載の画像処理装置。
【請求項７】
画像から検出対象物を検出する検出ステップと、
登録が指示された場合、前記検出ステップの処理により検出された前記検出対象物の画像である置換前画像と、前記置換前画像と置換される画像である置換後画像とを対応付けた対応定義情報を記憶する記憶ステップと、
置換が指示された場合、前記検出ステップの処理により前記画像から前記検出対象物が検出されたとき、前記対応定義情報に基づいて、前記画像の前記置換前画像を前記置換後画像に置換する画像合成処理部と
を含む画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−２５５２５（Ｐ２０１３−２５５２５Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１５８９５７（Ｐ２０１１−１５８９５７）
【出願日】平成２３年７月２０日（２０１１．７．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月２０日（２０１１．７．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]