画像処理装置、画像処理方法、及びプログラム
【課題】音声が画像に対し遅れるシーンであっても、撮影動作のみで画像と音声のタイミングを一致させた音声付動画を得られるようにする。
【解決手段】撮影画像から対象とする特定の被写体の画像を検出するとともに、その対象の被写体から発生される音声を検出し、検出された対象の被写体の画像の変化を検出してその変化を基に、対象の被写体の画像と被写体から発生された音声との時間ずれを調整して画像及び音声を記録するようにして、撮影後に編集処理を行うことなく、画像と音声のタイミングを一致させた音声付動画を得ることができるようにする。
【解決手段】撮影画像から対象とする特定の被写体の画像を検出するとともに、その対象の被写体から発生される音声を検出し、検出された対象の被写体の画像の変化を検出してその変化を基に、対象の被写体の画像と被写体から発生された音声との時間ずれを調整して画像及び音声を記録するようにして、撮影後に編集処理を行うことなく、画像と音声のタイミングを一致させた音声付動画を得ることができるようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関し、詳しくは記録される画像と音声とのタイミングを調整する処理技術に関する。
【背景技術】
【０００２】
例えば、花火等の音速と光速の差により音声が画像に対し遅れて記録されるシーンにおいて、画像と音声のタイミングを一致させた映画のような嗜好性のある動画像を得るには、ユーザーが撮影後に音合わせの編集処理を行って動画像を完成させる手法がある。従来の動画編集システムやインターフェースでは、音声を画像に同期させるには、例えば同期一覧表を予め手動で作成しておき、その後で同期一覧表を参照しながら画像出力と音声出力の同期をとるという手法がとられていた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−１６１４９９号公報
【特許文献２】特開平５−１７４１４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述の従来の編集方法では、画像と音声を同期させるための同期一覧表の設定には事前の人的作業を要するため、画像再生時に実時間で同期をとることはできない。すなわち、画像に同期する音声を、前もって同期一覧表に作成する段階で決定してしまうため、画像に応じた種々の音声を動的に選択して出力することができない。
【０００５】
本発明は、このような事情に鑑みてなされたものであり、音声が画像に対し遅れて記録されるシーンにおいて、ユーザーが撮影後に編集処理を行うことなく、撮影動作のみで画像と音声のタイミングを一致させた音声付動画を得られるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、撮影画像から特定の被写体の画像を検出する画像検出手段と、前記画像検出手段により検出される前記被写体から発生される音声を検出する音声検出手段と、前記画像検出手段により検出された前記被写体の画像の変化を検出する画像変化検出手段とを有し、前記画像変化検出手段により検出された前記被写体の画像の変化に基づいて、前記被写体の画像と当該被写体から発生された音声との時間ずれを調整して前記画像及び前記音声を記録することを特徴とする。
本発明に係る画像処理方法は、撮影画像から特定の被写体の画像を検出する画像検出工程と、前記画像検出工程にて検出される前記被写体から発生される音声を検出する音声検出工程と、前記画像検出工程にて検出された前記被写体の画像の変化を検出する画像変化検出工程と、前記画像変化検出工程にて検出された前記被写体の画像の変化に基づいて、前記被写体の画像と当該被写体から発生された音声との時間ずれを調整して前記画像及び前記音声を記録する記録工程とを有することを特徴とする。
本発明に係るプログラムは、撮影画像から特定の被写体の画像を検出する画像検出ステップと、前記画像検出ステップにて検出される前記被写体から発生される音声を検出する音声検出ステップと、前記画像検出ステップにて検出された前記被写体の画像の変化を検出する画像変化検出ステップと、前記画像変化検出ステップにて検出された前記被写体の画像の変化に基づいて、前記被写体の画像と当該被写体から発生された音声との時間ずれを調整して前記画像及び前記音声を記録する記録ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、対象の被写体の画像の変化を基に、前記被写体の画像と当該被写体から発生された音声との時間ずれが調整され前記画像及び前記音声が記録される。これにより、音声が画像に対し遅れるシーンであっても、ユーザーが撮影後に編集処理を行うことなく、撮影動作のみで画像と音声のタイミングを一致させた音声付動画を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態における画像処理装置の構成例を示す図である。
【図２】本実施形態における撮影画像の一例を示す図である。
【図３】本実施形態における撮影画像の輝度レベルの一例を示す図である。
【図４】本実施形態における入力音声の一例を示す図である。
【図５】本実施形態における画像処理装置の処理動作の一例を示すフローチャートである。
【図６】本実施形態における画像処理装置の処理動作の他の例を示すフローチャートである。
【図７】本実施形態における画像処理装置を実現可能なコンピュータ機能を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。
【００１０】
図１は、本発明の一実施形態における画像処理装置の構成例を示すブロック図である。
本実施形態における画像処理装置は、モード検出部１、撮像部２、画像検出部３、画像変化検出部４、音声部５、音声検出部６、画像音声遅れ検出部７、及び音声補正部８を有する。
【００１１】
モード検出部１は、設定されている機器の撮影モードを検出し、その撮影モードを基に撮影動作での被写体を何に限定しているか（注目する被写体として何を対象としているか）を検出する。また、モード検出部１は、検出結果に基づいて、対象の被写体を示す情報を含む被写体情報を画像検出部３及び音声検出部６に出力する。
【００１２】
撮像部２は、撮影レンズ、撮像素子、制御ＩＣ等を含み、撮影画像の画像データを取得し出力する。
【００１３】
画像検出部３は、撮像部２から得た画像データ（撮影画像）及びモード検出部１からの被写体情報に基づいて、被写体情報により示される対象とする特定の被写体の画像を撮影画像から検出する。すなわち、画像検出部３は、撮像部２からの撮影画像から撮影モードに応じた対象の被写体を特定して検出する。
【００１４】
画像変化検出部４は、画像検出部３により検出された被写体の画像の変化を検出する。画像変化検出部４は、例えば、画像検出部３により検出された被写体の画像の大きさの変化、被写体の画像の明るさの変化、及び被写体の画像の移動の中の少なくとも１つを被写体の画像の変化として認識して検出する。そして、画像変化検出部４は、被写体の画像の変化を検出した時点で、画像変化タイミング信号を音声検出部６に出力し、検出画像（画像データ）を画像音声遅れ検出部７に出力する。
【００１５】
音声部５は、マイク、スピーカー、音声処理ＩＣ等を含み、撮影動作において得られる音声の音声データを取得し出力する。
【００１６】
音声検出部６は、音声部５から得た音声データ（音声）、画像変化検出部４からの情報、及びモード検出部１からの被写体情報に基づいて、被写体情報により示される対象とする特定の被写体から発生される音声を検出する。音声検出部６は、例えば音声の音圧レベルの変化及び周波数帯の少なくとも１つをパラメータとして、対象の被写体から発生される音声を検出する。例えば、音声検出部６は、モード検出部１からの被写体情報、すなわち撮影モードに応じて検出閾値を設定し、画像変化検出部４からの画像変化タイミング信号を同期信号にして、音声部５からの音声データから対象の被写体が発生する音声を検出する。そして、音声検出部６は、検出音声（音声データ）を画像音声遅れ検出部７に出力する。
【００１７】
画像音声遅れ検出部７は、画像変化検出部４の検出結果及び音声検出部６の検出結果に基づいて、対象とする特定の被写体の画像とその被写体から発生される音声との時間ずれを検出する。例えば、画像音声遅れ検出部７は、画像変化検出部４からの検出画像及び音声検出部６からの検出音声から、被写体から発生される音声の被写体画像に対する遅れ量を検出し、音声補正部８に出力する。
【００１８】
音声補正部８は、画像音声遅れ検出部７の検出結果に基づいて、対象とする特定の被写体の画像とその被写体から発生される音声との時間ずれを調整する。例えば、音声補正部８は、画像音声遅れ検出部７から得た被写体の画像に対する被写体の音声の遅れ量分、音声部５からの音声データを補正し、補正音声データを出力する。
【００１９】
撮像部２から出力された画像データ（撮影画像）及び音声補正部８から出力された補正音声データ（補正された音声）は、図示しない記録部（記録媒体等）に記録される。ここで、補正音声データは、被写体の画像に対する被写体の音声の遅れ量分だけ補正された音声データであるので、対象とする特定の被写体の画像にその被写体から発生される音声を同期させて撮影画像及び音声が記録されることとなる。
【００２０】
次に、本実施形態における画像処理装置での画像の検出動作、音声の検出動作、及び画像処理装置全体での処理動作について説明する。なお、以下では、撮影モードとして打ち上げ花火モードが設定されて、対象とする特定の被写体を打ち上げ花火とする場合を一例として説明するが、本発明はこれに限定されるものではない。すなわち、対象とする特定の被写体は打ち上げ花火のみに限られるものではない。本実施形態における画像処理装置は、飛行機等、対象の被写体が撮影を行っている場所から距離が離れた地点に存在し、画像に対して音声が遅れて到達するものを対象とし、対象の被写体に応じた各種撮影モードを備えるものとする。
【００２１】
まず、対象とする特定の被写体の画像（本例では、打ち上げ花火画像）の検出動作について、図１〜図３を参照して説明する。
【００２２】
図２（ａ）は、所定の時刻Ｔ１において、打ち上げられた花火を撮影した時に取得された画像を示す図である。図２（ｂ）は、図２（ａ）に示した画像の拡大図であり、花火及びその周辺の部分を拡大して示している。なお、図２（ｂ）において、縦軸は撮像範囲の垂直方向における位置を表す垂直位置Ｖを表し、横軸は撮像範囲の水平方向における位置を示す水平位置Ｈを表す。
【００２３】
また、図３は、図２（ｂ）に示した画像における輝度レベルを示す図である。なお、図３における縦軸は打ち上げ花火の輝度レベルＹを表す。
【００２４】
図２（ａ）及び図２（ｂ）に示すように、打ち上げられた直後の花火４００は、所定の時刻Ｔ１において取得されたフレームに画像として含まれる。図３に示すように、花火４００の部分は、背景の部分の輝度Ｙｘよりも輝度が高く、花火４００の背景に対する輝度差はＹａである。この後、花火４００は、図２（ａ）において矢印に示すように上方に向かって移動し、時刻Ｔ１に続く時刻Ｔ２において取得される次のフレームでは、花火４００の位置が移動する。
【００２５】
画像検出部３は、各時刻で取得されたフレームにおいて、図３に示すような背景に対し輝度差Ｙａを有する被写体の画像（花火４００）の領域を規定する被写体領域を取得する。具体的には、画像検出部３は、対象の被写体である花火４００の水平方向における両端部の水平位置Ｈ１、Ｈ２に基づいて被写体の幅Ｈａを特定するとともに、花火４００の垂直方向における両端部の垂直位置Ｖ１、Ｖ５に基づいて被写体の高さＶａを特定する。そして、画像検出部３は、特定された被写体の幅Ｈａ及び高さＶａで規定された領域を被写体領域として特定する。
【００２６】
また、画像変化検出部４は、画像検出部３により特定された被写体領域に係る比較を行って被写体の画像の変化を検出する。例えば、画像変化検出部４は、背景に対する被写体の輝度差Ｙａが所定値Ｙｘ以上であるときに、対象の被写体、つまり開花した打ち上げ花火４００であると特定するように構成されている。また、例えば、被写体の幅Ｈａが所定値Ｈｘ以上であり、かつ高さＶａが所定値Ｖｘ以上であることを、打ち上げ花火モード時において花火４００を特定するための条件としてもよい。前記所定値Ｙｘは、打ち上げ花火モード時の録画条件として、例えば予め測定した背景の輝度レベルにほぼ等しくなるように設定されている。また、前記所定値Ｈｘ、Ｖｘは、予め測定した花火の画像に基づいて設定されている。なお、これらの設定値Ｈｘ、Ｖｘはユーザーの所定の操作を介して変更することが可能なようにしても良い。
【００２７】
次に、対象とする特定の被写体から発生される音声（本例では、打ち上げ花火音声）の検出動作について、図１及び図４を参照して説明する。
【００２８】
図４は、打ち上げ花火の音声を含む音声データを表す図である。図４において、縦軸は音声レベル（音圧レベル）を表し、横軸は時間軸である。また、図４において、Ｔｘは、画像変化検出部４により開花した打ち上げ花火を検出した、つまり対象の被写体の画像の変化を検出したタイミングを示し、Ｄｘは、打ち上げ花火の音声を認識する閾値レベルを示している。
【００２９】
音声検出部６は、画像変化検出部４にて打ち上げ花火の開花が検出されたタイミングを画像変化タイミング信号により受信して、被写体から発生される音声、つまり打ち上げ花火の開花音の検出を開始する。検出開始後、音声検出部６は、入力音声が閾値Ｄｘ以上であるとき、入力音声が打ち上げ花火の開花音であると特定する。
【００３０】
すなわち、音声検出部６は、時刻Ｔｘ以降において、閾値Ｄｘ以下であった入力音声の音声レベルが閾値Ｄｘ以上になったとき（時刻Ｔｙ）、打ち上げ花火の開花音が始まったと検出する。また、音声検出部６は、閾値Ｄｘ以上であった入力音声の音声レベルが閾値Ｄｘ以下となったとき（時刻Ｔｚ）、打ち上げ花火の開花音が終了したと検出する。
【００３１】
また、音声検出部６は、ＦＦＴ（高速フーリエ変換）により音声に係る周波数解析を行い、入力音声が特定の周波数帯であったときに打ち上げ花火の開花音であると特定するようにしてもよい。また、あわせて、入力音声の音声レベルの閾値と周波数帯は、撮影モードに応じて切り替えることが可能であり、その設定値はユーザーの所定の操作を介して変更することが可能なようにしても良い。
【００３２】
次に、本実施形態における画像処理装置の処理動作について説明する。
図５は、本実施形態における画像処理装置の処理動作の一例を示すフローチャートである。
【００３３】
まず、ステップＳ１０１にて、モード検出部１は動画撮影モードの検出を行う。モード検出部１により撮影モードが打ち上げ花火モードであることが検出されると、ステップＳ１０２にて、画像検出部３は、モード検出部１からの被写体情報を基に、検出の対象とする被写体が打ち上げ花火と夜空であることを検知する。そして、画像検出部３は、撮像部２から得た動画像にて対象とする特定の被写体の画像の検出を開始し、例えば撮像範囲（被写界）内で閾値以下の輝度の暗部、つまり夜空の検出をする。
【００３４】
次に、ステップＳ１０３にて、画像変化検出部４は、画像検出部３での検出結果に基づいて、打ち上げ花火の開花を検出する。すなわち、このステップＳ１０３では、画像変化検出部４は、前述した打ち上げ花火画像の検出動作により、打ち上げ花火の開花を検出する。
【００３５】
例えば、画像変化検出部４は、ステップＳ１０２において検出された暗部内で、閾値以上の輝度（明るさ）の変化があったとき、打ち上げ花火の開花と特定し（Ｓ１０３）、花火の開花タイミングとして記録する（Ｓ１０４）。なお、画像変化検出部４は、対象とする被写体の画像が所定の幅、高さ以上の大きさであったときに打ち上げ花火の開花と特定するようにしても良い。また、画像変化検出部４は、暗部内で閾値以上の輝度（明るさ）の変化があり、かつ対象とする被写体の画像が所定の幅、高さ以上の大きさであったときに打ち上げ花火の開花と特定するようにしても良い。
【００３６】
ステップＳ１０５にて、音声検出部６は、ステップＳ１０４において記録された花火の開花タイミングをトリガにして、打ち上げ花火の開花音の検出を開始する。音声検出部６による打ち上げ花火の開花音の検出動作は、前述した打ち上げ花火音声の検出動作による。
【００３７】
例えば、音声検出部６は、入力される音声の音圧レベルの変化が閾値以上であれば、その入力音声を打ち上げ花火の開花音として検出する。音声検出部６は、閾値Ｄｘ以下であった入力音声が閾値Ｄｘ以上になったときに打ち上げ花火の開花音が始まったと検出し、閾値Ｄｘ以上であった入力音声が閾値以下となったときに打ち上げ花火の開花音が終了したと検出する（Ｓ１０６）。その検出結果に基づいて、音声検出部６は、打ち上げ花火の音声のデータ開始タイミング及び打ち上げ花火の音声の音声データ区間を記録する（Ｓ１０７）。
【００３８】
なお、音声検出部６は、入力される音声が所定の周波数帯である場合に、その入力音声を打ち上げ花火の開花音であると特定するようにしても良い。また、音声検出部６は、入力される音声の音圧レベルの変化が閾値以上であり、かつ入力される音声が所定の周波数帯である場合に、その入力音声を打ち上げ花火の開花音であると特定するようにしても良い。
【００３９】
ステップＳ１０８にて、画像／音声遅れ検出部７は、打ち上げ花火の開花の画像に対する打ち上げ花火の開花の音声の遅延量を検出する。次に、ステップＳ１０９にて、音声補正部８は、ステップＳ１０８において検出された遅れ量と、ステップＳ１０７において記録された打ち上げ花火の音声の音声データ区間を基に、音声データを補正する。前述のようにして、打ち上げ花火の開花の画像に打ち上げ花火の開花の音声を同期させることにより、打ち上げ花火の開花の画像と音声のタイミングを一致させて、音声付動画として図示しない記録部（記録媒体等）に記録される。
【００４０】
その後、画像処理装置は、撮影モードが切り替えられたら処理動作を終了し、撮影モードが切り替えられなかったら、ステップＳ１０３に戻って、引き続き前述したステップＳ１０３〜Ｓ１０９までの動作を行う（Ｓ１１０）。
【００４１】
次に、本実施形態における画像処理装置の処理動作の他の例について説明する。以下に説明する処理動作は、打ち上げ花火が連続で打ち上げられた場合の処理動作である。
図６は、本実施形態における画像処理装置の処理動作の他の例を示すフローチャートである。
【００４２】
ステップＳ２０１〜Ｓ２０３の動作は、図５に示した打ち上げ花火が単発で打ち上げられた場合のステップＳ１０１〜Ｓ１０３の動作と同様である。ステップＳ２０３に続いて、画像変化検出部４は、花火の開花タイミングを回数も含めて記録する（Ｓ２０４）。
【００４３】
音声検出部６は、花火の開花タイミングが何回目であるかを確認し（Ｓ２０５）、一回目であれば花火の開花タイミングをトリガにして、打ち上げ花火の開花音の検出を開始する（Ｓ２０９）。一方、音声検出部６は、花火の開花タイミングが２回目以上であれば、一つ前の花火の開花音タイミング（花火の開花音に係る音声データの開始タイミングやデータ区間）が記録されているか否かを確認する（Ｓ２０６）。その結果、音声検出部６は、一つ前の花火の開花音タイミングが記録されていれば打ち上げ花火の開花音の検出を開始し（Ｓ２０９）、そうでなければ一つ前の花火の開花音タイミングの記録が確認されるまで待機する。
【００４４】
また、画像処置装置は、ステップＳ２０４での花火の開花タイミング記録後、撮影モードが切り替えられなかったら（Ｓ２０７の花火モード）、ステップＳ２０３に戻って、引き続きステップＳ２０３からの花火の開花の検出動作を繰り返す。一方、撮影モードが切り替えられたら（Ｓ２０７のモード変更）、花火の開花の検出動作を終了して開花検出動作の終了を記録する（Ｓ２０８）。
【００４５】
ステップＳ２０９〜Ｓ２１０の動作は、図５に示した打ち上げ花火が単発で打ち上げられた場合のステップＳ１０５〜Ｓ１０６の動作と同様である。ステップＳ２１０に続いて、音声検出部６は、打ち上げ花火の開花音のデータ開始タイミング及び打ち上げ花火の開花音の音声データ区間と、かつ何回目の開花音であるかを示す回数を記録する（Ｓ２１１）。
【００４６】
そして、開花検出動作の終了の記録がなければ（Ｓ２１２のＮｏ）、ステップＳ２０３に戻り、開花検出動作の終了の記録があれば（Ｓ２１２のＹｅｓ）、開花音の検出動作を終了する（Ｓ２１３）。
【００４７】
また、画像音声遅れ検出部７は、ｎ回目の打ち上げ花火の開花の画像に対するｎ回目の打ち上げ花火の開花の音声の遅延量を検出する（Ｓ２１４）。音声補正部８は、ステップＳ２１４において検出された遅れ量と、ステップＳ２１１において記録された打ち上げ花火の音声の音声データ区間を基に、音声データを補正する（Ｓ２１５）。このようにして、打ち上げ花火の開花の画像に打ち上げ花火の開花の音声を同期させることにより、打ち上げ花火の開花の画像と音声のタイミングを一致させて、音声付動画として図示しない記録部（記録媒体等）に記録される。
【００４８】
その後、画像処理装置は、撮影モードが切り替えられたら処理動作を終了し、撮影モードが切り替えられなかったら、ステップＳ２０３に戻って、引き続き前述したステップＳ２０３以降の動作を行う（Ｓ２１６）。
【００４９】
以上のように、本実施形態における画像処理装置は、撮影により得られる画像データに対して音声データを合わせこむ際に、合わせ込むタイミングを画像処理にて判断する。前述したように本実施形態における画像処理装置は、画像変化検出部４にて検出した対象とする被写体の画像の変化タイミングに対し、音声検出部６にて検出した対象の被写体から発生された音声に補正をかける。これにより、対象の被写体の画像とその被写体から発生された音声との時間ずれが調整されて画像及び音声が記録される。したがって、音声が画像に対して遅れるシーンであっても、ユーザーが撮影後に手動で面倒な編集処理等を行うことなく、撮影動作のみで、画像と音声のタイミングを一致させた映画のような嗜好性のある音声付動画を得ることができる。なお、撮影モードが打ち上げ花火モードであることを前提として説明を行ったが、他の撮影モードにおいても同様な処理を行うことができる。例えば、対象とする特定の被写体が飛行機である飛行機モードを選択した場合は、撮像範囲内から輝度が高く、かつ、その輝度分布が一様な空の検出を行い、その中を直線的に横切る被写体を検出する。そして、検出した飛行機が画面内にいる間に音圧レベルが最大となるように音声データの遅延量を求めるようにすればよい。
【００５０】
（本発明の他の実施形態）
前述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置又はシステム内のコンピュータ（ＣＰＵ又はＭＰＵ）に対し、前記実施形態の機能を実現するためのソフトウェアのプログラムを供給する。そして、そのシステム又は装置のコンピュータに格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
また、この場合、前記ソフトウェアのプログラム自体が前述した実施形態の機能を実現することになり、そのプログラム自体は本発明を構成する。また、そのプログラムをコンピュータに供給するための手段、例えばかかるプログラムを格納した記録媒体は本発明を構成する。かかるプログラムを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
また、供給されたプログラムがコンピュータにて稼働しているオペレーティングシステム又は他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムは本発明の実施形態に含まれることは言うまでもない。
さらに、供給されたプログラムがコンピュータに係る機能拡張ボードや機能拡張ユニットに備わるメモリに格納された後、そのプログラムの指示に基づいてその機能拡張ボード等に備わるＣＰＵ等が実際の処理の一部又は全部を行う。その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【００５１】
例えば、前述した実施形態に示した画像処理装置は、図７に示すようなコンピュータ機能７００を有し、そのＣＰＵ７０１により前述した実施形態での動作が実施される。
コンピュータ機能７００は、図７に示すように、ＣＰＵ７０１と、ＲＯＭ７０２と、ＲＡＭ７０３とを備える。また、操作部（ＣＯＮＳ）７０９のコントローラ（ＣＯＮＳＣ）７０５と、ＣＲＴやＬＣＤ等の表示部としてのディスプレイ（ＤＩＳＰ）７１０のディスプレイコントローラ（ＤＩＳＰＣ）７０６とを備える。さらに、ハードディスク（ＨＤ）７１１、及びフレキシブルディスク等の記憶デバイス（ＳＴＤ）７１２のコントローラ（ＤＣＯＮＴ）７０７と、ネットワークインタフェースカード（ＮＩＣ）７０８とを備える。それら機能部７０１、７０２、７０３、７０５、７０６、７０７、７０８は、システムバス７０４を介して互いに通信可能に接続された構成としている。
ＣＰＵ７０１は、ＲＯＭ７０２又はＨＤ７１１に記憶されたソフトウェア、又はＳＴＤ７１２より供給されるソフトウェアを実行することで、システムバス７０４に接続された各構成部を総括的に制御する。すなわち、ＣＰＵ７０１は、前述したような動作を行うための処理プログラムを、ＲＯＭ７０２、ＨＤ７１１、又はＳＴＤ７１２から読み出して実行することで、前述した実施形態での動作を実現するための制御を行う。ＲＡＭ７０３は、ＣＰＵ７０１の主メモリ又はワークエリア等として機能する。
ＣＯＮＳＣ７０５は、ＣＯＮＳ７０９からの指示入力を制御する。ＤＩＳＰＣ７０６は、ＤＩＳＰ７１０の表示を制御する。ＤＣＯＮＴ７０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び前述した実施形態における前記処理プログラム等を記憶するＨＤ７１１及びＳＴＤ７１２とのアクセスを制御する。ＮＩＣ７０８はネットワーク７１３上の他の装置と双方向にデータをやりとりする。
【００５２】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５３】
１ モード検出部
２ 撮像部
３ 画像検出部
４ 画像変化検出部
５ 音声部
６ 音声検出部
７ 画像音声遅れ検出部
８ 音声補正部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関し、詳しくは記録される画像と音声とのタイミングを調整する処理技術に関する。
【背景技術】
【０００２】
例えば、花火等の音速と光速の差により音声が画像に対し遅れて記録されるシーンにおいて、画像と音声のタイミングを一致させた映画のような嗜好性のある動画像を得るには、ユーザーが撮影後に音合わせの編集処理を行って動画像を完成させる手法がある。従来の動画編集システムやインターフェースでは、音声を画像に同期させるには、例えば同期一覧表を予め手動で作成しておき、その後で同期一覧表を参照しながら画像出力と音声出力の同期をとるという手法がとられていた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−１６１４９９号公報
【特許文献２】特開平５−１７４１４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述の従来の編集方法では、画像と音声を同期させるための同期一覧表の設定には事前の人的作業を要するため、画像再生時に実時間で同期をとることはできない。すなわち、画像に同期する音声を、前もって同期一覧表に作成する段階で決定してしまうため、画像に応じた種々の音声を動的に選択して出力することができない。
【０００５】
本発明は、このような事情に鑑みてなされたものであり、音声が画像に対し遅れて記録されるシーンにおいて、ユーザーが撮影後に編集処理を行うことなく、撮影動作のみで画像と音声のタイミングを一致させた音声付動画を得られるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、撮影画像から特定の被写体の画像を検出する画像検出手段と、前記画像検出手段により検出される前記被写体から発生される音声を検出する音声検出手段と、前記画像検出手段により検出された前記被写体の画像の変化を検出する画像変化検出手段とを有し、前記画像変化検出手段により検出された前記被写体の画像の変化に基づいて、前記被写体の画像と当該被写体から発生された音声との時間ずれを調整して前記画像及び前記音声を記録することを特徴とする。
本発明に係る画像処理方法は、撮影画像から特定の被写体の画像を検出する画像検出工程と、前記画像検出工程にて検出される前記被写体から発生される音声を検出する音声検出工程と、前記画像検出工程にて検出された前記被写体の画像の変化を検出する画像変化検出工程と、前記画像変化検出工程にて検出された前記被写体の画像の変化に基づいて、前記被写体の画像と当該被写体から発生された音声との時間ずれを調整して前記画像及び前記音声を記録する記録工程とを有することを特徴とする。
本発明に係るプログラムは、撮影画像から特定の被写体の画像を検出する画像検出ステップと、前記画像検出ステップにて検出される前記被写体から発生される音声を検出する音声検出ステップと、前記画像検出ステップにて検出された前記被写体の画像の変化を検出する画像変化検出ステップと、前記画像変化検出ステップにて検出された前記被写体の画像の変化に基づいて、前記被写体の画像と当該被写体から発生された音声との時間ずれを調整して前記画像及び前記音声を記録する記録ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、対象の被写体の画像の変化を基に、前記被写体の画像と当該被写体から発生された音声との時間ずれが調整され前記画像及び前記音声が記録される。これにより、音声が画像に対し遅れるシーンであっても、ユーザーが撮影後に編集処理を行うことなく、撮影動作のみで画像と音声のタイミングを一致させた音声付動画を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態における画像処理装置の構成例を示す図である。
【図２】本実施形態における撮影画像の一例を示す図である。
【図３】本実施形態における撮影画像の輝度レベルの一例を示す図である。
【図４】本実施形態における入力音声の一例を示す図である。
【図５】本実施形態における画像処理装置の処理動作の一例を示すフローチャートである。
【図６】本実施形態における画像処理装置の処理動作の他の例を示すフローチャートである。
【図７】本実施形態における画像処理装置を実現可能なコンピュータ機能を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。
【００１０】
図１は、本発明の一実施形態における画像処理装置の構成例を示すブロック図である。
本実施形態における画像処理装置は、モード検出部１、撮像部２、画像検出部３、画像変化検出部４、音声部５、音声検出部６、画像音声遅れ検出部７、及び音声補正部８を有する。
【００１１】
モード検出部１は、設定されている機器の撮影モードを検出し、その撮影モードを基に撮影動作での被写体を何に限定しているか（注目する被写体として何を対象としているか）を検出する。また、モード検出部１は、検出結果に基づいて、対象の被写体を示す情報を含む被写体情報を画像検出部３及び音声検出部６に出力する。
【００１２】
撮像部２は、撮影レンズ、撮像素子、制御ＩＣ等を含み、撮影画像の画像データを取得し出力する。
【００１３】
画像検出部３は、撮像部２から得た画像データ（撮影画像）及びモード検出部１からの被写体情報に基づいて、被写体情報により示される対象とする特定の被写体の画像を撮影画像から検出する。すなわち、画像検出部３は、撮像部２からの撮影画像から撮影モードに応じた対象の被写体を特定して検出する。
【００１４】
画像変化検出部４は、画像検出部３により検出された被写体の画像の変化を検出する。画像変化検出部４は、例えば、画像検出部３により検出された被写体の画像の大きさの変化、被写体の画像の明るさの変化、及び被写体の画像の移動の中の少なくとも１つを被写体の画像の変化として認識して検出する。そして、画像変化検出部４は、被写体の画像の変化を検出した時点で、画像変化タイミング信号を音声検出部６に出力し、検出画像（画像データ）を画像音声遅れ検出部７に出力する。
【００１５】
音声部５は、マイク、スピーカー、音声処理ＩＣ等を含み、撮影動作において得られる音声の音声データを取得し出力する。
【００１６】
音声検出部６は、音声部５から得た音声データ（音声）、画像変化検出部４からの情報、及びモード検出部１からの被写体情報に基づいて、被写体情報により示される対象とする特定の被写体から発生される音声を検出する。音声検出部６は、例えば音声の音圧レベルの変化及び周波数帯の少なくとも１つをパラメータとして、対象の被写体から発生される音声を検出する。例えば、音声検出部６は、モード検出部１からの被写体情報、すなわち撮影モードに応じて検出閾値を設定し、画像変化検出部４からの画像変化タイミング信号を同期信号にして、音声部５からの音声データから対象の被写体が発生する音声を検出する。そして、音声検出部６は、検出音声（音声データ）を画像音声遅れ検出部７に出力する。
【００１７】
画像音声遅れ検出部７は、画像変化検出部４の検出結果及び音声検出部６の検出結果に基づいて、対象とする特定の被写体の画像とその被写体から発生される音声との時間ずれを検出する。例えば、画像音声遅れ検出部７は、画像変化検出部４からの検出画像及び音声検出部６からの検出音声から、被写体から発生される音声の被写体画像に対する遅れ量を検出し、音声補正部８に出力する。
【００１８】
音声補正部８は、画像音声遅れ検出部７の検出結果に基づいて、対象とする特定の被写体の画像とその被写体から発生される音声との時間ずれを調整する。例えば、音声補正部８は、画像音声遅れ検出部７から得た被写体の画像に対する被写体の音声の遅れ量分、音声部５からの音声データを補正し、補正音声データを出力する。
【００１９】
撮像部２から出力された画像データ（撮影画像）及び音声補正部８から出力された補正音声データ（補正された音声）は、図示しない記録部（記録媒体等）に記録される。ここで、補正音声データは、被写体の画像に対する被写体の音声の遅れ量分だけ補正された音声データであるので、対象とする特定の被写体の画像にその被写体から発生される音声を同期させて撮影画像及び音声が記録されることとなる。
【００２０】
次に、本実施形態における画像処理装置での画像の検出動作、音声の検出動作、及び画像処理装置全体での処理動作について説明する。なお、以下では、撮影モードとして打ち上げ花火モードが設定されて、対象とする特定の被写体を打ち上げ花火とする場合を一例として説明するが、本発明はこれに限定されるものではない。すなわち、対象とする特定の被写体は打ち上げ花火のみに限られるものではない。本実施形態における画像処理装置は、飛行機等、対象の被写体が撮影を行っている場所から距離が離れた地点に存在し、画像に対して音声が遅れて到達するものを対象とし、対象の被写体に応じた各種撮影モードを備えるものとする。
【００２１】
まず、対象とする特定の被写体の画像（本例では、打ち上げ花火画像）の検出動作について、図１〜図３を参照して説明する。
【００２２】
図２（ａ）は、所定の時刻Ｔ１において、打ち上げられた花火を撮影した時に取得された画像を示す図である。図２（ｂ）は、図２（ａ）に示した画像の拡大図であり、花火及びその周辺の部分を拡大して示している。なお、図２（ｂ）において、縦軸は撮像範囲の垂直方向における位置を表す垂直位置Ｖを表し、横軸は撮像範囲の水平方向における位置を示す水平位置Ｈを表す。
【００２３】
また、図３は、図２（ｂ）に示した画像における輝度レベルを示す図である。なお、図３における縦軸は打ち上げ花火の輝度レベルＹを表す。
【００２４】
図２（ａ）及び図２（ｂ）に示すように、打ち上げられた直後の花火４００は、所定の時刻Ｔ１において取得されたフレームに画像として含まれる。図３に示すように、花火４００の部分は、背景の部分の輝度Ｙｘよりも輝度が高く、花火４００の背景に対する輝度差はＹａである。この後、花火４００は、図２（ａ）において矢印に示すように上方に向かって移動し、時刻Ｔ１に続く時刻Ｔ２において取得される次のフレームでは、花火４００の位置が移動する。
【００２５】
画像検出部３は、各時刻で取得されたフレームにおいて、図３に示すような背景に対し輝度差Ｙａを有する被写体の画像（花火４００）の領域を規定する被写体領域を取得する。具体的には、画像検出部３は、対象の被写体である花火４００の水平方向における両端部の水平位置Ｈ１、Ｈ２に基づいて被写体の幅Ｈａを特定するとともに、花火４００の垂直方向における両端部の垂直位置Ｖ１、Ｖ５に基づいて被写体の高さＶａを特定する。そして、画像検出部３は、特定された被写体の幅Ｈａ及び高さＶａで規定された領域を被写体領域として特定する。
【００２６】
また、画像変化検出部４は、画像検出部３により特定された被写体領域に係る比較を行って被写体の画像の変化を検出する。例えば、画像変化検出部４は、背景に対する被写体の輝度差Ｙａが所定値Ｙｘ以上であるときに、対象の被写体、つまり開花した打ち上げ花火４００であると特定するように構成されている。また、例えば、被写体の幅Ｈａが所定値Ｈｘ以上であり、かつ高さＶａが所定値Ｖｘ以上であることを、打ち上げ花火モード時において花火４００を特定するための条件としてもよい。前記所定値Ｙｘは、打ち上げ花火モード時の録画条件として、例えば予め測定した背景の輝度レベルにほぼ等しくなるように設定されている。また、前記所定値Ｈｘ、Ｖｘは、予め測定した花火の画像に基づいて設定されている。なお、これらの設定値Ｈｘ、Ｖｘはユーザーの所定の操作を介して変更することが可能なようにしても良い。
【００２７】
次に、対象とする特定の被写体から発生される音声（本例では、打ち上げ花火音声）の検出動作について、図１及び図４を参照して説明する。
【００２８】
図４は、打ち上げ花火の音声を含む音声データを表す図である。図４において、縦軸は音声レベル（音圧レベル）を表し、横軸は時間軸である。また、図４において、Ｔｘは、画像変化検出部４により開花した打ち上げ花火を検出した、つまり対象の被写体の画像の変化を検出したタイミングを示し、Ｄｘは、打ち上げ花火の音声を認識する閾値レベルを示している。
【００２９】
音声検出部６は、画像変化検出部４にて打ち上げ花火の開花が検出されたタイミングを画像変化タイミング信号により受信して、被写体から発生される音声、つまり打ち上げ花火の開花音の検出を開始する。検出開始後、音声検出部６は、入力音声が閾値Ｄｘ以上であるとき、入力音声が打ち上げ花火の開花音であると特定する。
【００３０】
すなわち、音声検出部６は、時刻Ｔｘ以降において、閾値Ｄｘ以下であった入力音声の音声レベルが閾値Ｄｘ以上になったとき（時刻Ｔｙ）、打ち上げ花火の開花音が始まったと検出する。また、音声検出部６は、閾値Ｄｘ以上であった入力音声の音声レベルが閾値Ｄｘ以下となったとき（時刻Ｔｚ）、打ち上げ花火の開花音が終了したと検出する。
【００３１】
また、音声検出部６は、ＦＦＴ（高速フーリエ変換）により音声に係る周波数解析を行い、入力音声が特定の周波数帯であったときに打ち上げ花火の開花音であると特定するようにしてもよい。また、あわせて、入力音声の音声レベルの閾値と周波数帯は、撮影モードに応じて切り替えることが可能であり、その設定値はユーザーの所定の操作を介して変更することが可能なようにしても良い。
【００３２】
次に、本実施形態における画像処理装置の処理動作について説明する。
図５は、本実施形態における画像処理装置の処理動作の一例を示すフローチャートである。
【００３３】
まず、ステップＳ１０１にて、モード検出部１は動画撮影モードの検出を行う。モード検出部１により撮影モードが打ち上げ花火モードであることが検出されると、ステップＳ１０２にて、画像検出部３は、モード検出部１からの被写体情報を基に、検出の対象とする被写体が打ち上げ花火と夜空であることを検知する。そして、画像検出部３は、撮像部２から得た動画像にて対象とする特定の被写体の画像の検出を開始し、例えば撮像範囲（被写界）内で閾値以下の輝度の暗部、つまり夜空の検出をする。
【００３４】
次に、ステップＳ１０３にて、画像変化検出部４は、画像検出部３での検出結果に基づいて、打ち上げ花火の開花を検出する。すなわち、このステップＳ１０３では、画像変化検出部４は、前述した打ち上げ花火画像の検出動作により、打ち上げ花火の開花を検出する。
【００３５】
例えば、画像変化検出部４は、ステップＳ１０２において検出された暗部内で、閾値以上の輝度（明るさ）の変化があったとき、打ち上げ花火の開花と特定し（Ｓ１０３）、花火の開花タイミングとして記録する（Ｓ１０４）。なお、画像変化検出部４は、対象とする被写体の画像が所定の幅、高さ以上の大きさであったときに打ち上げ花火の開花と特定するようにしても良い。また、画像変化検出部４は、暗部内で閾値以上の輝度（明るさ）の変化があり、かつ対象とする被写体の画像が所定の幅、高さ以上の大きさであったときに打ち上げ花火の開花と特定するようにしても良い。
【００３６】
ステップＳ１０５にて、音声検出部６は、ステップＳ１０４において記録された花火の開花タイミングをトリガにして、打ち上げ花火の開花音の検出を開始する。音声検出部６による打ち上げ花火の開花音の検出動作は、前述した打ち上げ花火音声の検出動作による。
【００３７】
例えば、音声検出部６は、入力される音声の音圧レベルの変化が閾値以上であれば、その入力音声を打ち上げ花火の開花音として検出する。音声検出部６は、閾値Ｄｘ以下であった入力音声が閾値Ｄｘ以上になったときに打ち上げ花火の開花音が始まったと検出し、閾値Ｄｘ以上であった入力音声が閾値以下となったときに打ち上げ花火の開花音が終了したと検出する（Ｓ１０６）。その検出結果に基づいて、音声検出部６は、打ち上げ花火の音声のデータ開始タイミング及び打ち上げ花火の音声の音声データ区間を記録する（Ｓ１０７）。
【００３８】
なお、音声検出部６は、入力される音声が所定の周波数帯である場合に、その入力音声を打ち上げ花火の開花音であると特定するようにしても良い。また、音声検出部６は、入力される音声の音圧レベルの変化が閾値以上であり、かつ入力される音声が所定の周波数帯である場合に、その入力音声を打ち上げ花火の開花音であると特定するようにしても良い。
【００３９】
ステップＳ１０８にて、画像／音声遅れ検出部７は、打ち上げ花火の開花の画像に対する打ち上げ花火の開花の音声の遅延量を検出する。次に、ステップＳ１０９にて、音声補正部８は、ステップＳ１０８において検出された遅れ量と、ステップＳ１０７において記録された打ち上げ花火の音声の音声データ区間を基に、音声データを補正する。前述のようにして、打ち上げ花火の開花の画像に打ち上げ花火の開花の音声を同期させることにより、打ち上げ花火の開花の画像と音声のタイミングを一致させて、音声付動画として図示しない記録部（記録媒体等）に記録される。
【００４０】
その後、画像処理装置は、撮影モードが切り替えられたら処理動作を終了し、撮影モードが切り替えられなかったら、ステップＳ１０３に戻って、引き続き前述したステップＳ１０３〜Ｓ１０９までの動作を行う（Ｓ１１０）。
【００４１】
次に、本実施形態における画像処理装置の処理動作の他の例について説明する。以下に説明する処理動作は、打ち上げ花火が連続で打ち上げられた場合の処理動作である。
図６は、本実施形態における画像処理装置の処理動作の他の例を示すフローチャートである。
【００４２】
ステップＳ２０１〜Ｓ２０３の動作は、図５に示した打ち上げ花火が単発で打ち上げられた場合のステップＳ１０１〜Ｓ１０３の動作と同様である。ステップＳ２０３に続いて、画像変化検出部４は、花火の開花タイミングを回数も含めて記録する（Ｓ２０４）。
【００４３】
音声検出部６は、花火の開花タイミングが何回目であるかを確認し（Ｓ２０５）、一回目であれば花火の開花タイミングをトリガにして、打ち上げ花火の開花音の検出を開始する（Ｓ２０９）。一方、音声検出部６は、花火の開花タイミングが２回目以上であれば、一つ前の花火の開花音タイミング（花火の開花音に係る音声データの開始タイミングやデータ区間）が記録されているか否かを確認する（Ｓ２０６）。その結果、音声検出部６は、一つ前の花火の開花音タイミングが記録されていれば打ち上げ花火の開花音の検出を開始し（Ｓ２０９）、そうでなければ一つ前の花火の開花音タイミングの記録が確認されるまで待機する。
【００４４】
また、画像処置装置は、ステップＳ２０４での花火の開花タイミング記録後、撮影モードが切り替えられなかったら（Ｓ２０７の花火モード）、ステップＳ２０３に戻って、引き続きステップＳ２０３からの花火の開花の検出動作を繰り返す。一方、撮影モードが切り替えられたら（Ｓ２０７のモード変更）、花火の開花の検出動作を終了して開花検出動作の終了を記録する（Ｓ２０８）。
【００４５】
ステップＳ２０９〜Ｓ２１０の動作は、図５に示した打ち上げ花火が単発で打ち上げられた場合のステップＳ１０５〜Ｓ１０６の動作と同様である。ステップＳ２１０に続いて、音声検出部６は、打ち上げ花火の開花音のデータ開始タイミング及び打ち上げ花火の開花音の音声データ区間と、かつ何回目の開花音であるかを示す回数を記録する（Ｓ２１１）。
【００４６】
そして、開花検出動作の終了の記録がなければ（Ｓ２１２のＮｏ）、ステップＳ２０３に戻り、開花検出動作の終了の記録があれば（Ｓ２１２のＹｅｓ）、開花音の検出動作を終了する（Ｓ２１３）。
【００４７】
また、画像音声遅れ検出部７は、ｎ回目の打ち上げ花火の開花の画像に対するｎ回目の打ち上げ花火の開花の音声の遅延量を検出する（Ｓ２１４）。音声補正部８は、ステップＳ２１４において検出された遅れ量と、ステップＳ２１１において記録された打ち上げ花火の音声の音声データ区間を基に、音声データを補正する（Ｓ２１５）。このようにして、打ち上げ花火の開花の画像に打ち上げ花火の開花の音声を同期させることにより、打ち上げ花火の開花の画像と音声のタイミングを一致させて、音声付動画として図示しない記録部（記録媒体等）に記録される。
【００４８】
その後、画像処理装置は、撮影モードが切り替えられたら処理動作を終了し、撮影モードが切り替えられなかったら、ステップＳ２０３に戻って、引き続き前述したステップＳ２０３以降の動作を行う（Ｓ２１６）。
【００４９】
以上のように、本実施形態における画像処理装置は、撮影により得られる画像データに対して音声データを合わせこむ際に、合わせ込むタイミングを画像処理にて判断する。前述したように本実施形態における画像処理装置は、画像変化検出部４にて検出した対象とする被写体の画像の変化タイミングに対し、音声検出部６にて検出した対象の被写体から発生された音声に補正をかける。これにより、対象の被写体の画像とその被写体から発生された音声との時間ずれが調整されて画像及び音声が記録される。したがって、音声が画像に対して遅れるシーンであっても、ユーザーが撮影後に手動で面倒な編集処理等を行うことなく、撮影動作のみで、画像と音声のタイミングを一致させた映画のような嗜好性のある音声付動画を得ることができる。なお、撮影モードが打ち上げ花火モードであることを前提として説明を行ったが、他の撮影モードにおいても同様な処理を行うことができる。例えば、対象とする特定の被写体が飛行機である飛行機モードを選択した場合は、撮像範囲内から輝度が高く、かつ、その輝度分布が一様な空の検出を行い、その中を直線的に横切る被写体を検出する。そして、検出した飛行機が画面内にいる間に音圧レベルが最大となるように音声データの遅延量を求めるようにすればよい。
【００５０】
（本発明の他の実施形態）
前述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置又はシステム内のコンピュータ（ＣＰＵ又はＭＰＵ）に対し、前記実施形態の機能を実現するためのソフトウェアのプログラムを供給する。そして、そのシステム又は装置のコンピュータに格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
また、この場合、前記ソフトウェアのプログラム自体が前述した実施形態の機能を実現することになり、そのプログラム自体は本発明を構成する。また、そのプログラムをコンピュータに供給するための手段、例えばかかるプログラムを格納した記録媒体は本発明を構成する。かかるプログラムを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
また、供給されたプログラムがコンピュータにて稼働しているオペレーティングシステム又は他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムは本発明の実施形態に含まれることは言うまでもない。
さらに、供給されたプログラムがコンピュータに係る機能拡張ボードや機能拡張ユニットに備わるメモリに格納された後、そのプログラムの指示に基づいてその機能拡張ボード等に備わるＣＰＵ等が実際の処理の一部又は全部を行う。その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【００５１】
例えば、前述した実施形態に示した画像処理装置は、図７に示すようなコンピュータ機能７００を有し、そのＣＰＵ７０１により前述した実施形態での動作が実施される。
コンピュータ機能７００は、図７に示すように、ＣＰＵ７０１と、ＲＯＭ７０２と、ＲＡＭ７０３とを備える。また、操作部（ＣＯＮＳ）７０９のコントローラ（ＣＯＮＳＣ）７０５と、ＣＲＴやＬＣＤ等の表示部としてのディスプレイ（ＤＩＳＰ）７１０のディスプレイコントローラ（ＤＩＳＰＣ）７０６とを備える。さらに、ハードディスク（ＨＤ）７１１、及びフレキシブルディスク等の記憶デバイス（ＳＴＤ）７１２のコントローラ（ＤＣＯＮＴ）７０７と、ネットワークインタフェースカード（ＮＩＣ）７０８とを備える。それら機能部７０１、７０２、７０３、７０５、７０６、７０７、７０８は、システムバス７０４を介して互いに通信可能に接続された構成としている。
ＣＰＵ７０１は、ＲＯＭ７０２又はＨＤ７１１に記憶されたソフトウェア、又はＳＴＤ７１２より供給されるソフトウェアを実行することで、システムバス７０４に接続された各構成部を総括的に制御する。すなわち、ＣＰＵ７０１は、前述したような動作を行うための処理プログラムを、ＲＯＭ７０２、ＨＤ７１１、又はＳＴＤ７１２から読み出して実行することで、前述した実施形態での動作を実現するための制御を行う。ＲＡＭ７０３は、ＣＰＵ７０１の主メモリ又はワークエリア等として機能する。
ＣＯＮＳＣ７０５は、ＣＯＮＳ７０９からの指示入力を制御する。ＤＩＳＰＣ７０６は、ＤＩＳＰ７１０の表示を制御する。ＤＣＯＮＴ７０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び前述した実施形態における前記処理プログラム等を記憶するＨＤ７１１及びＳＴＤ７１２とのアクセスを制御する。ＮＩＣ７０８はネットワーク７１３上の他の装置と双方向にデータをやりとりする。
【００５２】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５３】
１ モード検出部
２ 撮像部
３ 画像検出部
４ 画像変化検出部
５ 音声部
６ 音声検出部
７ 画像音声遅れ検出部
８ 音声補正部
【特許請求の範囲】
【請求項１】
撮影画像から特定の被写体の画像を検出する画像検出手段と、
前記画像検出手段により検出される前記被写体から発生される音声を検出する音声検出手段と、
前記画像検出手段により検出された前記被写体の画像の変化を検出する画像変化検出手段とを有し、
前記画像変化検出手段により検出された前記被写体の画像の変化に基づいて、前記被写体の画像と当該被写体から発生された音声との時間ずれを調整して前記画像及び前記音声を記録することを特徴とする画像処理装置。
【請求項２】
前記画像変化検出手段により検出された前記被写体の画像が変化したタイミングを基に、前記被写体の画像に当該被写体から発生された音声を同期させて記録することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記音声検出手段での検出結果及び前記画像変化検出手段での検出結果に基づいて、前記被写体の画像に対する当該被写体から発生された音声の遅れを検出する遅れ検出手段と、
前記遅れ検出手段により検出された遅れに応じて音声を補正する音声補正手段とを有することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記音声検出手段は、音圧レベル及び周波数帯の少なくとも１つに基づいて、前記被写体から発生される音声を検出することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記音圧レベルの閾値及び前記周波数帯を撮影モードに応じて設定することを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記画像検出手段は、撮影モードに応じて前記被写体を特定し検出することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
前記画像変化検出手段は、前記被写体の画像の大きさの変化、前記被写体の画像の明るさの変化、及び前記被写体の画像の移動の少なくとも１つを前記被写体の画像の変化として検出することを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
【請求項８】
撮影画像から特定の被写体の画像を検出する画像検出工程と、
前記画像検出工程にて検出される前記被写体から発生される音声を検出する音声検出工程と、
前記画像検出工程にて検出された前記被写体の画像の変化を検出する画像変化検出工程と、
前記画像変化検出工程にて検出された前記被写体の画像の変化に基づいて、前記被写体の画像と当該被写体から発生された音声との時間ずれを調整して前記画像及び前記音声を記録する記録工程とを有することを特徴とする画像処理方法。
【請求項９】
撮影画像から特定の被写体の画像を検出する画像検出ステップと、
前記画像検出ステップにて検出される前記被写体から発生される音声を検出する音声検出ステップと、
前記画像検出ステップにて検出された前記被写体の画像の変化を検出する画像変化検出ステップと、
前記画像変化検出ステップにて検出された前記被写体の画像の変化に基づいて、前記被写体の画像と当該被写体から発生された音声との時間ずれを調整して前記画像及び前記音声を記録する記録ステップとをコンピュータに実行させるためのプログラム。
【請求項１】
撮影画像から特定の被写体の画像を検出する画像検出手段と、
前記画像検出手段により検出される前記被写体から発生される音声を検出する音声検出手段と、
前記画像検出手段により検出された前記被写体の画像の変化を検出する画像変化検出手段とを有し、
前記画像変化検出手段により検出された前記被写体の画像の変化に基づいて、前記被写体の画像と当該被写体から発生された音声との時間ずれを調整して前記画像及び前記音声を記録することを特徴とする画像処理装置。
【請求項２】
前記画像変化検出手段により検出された前記被写体の画像が変化したタイミングを基に、前記被写体の画像に当該被写体から発生された音声を同期させて記録することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記音声検出手段での検出結果及び前記画像変化検出手段での検出結果に基づいて、前記被写体の画像に対する当該被写体から発生された音声の遅れを検出する遅れ検出手段と、
前記遅れ検出手段により検出された遅れに応じて音声を補正する音声補正手段とを有することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記音声検出手段は、音圧レベル及び周波数帯の少なくとも１つに基づいて、前記被写体から発生される音声を検出することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記音圧レベルの閾値及び前記周波数帯を撮影モードに応じて設定することを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記画像検出手段は、撮影モードに応じて前記被写体を特定し検出することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
前記画像変化検出手段は、前記被写体の画像の大きさの変化、前記被写体の画像の明るさの変化、及び前記被写体の画像の移動の少なくとも１つを前記被写体の画像の変化として検出することを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
【請求項８】
撮影画像から特定の被写体の画像を検出する画像検出工程と、
前記画像検出工程にて検出される前記被写体から発生される音声を検出する音声検出工程と、
前記画像検出工程にて検出された前記被写体の画像の変化を検出する画像変化検出工程と、
前記画像変化検出工程にて検出された前記被写体の画像の変化に基づいて、前記被写体の画像と当該被写体から発生された音声との時間ずれを調整して前記画像及び前記音声を記録する記録工程とを有することを特徴とする画像処理方法。
【請求項９】
撮影画像から特定の被写体の画像を検出する画像検出ステップと、
前記画像検出ステップにて検出される前記被写体から発生される音声を検出する音声検出ステップと、
前記画像検出ステップにて検出された前記被写体の画像の変化を検出する画像変化検出ステップと、
前記画像変化検出ステップにて検出された前記被写体の画像の変化に基づいて、前記被写体の画像と当該被写体から発生された音声との時間ずれを調整して前記画像及び前記音声を記録する記録ステップとをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−２４６０２６（Ｐ２０１０−２４６０２６Ａ）
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願番号】特願２００９−９５１２２（Ｐ２００９−９５１２２）
【出願日】平成２１年４月９日（２００９．４．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願日】平成２１年４月９日（２００９．４．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]