画像処理装置
【課題】一旦表示画像から外れた注目対象が再表示された場合でもユーザが再操作することなく部分拡大表示と拡大領域の自動追従を再開できるようにする。
【解決手段】画像処理装置１は、ユーザ指定領域内の注目対象の画像を示す特徴点情報及び特徴点位置を検出する注目対象検出部３と、特徴点情報用のメモリ８と、前フレーム用のフレームメモリ１０と、メモリ１０に記憶のフレーム及び現フレームとの間での特徴点情報の移動量を算出する移動量算出部６と、現フレームでの特徴点位置を記憶するメモリ９と、移動量が算出できなかった場合にその後のフレームに特徴点が含まれるか否か及び含まれる場合に特徴点位置を検出する再表示検出部７と、注目対象検出部３が検出した特徴点位置、移動量算出部６が算出した特徴点の移動量、又は再表示検出部７が検出した特徴点位置に基づいて、注目対象を含む拡大領域を決定する。
【解決手段】画像処理装置１は、ユーザ指定領域内の注目対象の画像を示す特徴点情報及び特徴点位置を検出する注目対象検出部３と、特徴点情報用のメモリ８と、前フレーム用のフレームメモリ１０と、メモリ１０に記憶のフレーム及び現フレームとの間での特徴点情報の移動量を算出する移動量算出部６と、現フレームでの特徴点位置を記憶するメモリ９と、移動量が算出できなかった場合にその後のフレームに特徴点が含まれるか否か及び含まれる場合に特徴点位置を検出する再表示検出部７と、注目対象検出部３が検出した特徴点位置、移動量算出部６が算出した特徴点の移動量、又は再表示検出部７が検出した特徴点位置に基づいて、注目対象を含む拡大領域を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の一部分を拡大して表示装置に表示する画像処理装置に関する。
【背景技術】
【０００２】
画像表示装置では、ユーザの操作に応じて、画像の一部分を拡大して表示する機能が知られている。例えば、特許文献１では、ユーザが注目したい位置を指定すると、あたかもルーペを用いて画像を見たかのように、指定した位置を中心とした円形領域だけを拡大し、元の画像に重畳して表示する情報処理装置について示されている。
【０００３】
図７は、特許文献１に記載されている従来の画像表示装置の機能的構成の一例を示すブロック図である。図の画像表示装置１００では、ユーザ入力中心座標取得部１０１が、ユーザからの入力により、拡大する領域の中心座標を取得し、部分拡大計算部１０２に出力する。部分拡大計算部１０２では、中心座標を中心とした円形の領域を定め、入力画像のうち定めた領域内だけ画像拡大処理し、元の入力画像全体に拡大画像を重ねたような部分拡大画像を得る。部分拡大計算部１０２から出力された部分拡大画像は、表示部１０３においてユーザに提示される。
【０００４】
しかし、動画像を表示する場合、画像内のユーザが注目する対象が移動する。この場合、特許文献１に開示の技術では、注目する対象を拡大表示し続けるには、画像の動きに合わせて、ユーザが拡大領域の位置を手動で指定し続ける必要がある。このような手動で追従する作業は、ユーザにとって煩わしい。
これに対し、特許文献２には、部分拡大表示する際に、ユーザにより指定されたオブジェクトの拡大映像の表示位置を、当該オブジェクトの動きベクトルに応じて移動する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平４−１４２６６１号公報
【特許文献２】特開２００９−１００１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
動画像を表示する場合、ユーザが注目する対象が画像内で移動するのみならず、注目対象がフレームから外れたり、シーンチェンジにより映像に表示されなくなったりすることがある。そしてその後、再度フレームに現れたり、再びのシーンチェンジにより映像に再表示されたりすることがある。上述の場合、再表示後、ユーザが再操作することなく、注目対象の部分拡大表示と拡大領域の自動追従が再開されることが好ましい。
【０００７】
本発明は、上述のような実状に鑑みてなされたものであり、ユーザに指定された領域内の注目対象を拡大した動画像を全体動画像に重ねるように表示する部分拡大表示を行う際に、拡大領域を自動追従すると共に、さらに、一旦表示画像から外れた注目対象が再表示された場合でも、ユーザが再操作することなく、部分拡大表示と拡大領域の上記自動追従を再開させることができる画像処理装置を提供することをその目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の第１の技術手段は、画像処理装置であって、表示画面の表示画像に対してユーザが指定した位置の周辺領域内、又は、ユーザが指定した領域内に含まれる注目対象の画像を示す特徴点情報及び当該特徴点の表示位置を検出する注目対象検出部と、前記検出された特徴点情報を記憶する特徴点情報記憶部と、現表示フレームの前フレームの画像を記憶するフレームメモリと、前記フレームメモリに記憶された画像及び現表示フレームの画像における前記特徴点情報記憶部に記憶された特徴点情報の表示位置を検出し、及び／又は、特徴点情報の表示位置の移動量を算出する移動量算出部と、現表示フレームにおける特徴点情報の表示位置を記憶する現フレーム特徴点位置情報記憶部と、前記移動量算出部が移動量を算出できなかった場合に、その後のフレームの画像について前記特徴点情報が含まれるか否か、及び、含まれている場合に前記特徴点情報の表示位置を検出する再表示検出部と、前記注目対象検出部が検出した特徴点情報の表示位置、前記移動量算出部が算出した前記特徴点情報の移動量若しくは検出した現フレームにおける特徴点情報の表示位置、又は前記再表示検出部が検出した前記特徴点情報の表示位置に基づいて、前記注目対象を含む拡大領域を決定し、該拡大領域の画像を前記注目対象の表示箇所に重畳して拡大表示させる部分拡大表示部と、を備え、ユーザの指定により注目対象の拡大画像を当該注目対象の表示箇所に重畳して注目画像の動きに追従して表示させると共に、当該注目対象の画像が表示画面外に移動した後、再表示された場合においても追従して拡大画像を表示させることを特徴としたものである。
【０００９】
第２の技術手段は、第１の技術手段において、前記拡大画像の大きさと拡大率のうち少なくともいずれか一つをユーザから取得する取得部を備えることを特徴としたものである。
【００１０】
第３の技術手段は、第１又は第２の技術手段において、前記注目対象検出部が、前記注目対象として顔画像及び／または文字画像を検出することを特徴としたものである。
【００１１】
第４の技術手段は、第１又は第２の技術手段において、前記注目対象検出部が、前記入力画像に奥行き情報が付随されている場合に、該奥行き情報から手前に存在している物体を判別して、その物体を前記注目対象として検出することを特徴としたものである。
【００１２】
第５の技術手段は、第１〜第４のいずれか１の技術手段において、前記注目対象検出部で検出した注目対象を強調表示し、該注目対象がユーザの意図にあっているか否かをユーザに確認させる確認手段を備えることを特徴としたものである。
【００１３】
第６の技術手段は、第１〜第５のいずれか１の技術手段において、前記再表示検出部が、一定閾値以上の前記特徴点情報が検出された場合に、その後のフレームの画像について前記特徴点情報が含まれると判定することを特徴としたものである。
【発明の効果】
【００１４】
本発明によれば、部分拡大表示を行う際に、拡大領域を自動で追従することができる。さらに、一旦表示画像から外れた注目対象が再表示された場合でも、ユーザが再操作することなく、部分拡大表示と拡大領域の上記追従を再開させることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施の形態に係る画像処理装置の概略構成を示すブロック図である。
【図２】図１の画像処理装置での処理の流れの一例を説明するためのフローチャートである。
【図３】図１の画像処理装置での処理の流れの一例を説明するためのフローチャートである。
【図４】図１の画像処理装置での処理の流れの一例を説明するためのフローチャートである。
【図５】本発明の画像処理装置が行う部分拡大表示の例を説明する図である。
【図６】本発明の第２の実施の形態に係る画像処理装置の概略構成を示すブロック図である。
【図７】従来の部分拡大表示技術について説明する図である。
【発明を実施するための形態】
【００１６】
以下、添付図面を参照しながら本発明の実施の形態について詳細に説明する。図面において同じ機能を有する部分については同じ符号を付し、繰り返しの説明は省略する。
【００１７】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る画像処理装置の概略構成を示すブロック図である。本実施形態の画像処理装置２０は、注目対象の自動追従を伴った部分拡大表示を行うもので、図１に示すように、追従実行信号取得部１と、ユーザ指定領域取得部２と、注目対象検出部３と、拡大領域決定部４と、部分拡大計算部５と、特徴点移動量算出部６と、注目対象再表示検出部７と、第１のメモリ８と、第２のメモリ９と、フレームメモリ１０とで構成されており、生成した画像を表示部１１に出力する。なお、画像処理装置２０では、注目対象の自動追従を伴った部分拡大表示だけでなく、自動追従無しの部分拡大表示を行うことも可能であるが、ここでは、本発明に係わる前者の部分拡大表示について主に説明する。
【００１８】
追従実行信号取得部１では、ユーザから入力される追従機能の開始と終了を指示する信号を取得し、拡大領域決定部４に出力する。追従機能の実行を定める追従実行信号は、「追従を実行する」を表す「ＯＮ」か「追従を実行しない」を表す「ＯＦＦ」のいずれかの値をとる。
【００１９】
部分拡大計算部５は、従来の技術と同様に、注目対象の部分拡大表示を行う際に、入力フレーム画像に対して、後述の部分拡大領域情報Ｃoutによって指定される領域について、画像拡大処理を行う。画像拡大方法は、例えば、予め設定された固定値の拡大率でバイリニア方法を用いて行うが、それに限定するものではない。
フレームメモリ１０は、後述の特徴点移動量算出部６での処理のために、前フレーム画像を記憶する。
表示部１１は、例えば液晶ディスプレイ等で構成され、部分拡大画像を表示出力する。
【００２０】
ユーザ指定領域取得部２は、部分拡大表示を行う際に、例えば、表示部１１がタッチパネル機能を備えている場合は、画面上の表示画像においてユーザが注目対象の物体を円で囲ったり、領域の中心をタッチしたり、注目対象の物体の一部分をタッチしたときに、最初のフレームについて、ユーザの注目対象を含む領域の位置を取得し、ユーザ指定領域情報Ｃinとして、拡大領域決定部４及び注目対象検出部３に出力する。また、タッチパネルの代わりにマウスやリモートコントローラを用いてユーザが指示してもよいし、図示しない視線検出装置によって検知したユーザの視線方向から算出した画像位置に基づいて上記領域を算出してもよい。
【００２１】
注目対象検出部３は、部分拡大表示の際の最初のフレームについて、ユーザが指定した領域の中の注目対象を検出し、注目対象を識別する特徴点情報及び当該特徴点の位置情報を算出／取得し、特徴点情報を第１のメモリ（特徴点情報記憶部）８に格納し、特徴点位置情報を拡大領域決定部４に出力する。注目対象の検出方法としては、カメラにおける被写体自動追跡機能などで実現されている手法を用いればよい。例えば、拡大表示させたい領域内に顔画像が存在した場合には、顔画像が注目対象である可能性が高いため、その顔画像を注目対象に設定すればよい。顔画像の検出方法としては、目・鼻・口の形状とその配置から顔画像を検出する方法や、肌色領域のグラディエーションの具合などから検出する一般的な顔画像領域検出の手法を用いればよい。また、拡大したい領域内に文字が表示されていた場合には、それが注目対象である可能性が高いため、その文字画像を注目対象に設定すればよい。また、一般的に注目対象は動きがあるため、数フレーム間で相関をとり、拡大したい領域の中で動きのあるものを注目対象としても良い。
【００２２】
注目対象から特徴点情報を検出する手法としては、主要なエッジが交差した箇所として定義されるコーナーを用いる方法がある。コーナー検出の手法は、公知のハリスオペレータやＳＵＳＡＮオペレータを用いることができる。ここでは特徴点としてコーナーを用いたが、コーナーに限定するものではなく、エッジを特徴点としてもよく、また、輝度情報に代えて色情報など他の特徴量を用いてもよいし、複数の特徴量を組み合わせてもよい。
本画像処理装置２０では、このように取得された特徴点情報は、部分拡大表示を行っている際に注目対象が画面から無くなったときでも、第１のメモリ８に記憶されているので、後述の注目対象再表示検出部７によって再表示された注目対象を検知することができる。
【００２３】
拡大領域決定部４は、入力フレーム画像における拡大表示を行う領域を決定し、部分拡大領域情報Ｃoutとして部分拡大計算部５に出力するものである。
拡大領域決定部４は、最初のフレームについては、注目対象検出部３から取得した特徴点位置情報に基づいて、該当する特徴点が納まる領域を拡大領域とする。例えば、該当する特徴点が全て収まる円を描き、部分拡大領域情報Ｃoutとして、拡大領域の形状が円であることと、その中心座標と、描いた円の半径に固定値のマージンを加えた値との３点の情報を部分拡大計算部５に出力する。また、拡大領域決定部４は、その最初のフレームの特徴点位置情報Ｃ１を第２のメモリ（現フレーム特徴点位置情報記憶部）９に格納すると共に、当該最初のフレームをフレームメモリ１０に格納する。
【００２４】
自動追従部分拡大表示の際の２つ目以降のフレームに関する拡大領域決定部４の動作は後述する。
【００２５】
特徴点移動量算出部６は、部分拡大表示の際の２つ目以降のフレームについて、例えば、入力フレーム画像と、フレームメモリ１０に保持された前フレーム画像と、第１のメモリ８に保持された特徴点情報と、に基づき、前後の両方のフレーム画像で各特徴点の座標を検出し、これら座標から、入力フレーム画像と前フレーム画像の間の各特徴点の移動量Ｖを検出し、拡大領域決定部４に出力する。また、特徴点移動量算出部６は、上記検出後、入力フレーム画像をフレームメモリ１０に格納する。
【００２６】
拡大領域決定部４は、部分拡大表示の際の２つ目のフレームについて、第２のメモリ９に記憶の最初のフレームの特徴点位置情報と、特徴点移動量算出部６で算出した各特徴点の移動量Ｖに基づいて、当該フレームの特徴点位置情報Ｃ２を得て、該当する特徴点が全て収まる拡大領域を決定し、部分拡大領域情報Ｃoutを出力する。また、この際、２つ目のフレームの特徴点位置情報Ｃ２については第２のメモリ９の記憶を更新し格納する。
３つ目以降のフレームについても、拡大領域決定部４が上述と同様に動作することで、部分拡大表示ができるようになっている。
【００２７】
また、特徴点移動量算出部６は、注目対象が、フレームアウトやシーンチェンジにより表示映像から消えた場合には、特徴点の移動量Ｖを算出できないので、その旨を示す情報を拡大領域決定部４に出力する。
この情報を受けた拡大領域決定部４では、部分拡大領域情報Ｃoutとして、部分拡大表示を無効にする情報を部分拡大計算部５に出力し、部分拡大表示を中止させる。これを受けた部分拡大計算部５では、入力フレーム画像をそのまま表示部１１に出力する。
【００２８】
注目対象再表示検出部７は、注目対象がフレームアウトやシーンチェンジにより映像から消え、部分拡大表示を中止して以降、注目対象が画面内に再度表示されたか否かの検出を行う。ここでは、特徴点の移動量の検出に用いていた特徴点情報が第１のメモリ８に保持されてあるので、その特徴点が画面内に再度現れたか否かの判定を行えばよい。なお、再表示された場合に、特徴点の一部が変わっている場合があるので、特徴点が完全一致した場合だけでなく、特徴点の一致割合が一定閾値以上であった場合にも、注目対象が再度表示されたと判定してもよい。
注目対象再表示検出部７は、さらに、注目対象が再度表示された場合は、特徴点位置情報を算出／取得し、拡大領域決定部４に出力する。なお、上記算出／取得後、入力フレーム画像をフレームメモリ１０に格納する。
【００２９】
拡大領域決定部４は、注目対象の再表示が検出されたフレームについては、注目対象再表示検出部７から取得した特徴点位置情報に基づいて、該当する特徴点が納まる領域を拡大領域として決定し、部分拡大領域情報Ｃoutを部分拡大計算部５に出力すると共に、当該フレームの特徴点位置情報Ｃｎを第２のメモリ９に格納する。以降のフレームについては、上述の通常の部分拡大表示と同様に処理することで、注目対象の再表示が検出された後に、ユーザが再操作することなく、部分拡大表示を再開させることできる。
【００３０】
図２は、部分拡大表示を行う最初のフレームについて図１の画像処理装置２０が行う処理の流れの一例を説明するためのフローチャートである。
ユーザが、入力装置を用いて、領域を指定し、部分拡大表示を指示すると、ユーザ指定領域取得部２にて上記領域の位置をユーザ指定領域位置情報Ｃinとして取得し、図２に示すように、注目対象検出部３にて、ユーザ指定領域位置情報Ｃinから最初のフレーム内の注目対象を検出し、当該注目対象の特徴点情報と特徴点位置情報Ｃ１を算出し（ステップＳ１）、特徴点情報を第１のメモリ８に格納し、特徴点位置情報Ｃ１を拡大領域決定部４に出力する。
【００３１】
そして、拡大領域決定部４で、特徴点位置情報Ｃ１に基づいて、各特徴点が収まる領域を設定し、拡大領域位置情報Ｃoutとして部分拡大計算部５に出力し（ステップＳ２）、最初のフレームの特徴点位置情報Ｃ１を第２のメモリ９に格納させ（ステップＳ３）、最初の入力フレーム画像をフレームメモリ１０に格納させる（ステップＳ４）。ステップＳ５では、部分拡大計算部５が、部分拡大領域情報Ｃoutによって指定される拡大領域内の画素に対して画像拡大処理を行い、さらに、拡大した画像と、該拡大した画像の外側の領域について入力画像の画素値をそのまま用いた画像とを合成して、得られた部分拡大画像を表示部１１へ出力する。
【００３２】
図３は、部分拡大表示の際の２つ目以降のフレームについて図１の画像処理装置２０が行う処理の流れの一例を説明するためのフローチャートである。
部分拡大表示の際の２つ目以降のフレームについては、図３に示すように、特徴点移動量算出部６において、第１のメモリ８に記憶の特徴点情報とフレームメモリ１０内の前フレーム画像と入力フレーム画像とから、各特徴点の移動量Ｖを算出する（ステップＳ１１）。次にステップＳ１２にて、ステップＳ１１での各特徴点の移動量Ｖの算出が失敗したか否かを判定する。移動量Ｖが算出できた場合（ＮＯの場合）は、ステップＳ１３に進む。なお、失敗した場合（ＹＥＳの場合）とは、注目対象が表示画像内から外れた場合であって部分拡大表示を中断させる場合である。この場合の処理については、後述の図４を用いて後述する。
【００３３】
ステップＳ１３では、拡大領域決定部４において、第２のメモリ９から前フレーム特徴点位置情報Ｃn-1を読み、それに各特徴点の移動量Ｖを加算して現フレーム特徴点位置情報Ｃnを得て、その情報から各特徴点が収まる領域を設定し、拡大領域位置情報Ｃoutとして出力し、ステップＳ１１に進む。このようにすることで、注目対象を自動追従するだけでなく、注目対象が入力フレーム画像内で拡大縮小されれば、それに合わせて部分拡大表示領域の形状を拡大縮小することができる。
【００３４】
ステップＳ１４では、第２のメモリ９の特徴点位置情報の内容を更新し、次いでステップＳ１５では、フレームメモリ１０を入力フレーム画像で更新する。そして、部分拡大計算部５において、部分拡大領域情報Ｃoutによって指定される拡大領域内の画素に対して画像拡大処理を行い、部分拡大画像を取得し表示部１１へ出力する（ステップＳ１６）。
その後、ステップＳ１７において、ユーザから拡大処理終了が指示されたか否かを判定し、指示された場合（ＹＥＳの場合）は処理を終了し、指示されていない場合（ＮＯの場合）はステップＳ１１に戻る。
【００３５】
図４は、図３のステップＳ１２で特徴点の移動量の算出に失敗した場合、つまり注目対象が表示画像内から外れた場合に図１の画像処理装置２０が行う処理の流れの一例を説明するためのフローチャートである。
特徴点の移動量の算出に失敗した場合（注目対象が表示画像内から外れた場合）、その旨を示す情報を拡大領域決定部４に出力し、当該決定部４が、拡大領域位置情報Ｃoutとして、無効であることを示す情報を部分拡大計算部５に出力する（ステップＳ２１）。この際、部分拡大計算部５では、部分拡大処理は行われず、入力フレーム画像をそのまま表示部１１へ出力する（ステップＳ２２）。
その後、ステップＳ２３において、ユーザから拡大処理終了が指示されたか否かを判定し、指示された場合（ＹＥＳの場合）は処理を終了し、指示されていない場合（ＮＯの場合）はステップＳ２４に進む。
【００３６】
ステップＳ２４では、注目対象再表示検出部７が次に入力されたフレーム画像内に注目対象が再度表示されたことを検出したか否か判定する。再表示の検出は、入力フレーム画像と、第１のメモリ８に保持されている特徴点情報とに基づいて行われる。
検出されていない場合（ステップＳ２４、ＮＯの場合）は、これまで通り拡大領域情報は無効であることを示す情報のまま、ステップＳ２２に進むので、部分拡大表示が行われないままとなる。一方、注目対象が検出された場合（ＹＥＳの場合）には、注目対象再表示検出部７にて特徴点位置情報Ｃnを算出し（ステップＳ２５）、拡大領域決定部４で、特徴点位置情報Ｃｎに基づいて、各特徴点が収まる領域を設定し、拡大領域位置情報Ｃoutとして部分拡大計算部５に出力した上で（ステップＳ２６）、図３のステップＳ１４に進んで、注目対象が存在していた場合と同様の処理に移行する。これにより、部分拡大表示が復活することとなる。
【００３７】
上述のとおり、本実施形態の画像処理装置によれば、動画像に部分拡大処理を行う場合に、画像の動きに合わせて、拡大領域を自動的に追従することができる。さらに、一旦表示画像から外れた注目対象が再表示された場合でも、ユーザが注目対象を再度指定することなく、部分拡大表示と拡大領域の上記追従を再開させることができる。
【００３８】
図５は、上述したような、注目対象が一旦画面から消えて、再度表示される場合の一例であるユーザによる運動会の撮影映像の例を説明する図である。
図５（Ａ）〜図５（Ｃ）は、画像処理装置に入力される動画像の一例を示す図である。図５（Ａ）は、３人の徒競走参加者のスタート地点を撮影した画像であるが、この映像を撮影している最中に、カメラを左方向にチルトして、背景の建物を中心に映すと、図５（Ｂ）の映像となる。ここから、また徒競走のスタート地点を中心にした映像の撮影に戻し始めて図５（Ｃ）の映像となる。
【００３９】
ここで、３人の徒競走参加者の中央の人物の顔画像を注目対象とした場合の拡大表示の方法を図５（Ｄ）〜図５（Ｆ）に示す。ユーザが徒競走参加者の中央の人物の顔周辺を囲むことで、注目対象がその囲まれた領域に存在していることを認識する。次いで、その領域内に顔画像が存在することを認識することで、注目対象が顔画像であることを認識する。そこで、図５（Ａ）の画像に部分拡大機能処理を施すと図５（Ｄ）のように中央の人物の顔部分が部分拡大表示される。ここで部分拡大表示を行った領域を虫眼鏡の形状で示しているが表示形状はこの形状に限定はしない。ここで、背景の建物を中心に映した図５（Ｂ）の映像になると、注目対象が画面に表示されなくなったと認識し、移動量検出及び部分拡大表示機能を中断するため、図５（Ｅ）のような部分拡大がされない表示となる。そして、スタート地点の映像に戻ると図５（Ｃ）の映像となり、注目対象が画面内に再度出現したと検出し、再度部分拡大表示を再開し、図５（Ｆ）の映像となる。
【００４０】
（第２の実施の形態）
図６は、本発明の第２の実施の形態に係る画像処理装置の概略構成を示すブロック図である。図１の第１の実施の形態のものと異なるのは、パラメータ取得部１２が追加され、部分拡大計算部１３で行う処理が異なる点である。
パラメータ取得部１２では、ユーザからの入力によって、部分拡大処理の拡大率や拡大後の画像の大きさを取得し、部分拡大計算部１３に出力する。
【００４１】
例えば、ユーザがリモートコントローラの操作によって、「拡大率を高く」あるいは「拡大率を低く」という入力を行う。これらの入力が行われると、パラメータ取得部１２は、予め指定した拡大率修正係数を設定する。例えば、「拡大率を高く」の場合は＋０．５、「拡大率を低く」の場合は−０．５という値を予め指定しておく。そして、前フレームで用いた拡大率に対して、拡大率修正係数を加算した値を、拡大率として出力する。これにより拡大率をユーザの意図に合わせて調整することができる。
【００４２】
また例えば、ユーザがリモートコントローラの操作によって、「拡大後の画像を大きく」あるいは「拡大後の画像を小さく」という入力を行う。これらの入力が行われると、パラメータ取得部１２は、予め指定した拡大後画像サイズ修正係数を設定する。例えば、「拡大後の画像を大きく」の場合は１．１、「拡大後の画像を小さく」の場合は０．９という値を予め指定しておく。そして、前フレームで用いた拡大後画像サイズ倍率に対して、拡大後画像サイズ修正係数を加算した値を、拡大後画像サイズ倍率として出力する。これにより拡大後の画像の大きさをユーザの意図に合わせて調整することができる。
【００４３】
上記例では修正係数の候補を予め設定したが、それに限定するものではなく、修正係数の数値を直接入力する手段を備えてもよい。また、修正係数を用いずに、拡大率や拡大後画像サイズ倍率を直接入力する手段を備えてもよい。また、入力手段はリモートコントローラに限定するものではなく、タッチパッドやキーボードなど、その他の入力装置を用いてもよい。また、上記例では拡大率と拡大後画像サイズ倍率の両方をパラメータとしたが、一方だけを用い、もう一方は固定値であってもよい。
【００４４】
部分拡大計算部１３は、第１の実施形態と同様に、入力フレーム画像に対して、拡大領域位置情報Ｃoutによって指定される領域の内側について、画像拡大処理を行う。ただし、本例では拡大率と拡大後画像サイズ倍率はパラメータ取得部１２で取得した値を用いる。
上述のとおり、本実施形態の画像処理装置によれば、拡大領域を追従しながら部分拡大処理を行う場合に、ユーザの意図に合わせて、拡大率と拡大領域サイズ倍率を調整することができる。
【００４５】
（各実施形態におけるバリエーション）
上述の追従信号は、例えば、リモートコントローラを用いた「開始」または「終了」を表す信号の入力に基づいて設定される。「開始」の場合は追従実行信号を「ＯＮ」に、「終了」の場合は追従実行信号を「ＯＦＦ」に設定する。入力がない間は、追従実行信号は、以前に入力があったときのまま変化させない。入力装置はリモートコントローラに限定せず、例えば、表示部１１がタッチパネルの機能を持つ場合は、表示部にメニュー画面を表示させ、ユーザがタッチパネルから入力を行ってもよいし、キーボードなどの図示しない入力装置を用いてもよい。
【００４６】
また、フレームメモリ１０に保持する前フレーム画像は、画像全体を保持しても良いし、特徴点移動量算出部６で用いる一部の領域だけであってもよい。
【００４７】
以上では、顔画像・文字画像・動きがある画像を注目対象と設定する手法を記載したが、これに限る必要はない。また、これらの中の複数が存在していた場合の優先順位付けを事前にメニューで設定できるようにしていても良いし、顔画像検出モード・文字画像検出モード・動きがある画像検出モードのいずれかをまず選択してから、ユーザが拡大したい領域を選択するようにしてもよい。
また、奥行き情報が付随されている映像の場合には、その奥行き情報から手前に存在している物体を判別して、その物体を注目対象と認識する手法を用いてもよい。
さらに、注目対象が複数存在することを認識した場合には、注目対象を１個ずつ順繰りに強調表示及びＹＥＳ／ＮＯの入力を促す画面を表示し、強調表示している注目対象がユーザの意図にあっているのか否かをユーザに選択（確認）してもらってもよい。
【００４８】
また、各特徴点の移動量の算出方法は、上述の例に限られず、前フレーム画像において検出済みの特徴点を、マッチング方法を用いて入力フレーム画像のどの地点に移動しているのかを算出する方法でもよい。他にはブロックマッチングを用いて行うこともできる。まず、前フレーム画像において、注目対象が収まるように縦横各Ｒ画素の正方形で囲んだ領域を算出用領域と設定し、この領域を縦横各Ｑブロックに分割する。ただし、ブロックサイズを縦横各Ｐ画素とし、Ｒ＝Ｐ×Ｑとなるように予めＲを設定する。そして、各ブロックに対して、入力フレーム画像との間でブロックマッチングを行い、それを各特徴点の移動量として出力する。なお、上記例では算出用領域とブロックの形状を正方形としたが、正方形に限定するものではなく、他の形状であってもよい。
【００４９】
ここで記載した方法は、特徴点毎もしくは小ブロック単位に移動量を検出するので、単純な移動だけでなく、回転や変形や拡大縮小のような変化であっても注目対象の位置が検出可能となり、注目対象の部分拡大表示が追従可能となる。なお、ここでの拡大縮小とは、ズームイン・ズームアウトのような映像全体が拡大縮小した場合だけでなく、注目対象だけがカメラに近づいたり遠ざかったりした場合にも対応可能となる。
【００５０】
また、以上の例では、拡大領域の形状を円形としたが、円形に限定するものではなく、四角形やその他の任意の形状を用いてもよい。拡大領域の形状が円の場合、形状が円であることと、円の中心座標と、半径とを拡大領域位置情報としたが、矩形の場合は、形状が矩形であることと、４角の座標位置とを拡大領域位置情報とし、楕円の場合は、形状が楕円であることと、長径・短径・楕円率・傾きとを拡大領域位置情報とし、任意の形状の場合には、形状が任意の形状であることと、外周位置の座標とを拡大領域位置情報にすればよい。
【００５１】
また、設定した注目対象を常時有効とし、新しい注目対象が設定されたら、注目対象を更新するようにしてもよいし、注目対象の設定を複数可能とし、新しい注目対象を設定するたびに、一番古い注目対象もしくは一番使用頻度の低い注目対象を消去するようにしてもよい。また、放送視聴時に部分拡大を行う場合には、番組が切り替わる度に、注目対象をクリアするようにしてもよいし、チャネル毎に複数の注目対象を設定できるようにして、チャネルを切り替えて、元のチャネルに戻った際には、前回そのチャネルで設定した注目対象が有効になるようにしてもよい。また、放送番組を録画したコンテンツやユーザがカメラで撮影したコンテンツの再生時には、そのコンテンツ毎に注目対象を設定できるようにしてもよいし、別のコンテンツを再生する度に、注目対象の設定をクリアするようにしてもよい。
【００５２】
これまで、特徴点の移動量を算出する方法と、注目対象つまり特徴点が再表示されたか否かの算出方法とを異なる方式で記載してきたが、移動量を算出する代わりに、フレーム毎に特徴点の位置を検出するようにして、両者を同一の方法としてもよい。またマシンパワーが乏しい環境によっては、第２のメモリ９に記憶の前フレーム特徴点位置情報を用いて、特徴点の移動量の算出は移動前の周辺のみ行えば良いので毎フレーム行えるが、注目対象（特徴点）が再表示されたか否かの判定は全領域を行う必要があるので、毎フレーム行えない場合がある。この場合、注目対象（特徴点）が再表示されたか否かの判定は１フレームを複数フレームの時間にわたって検出してもよい。また複数の注目対象が設定されている場合は、全ての注目対象を同一のフレームで検出するのではなく、時間毎に区切って、１つの注目対象の検出を行って、検出できなかった場合に次の注目対象の検出をその時点から行うとの方法でもよい。
【００５３】
以上において、本発明の画像処理装置に関する実施形態の例について説明したが、これらの説明から、本発明に係わる、画像処理方法、及び、該画像処理方法をコンピュータによりプログラムとして実行する処理プログラムについても容易に理解することができるであろう。
また、本発明の画像処理装置は、画像表示部と一体とした画像表示装置として構成してもよい。さらに、例えば各種記録メディア再生装置などの映像出力機器内に設けられても良いことは言うまでもない。
【符号の説明】
【００５４】
１…追従実行信号取得部、２…ユーザ指定領域取得部、３…注目対象検出部、４…拡大領域決定部、５，１３…部分拡大計算部、６…特徴点移動量算出部、７…注目対象再表示検出部、８…第１のメモリ、９…第２のメモリ、１０…フレームメモリ、１１…表示部、１２…パラメータ取得部、１３…部分拡大計算部。
【技術分野】
【０００１】
本発明は、画像の一部分を拡大して表示装置に表示する画像処理装置に関する。
【背景技術】
【０００２】
画像表示装置では、ユーザの操作に応じて、画像の一部分を拡大して表示する機能が知られている。例えば、特許文献１では、ユーザが注目したい位置を指定すると、あたかもルーペを用いて画像を見たかのように、指定した位置を中心とした円形領域だけを拡大し、元の画像に重畳して表示する情報処理装置について示されている。
【０００３】
図７は、特許文献１に記載されている従来の画像表示装置の機能的構成の一例を示すブロック図である。図の画像表示装置１００では、ユーザ入力中心座標取得部１０１が、ユーザからの入力により、拡大する領域の中心座標を取得し、部分拡大計算部１０２に出力する。部分拡大計算部１０２では、中心座標を中心とした円形の領域を定め、入力画像のうち定めた領域内だけ画像拡大処理し、元の入力画像全体に拡大画像を重ねたような部分拡大画像を得る。部分拡大計算部１０２から出力された部分拡大画像は、表示部１０３においてユーザに提示される。
【０００４】
しかし、動画像を表示する場合、画像内のユーザが注目する対象が移動する。この場合、特許文献１に開示の技術では、注目する対象を拡大表示し続けるには、画像の動きに合わせて、ユーザが拡大領域の位置を手動で指定し続ける必要がある。このような手動で追従する作業は、ユーザにとって煩わしい。
これに対し、特許文献２には、部分拡大表示する際に、ユーザにより指定されたオブジェクトの拡大映像の表示位置を、当該オブジェクトの動きベクトルに応じて移動する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平４−１４２６６１号公報
【特許文献２】特開２００９−１００１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
動画像を表示する場合、ユーザが注目する対象が画像内で移動するのみならず、注目対象がフレームから外れたり、シーンチェンジにより映像に表示されなくなったりすることがある。そしてその後、再度フレームに現れたり、再びのシーンチェンジにより映像に再表示されたりすることがある。上述の場合、再表示後、ユーザが再操作することなく、注目対象の部分拡大表示と拡大領域の自動追従が再開されることが好ましい。
【０００７】
本発明は、上述のような実状に鑑みてなされたものであり、ユーザに指定された領域内の注目対象を拡大した動画像を全体動画像に重ねるように表示する部分拡大表示を行う際に、拡大領域を自動追従すると共に、さらに、一旦表示画像から外れた注目対象が再表示された場合でも、ユーザが再操作することなく、部分拡大表示と拡大領域の上記自動追従を再開させることができる画像処理装置を提供することをその目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の第１の技術手段は、画像処理装置であって、表示画面の表示画像に対してユーザが指定した位置の周辺領域内、又は、ユーザが指定した領域内に含まれる注目対象の画像を示す特徴点情報及び当該特徴点の表示位置を検出する注目対象検出部と、前記検出された特徴点情報を記憶する特徴点情報記憶部と、現表示フレームの前フレームの画像を記憶するフレームメモリと、前記フレームメモリに記憶された画像及び現表示フレームの画像における前記特徴点情報記憶部に記憶された特徴点情報の表示位置を検出し、及び／又は、特徴点情報の表示位置の移動量を算出する移動量算出部と、現表示フレームにおける特徴点情報の表示位置を記憶する現フレーム特徴点位置情報記憶部と、前記移動量算出部が移動量を算出できなかった場合に、その後のフレームの画像について前記特徴点情報が含まれるか否か、及び、含まれている場合に前記特徴点情報の表示位置を検出する再表示検出部と、前記注目対象検出部が検出した特徴点情報の表示位置、前記移動量算出部が算出した前記特徴点情報の移動量若しくは検出した現フレームにおける特徴点情報の表示位置、又は前記再表示検出部が検出した前記特徴点情報の表示位置に基づいて、前記注目対象を含む拡大領域を決定し、該拡大領域の画像を前記注目対象の表示箇所に重畳して拡大表示させる部分拡大表示部と、を備え、ユーザの指定により注目対象の拡大画像を当該注目対象の表示箇所に重畳して注目画像の動きに追従して表示させると共に、当該注目対象の画像が表示画面外に移動した後、再表示された場合においても追従して拡大画像を表示させることを特徴としたものである。
【０００９】
第２の技術手段は、第１の技術手段において、前記拡大画像の大きさと拡大率のうち少なくともいずれか一つをユーザから取得する取得部を備えることを特徴としたものである。
【００１０】
第３の技術手段は、第１又は第２の技術手段において、前記注目対象検出部が、前記注目対象として顔画像及び／または文字画像を検出することを特徴としたものである。
【００１１】
第４の技術手段は、第１又は第２の技術手段において、前記注目対象検出部が、前記入力画像に奥行き情報が付随されている場合に、該奥行き情報から手前に存在している物体を判別して、その物体を前記注目対象として検出することを特徴としたものである。
【００１２】
第５の技術手段は、第１〜第４のいずれか１の技術手段において、前記注目対象検出部で検出した注目対象を強調表示し、該注目対象がユーザの意図にあっているか否かをユーザに確認させる確認手段を備えることを特徴としたものである。
【００１３】
第６の技術手段は、第１〜第５のいずれか１の技術手段において、前記再表示検出部が、一定閾値以上の前記特徴点情報が検出された場合に、その後のフレームの画像について前記特徴点情報が含まれると判定することを特徴としたものである。
【発明の効果】
【００１４】
本発明によれば、部分拡大表示を行う際に、拡大領域を自動で追従することができる。さらに、一旦表示画像から外れた注目対象が再表示された場合でも、ユーザが再操作することなく、部分拡大表示と拡大領域の上記追従を再開させることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施の形態に係る画像処理装置の概略構成を示すブロック図である。
【図２】図１の画像処理装置での処理の流れの一例を説明するためのフローチャートである。
【図３】図１の画像処理装置での処理の流れの一例を説明するためのフローチャートである。
【図４】図１の画像処理装置での処理の流れの一例を説明するためのフローチャートである。
【図５】本発明の画像処理装置が行う部分拡大表示の例を説明する図である。
【図６】本発明の第２の実施の形態に係る画像処理装置の概略構成を示すブロック図である。
【図７】従来の部分拡大表示技術について説明する図である。
【発明を実施するための形態】
【００１６】
以下、添付図面を参照しながら本発明の実施の形態について詳細に説明する。図面において同じ機能を有する部分については同じ符号を付し、繰り返しの説明は省略する。
【００１７】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る画像処理装置の概略構成を示すブロック図である。本実施形態の画像処理装置２０は、注目対象の自動追従を伴った部分拡大表示を行うもので、図１に示すように、追従実行信号取得部１と、ユーザ指定領域取得部２と、注目対象検出部３と、拡大領域決定部４と、部分拡大計算部５と、特徴点移動量算出部６と、注目対象再表示検出部７と、第１のメモリ８と、第２のメモリ９と、フレームメモリ１０とで構成されており、生成した画像を表示部１１に出力する。なお、画像処理装置２０では、注目対象の自動追従を伴った部分拡大表示だけでなく、自動追従無しの部分拡大表示を行うことも可能であるが、ここでは、本発明に係わる前者の部分拡大表示について主に説明する。
【００１８】
追従実行信号取得部１では、ユーザから入力される追従機能の開始と終了を指示する信号を取得し、拡大領域決定部４に出力する。追従機能の実行を定める追従実行信号は、「追従を実行する」を表す「ＯＮ」か「追従を実行しない」を表す「ＯＦＦ」のいずれかの値をとる。
【００１９】
部分拡大計算部５は、従来の技術と同様に、注目対象の部分拡大表示を行う際に、入力フレーム画像に対して、後述の部分拡大領域情報Ｃoutによって指定される領域について、画像拡大処理を行う。画像拡大方法は、例えば、予め設定された固定値の拡大率でバイリニア方法を用いて行うが、それに限定するものではない。
フレームメモリ１０は、後述の特徴点移動量算出部６での処理のために、前フレーム画像を記憶する。
表示部１１は、例えば液晶ディスプレイ等で構成され、部分拡大画像を表示出力する。
【００２０】
ユーザ指定領域取得部２は、部分拡大表示を行う際に、例えば、表示部１１がタッチパネル機能を備えている場合は、画面上の表示画像においてユーザが注目対象の物体を円で囲ったり、領域の中心をタッチしたり、注目対象の物体の一部分をタッチしたときに、最初のフレームについて、ユーザの注目対象を含む領域の位置を取得し、ユーザ指定領域情報Ｃinとして、拡大領域決定部４及び注目対象検出部３に出力する。また、タッチパネルの代わりにマウスやリモートコントローラを用いてユーザが指示してもよいし、図示しない視線検出装置によって検知したユーザの視線方向から算出した画像位置に基づいて上記領域を算出してもよい。
【００２１】
注目対象検出部３は、部分拡大表示の際の最初のフレームについて、ユーザが指定した領域の中の注目対象を検出し、注目対象を識別する特徴点情報及び当該特徴点の位置情報を算出／取得し、特徴点情報を第１のメモリ（特徴点情報記憶部）８に格納し、特徴点位置情報を拡大領域決定部４に出力する。注目対象の検出方法としては、カメラにおける被写体自動追跡機能などで実現されている手法を用いればよい。例えば、拡大表示させたい領域内に顔画像が存在した場合には、顔画像が注目対象である可能性が高いため、その顔画像を注目対象に設定すればよい。顔画像の検出方法としては、目・鼻・口の形状とその配置から顔画像を検出する方法や、肌色領域のグラディエーションの具合などから検出する一般的な顔画像領域検出の手法を用いればよい。また、拡大したい領域内に文字が表示されていた場合には、それが注目対象である可能性が高いため、その文字画像を注目対象に設定すればよい。また、一般的に注目対象は動きがあるため、数フレーム間で相関をとり、拡大したい領域の中で動きのあるものを注目対象としても良い。
【００２２】
注目対象から特徴点情報を検出する手法としては、主要なエッジが交差した箇所として定義されるコーナーを用いる方法がある。コーナー検出の手法は、公知のハリスオペレータやＳＵＳＡＮオペレータを用いることができる。ここでは特徴点としてコーナーを用いたが、コーナーに限定するものではなく、エッジを特徴点としてもよく、また、輝度情報に代えて色情報など他の特徴量を用いてもよいし、複数の特徴量を組み合わせてもよい。
本画像処理装置２０では、このように取得された特徴点情報は、部分拡大表示を行っている際に注目対象が画面から無くなったときでも、第１のメモリ８に記憶されているので、後述の注目対象再表示検出部７によって再表示された注目対象を検知することができる。
【００２３】
拡大領域決定部４は、入力フレーム画像における拡大表示を行う領域を決定し、部分拡大領域情報Ｃoutとして部分拡大計算部５に出力するものである。
拡大領域決定部４は、最初のフレームについては、注目対象検出部３から取得した特徴点位置情報に基づいて、該当する特徴点が納まる領域を拡大領域とする。例えば、該当する特徴点が全て収まる円を描き、部分拡大領域情報Ｃoutとして、拡大領域の形状が円であることと、その中心座標と、描いた円の半径に固定値のマージンを加えた値との３点の情報を部分拡大計算部５に出力する。また、拡大領域決定部４は、その最初のフレームの特徴点位置情報Ｃ１を第２のメモリ（現フレーム特徴点位置情報記憶部）９に格納すると共に、当該最初のフレームをフレームメモリ１０に格納する。
【００２４】
自動追従部分拡大表示の際の２つ目以降のフレームに関する拡大領域決定部４の動作は後述する。
【００２５】
特徴点移動量算出部６は、部分拡大表示の際の２つ目以降のフレームについて、例えば、入力フレーム画像と、フレームメモリ１０に保持された前フレーム画像と、第１のメモリ８に保持された特徴点情報と、に基づき、前後の両方のフレーム画像で各特徴点の座標を検出し、これら座標から、入力フレーム画像と前フレーム画像の間の各特徴点の移動量Ｖを検出し、拡大領域決定部４に出力する。また、特徴点移動量算出部６は、上記検出後、入力フレーム画像をフレームメモリ１０に格納する。
【００２６】
拡大領域決定部４は、部分拡大表示の際の２つ目のフレームについて、第２のメモリ９に記憶の最初のフレームの特徴点位置情報と、特徴点移動量算出部６で算出した各特徴点の移動量Ｖに基づいて、当該フレームの特徴点位置情報Ｃ２を得て、該当する特徴点が全て収まる拡大領域を決定し、部分拡大領域情報Ｃoutを出力する。また、この際、２つ目のフレームの特徴点位置情報Ｃ２については第２のメモリ９の記憶を更新し格納する。
３つ目以降のフレームについても、拡大領域決定部４が上述と同様に動作することで、部分拡大表示ができるようになっている。
【００２７】
また、特徴点移動量算出部６は、注目対象が、フレームアウトやシーンチェンジにより表示映像から消えた場合には、特徴点の移動量Ｖを算出できないので、その旨を示す情報を拡大領域決定部４に出力する。
この情報を受けた拡大領域決定部４では、部分拡大領域情報Ｃoutとして、部分拡大表示を無効にする情報を部分拡大計算部５に出力し、部分拡大表示を中止させる。これを受けた部分拡大計算部５では、入力フレーム画像をそのまま表示部１１に出力する。
【００２８】
注目対象再表示検出部７は、注目対象がフレームアウトやシーンチェンジにより映像から消え、部分拡大表示を中止して以降、注目対象が画面内に再度表示されたか否かの検出を行う。ここでは、特徴点の移動量の検出に用いていた特徴点情報が第１のメモリ８に保持されてあるので、その特徴点が画面内に再度現れたか否かの判定を行えばよい。なお、再表示された場合に、特徴点の一部が変わっている場合があるので、特徴点が完全一致した場合だけでなく、特徴点の一致割合が一定閾値以上であった場合にも、注目対象が再度表示されたと判定してもよい。
注目対象再表示検出部７は、さらに、注目対象が再度表示された場合は、特徴点位置情報を算出／取得し、拡大領域決定部４に出力する。なお、上記算出／取得後、入力フレーム画像をフレームメモリ１０に格納する。
【００２９】
拡大領域決定部４は、注目対象の再表示が検出されたフレームについては、注目対象再表示検出部７から取得した特徴点位置情報に基づいて、該当する特徴点が納まる領域を拡大領域として決定し、部分拡大領域情報Ｃoutを部分拡大計算部５に出力すると共に、当該フレームの特徴点位置情報Ｃｎを第２のメモリ９に格納する。以降のフレームについては、上述の通常の部分拡大表示と同様に処理することで、注目対象の再表示が検出された後に、ユーザが再操作することなく、部分拡大表示を再開させることできる。
【００３０】
図２は、部分拡大表示を行う最初のフレームについて図１の画像処理装置２０が行う処理の流れの一例を説明するためのフローチャートである。
ユーザが、入力装置を用いて、領域を指定し、部分拡大表示を指示すると、ユーザ指定領域取得部２にて上記領域の位置をユーザ指定領域位置情報Ｃinとして取得し、図２に示すように、注目対象検出部３にて、ユーザ指定領域位置情報Ｃinから最初のフレーム内の注目対象を検出し、当該注目対象の特徴点情報と特徴点位置情報Ｃ１を算出し（ステップＳ１）、特徴点情報を第１のメモリ８に格納し、特徴点位置情報Ｃ１を拡大領域決定部４に出力する。
【００３１】
そして、拡大領域決定部４で、特徴点位置情報Ｃ１に基づいて、各特徴点が収まる領域を設定し、拡大領域位置情報Ｃoutとして部分拡大計算部５に出力し（ステップＳ２）、最初のフレームの特徴点位置情報Ｃ１を第２のメモリ９に格納させ（ステップＳ３）、最初の入力フレーム画像をフレームメモリ１０に格納させる（ステップＳ４）。ステップＳ５では、部分拡大計算部５が、部分拡大領域情報Ｃoutによって指定される拡大領域内の画素に対して画像拡大処理を行い、さらに、拡大した画像と、該拡大した画像の外側の領域について入力画像の画素値をそのまま用いた画像とを合成して、得られた部分拡大画像を表示部１１へ出力する。
【００３２】
図３は、部分拡大表示の際の２つ目以降のフレームについて図１の画像処理装置２０が行う処理の流れの一例を説明するためのフローチャートである。
部分拡大表示の際の２つ目以降のフレームについては、図３に示すように、特徴点移動量算出部６において、第１のメモリ８に記憶の特徴点情報とフレームメモリ１０内の前フレーム画像と入力フレーム画像とから、各特徴点の移動量Ｖを算出する（ステップＳ１１）。次にステップＳ１２にて、ステップＳ１１での各特徴点の移動量Ｖの算出が失敗したか否かを判定する。移動量Ｖが算出できた場合（ＮＯの場合）は、ステップＳ１３に進む。なお、失敗した場合（ＹＥＳの場合）とは、注目対象が表示画像内から外れた場合であって部分拡大表示を中断させる場合である。この場合の処理については、後述の図４を用いて後述する。
【００３３】
ステップＳ１３では、拡大領域決定部４において、第２のメモリ９から前フレーム特徴点位置情報Ｃn-1を読み、それに各特徴点の移動量Ｖを加算して現フレーム特徴点位置情報Ｃnを得て、その情報から各特徴点が収まる領域を設定し、拡大領域位置情報Ｃoutとして出力し、ステップＳ１１に進む。このようにすることで、注目対象を自動追従するだけでなく、注目対象が入力フレーム画像内で拡大縮小されれば、それに合わせて部分拡大表示領域の形状を拡大縮小することができる。
【００３４】
ステップＳ１４では、第２のメモリ９の特徴点位置情報の内容を更新し、次いでステップＳ１５では、フレームメモリ１０を入力フレーム画像で更新する。そして、部分拡大計算部５において、部分拡大領域情報Ｃoutによって指定される拡大領域内の画素に対して画像拡大処理を行い、部分拡大画像を取得し表示部１１へ出力する（ステップＳ１６）。
その後、ステップＳ１７において、ユーザから拡大処理終了が指示されたか否かを判定し、指示された場合（ＹＥＳの場合）は処理を終了し、指示されていない場合（ＮＯの場合）はステップＳ１１に戻る。
【００３５】
図４は、図３のステップＳ１２で特徴点の移動量の算出に失敗した場合、つまり注目対象が表示画像内から外れた場合に図１の画像処理装置２０が行う処理の流れの一例を説明するためのフローチャートである。
特徴点の移動量の算出に失敗した場合（注目対象が表示画像内から外れた場合）、その旨を示す情報を拡大領域決定部４に出力し、当該決定部４が、拡大領域位置情報Ｃoutとして、無効であることを示す情報を部分拡大計算部５に出力する（ステップＳ２１）。この際、部分拡大計算部５では、部分拡大処理は行われず、入力フレーム画像をそのまま表示部１１へ出力する（ステップＳ２２）。
その後、ステップＳ２３において、ユーザから拡大処理終了が指示されたか否かを判定し、指示された場合（ＹＥＳの場合）は処理を終了し、指示されていない場合（ＮＯの場合）はステップＳ２４に進む。
【００３６】
ステップＳ２４では、注目対象再表示検出部７が次に入力されたフレーム画像内に注目対象が再度表示されたことを検出したか否か判定する。再表示の検出は、入力フレーム画像と、第１のメモリ８に保持されている特徴点情報とに基づいて行われる。
検出されていない場合（ステップＳ２４、ＮＯの場合）は、これまで通り拡大領域情報は無効であることを示す情報のまま、ステップＳ２２に進むので、部分拡大表示が行われないままとなる。一方、注目対象が検出された場合（ＹＥＳの場合）には、注目対象再表示検出部７にて特徴点位置情報Ｃnを算出し（ステップＳ２５）、拡大領域決定部４で、特徴点位置情報Ｃｎに基づいて、各特徴点が収まる領域を設定し、拡大領域位置情報Ｃoutとして部分拡大計算部５に出力した上で（ステップＳ２６）、図３のステップＳ１４に進んで、注目対象が存在していた場合と同様の処理に移行する。これにより、部分拡大表示が復活することとなる。
【００３７】
上述のとおり、本実施形態の画像処理装置によれば、動画像に部分拡大処理を行う場合に、画像の動きに合わせて、拡大領域を自動的に追従することができる。さらに、一旦表示画像から外れた注目対象が再表示された場合でも、ユーザが注目対象を再度指定することなく、部分拡大表示と拡大領域の上記追従を再開させることができる。
【００３８】
図５は、上述したような、注目対象が一旦画面から消えて、再度表示される場合の一例であるユーザによる運動会の撮影映像の例を説明する図である。
図５（Ａ）〜図５（Ｃ）は、画像処理装置に入力される動画像の一例を示す図である。図５（Ａ）は、３人の徒競走参加者のスタート地点を撮影した画像であるが、この映像を撮影している最中に、カメラを左方向にチルトして、背景の建物を中心に映すと、図５（Ｂ）の映像となる。ここから、また徒競走のスタート地点を中心にした映像の撮影に戻し始めて図５（Ｃ）の映像となる。
【００３９】
ここで、３人の徒競走参加者の中央の人物の顔画像を注目対象とした場合の拡大表示の方法を図５（Ｄ）〜図５（Ｆ）に示す。ユーザが徒競走参加者の中央の人物の顔周辺を囲むことで、注目対象がその囲まれた領域に存在していることを認識する。次いで、その領域内に顔画像が存在することを認識することで、注目対象が顔画像であることを認識する。そこで、図５（Ａ）の画像に部分拡大機能処理を施すと図５（Ｄ）のように中央の人物の顔部分が部分拡大表示される。ここで部分拡大表示を行った領域を虫眼鏡の形状で示しているが表示形状はこの形状に限定はしない。ここで、背景の建物を中心に映した図５（Ｂ）の映像になると、注目対象が画面に表示されなくなったと認識し、移動量検出及び部分拡大表示機能を中断するため、図５（Ｅ）のような部分拡大がされない表示となる。そして、スタート地点の映像に戻ると図５（Ｃ）の映像となり、注目対象が画面内に再度出現したと検出し、再度部分拡大表示を再開し、図５（Ｆ）の映像となる。
【００４０】
（第２の実施の形態）
図６は、本発明の第２の実施の形態に係る画像処理装置の概略構成を示すブロック図である。図１の第１の実施の形態のものと異なるのは、パラメータ取得部１２が追加され、部分拡大計算部１３で行う処理が異なる点である。
パラメータ取得部１２では、ユーザからの入力によって、部分拡大処理の拡大率や拡大後の画像の大きさを取得し、部分拡大計算部１３に出力する。
【００４１】
例えば、ユーザがリモートコントローラの操作によって、「拡大率を高く」あるいは「拡大率を低く」という入力を行う。これらの入力が行われると、パラメータ取得部１２は、予め指定した拡大率修正係数を設定する。例えば、「拡大率を高く」の場合は＋０．５、「拡大率を低く」の場合は−０．５という値を予め指定しておく。そして、前フレームで用いた拡大率に対して、拡大率修正係数を加算した値を、拡大率として出力する。これにより拡大率をユーザの意図に合わせて調整することができる。
【００４２】
また例えば、ユーザがリモートコントローラの操作によって、「拡大後の画像を大きく」あるいは「拡大後の画像を小さく」という入力を行う。これらの入力が行われると、パラメータ取得部１２は、予め指定した拡大後画像サイズ修正係数を設定する。例えば、「拡大後の画像を大きく」の場合は１．１、「拡大後の画像を小さく」の場合は０．９という値を予め指定しておく。そして、前フレームで用いた拡大後画像サイズ倍率に対して、拡大後画像サイズ修正係数を加算した値を、拡大後画像サイズ倍率として出力する。これにより拡大後の画像の大きさをユーザの意図に合わせて調整することができる。
【００４３】
上記例では修正係数の候補を予め設定したが、それに限定するものではなく、修正係数の数値を直接入力する手段を備えてもよい。また、修正係数を用いずに、拡大率や拡大後画像サイズ倍率を直接入力する手段を備えてもよい。また、入力手段はリモートコントローラに限定するものではなく、タッチパッドやキーボードなど、その他の入力装置を用いてもよい。また、上記例では拡大率と拡大後画像サイズ倍率の両方をパラメータとしたが、一方だけを用い、もう一方は固定値であってもよい。
【００４４】
部分拡大計算部１３は、第１の実施形態と同様に、入力フレーム画像に対して、拡大領域位置情報Ｃoutによって指定される領域の内側について、画像拡大処理を行う。ただし、本例では拡大率と拡大後画像サイズ倍率はパラメータ取得部１２で取得した値を用いる。
上述のとおり、本実施形態の画像処理装置によれば、拡大領域を追従しながら部分拡大処理を行う場合に、ユーザの意図に合わせて、拡大率と拡大領域サイズ倍率を調整することができる。
【００４５】
（各実施形態におけるバリエーション）
上述の追従信号は、例えば、リモートコントローラを用いた「開始」または「終了」を表す信号の入力に基づいて設定される。「開始」の場合は追従実行信号を「ＯＮ」に、「終了」の場合は追従実行信号を「ＯＦＦ」に設定する。入力がない間は、追従実行信号は、以前に入力があったときのまま変化させない。入力装置はリモートコントローラに限定せず、例えば、表示部１１がタッチパネルの機能を持つ場合は、表示部にメニュー画面を表示させ、ユーザがタッチパネルから入力を行ってもよいし、キーボードなどの図示しない入力装置を用いてもよい。
【００４６】
また、フレームメモリ１０に保持する前フレーム画像は、画像全体を保持しても良いし、特徴点移動量算出部６で用いる一部の領域だけであってもよい。
【００４７】
以上では、顔画像・文字画像・動きがある画像を注目対象と設定する手法を記載したが、これに限る必要はない。また、これらの中の複数が存在していた場合の優先順位付けを事前にメニューで設定できるようにしていても良いし、顔画像検出モード・文字画像検出モード・動きがある画像検出モードのいずれかをまず選択してから、ユーザが拡大したい領域を選択するようにしてもよい。
また、奥行き情報が付随されている映像の場合には、その奥行き情報から手前に存在している物体を判別して、その物体を注目対象と認識する手法を用いてもよい。
さらに、注目対象が複数存在することを認識した場合には、注目対象を１個ずつ順繰りに強調表示及びＹＥＳ／ＮＯの入力を促す画面を表示し、強調表示している注目対象がユーザの意図にあっているのか否かをユーザに選択（確認）してもらってもよい。
【００４８】
また、各特徴点の移動量の算出方法は、上述の例に限られず、前フレーム画像において検出済みの特徴点を、マッチング方法を用いて入力フレーム画像のどの地点に移動しているのかを算出する方法でもよい。他にはブロックマッチングを用いて行うこともできる。まず、前フレーム画像において、注目対象が収まるように縦横各Ｒ画素の正方形で囲んだ領域を算出用領域と設定し、この領域を縦横各Ｑブロックに分割する。ただし、ブロックサイズを縦横各Ｐ画素とし、Ｒ＝Ｐ×Ｑとなるように予めＲを設定する。そして、各ブロックに対して、入力フレーム画像との間でブロックマッチングを行い、それを各特徴点の移動量として出力する。なお、上記例では算出用領域とブロックの形状を正方形としたが、正方形に限定するものではなく、他の形状であってもよい。
【００４９】
ここで記載した方法は、特徴点毎もしくは小ブロック単位に移動量を検出するので、単純な移動だけでなく、回転や変形や拡大縮小のような変化であっても注目対象の位置が検出可能となり、注目対象の部分拡大表示が追従可能となる。なお、ここでの拡大縮小とは、ズームイン・ズームアウトのような映像全体が拡大縮小した場合だけでなく、注目対象だけがカメラに近づいたり遠ざかったりした場合にも対応可能となる。
【００５０】
また、以上の例では、拡大領域の形状を円形としたが、円形に限定するものではなく、四角形やその他の任意の形状を用いてもよい。拡大領域の形状が円の場合、形状が円であることと、円の中心座標と、半径とを拡大領域位置情報としたが、矩形の場合は、形状が矩形であることと、４角の座標位置とを拡大領域位置情報とし、楕円の場合は、形状が楕円であることと、長径・短径・楕円率・傾きとを拡大領域位置情報とし、任意の形状の場合には、形状が任意の形状であることと、外周位置の座標とを拡大領域位置情報にすればよい。
【００５１】
また、設定した注目対象を常時有効とし、新しい注目対象が設定されたら、注目対象を更新するようにしてもよいし、注目対象の設定を複数可能とし、新しい注目対象を設定するたびに、一番古い注目対象もしくは一番使用頻度の低い注目対象を消去するようにしてもよい。また、放送視聴時に部分拡大を行う場合には、番組が切り替わる度に、注目対象をクリアするようにしてもよいし、チャネル毎に複数の注目対象を設定できるようにして、チャネルを切り替えて、元のチャネルに戻った際には、前回そのチャネルで設定した注目対象が有効になるようにしてもよい。また、放送番組を録画したコンテンツやユーザがカメラで撮影したコンテンツの再生時には、そのコンテンツ毎に注目対象を設定できるようにしてもよいし、別のコンテンツを再生する度に、注目対象の設定をクリアするようにしてもよい。
【００５２】
これまで、特徴点の移動量を算出する方法と、注目対象つまり特徴点が再表示されたか否かの算出方法とを異なる方式で記載してきたが、移動量を算出する代わりに、フレーム毎に特徴点の位置を検出するようにして、両者を同一の方法としてもよい。またマシンパワーが乏しい環境によっては、第２のメモリ９に記憶の前フレーム特徴点位置情報を用いて、特徴点の移動量の算出は移動前の周辺のみ行えば良いので毎フレーム行えるが、注目対象（特徴点）が再表示されたか否かの判定は全領域を行う必要があるので、毎フレーム行えない場合がある。この場合、注目対象（特徴点）が再表示されたか否かの判定は１フレームを複数フレームの時間にわたって検出してもよい。また複数の注目対象が設定されている場合は、全ての注目対象を同一のフレームで検出するのではなく、時間毎に区切って、１つの注目対象の検出を行って、検出できなかった場合に次の注目対象の検出をその時点から行うとの方法でもよい。
【００５３】
以上において、本発明の画像処理装置に関する実施形態の例について説明したが、これらの説明から、本発明に係わる、画像処理方法、及び、該画像処理方法をコンピュータによりプログラムとして実行する処理プログラムについても容易に理解することができるであろう。
また、本発明の画像処理装置は、画像表示部と一体とした画像表示装置として構成してもよい。さらに、例えば各種記録メディア再生装置などの映像出力機器内に設けられても良いことは言うまでもない。
【符号の説明】
【００５４】
１…追従実行信号取得部、２…ユーザ指定領域取得部、３…注目対象検出部、４…拡大領域決定部、５，１３…部分拡大計算部、６…特徴点移動量算出部、７…注目対象再表示検出部、８…第１のメモリ、９…第２のメモリ、１０…フレームメモリ、１１…表示部、１２…パラメータ取得部、１３…部分拡大計算部。
【特許請求の範囲】
【請求項１】
表示画面の表示画像に対してユーザが指定した位置の周辺領域内、又は、ユーザが指定した領域内に含まれる注目対象の画像を示す特徴点情報及び当該特徴点の表示位置を検出する注目対象検出部と、
前記検出された特徴点情報を記憶する特徴点情報記憶部と、
現表示フレームの前フレームの画像を記憶するフレームメモリと、
前記フレームメモリに記憶された画像及び現表示フレームの画像における前記特徴点情報記憶部に記憶された特徴点情報の表示位置を検出し、及び／又は、特徴点情報の表示位置の移動量を算出する移動量算出部と、
現表示フレームにおける特徴点情報の表示位置を記憶する現フレーム特徴点位置情報記憶部と、
前記移動量算出部が移動量を算出できなかった場合に、その後のフレームの画像について前記特徴点情報が含まれるか否か、及び、含まれている場合に前記特徴点情報の表示位置を検出する再表示検出部と、
前記注目対象検出部が検出した特徴点情報の表示位置、前記移動量算出部が算出した前記特徴点情報の移動量若しくは検出した現フレームにおける特徴点情報の表示位置、又は前記再表示検出部が検出した前記特徴点情報の表示位置に基づいて、前記注目対象を含む拡大領域を決定し、該拡大領域の画像を前記注目対象の表示箇所に重畳して拡大表示させる部分拡大表示部と、を備え、
ユーザの指定により注目対象の拡大画像を当該注目対象の表示箇所に重畳して注目画像の動きに追従して表示させると共に、当該注目対象の画像が表示画面外に移動した後、再表示された場合においても追従して拡大画像を表示させることを特徴とする画像処理装置。
【請求項２】
前記拡大画像の大きさと拡大率のうち少なくともいずれか一つをユーザから取得する取得部を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記注目対象検出部は、前記注目対象として顔画像及び／または文字画像を検出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記注目対象検出部は、前記入力画像に奥行き情報が付随されている場合に、該奥行き情報から手前に存在している物体を判別して、その物体を前記注目対象として検出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記注目対象検出部で検出した注目対象を強調表示し、該注目対象がユーザの意図にあっているか否かをユーザに確認させる確認手段を備えることを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記注目対象再表示検出部は、一定閾値以上の前記特徴点情報が検出された場合に、その後のフレームの画像について前記特徴点情報が含まれると判定することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項１】
表示画面の表示画像に対してユーザが指定した位置の周辺領域内、又は、ユーザが指定した領域内に含まれる注目対象の画像を示す特徴点情報及び当該特徴点の表示位置を検出する注目対象検出部と、
前記検出された特徴点情報を記憶する特徴点情報記憶部と、
現表示フレームの前フレームの画像を記憶するフレームメモリと、
前記フレームメモリに記憶された画像及び現表示フレームの画像における前記特徴点情報記憶部に記憶された特徴点情報の表示位置を検出し、及び／又は、特徴点情報の表示位置の移動量を算出する移動量算出部と、
現表示フレームにおける特徴点情報の表示位置を記憶する現フレーム特徴点位置情報記憶部と、
前記移動量算出部が移動量を算出できなかった場合に、その後のフレームの画像について前記特徴点情報が含まれるか否か、及び、含まれている場合に前記特徴点情報の表示位置を検出する再表示検出部と、
前記注目対象検出部が検出した特徴点情報の表示位置、前記移動量算出部が算出した前記特徴点情報の移動量若しくは検出した現フレームにおける特徴点情報の表示位置、又は前記再表示検出部が検出した前記特徴点情報の表示位置に基づいて、前記注目対象を含む拡大領域を決定し、該拡大領域の画像を前記注目対象の表示箇所に重畳して拡大表示させる部分拡大表示部と、を備え、
ユーザの指定により注目対象の拡大画像を当該注目対象の表示箇所に重畳して注目画像の動きに追従して表示させると共に、当該注目対象の画像が表示画面外に移動した後、再表示された場合においても追従して拡大画像を表示させることを特徴とする画像処理装置。
【請求項２】
前記拡大画像の大きさと拡大率のうち少なくともいずれか一つをユーザから取得する取得部を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記注目対象検出部は、前記注目対象として顔画像及び／または文字画像を検出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記注目対象検出部は、前記入力画像に奥行き情報が付随されている場合に、該奥行き情報から手前に存在している物体を判別して、その物体を前記注目対象として検出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記注目対象検出部で検出した注目対象を強調表示し、該注目対象がユーザの意図にあっているか否かをユーザに確認させる確認手段を備えることを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記注目対象再表示検出部は、一定閾値以上の前記特徴点情報が検出された場合に、その後のフレームの画像について前記特徴点情報が含まれると判定することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−５３５８７（Ｐ２０１１−５３５８７Ａ）
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願番号】特願２００９−２０４５０８（Ｐ２００９−２０４５０８）
【出願日】平成２１年９月４日（２００９．９．４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願日】平成２１年９月４日（２００９．９．４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]