画像処理装置、画像処理方法及びプログラム
【課題】通信時間及び電力を削減するとともに記憶領域を削減できるようにする。
【解決手段】複数のマッチング処理パターンを保持する外部記憶装置を有する画像処理装置であって、複数のマッチング処理パターンを保持する手段と、任意の入力に対し前記マッチング処理パターンの一部を適用する手段と、前記外部記憶装置から前記マッチング処理パターンの一部もしくは全部を取得する手段とを備える。
【解決手段】複数のマッチング処理パターンを保持する外部記憶装置を有する画像処理装置であって、複数のマッチング処理パターンを保持する手段と、任意の入力に対し前記マッチング処理パターンの一部を適用する手段と、前記外部記憶装置から前記マッチング処理パターンの一部もしくは全部を取得する手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及びプログラムに関し、特に、被写体を検出するために用いて好適な技術に関する。
【背景技術】
【０００２】
従来の被写体検出手法において、検出可能な被写体の種別に幅を持たせるための代表的な手法として以下の２つの技術があった。一つは、入力画像から部分画像を切り出し、その部分画像の特性に合わせた検出手段を複数用意することにより、様々な被写体の形状に対応できる検出手段を複数用いる手法である（例えば、特許文献１及び２参照）。また、もう一つは、複数の被写体を検出するために、どの検出手段を用いればよいかを判別できる判別手段を別途用意する手法である（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２２６５１２号公報
【特許文献２】特開２００７−１２８１２７号公報
【特許文献３】特開２００７−１０９２２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、複数の被写体検出手段を保持できるデジタルスチルカメラにおいて、ある画像から特定の被写体を検出するための被写体検出手段を探したり、保持する多くの画像に対し被写体検出手段を用いて、被写体名をタグ付けしたりする場合がある。この場合多くの検出手段を同時に保持すると多くの記憶領域が必要である。また、サーバ等から検出手段をダウンロードする場合においても、検出手段のすべてを同時にダウンロードする場合には、検出手段の容量に応じた通信時間および電力が必要となる。
【０００５】
本発明は前述の問題点に鑑み、通信時間及び電力を削減するとともに記憶領域を削減できるようにすることを目的としている。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、複数のマッチング処理パターンを保持する外部記憶装置を有する画像処理装置であって、複数のマッチング処理パターンを保持する手段と、任意の入力に対し前記マッチング処理パターンの一部を適用する手段と、前記外部記憶装置から前記マッチング処理パターンの一部もしくは全部を取得する手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、複数の被写体検出手段を適用する上で、被写体検出手段の全体を保持する必要がなく、記憶領域を削減できる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置及び外部記憶装置の構成例を示すブロック図である。
【図２】画像データベースに記憶される画像の具体例を示す図である。
【図３】検出手段データベースに保持される検出手段の具体例を示す図である。
【図４】全体的な流れの一例を示すフローチャートである。
【図５】検出手段を初期化する詳細な手順の一例を示すフローチャートである。
【図６】ダウンロードする詳細な手順の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照しながら説明する。
図１は、本実施形態において、画像処理装置である撮像装置１００及び外部記憶装置１５０の構成例を示すブロック図である。
図１において、撮像装置１００はデジタルスチルカメラなどの撮像機能を持つ装置であり、画像データベース１１０、保持部１２０、適応部１３０及び取得部１４０を備えている。ここで、保持部１２０は、検出手段の一部もしくは全部を保持するためのものである。また、適応部１３０は、任意の入力に対し検出手段の一部を適応するためのものである。さらに、取得部１４０は、外部記憶装置１５０から検出手段の一部もしくは全部を取得するためのものである。
【００１０】
一方、外部記憶装置１５０はサーバなどの記憶機能を持つ装置であり、被写体検出のための検出手段データベース１６０と検出手段を保持する保持部１７０とを備えている。また、撮像装置１００及び外部記憶装置１５０は通信回線１８０によって互いに通信することができる。
【００１１】
図２は、図１の画像データベース１１０に記憶される画像の具体例を示す図であり、撮像装置１００によって撮像された複数枚の検出用画像が画像データベース１１０に記憶されている。図３は、図１の検出手段データベース１６０に保持される検出手段（マッチング処理パターン）の具体例を表したものである。図２では検出用画像の具体例として動物画像を用いているので、検出手段データベース１６０に記憶されているのは、犬検出手段、鳥検出手段、猿検出手段、猫検出手段などの動物を検出できる検出手段が保持されているとする。
【００１２】
図４は、本実施形態の全体的な流れの一例を示すフローチャートである。
まず、図２のステップＳ２００において、検出手段を初期化する。ここで、検出手段とは複数の弱検出手段から構成される被写体を検出するためのものであり、弱検出手段は、ブースティングのアルゴリズムに使用される比較的性能の低いものを示す。
【００１３】
次に、ステップＳ３００において、最適な検出手段の弱検出手段をダウンロードする。この処理は、撮像装置１００の画像データベース１１０に記憶された画像内の被写体を検出するために必要な検出手段を、外部記憶装置１５０の検出手段データベース１６０からダウンロードするための処理である。
【００１４】
次に、ステップＳ４００において、ダウンロードを継続するか否かを判断する。この処理は、本実施形態の終了判定を行うための処理であり、任意の検出手段に関して全ての弱検出手段をダウンロードする、もしくは、これ以上弱検出手段のダウンロードを続けても検出結果が変わらないと判断したときに終了する。これにより、その時点で一番多くの弱検出手段をダウンロードした検出手段を最適な検出手段とする。
【００１５】
図５は、図４のステップＳ２００の検出手段を初期化する処理の詳細な手順の一例を示すフローチャートである。撮像装置１００は、本実施形態の処理が始まる前の段階では、検出手段を全く保持していないので、ステップＳ２００において始めに検出に必要な検出手段をダウンロードすることとする。
【００１６】
まず、ステップＳ２１０は、すべての検出手段群について、ステップＳ２２０の処理を繰り返すための処理である。ここで、検出手段群とは、図１の外部記憶装置１５０の検出手段データベース１６０に保持されている検出手段のことであり、例えば、図３に示すような検出手段を示している。
【００１７】
ステップＳ２２０においては、検出手段群中の検出手段における、最も重みの大きい弱検出手段をダウンロードする。検出手段データベース１６０に保持されている各検出手段は全て複数の弱検出手段から構成され、各弱検出手段は重みを保持している。ステップＳ２２０では、検出手段ごとに、その重みの最も大きな弱検出手段を１つダウンロードする。
【００１８】
図６は、図４のステップＳ３００における最適な検出手段の弱検出手段をダウンロードする詳細な手順の一例を示すフローチャートである。
まず、ステップＳ３１０は、以下のステップＳ３２０〜ステップＳ３６０までの処理を検出手段群におけるすべての検出手段ついて繰り返すための処理である。ここで検出手段群とは、例えば、図３で示した複数の検出手段のことであり、図１の外部記憶装置１５０の検出手段データベース１６０の備える検出手段の種類と一致する。
【００１９】
次に、ステップＳ３２０は、以下のステップＳ３３０〜ステップＳ３５０までの処理を検出用画像群におけるすべての画像ついて繰り返すための処理である。ここで検出用画像群とは、図２で示した画像の集合であり、撮像装置１００の画像データベース１１０に記憶された画像である。
【００２０】
ステップＳ３３０においては、弱検出手段を処理するものであり、ある検出手段を用いて、ある画像が被写体として検出されるか否かの判定を実行する。次に、ステップＳ３４０において、被写体の検出を継続するか否かを判断する。例えば、ステップＳ３３０の結果から、被写体が検出されなかった画像に対して、これ以上ダウンロードを続けることによって被写体を検出することができるかどうかを判断する。本実施形態では、適応アルゴリズムにブースティングを想定しているので、ステップＳ３４０では、各弱検出手段の持つ重みの総和を利用して判断することが可能である。
【００２１】
この判断の結果、検出を継続する場合は、再びステップＳ３３０〜ステップＳ３５０までの処理を繰り返す。一方、ステップＳ３４０の判断の結果、検出を継続しない場合は、ステップＳ３５０において、検出用画像群から画像を削除する。ステップＳ３４０においてこれ以上ダウンロードを続けても検出できないと判断された画像に関しては再度検出を行う必要がない。そのため、ステップＳ３５０では、検出用画像群から削除する。ただし、検出用画像群は検出手段ごとに所有しているとする。例えば、ステップＳ３５０において、検出手段が猿検出手段の場合、猿検出手段に属する検出用画像群から該当画像を削除するものとする。このとき、猿検出手段以外の検出手段（犬検出手段、鳥検出手段、猫検出手段）に属する検出用画像群においては削除しないものとする。
【００２２】
ステップＳ３６０は、検出できた画像の枚数を求める処理であり、検出用画像群内の画像を何枚検出できたかを数えるための処理である。このとき、正しく検出できたかどうかは問わないので、例えば犬を猫と検出したとしても猫検出手段は検出することができたものして、猫検出手段の検出枚数を一枚加える。
【００２３】
ステップＳ３７０においては、検出できた画像の枚数が一番多い検出手段の弱検出手段をダウンロードする。具体的にはまず、ステップＳ３６０で数えた各検出手段における検出された枚数を比較して、一番多く検出された検出手段を求める。そして、その検出手段における撮像装置１００が保持していない弱検出手段の中で、重みの一番大きい弱検出手段を一つダウンロードする。このとき、ステップＳ３６０において数えた枚数が一番大きな枚数が２つあった場合は、ステップＳ３７０において両方の検出手段に対してダウンロードを実行するものとする。
【００２４】
以上のように本実施形態によれば、複数の被写体検出手段を適用する上で、被写体検出手段の全体を保持する必要がなく、記憶領域を削減できる。
【００２５】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００２６】
１２０ 保持部
１３０ 適応部
１４０ 取得部
１７０ 保持部
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及びプログラムに関し、特に、被写体を検出するために用いて好適な技術に関する。
【背景技術】
【０００２】
従来の被写体検出手法において、検出可能な被写体の種別に幅を持たせるための代表的な手法として以下の２つの技術があった。一つは、入力画像から部分画像を切り出し、その部分画像の特性に合わせた検出手段を複数用意することにより、様々な被写体の形状に対応できる検出手段を複数用いる手法である（例えば、特許文献１及び２参照）。また、もう一つは、複数の被写体を検出するために、どの検出手段を用いればよいかを判別できる判別手段を別途用意する手法である（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２２６５１２号公報
【特許文献２】特開２００７−１２８１２７号公報
【特許文献３】特開２００７−１０９２２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、複数の被写体検出手段を保持できるデジタルスチルカメラにおいて、ある画像から特定の被写体を検出するための被写体検出手段を探したり、保持する多くの画像に対し被写体検出手段を用いて、被写体名をタグ付けしたりする場合がある。この場合多くの検出手段を同時に保持すると多くの記憶領域が必要である。また、サーバ等から検出手段をダウンロードする場合においても、検出手段のすべてを同時にダウンロードする場合には、検出手段の容量に応じた通信時間および電力が必要となる。
【０００５】
本発明は前述の問題点に鑑み、通信時間及び電力を削減するとともに記憶領域を削減できるようにすることを目的としている。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、複数のマッチング処理パターンを保持する外部記憶装置を有する画像処理装置であって、複数のマッチング処理パターンを保持する手段と、任意の入力に対し前記マッチング処理パターンの一部を適用する手段と、前記外部記憶装置から前記マッチング処理パターンの一部もしくは全部を取得する手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、複数の被写体検出手段を適用する上で、被写体検出手段の全体を保持する必要がなく、記憶領域を削減できる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置及び外部記憶装置の構成例を示すブロック図である。
【図２】画像データベースに記憶される画像の具体例を示す図である。
【図３】検出手段データベースに保持される検出手段の具体例を示す図である。
【図４】全体的な流れの一例を示すフローチャートである。
【図５】検出手段を初期化する詳細な手順の一例を示すフローチャートである。
【図６】ダウンロードする詳細な手順の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照しながら説明する。
図１は、本実施形態において、画像処理装置である撮像装置１００及び外部記憶装置１５０の構成例を示すブロック図である。
図１において、撮像装置１００はデジタルスチルカメラなどの撮像機能を持つ装置であり、画像データベース１１０、保持部１２０、適応部１３０及び取得部１４０を備えている。ここで、保持部１２０は、検出手段の一部もしくは全部を保持するためのものである。また、適応部１３０は、任意の入力に対し検出手段の一部を適応するためのものである。さらに、取得部１４０は、外部記憶装置１５０から検出手段の一部もしくは全部を取得するためのものである。
【００１０】
一方、外部記憶装置１５０はサーバなどの記憶機能を持つ装置であり、被写体検出のための検出手段データベース１６０と検出手段を保持する保持部１７０とを備えている。また、撮像装置１００及び外部記憶装置１５０は通信回線１８０によって互いに通信することができる。
【００１１】
図２は、図１の画像データベース１１０に記憶される画像の具体例を示す図であり、撮像装置１００によって撮像された複数枚の検出用画像が画像データベース１１０に記憶されている。図３は、図１の検出手段データベース１６０に保持される検出手段（マッチング処理パターン）の具体例を表したものである。図２では検出用画像の具体例として動物画像を用いているので、検出手段データベース１６０に記憶されているのは、犬検出手段、鳥検出手段、猿検出手段、猫検出手段などの動物を検出できる検出手段が保持されているとする。
【００１２】
図４は、本実施形態の全体的な流れの一例を示すフローチャートである。
まず、図２のステップＳ２００において、検出手段を初期化する。ここで、検出手段とは複数の弱検出手段から構成される被写体を検出するためのものであり、弱検出手段は、ブースティングのアルゴリズムに使用される比較的性能の低いものを示す。
【００１３】
次に、ステップＳ３００において、最適な検出手段の弱検出手段をダウンロードする。この処理は、撮像装置１００の画像データベース１１０に記憶された画像内の被写体を検出するために必要な検出手段を、外部記憶装置１５０の検出手段データベース１６０からダウンロードするための処理である。
【００１４】
次に、ステップＳ４００において、ダウンロードを継続するか否かを判断する。この処理は、本実施形態の終了判定を行うための処理であり、任意の検出手段に関して全ての弱検出手段をダウンロードする、もしくは、これ以上弱検出手段のダウンロードを続けても検出結果が変わらないと判断したときに終了する。これにより、その時点で一番多くの弱検出手段をダウンロードした検出手段を最適な検出手段とする。
【００１５】
図５は、図４のステップＳ２００の検出手段を初期化する処理の詳細な手順の一例を示すフローチャートである。撮像装置１００は、本実施形態の処理が始まる前の段階では、検出手段を全く保持していないので、ステップＳ２００において始めに検出に必要な検出手段をダウンロードすることとする。
【００１６】
まず、ステップＳ２１０は、すべての検出手段群について、ステップＳ２２０の処理を繰り返すための処理である。ここで、検出手段群とは、図１の外部記憶装置１５０の検出手段データベース１６０に保持されている検出手段のことであり、例えば、図３に示すような検出手段を示している。
【００１７】
ステップＳ２２０においては、検出手段群中の検出手段における、最も重みの大きい弱検出手段をダウンロードする。検出手段データベース１６０に保持されている各検出手段は全て複数の弱検出手段から構成され、各弱検出手段は重みを保持している。ステップＳ２２０では、検出手段ごとに、その重みの最も大きな弱検出手段を１つダウンロードする。
【００１８】
図６は、図４のステップＳ３００における最適な検出手段の弱検出手段をダウンロードする詳細な手順の一例を示すフローチャートである。
まず、ステップＳ３１０は、以下のステップＳ３２０〜ステップＳ３６０までの処理を検出手段群におけるすべての検出手段ついて繰り返すための処理である。ここで検出手段群とは、例えば、図３で示した複数の検出手段のことであり、図１の外部記憶装置１５０の検出手段データベース１６０の備える検出手段の種類と一致する。
【００１９】
次に、ステップＳ３２０は、以下のステップＳ３３０〜ステップＳ３５０までの処理を検出用画像群におけるすべての画像ついて繰り返すための処理である。ここで検出用画像群とは、図２で示した画像の集合であり、撮像装置１００の画像データベース１１０に記憶された画像である。
【００２０】
ステップＳ３３０においては、弱検出手段を処理するものであり、ある検出手段を用いて、ある画像が被写体として検出されるか否かの判定を実行する。次に、ステップＳ３４０において、被写体の検出を継続するか否かを判断する。例えば、ステップＳ３３０の結果から、被写体が検出されなかった画像に対して、これ以上ダウンロードを続けることによって被写体を検出することができるかどうかを判断する。本実施形態では、適応アルゴリズムにブースティングを想定しているので、ステップＳ３４０では、各弱検出手段の持つ重みの総和を利用して判断することが可能である。
【００２１】
この判断の結果、検出を継続する場合は、再びステップＳ３３０〜ステップＳ３５０までの処理を繰り返す。一方、ステップＳ３４０の判断の結果、検出を継続しない場合は、ステップＳ３５０において、検出用画像群から画像を削除する。ステップＳ３４０においてこれ以上ダウンロードを続けても検出できないと判断された画像に関しては再度検出を行う必要がない。そのため、ステップＳ３５０では、検出用画像群から削除する。ただし、検出用画像群は検出手段ごとに所有しているとする。例えば、ステップＳ３５０において、検出手段が猿検出手段の場合、猿検出手段に属する検出用画像群から該当画像を削除するものとする。このとき、猿検出手段以外の検出手段（犬検出手段、鳥検出手段、猫検出手段）に属する検出用画像群においては削除しないものとする。
【００２２】
ステップＳ３６０は、検出できた画像の枚数を求める処理であり、検出用画像群内の画像を何枚検出できたかを数えるための処理である。このとき、正しく検出できたかどうかは問わないので、例えば犬を猫と検出したとしても猫検出手段は検出することができたものして、猫検出手段の検出枚数を一枚加える。
【００２３】
ステップＳ３７０においては、検出できた画像の枚数が一番多い検出手段の弱検出手段をダウンロードする。具体的にはまず、ステップＳ３６０で数えた各検出手段における検出された枚数を比較して、一番多く検出された検出手段を求める。そして、その検出手段における撮像装置１００が保持していない弱検出手段の中で、重みの一番大きい弱検出手段を一つダウンロードする。このとき、ステップＳ３６０において数えた枚数が一番大きな枚数が２つあった場合は、ステップＳ３７０において両方の検出手段に対してダウンロードを実行するものとする。
【００２４】
以上のように本実施形態によれば、複数の被写体検出手段を適用する上で、被写体検出手段の全体を保持する必要がなく、記憶領域を削減できる。
【００２５】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００２６】
１２０ 保持部
１３０ 適応部
１４０ 取得部
１７０ 保持部
【特許請求の範囲】
【請求項１】
複数のマッチング処理パターンを保持する外部記憶装置を有する画像処理装置であって、
複数のマッチング処理パターンを保持する手段と、
任意の入力に対し前記マッチング処理パターンの一部を適用する手段と、
前記外部記憶装置から前記マッチング処理パターンの一部もしくは全部を取得する手段とを備えることを特徴とする画像処理装置。
【請求項２】
複数のマッチング処理パターンを保持する外部記憶装置を有する画像処理装置の画像処理方法であって、
任意の入力に対し前記マッチング処理パターンの一部を適用する工程と、
前記外部記憶装置から前記マッチング処理パターンの一部もしくは全部を取得する工程とを備えることを特徴とする画像処理方法。
【請求項３】
請求項２記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１】
複数のマッチング処理パターンを保持する外部記憶装置を有する画像処理装置であって、
複数のマッチング処理パターンを保持する手段と、
任意の入力に対し前記マッチング処理パターンの一部を適用する手段と、
前記外部記憶装置から前記マッチング処理パターンの一部もしくは全部を取得する手段とを備えることを特徴とする画像処理装置。
【請求項２】
複数のマッチング処理パターンを保持する外部記憶装置を有する画像処理装置の画像処理方法であって、
任意の入力に対し前記マッチング処理パターンの一部を適用する工程と、
前記外部記憶装置から前記マッチング処理パターンの一部もしくは全部を取得する工程とを備えることを特徴とする画像処理方法。
【請求項３】
請求項２記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−４８６７２（Ｐ２０１２−４８６７２Ａ）
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願番号】特願２０１０−１９２７９４（Ｐ２０１０−１９２７９４）
【出願日】平成２２年８月３０日（２０１０．８．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願日】平成２２年８月３０日（２０１０．８．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]