画像処理システム及びプログラム
【課題】被写体の位置や向きが変化しても、被写体に同じ座標系を設定する。
【解決手段】画像処理システム１は、被写体を撮像した撮像画像を取得し、取得される撮像画像において被写体が写し出された被写体撮像領域に外接する最小の矩形領域を設定し、設定された最小の矩形領域と被写体撮像領域との関係に基づいて、最小の矩形領域に基づく座標系を被写体に対して設定する。
【解決手段】画像処理システム１は、被写体を撮像した撮像画像を取得し、取得される撮像画像において被写体が写し出された被写体撮像領域に外接する最小の矩形領域を設定し、設定された最小の矩形領域と被写体撮像領域との関係に基づいて、最小の矩形領域に基づく座標系を被写体に対して設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム及びプログラムに関する。
【背景技術】
【０００２】
被写体を撮像した撮像画像を記録し、記録した撮像画像に対して画像処理を行うことがある。例えば、下記の特許文献１では、撮像画像の中から関心領域を検出し、検出した関心領域の特徴に基づいて撮像画像に写し出された被写体が属する分類を決定している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１４９５０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
被写体の位置や向きが変化すると撮像画像における被写体の座標位置が変化してしまう。本発明の目的の一つは、被写体の位置や向きが変化しても、被写体に同じ座標系を設定できる画像処理システム及びプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、請求項１に記載の画像処理システムの発明は、被写体を撮像した撮像画像を取得する取得手段と、前記取得手段により取得される撮像画像において前記被写体が写し出された被写体撮像領域に外接する最小の矩形領域を設定する矩形領域設定手段と、前記矩形領域設定手段により設定された最小の矩形領域と前記被写体撮像領域との関係に基づいて、当該最小の矩形領域に基づく座標系を前記被写体に対して設定する座標系設定手段と、を含むことを特徴とする。
【０００６】
また、請求項２に記載の発明は、請求項１に記載の画像処理システムにおいて、前記最小の矩形領域に含まれる画像情報を解析する解析手段をさらに含み、前記座標系設定手段は、前記解析手段による解析結果に基づいて前記座標系の原点及び軸を設定することを特徴とする。
【０００７】
また、請求項３に記載の発明は、請求項２に記載の画像処理システムにおいて、前記矩形領域設定手段により設定される最小の矩形領域の特徴と、前記解析手段による解析結果とを前記被写体に関連づけて管理する管理手段と、前記被写体撮像領域について前記矩形領域設定手段により設定される最小の矩形領域の特徴と、前記解析手段による解析結果とに基づいて、当該被写体撮像領域と照合する被写体を前記管理手段から検索する検索手段と、をさらに含むことを特徴とする。
【０００８】
また、請求項４に記載の発明は、請求項３に記載の画像処理システムにおいて、前記管理手段は、前記被写体撮像領域に付加される付加情報を、前記被写体撮像領域に写し出された被写体に関連づけて管理するとともに、前記付加情報の付加される位置を、前記座標系設定手段により設定される座標系における位置により管理することを特徴とする。
【０００９】
また、請求項５に記載の発明は、請求項４に記載の画像処理システムにおいて、前記検索手段により検索された被写体に関連づけて前記管理手段に管理される付加情報を取得する付加情報取得手段と、前記付加情報取得手段により取得された付加情報を前記被写体撮像領域に付加して表示画像を生成する表示画像生成手段と、をさらに含むことを特徴とする。
【００１０】
また、請求項６に記載の発明は、請求項５に記載の画像処理システムにおいて、前記付加情報取得手段は、前記被写体撮像領域について指定された範囲に付加された付加情報を取得することを特徴とする。
【００１１】
また、請求項７に記載の発明は、コンピュータを、被写体を撮像した撮像画像を取得する取得手段と、前記取得手段により取得される撮像画像において前記被写体が写し出された被写体撮像領域に外接する最小の矩形領域を設定する矩形領域設定手段と、前記矩形領域設定手段により設定された最小の矩形領域と前記被写体撮像領域との関係に基づいて、当該最小の矩形領域に基づく座標系を前記被写体に対して設定する座標系設定手段として機能させるためのプログラムである。
【発明の効果】
【００１２】
請求項１及び７に記載の発明によれば、被写体の位置や向きが変化しても、被写体に同じ座標系を設定できる。
【００１３】
請求項２に記載の発明によれば、被写体が写し出された画像から座標系を一意に決定できる。
【００１４】
請求項３に記載の発明によれば、本構成を有しない場合と比較して、被写体の位置や向きが変化しても、被写体を精度よく同定できる。
【００１５】
請求項４に記載の発明によれば、被写体を撮像した撮像画像に付加された情報を、当該被写体の位置や向きに依存しない形式で管理できる。
【００１６】
請求項５に記載の発明によれば、被写体の位置や向きが変化しても、過去に被写体を撮像した撮像画像に付加された情報を、当該情報の元の位置に相当する位置に付加して表示できる。
【００１７】
請求項６に記載の発明によれば、被写体の所望の部分について過去に付加された付加情報を表示させることができる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態に係る画像処理システムのシステム構成図である。
【図２】画像処理装置の機能ブロック図である。
【図３】最小外接矩形の一例を示す図である。
【図４Ａ】座標系の一例を示す図である。
【図４Ｂ】座標系の一例を示す図である。
【図４Ｃ】座標系の一例を示す図である。
【図５】被写体管理データの一例を示す図である。
【図６】被写体の同定処理結果の一例を示す図である。
【図７】表示画像の一例を示す図である。
【図８】座標系設定処理のフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本発明を実施するための好適な実施の形態（以下、実施形態という）を、図面に従って説明する。
【００２０】
図１には、本実施形態に係る画像処理システム１のシステム構成図を示す。図１に示されるように、画像処理システム１は、画像処理装置１０、カメラ２０、表示装置３０を含むものである。
【００２１】
カメラ２０は、被写体４０を撮像する撮像装置である。カメラ２０は、被写体４０を撮像して得た撮像画像を画像処理装置１０に転送する。表示装置３０は、液晶ディスプレイ等により実現されることとしてよく、表示装置３０は画像処理装置１０により生成された表示画像の入力を受けて表示画像を表示するものである。
【００２２】
以下、画像処理装置１０の詳細について説明する。図２には画像処理装置１０の機能ブロック図を示した。図２に示されるように、画像処理装置１０は、撮像画像取得部５０、最小外接矩形設定部５２、画像情報解析部５４、座標系設定部５６、付加情報取得部５８、データ管理部６０、データ検索部６２、表示画像生成部６４、及び表示制御部６６を含む。
【００２３】
上記の各部の機能は、ＣＰＵ等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは情報記憶媒体によってコンピュータたる画像処理装置１０に供給されることとしてもよいし、インターネット等のデータ通信手段を介して供給されることとしてもよい。
【００２４】
撮像画像取得部５０は、カメラ２０とデータ転送を行う入出力インターフェースを含み構成され、カメラ２０により被写体を撮像した撮像画像を取得するものである。
【００２５】
最小外接矩形設定部５２は、撮像画像取得部５０により取得された撮像画像において、被写体が写し出された被写体撮像領域に外接する最小の矩形領域を設定するものである。
【００２６】
図３には、被写体撮像領域４２に設定される最小外接矩形７０の一例を示した。例えば最小外接矩形設定部５２は、撮像画像を二値化して得た有意画素を連結した連結画素群に基づいて被写体撮像領域４２を特定し、特定した被写体撮像領域４２のエッジ部分と外接する矩形のうち面積が最小となるものを最小外接矩形７０として設定することとしてよい。
【００２７】
画像情報解析部５４は、最小外接矩形設定部５２により設定された外接矩形に含まれる画像領域に関して画素値に基づく解析処理を行うものである。例えば、画像情報解析部５４は、最小外接矩形の縦、横の長さと中心点を算出する他にも、被写体撮像領域に含まれる各画素のＲＧＢの各値や輝度（Ｙ）の重心を算出することとしてもよいし、被写体撮像領域のエッジ及びその方向を算出することとしてもよいし、被写体撮像領域中の特徴点（画像の変化点）等を算出することとしてもよい。
【００２８】
座標系設定部５６は、最小外接矩形設定部５２により設定された最小外接矩形と、画像情報解析部５４による画像解析結果とに基づいて、被写体に固有の座標系を設定するものである。例えば、座標系設定部５６は、画像解析結果に基づいて最小外接矩形の頂点のうち１つを原点に設定し、当該原点を通る辺の１つをＸ軸、他方をＹ軸に設定する直交座標系を用いることとしてよい。また、座標系設定部５６は、最小外接矩形の中心点を原点に設定し、画像解析結果に基づいて当該原点を通る偏角０に相当する半直線を設定して極座標系を用いることとしてもよい。上記の座標系において、最小外接矩形領域の長辺又は短辺の長さにより正規化を行うこととしてもよく、こうした場合には被写体の撮像倍率に依存しない形式で座標が設定されることとなる。
【００２９】
図４Ａ乃至Ｃには、座標系設定部５６により設定される座標系の一例を示した。図４Ａには、最小外接矩形７０内のＲＧＢの各画素の重心位置及び、輝度（Ｙ）の重心位置を示している。図４Ａに示した例では、ＲＧＢの各画素の重心位置と輝度（Ｙ）の重心位置とに基づいて原点位置Ｏを決定することとしている。例えば、最小外接矩形７０を各辺の中点で４つに等分割した領域のうちＲの重心位置を含む領域に属する頂点を原点とすることとしてもよい。最小外接矩形に存在するＲＧＢの各画素の重心位置や輝度（Ｙ）の重心位置が重なる等して原点位置が一意に決定されない場合には、エッジ方向や画像特徴点等の他の画像解析処理の結果を併用することとしてもよい。
【００３０】
図４Ｂには、最小外接矩形７０内に含まれる被写体撮像領域４２のエッジ及びエッジの向きに基づいて原点位置Ｏを設定する例を示した。例えば、図４Ｂにおいて、エッジの向きが最も強い方向に位置する頂点を原点位置として設定することとしてよい。
【００３１】
図４Ｃには、最小外接矩形７０内に含まれる被写体撮像領域４２の特徴点の分布に基づいて原点位置Ｏを設定する例を示した。例えば、図４Ｃにおいて、被写体撮像領域４２の画素値の変化率が大きい点を特徴点として抽出し、抽出した特徴点の分布に基づいて（例えば付近に特徴点が最も密に集まっている頂点等のようにして）原点位置Ｏを設定することしてよい。
【００３２】
図４Ａ乃至Ｃでは、被写体毎に直行座標系を設定する例を説明したが、直行座標系に代えて極座標系を用いることとしてもよい。この場合には、最小外接矩形領域の中心を原点に設定し、原点と４辺の中点とをそれぞれ結んだ半直線のうちいずれかを解析された画像特徴に基づいて選択し、選択した半直線を偏角０の半直線として用いることとしてよい。
【００３３】
付加情報取得部５８は、撮像画像に対してアノテーションや書き込み等の付加情報を取得するものである。例えば、付加情報取得部５８は、キーボードやマウス等の入力デバイスからの入力情報に基づいて付加情報を取得することしてよい。付加情報取得部５８は、被写体撮像領域上に文字や図形等が追記された場合には、当該追記されたオブジェクトの位置、形状、色に基づいて付加情報を生成し取得することとしてよい。付加情報取得部５８は、上記追記要素の位置を、被写体について座標系設定部５６により設定された座標系に基づく位置に変換して生成することとしてよい。
【００３４】
データ管理部６０は、撮像画像取得部５０により取得された撮像画像に写し出された被写体に関して、画像データと、設定された座標系等を管理するものである。
【００３５】
図５には、データ管理部６０により管理される被写体管理データの一例を示す。図５に示されるように、被写体管理データは、被写体を識別する被写体ＩＤに関連づけて、画像データ、座標系データ、位置データ、付加データを格納したテーブル情報として構成されることとしてよい。画像データは、例えば最小外接矩形内に含まれる被写体撮像領域の画像データとしてよい。座標系データは、被写体について設定された座標系を特定するためのデータとしてよく、例えば如何なる画像解析結果を如何なる基準に適用したかを示すデータとしてよい。位置データは、例えば被写体撮像領域の撮像画像における位置を表すこととしてよい。そして、付加データは、例えば付加情報取得部５８により取得された付加データとしてよい。
【００３６】
データ検索部６２は、撮像画像取得部５０により取得された撮像画像に写し出された被写体に対応するデータを、データ管理部６０に管理される被写体管理データの中から検索するものである。例えば、データ検索部６２は、被写体撮像領域について設定された最小外接矩形の縦横比や画像特徴（色、輝度の重心やエッジ方向等）に基づいて、被写体管理データの座標系データを検索し、対応する被写体ＩＤを得ることとしてよい。なお、データ検索部６２は、上記検索において、対応する被写体データが複数検索された場合には、被写体撮像領域の位置、回転、倍率を正規化し、当該検索された複数の候補とマッチングを行うことで、全被写体データとマッチングを行うよりも少ない回数でデータの照合を実現する。また、データ検索部６２は、対応する被写体データが複数検索された場合には、当該検索された各候補に順位を付与し、当該付与された順位に応じて各候補を提示して、ユーザに被写体データを選択させることとしてもよい。
【００３７】
図６には、撮像画像に写し出された被写体の同定処理結果の一例を示した。図６に示された撮像画像４４Ａに写し出された被写体撮像領域４２Ａと、撮像画像４４Ｂに写し出された被写体撮像領域４２Ｂとは、回転、位置、倍率が異なっている。しかしながら、各被写体撮像領域に最小外接矩形を設定し、当該設定した最小外接矩形に基づく矩形の縦横比と画像特徴との対応関係を判定することで、両被写体が一致していると判定される。
【００３８】
データ検索部６２は、撮像画像に写し出された被写体と一致する被写体をデータ管理部６０により管理されるデータの中から検索した場合には、当該検索された被写体ＩＤに関連づけられた付加データを読み出すこととしてよい。
【００３９】
また、データ検索部６２は、撮像画像に写し出された被写体撮像領域のうち、利用者により付加データを検索する箇所を指定された場合には、当該指定された箇所の座標範囲に付加された付加データを、データ管理部６０に管理される被写体管理データの中から検索することとしてよい。この際に、上記指定された箇所の座標範囲は、被写体に固有の座標系による座標範囲に変換して生成することとしてよい。
【００４０】
表示画像生成部６４は、撮像画像取得部５０により取得された撮像画像と、当該撮像画像に写し出された被写体についてデータ管理部６０から検索されたデータに基づいて表示画像を生成するものである。
【００４１】
図７には、表示画像生成部６４により生成される表示画像の一例を示す。図７の撮像画像４４Ａにおいて、付加情報８０Ａがユーザにより付加された後に、撮像画像４４Ｂが取得された場合には、被写体撮像領域４２Ａと被写体撮像領域４２Ｂとの一致に基づいて、付加情報８０Ｂが被写体撮像領域４２Ｂに追加される。なお、付加情報は被写体に固有の座標系の位置情報として記憶しておくことにより、位置、回転、倍率が異なっていても元の追加された位置に相当する位置に追加させることが容易となる。
【００４２】
表示制御部６６は、表示装置にグラフィックデータを転送するグラフィックインターフェースを含み構成され、表示画像生成部６４により生成された表示画像を表示装置に表示させるものである。
【００４３】
次に、図８に示された座標系設定処理のフローチャートを参照しながら、画像処理装置１０により被写体の各々に固有の座標系を設定する座標系設定処理の流れを説明する。
【００４４】
図８に示されるように、画像処理装置１０は、カメラ２０から被写体を撮像した撮像画像を取得する（Ｓ１０１）。画像処理装置１０は、取得された撮像画像に写し出された被写体撮像領域を特定するとともに（Ｓ１０２）、当該被写体撮像領域に外接する最小の矩形領域を設定する（Ｓ１０３）。
【００４５】
画像処理装置１０は、上記設定した最小の矩形領域に含まれる被写体撮像領域の画像情報を解析して（Ｓ１０４）、当該解析した画像情報に基づいて上記最小の矩形領域のいずれかの頂点を原点に特定し（Ｓ１０５）、当該特定した原点を通る矩形領域の二辺を軸とした座標系を設定する（Ｓ１０６）。
【００４６】
以上の画像処理システム１では、カメラ２０により撮像された被写体に固有の座標系を設定することで、被写体の位置、方向（回転角度）、撮像倍率に依存しない形式で各被写体の画像が記録される。また、撮像画像において被写体上に追記されたアノテーションや書き込み情報を、被写体に固有の座標系で記録することで、被写体の位置や方向が変化しても、上記アノテーションや書き込み情報を被写体上に表示させることが容易となる。また、各被写体について設定した最小外接矩形領域と、その最小外接矩形領域内の画像特徴とを用いて過去に撮像された被写体との照合を行うことで、対応する被写体の照合が効率的となる。
【００４７】
本発明は、上述した実施形態に限定されるものではない。例えば、画像処理システム１は複数の画像処理装置１０を含み構成されることとしてもよく、この場合に、一つの画像処理装置１０が取得した撮像画像に写し出された被写体について設定した最小外接矩形領域と、当該最小外接矩形領域内の画像特徴のデータに基づいて、他の画像処理装置１０に備えられたデータ管理部６０から上記被写体に対応する被写体について付加された付加情報を取得することとしてもよい。
【符号の説明】
【００４８】
１ 画像処理システム、１０ 画像処理装置、２０ カメラ、３０ 表示装置、４０ 被写体、４２，４２Ａ，４２Ｂ 被写体撮像領域、４４Ａ，４４Ｂ 撮像画像、５０ 撮像画像取得部、５２ 最小外接矩形設定部、５４ 画像情報解析部、５６ 座標系設定部、５８ 付加情報取得部、６０ データ管理部、６２ データ検索部、６４ 表示画像生成部、６６ 表示制御部、７０ 最小外接矩形、８０Ａ，８０Ｂ 付加情報。
【技術分野】
【０００１】
本発明は、画像処理システム及びプログラムに関する。
【背景技術】
【０００２】
被写体を撮像した撮像画像を記録し、記録した撮像画像に対して画像処理を行うことがある。例えば、下記の特許文献１では、撮像画像の中から関心領域を検出し、検出した関心領域の特徴に基づいて撮像画像に写し出された被写体が属する分類を決定している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１４９５０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
被写体の位置や向きが変化すると撮像画像における被写体の座標位置が変化してしまう。本発明の目的の一つは、被写体の位置や向きが変化しても、被写体に同じ座標系を設定できる画像処理システム及びプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、請求項１に記載の画像処理システムの発明は、被写体を撮像した撮像画像を取得する取得手段と、前記取得手段により取得される撮像画像において前記被写体が写し出された被写体撮像領域に外接する最小の矩形領域を設定する矩形領域設定手段と、前記矩形領域設定手段により設定された最小の矩形領域と前記被写体撮像領域との関係に基づいて、当該最小の矩形領域に基づく座標系を前記被写体に対して設定する座標系設定手段と、を含むことを特徴とする。
【０００６】
また、請求項２に記載の発明は、請求項１に記載の画像処理システムにおいて、前記最小の矩形領域に含まれる画像情報を解析する解析手段をさらに含み、前記座標系設定手段は、前記解析手段による解析結果に基づいて前記座標系の原点及び軸を設定することを特徴とする。
【０００７】
また、請求項３に記載の発明は、請求項２に記載の画像処理システムにおいて、前記矩形領域設定手段により設定される最小の矩形領域の特徴と、前記解析手段による解析結果とを前記被写体に関連づけて管理する管理手段と、前記被写体撮像領域について前記矩形領域設定手段により設定される最小の矩形領域の特徴と、前記解析手段による解析結果とに基づいて、当該被写体撮像領域と照合する被写体を前記管理手段から検索する検索手段と、をさらに含むことを特徴とする。
【０００８】
また、請求項４に記載の発明は、請求項３に記載の画像処理システムにおいて、前記管理手段は、前記被写体撮像領域に付加される付加情報を、前記被写体撮像領域に写し出された被写体に関連づけて管理するとともに、前記付加情報の付加される位置を、前記座標系設定手段により設定される座標系における位置により管理することを特徴とする。
【０００９】
また、請求項５に記載の発明は、請求項４に記載の画像処理システムにおいて、前記検索手段により検索された被写体に関連づけて前記管理手段に管理される付加情報を取得する付加情報取得手段と、前記付加情報取得手段により取得された付加情報を前記被写体撮像領域に付加して表示画像を生成する表示画像生成手段と、をさらに含むことを特徴とする。
【００１０】
また、請求項６に記載の発明は、請求項５に記載の画像処理システムにおいて、前記付加情報取得手段は、前記被写体撮像領域について指定された範囲に付加された付加情報を取得することを特徴とする。
【００１１】
また、請求項７に記載の発明は、コンピュータを、被写体を撮像した撮像画像を取得する取得手段と、前記取得手段により取得される撮像画像において前記被写体が写し出された被写体撮像領域に外接する最小の矩形領域を設定する矩形領域設定手段と、前記矩形領域設定手段により設定された最小の矩形領域と前記被写体撮像領域との関係に基づいて、当該最小の矩形領域に基づく座標系を前記被写体に対して設定する座標系設定手段として機能させるためのプログラムである。
【発明の効果】
【００１２】
請求項１及び７に記載の発明によれば、被写体の位置や向きが変化しても、被写体に同じ座標系を設定できる。
【００１３】
請求項２に記載の発明によれば、被写体が写し出された画像から座標系を一意に決定できる。
【００１４】
請求項３に記載の発明によれば、本構成を有しない場合と比較して、被写体の位置や向きが変化しても、被写体を精度よく同定できる。
【００１５】
請求項４に記載の発明によれば、被写体を撮像した撮像画像に付加された情報を、当該被写体の位置や向きに依存しない形式で管理できる。
【００１６】
請求項５に記載の発明によれば、被写体の位置や向きが変化しても、過去に被写体を撮像した撮像画像に付加された情報を、当該情報の元の位置に相当する位置に付加して表示できる。
【００１７】
請求項６に記載の発明によれば、被写体の所望の部分について過去に付加された付加情報を表示させることができる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態に係る画像処理システムのシステム構成図である。
【図２】画像処理装置の機能ブロック図である。
【図３】最小外接矩形の一例を示す図である。
【図４Ａ】座標系の一例を示す図である。
【図４Ｂ】座標系の一例を示す図である。
【図４Ｃ】座標系の一例を示す図である。
【図５】被写体管理データの一例を示す図である。
【図６】被写体の同定処理結果の一例を示す図である。
【図７】表示画像の一例を示す図である。
【図８】座標系設定処理のフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本発明を実施するための好適な実施の形態（以下、実施形態という）を、図面に従って説明する。
【００２０】
図１には、本実施形態に係る画像処理システム１のシステム構成図を示す。図１に示されるように、画像処理システム１は、画像処理装置１０、カメラ２０、表示装置３０を含むものである。
【００２１】
カメラ２０は、被写体４０を撮像する撮像装置である。カメラ２０は、被写体４０を撮像して得た撮像画像を画像処理装置１０に転送する。表示装置３０は、液晶ディスプレイ等により実現されることとしてよく、表示装置３０は画像処理装置１０により生成された表示画像の入力を受けて表示画像を表示するものである。
【００２２】
以下、画像処理装置１０の詳細について説明する。図２には画像処理装置１０の機能ブロック図を示した。図２に示されるように、画像処理装置１０は、撮像画像取得部５０、最小外接矩形設定部５２、画像情報解析部５４、座標系設定部５６、付加情報取得部５８、データ管理部６０、データ検索部６２、表示画像生成部６４、及び表示制御部６６を含む。
【００２３】
上記の各部の機能は、ＣＰＵ等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは情報記憶媒体によってコンピュータたる画像処理装置１０に供給されることとしてもよいし、インターネット等のデータ通信手段を介して供給されることとしてもよい。
【００２４】
撮像画像取得部５０は、カメラ２０とデータ転送を行う入出力インターフェースを含み構成され、カメラ２０により被写体を撮像した撮像画像を取得するものである。
【００２５】
最小外接矩形設定部５２は、撮像画像取得部５０により取得された撮像画像において、被写体が写し出された被写体撮像領域に外接する最小の矩形領域を設定するものである。
【００２６】
図３には、被写体撮像領域４２に設定される最小外接矩形７０の一例を示した。例えば最小外接矩形設定部５２は、撮像画像を二値化して得た有意画素を連結した連結画素群に基づいて被写体撮像領域４２を特定し、特定した被写体撮像領域４２のエッジ部分と外接する矩形のうち面積が最小となるものを最小外接矩形７０として設定することとしてよい。
【００２７】
画像情報解析部５４は、最小外接矩形設定部５２により設定された外接矩形に含まれる画像領域に関して画素値に基づく解析処理を行うものである。例えば、画像情報解析部５４は、最小外接矩形の縦、横の長さと中心点を算出する他にも、被写体撮像領域に含まれる各画素のＲＧＢの各値や輝度（Ｙ）の重心を算出することとしてもよいし、被写体撮像領域のエッジ及びその方向を算出することとしてもよいし、被写体撮像領域中の特徴点（画像の変化点）等を算出することとしてもよい。
【００２８】
座標系設定部５６は、最小外接矩形設定部５２により設定された最小外接矩形と、画像情報解析部５４による画像解析結果とに基づいて、被写体に固有の座標系を設定するものである。例えば、座標系設定部５６は、画像解析結果に基づいて最小外接矩形の頂点のうち１つを原点に設定し、当該原点を通る辺の１つをＸ軸、他方をＹ軸に設定する直交座標系を用いることとしてよい。また、座標系設定部５６は、最小外接矩形の中心点を原点に設定し、画像解析結果に基づいて当該原点を通る偏角０に相当する半直線を設定して極座標系を用いることとしてもよい。上記の座標系において、最小外接矩形領域の長辺又は短辺の長さにより正規化を行うこととしてもよく、こうした場合には被写体の撮像倍率に依存しない形式で座標が設定されることとなる。
【００２９】
図４Ａ乃至Ｃには、座標系設定部５６により設定される座標系の一例を示した。図４Ａには、最小外接矩形７０内のＲＧＢの各画素の重心位置及び、輝度（Ｙ）の重心位置を示している。図４Ａに示した例では、ＲＧＢの各画素の重心位置と輝度（Ｙ）の重心位置とに基づいて原点位置Ｏを決定することとしている。例えば、最小外接矩形７０を各辺の中点で４つに等分割した領域のうちＲの重心位置を含む領域に属する頂点を原点とすることとしてもよい。最小外接矩形に存在するＲＧＢの各画素の重心位置や輝度（Ｙ）の重心位置が重なる等して原点位置が一意に決定されない場合には、エッジ方向や画像特徴点等の他の画像解析処理の結果を併用することとしてもよい。
【００３０】
図４Ｂには、最小外接矩形７０内に含まれる被写体撮像領域４２のエッジ及びエッジの向きに基づいて原点位置Ｏを設定する例を示した。例えば、図４Ｂにおいて、エッジの向きが最も強い方向に位置する頂点を原点位置として設定することとしてよい。
【００３１】
図４Ｃには、最小外接矩形７０内に含まれる被写体撮像領域４２の特徴点の分布に基づいて原点位置Ｏを設定する例を示した。例えば、図４Ｃにおいて、被写体撮像領域４２の画素値の変化率が大きい点を特徴点として抽出し、抽出した特徴点の分布に基づいて（例えば付近に特徴点が最も密に集まっている頂点等のようにして）原点位置Ｏを設定することしてよい。
【００３２】
図４Ａ乃至Ｃでは、被写体毎に直行座標系を設定する例を説明したが、直行座標系に代えて極座標系を用いることとしてもよい。この場合には、最小外接矩形領域の中心を原点に設定し、原点と４辺の中点とをそれぞれ結んだ半直線のうちいずれかを解析された画像特徴に基づいて選択し、選択した半直線を偏角０の半直線として用いることとしてよい。
【００３３】
付加情報取得部５８は、撮像画像に対してアノテーションや書き込み等の付加情報を取得するものである。例えば、付加情報取得部５８は、キーボードやマウス等の入力デバイスからの入力情報に基づいて付加情報を取得することしてよい。付加情報取得部５８は、被写体撮像領域上に文字や図形等が追記された場合には、当該追記されたオブジェクトの位置、形状、色に基づいて付加情報を生成し取得することとしてよい。付加情報取得部５８は、上記追記要素の位置を、被写体について座標系設定部５６により設定された座標系に基づく位置に変換して生成することとしてよい。
【００３４】
データ管理部６０は、撮像画像取得部５０により取得された撮像画像に写し出された被写体に関して、画像データと、設定された座標系等を管理するものである。
【００３５】
図５には、データ管理部６０により管理される被写体管理データの一例を示す。図５に示されるように、被写体管理データは、被写体を識別する被写体ＩＤに関連づけて、画像データ、座標系データ、位置データ、付加データを格納したテーブル情報として構成されることとしてよい。画像データは、例えば最小外接矩形内に含まれる被写体撮像領域の画像データとしてよい。座標系データは、被写体について設定された座標系を特定するためのデータとしてよく、例えば如何なる画像解析結果を如何なる基準に適用したかを示すデータとしてよい。位置データは、例えば被写体撮像領域の撮像画像における位置を表すこととしてよい。そして、付加データは、例えば付加情報取得部５８により取得された付加データとしてよい。
【００３６】
データ検索部６２は、撮像画像取得部５０により取得された撮像画像に写し出された被写体に対応するデータを、データ管理部６０に管理される被写体管理データの中から検索するものである。例えば、データ検索部６２は、被写体撮像領域について設定された最小外接矩形の縦横比や画像特徴（色、輝度の重心やエッジ方向等）に基づいて、被写体管理データの座標系データを検索し、対応する被写体ＩＤを得ることとしてよい。なお、データ検索部６２は、上記検索において、対応する被写体データが複数検索された場合には、被写体撮像領域の位置、回転、倍率を正規化し、当該検索された複数の候補とマッチングを行うことで、全被写体データとマッチングを行うよりも少ない回数でデータの照合を実現する。また、データ検索部６２は、対応する被写体データが複数検索された場合には、当該検索された各候補に順位を付与し、当該付与された順位に応じて各候補を提示して、ユーザに被写体データを選択させることとしてもよい。
【００３７】
図６には、撮像画像に写し出された被写体の同定処理結果の一例を示した。図６に示された撮像画像４４Ａに写し出された被写体撮像領域４２Ａと、撮像画像４４Ｂに写し出された被写体撮像領域４２Ｂとは、回転、位置、倍率が異なっている。しかしながら、各被写体撮像領域に最小外接矩形を設定し、当該設定した最小外接矩形に基づく矩形の縦横比と画像特徴との対応関係を判定することで、両被写体が一致していると判定される。
【００３８】
データ検索部６２は、撮像画像に写し出された被写体と一致する被写体をデータ管理部６０により管理されるデータの中から検索した場合には、当該検索された被写体ＩＤに関連づけられた付加データを読み出すこととしてよい。
【００３９】
また、データ検索部６２は、撮像画像に写し出された被写体撮像領域のうち、利用者により付加データを検索する箇所を指定された場合には、当該指定された箇所の座標範囲に付加された付加データを、データ管理部６０に管理される被写体管理データの中から検索することとしてよい。この際に、上記指定された箇所の座標範囲は、被写体に固有の座標系による座標範囲に変換して生成することとしてよい。
【００４０】
表示画像生成部６４は、撮像画像取得部５０により取得された撮像画像と、当該撮像画像に写し出された被写体についてデータ管理部６０から検索されたデータに基づいて表示画像を生成するものである。
【００４１】
図７には、表示画像生成部６４により生成される表示画像の一例を示す。図７の撮像画像４４Ａにおいて、付加情報８０Ａがユーザにより付加された後に、撮像画像４４Ｂが取得された場合には、被写体撮像領域４２Ａと被写体撮像領域４２Ｂとの一致に基づいて、付加情報８０Ｂが被写体撮像領域４２Ｂに追加される。なお、付加情報は被写体に固有の座標系の位置情報として記憶しておくことにより、位置、回転、倍率が異なっていても元の追加された位置に相当する位置に追加させることが容易となる。
【００４２】
表示制御部６６は、表示装置にグラフィックデータを転送するグラフィックインターフェースを含み構成され、表示画像生成部６４により生成された表示画像を表示装置に表示させるものである。
【００４３】
次に、図８に示された座標系設定処理のフローチャートを参照しながら、画像処理装置１０により被写体の各々に固有の座標系を設定する座標系設定処理の流れを説明する。
【００４４】
図８に示されるように、画像処理装置１０は、カメラ２０から被写体を撮像した撮像画像を取得する（Ｓ１０１）。画像処理装置１０は、取得された撮像画像に写し出された被写体撮像領域を特定するとともに（Ｓ１０２）、当該被写体撮像領域に外接する最小の矩形領域を設定する（Ｓ１０３）。
【００４５】
画像処理装置１０は、上記設定した最小の矩形領域に含まれる被写体撮像領域の画像情報を解析して（Ｓ１０４）、当該解析した画像情報に基づいて上記最小の矩形領域のいずれかの頂点を原点に特定し（Ｓ１０５）、当該特定した原点を通る矩形領域の二辺を軸とした座標系を設定する（Ｓ１０６）。
【００４６】
以上の画像処理システム１では、カメラ２０により撮像された被写体に固有の座標系を設定することで、被写体の位置、方向（回転角度）、撮像倍率に依存しない形式で各被写体の画像が記録される。また、撮像画像において被写体上に追記されたアノテーションや書き込み情報を、被写体に固有の座標系で記録することで、被写体の位置や方向が変化しても、上記アノテーションや書き込み情報を被写体上に表示させることが容易となる。また、各被写体について設定した最小外接矩形領域と、その最小外接矩形領域内の画像特徴とを用いて過去に撮像された被写体との照合を行うことで、対応する被写体の照合が効率的となる。
【００４７】
本発明は、上述した実施形態に限定されるものではない。例えば、画像処理システム１は複数の画像処理装置１０を含み構成されることとしてもよく、この場合に、一つの画像処理装置１０が取得した撮像画像に写し出された被写体について設定した最小外接矩形領域と、当該最小外接矩形領域内の画像特徴のデータに基づいて、他の画像処理装置１０に備えられたデータ管理部６０から上記被写体に対応する被写体について付加された付加情報を取得することとしてもよい。
【符号の説明】
【００４８】
１ 画像処理システム、１０ 画像処理装置、２０ カメラ、３０ 表示装置、４０ 被写体、４２，４２Ａ，４２Ｂ 被写体撮像領域、４４Ａ，４４Ｂ 撮像画像、５０ 撮像画像取得部、５２ 最小外接矩形設定部、５４ 画像情報解析部、５６ 座標系設定部、５８ 付加情報取得部、６０ データ管理部、６２ データ検索部、６４ 表示画像生成部、６６ 表示制御部、７０ 最小外接矩形、８０Ａ，８０Ｂ 付加情報。
【特許請求の範囲】
【請求項１】
被写体を撮像した撮像画像を取得する取得手段と、
前記取得手段により取得される撮像画像において前記被写体が写し出された被写体撮像領域に外接する最小の矩形領域を設定する矩形領域設定手段と、
前記矩形領域設定手段により設定された最小の矩形領域と前記被写体撮像領域との関係に基づいて、当該最小の矩形領域に基づく座標系を前記被写体に対して設定する座標系設定手段と、
を含むことを特徴とする画像処理システム。
【請求項２】
前記最小の矩形領域に含まれる画像情報を解析する解析手段をさらに含み、
前記座標系設定手段は、前記解析手段による解析結果に基づいて前記座標系の原点及び軸を設定する
ことを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記矩形領域設定手段により設定される最小の矩形領域の特徴と、前記解析手段による解析結果とを前記被写体に関連づけて管理する管理手段と、
前記被写体撮像領域について前記矩形領域設定手段により設定される最小の矩形領域の特徴と、前記解析手段による解析結果とに基づいて、当該被写体撮像領域と照合する被写体を前記管理手段から検索する検索手段と、をさらに含む
ことを特徴とする請求項２に記載の画像処理システム。
【請求項４】
前記管理手段は、前記被写体撮像領域に付加される付加情報を、前記被写体撮像領域に写し出された被写体に関連づけて管理するとともに、前記付加情報の付加される位置を、前記座標系設定手段により設定される座標系における位置により管理する
ことを特徴とする請求項３に記載の画像処理システム。
【請求項５】
前記検索手段により検索された被写体に関連づけて前記管理手段に管理される付加情報を取得する付加情報取得手段と、
前記付加情報取得手段により取得された付加情報を前記被写体撮像領域に付加して表示画像を生成する表示画像生成手段と、をさらに含む
ことを特徴とする請求項４に記載の画像処理システム。
【請求項６】
前記付加情報取得手段は、前記被写体撮像領域について指定された範囲に付加された付加情報を取得する
ことを特徴とする請求項５に記載の画像処理システム。
【請求項７】
コンピュータを、
被写体を撮像した撮像画像を取得する取得手段と、
前記取得手段により取得される撮像画像において前記被写体が写し出された被写体撮像領域に外接する最小の矩形領域を設定する矩形領域設定手段と、
前記矩形領域設定手段により設定された最小の矩形領域と前記被写体撮像領域との関係に基づいて、当該最小の矩形領域に基づく座標系を前記被写体に対して設定する座標系設定手段として機能させるためのプログラム。
【請求項１】
被写体を撮像した撮像画像を取得する取得手段と、
前記取得手段により取得される撮像画像において前記被写体が写し出された被写体撮像領域に外接する最小の矩形領域を設定する矩形領域設定手段と、
前記矩形領域設定手段により設定された最小の矩形領域と前記被写体撮像領域との関係に基づいて、当該最小の矩形領域に基づく座標系を前記被写体に対して設定する座標系設定手段と、
を含むことを特徴とする画像処理システム。
【請求項２】
前記最小の矩形領域に含まれる画像情報を解析する解析手段をさらに含み、
前記座標系設定手段は、前記解析手段による解析結果に基づいて前記座標系の原点及び軸を設定する
ことを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記矩形領域設定手段により設定される最小の矩形領域の特徴と、前記解析手段による解析結果とを前記被写体に関連づけて管理する管理手段と、
前記被写体撮像領域について前記矩形領域設定手段により設定される最小の矩形領域の特徴と、前記解析手段による解析結果とに基づいて、当該被写体撮像領域と照合する被写体を前記管理手段から検索する検索手段と、をさらに含む
ことを特徴とする請求項２に記載の画像処理システム。
【請求項４】
前記管理手段は、前記被写体撮像領域に付加される付加情報を、前記被写体撮像領域に写し出された被写体に関連づけて管理するとともに、前記付加情報の付加される位置を、前記座標系設定手段により設定される座標系における位置により管理する
ことを特徴とする請求項３に記載の画像処理システム。
【請求項５】
前記検索手段により検索された被写体に関連づけて前記管理手段に管理される付加情報を取得する付加情報取得手段と、
前記付加情報取得手段により取得された付加情報を前記被写体撮像領域に付加して表示画像を生成する表示画像生成手段と、をさらに含む
ことを特徴とする請求項４に記載の画像処理システム。
【請求項６】
前記付加情報取得手段は、前記被写体撮像領域について指定された範囲に付加された付加情報を取得する
ことを特徴とする請求項５に記載の画像処理システム。
【請求項７】
コンピュータを、
被写体を撮像した撮像画像を取得する取得手段と、
前記取得手段により取得される撮像画像において前記被写体が写し出された被写体撮像領域に外接する最小の矩形領域を設定する矩形領域設定手段と、
前記矩形領域設定手段により設定された最小の矩形領域と前記被写体撮像領域との関係に基づいて、当該最小の矩形領域に基づく座標系を前記被写体に対して設定する座標系設定手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−６５２５６（Ｐ２０１１−６５２５６Ａ）
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願番号】特願２００９−２１３４２７（Ｐ２００９−２１３４２７）
【出願日】平成２１年９月１５日（２００９．９．１５）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願日】平成２１年９月１５日（２００９．９．１５）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]