説明

画像処理装置、および画像処理方法

【課題】捕捉した画像を加工し、捕捉した解像度のまま維持する第1の画像領域と、画素を間引き第1の画像領域より画素数の少ない第2の画像領域をそれぞれ形成し、第2の画像領域を第1の画像領域を囲成する部位に形成することにより所望位置の画像データを解像度の異なる2領域を持たせて人の目に近い機能を持った画像データとして形成し、併せて、原画像のデータ量を減らし1本のケーブル、例えば、IEEE1394ケーブルにより転送することを可能とする。
【解決手段】カメラ手段2中に、捕捉した画像データを加工し、捕捉した画像解像度のまま維持する第1の画像領域と、画素を間引き第1の画像領域より画素数の少ない第2の画像領域をそれぞれ形成し、第2の画像領域を第1の画像領域を囲成する部位に形成することにより原画像のデータ量を減らし原画像の画像データを画像解像度の異なる2領域を持った画像データとし、この画像データをカメラ通信制御手段70に転送するデータ転送手段50を具備している。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、および画像処理方法に関するものである。
【背景技術】
【0002】
目を通して入力される画像情報は、優れた視覚の情報処理能力から得られ人の世に欠かせない最も重要なメディアの一つである。人の目は広い視野を持ち、この視野の情報を捉える網膜は、中心部と周辺部とではその機能が異なる。最も外側は光の存在を検知し、その内側の周辺部は物の全体像や形状の把握、そして中心部は物を詳細に見分け、情報内容を認識する。このように、面センサを形成する網膜は外側から中心へ向け、情報受容レベルが“感覚”から“知覚”、さらに“認識”へとその機能を分担する構成になっている(非特許文献1)。
【0003】
従来、一つの監視エリアにワイドカメラとズームカメラを設置し、ワイドカメラにより監視エリアの画像を取得し、取得画像を平常画像と比較して差異を認識することで異常事態を検知し、異常事態が発生した場合にはワイドカメラによる画像取得と共に、ズームカメラで重要地点の画像を取得し、ワイドカメラとズームカメラによる画像を端末コンピュータに伝送する監視システムが提案されている(特許文献1)。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】藤尾孝著「電子画像工学」社団法人電子情報通信学会発行、平成11年1月20日、p.1−2
【特許文献】
【0005】
【特許文献1】特開平11−259775号公報
【0006】
しかしながら、特許文献1に示される先行技術にあっては、
(1)一つの監視エリアに対しカメラを2台必要としカメラシステムが複雑となる、
(2)ズームカメラは指示を出してから機械的に動作するため必要とする映像にたどり着くために時間がかかりワイドカメラとの同期が難しい、
(3)コストアップの要因になる
等の問題点があった。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、カメラ位置を移動可能とし、捕捉した画像を加工し、捕捉した解像度のまま維持する第1の画像領域と、画素を間引き第1の画像領域より画素数の少ない第2の画像領域をそれぞれ形成し、第2の画像領域を第1の画像領域を囲成する部位に形成することにより所望位置の画像データを解像度の異なる2領域を持たせて人の目に近い機能を持った画像データとして形成し、併せて、原画像のデータ量を減らし1本のケーブル、例えば、IEEE1394ケーブルにより転送することを可能とする画像処理装置、および方法を提供することにある。
【0008】
本発明の他の目的は、取り込み画像(原画像)の周辺を間引きし、画像解像度の異なる画像データを作製することにより、原画像の画像データのデータ量を削減し、物理的に上限が定められている通信速度の範囲内にて、1本のケーブルで転送スピードを上げて効率よく画像情報を転送できる、画像処理装置、および方法を提供することにある。
【課題を解決するための手段】
【0009】
本発明に係る画像処理装置は、入力手段からカメラ通信制御手段にカメラ位置情報が入力したときに、カメラ手段を構成するカメラを上下左右に移動させて前記カメラ通信制御手段が有する当該カメラ制御データに対応するカメラ位置に移動させ、当該移動位置において前記カメラが撮像する画像データを前記カメラ通信制御手段に転送する画像処理装置において、前記カメラ手段中に、捕捉した画像データを加工し、捕捉した画像解像度のまま維持する第1の画像領域と、画素を間引き前記第1の画像領域より画素数の少ない第2の画像領域をそれぞれ形成し、前記第2の画像領域を前記第1の画像領域を囲成する部位に形成することにより原画像のデータ量を減らし原画像の画像データを画像解像度の異なる2領域を持った画像データとし、この画像データを前記カメラ通信制御手段に転送するデータ転送手段を具備し、該データ転送手段を前記カメラ通信制御手段と1本のケーブルで接続し、画像解析度の異なる2領域を持った画像データを1本のケーブルで転送可能としたことを特徴としている。
【0010】
本発明に係る画像処理方法は、カメラ制御コマンドが入力するとカメラを上下左右に移動させるとともにカメラを駆動させるモータの位置を検出してモータ位置検出信号を駆動制御手段に送信するカメラ駆動手段と、カメラ制御コマンドをカメラに送信するとともにモータ位置検出信号をカメラ位置信号に変換してデータ転送手段に送信する駆動制御手段と、カメラ制御コマンドを前記駆動制御手段に送信するとともにカメラ位置信号をカメラ通信制御手段に送信するデータ転送手段を備え、前記カメラ通信制御手段よりカメラ制御コマンドが入力するときに、カメラ位置をカメラ制御データに対応するカメラ位置に移動させ、移動位置におけるカメラが撮像する画像データをデータ転送手段に送信する画像処理装置において、捕捉した画像データを加工し、捕捉した解像度のまま維持した第1の画像領域と、画素を間引き前記第1の画像領域より画素数を減らした第2の画像領域をそれぞれ形成するステップと、前記第2の画像領域を前記第1の画像領域を囲成する部位に形成するステップと、この画像解像度の異なる2領域を持った画像データを1本のケーブルにより前記カメラ通信制御手段に転送するステップとを含むことを特徴としている。
【0011】
前記データ転送手段は、IEEE1394物理層を具備し、前記データ転送手段を前記カメラ通信制御手段と1本のIEEE1394ケーブルにより接続するとよい。
【0012】
前記カメラ駆動手段を構成するカメラ駆動部は、構造を単純化するために、回転台を2軸のジンバル構造と直線移動が可能なモータ付スライドボリュームを2個用いてカメラを上下左右に移動させる機構として構成できる。
【0013】
前記画像処理装置は、mを2以上の整数とするときに、平常画像よりm倍高い画像解像度により画像を捕捉し、捕捉した画像を加工し、捕捉した画像解像度のまま維持した対象画像領域(第1の画像領域)と、画素数を前記対象画像領域より1/mにして間引き前記対象画像領域より画素数の少ない背景画像領域(第2の画像領域)をそれぞれ形成し、前記背景画像領域を前記対象画像領域を囲成する部位にそれぞれ形成することにより、映像データの対象画像領域において物を詳細に見分けることを可能とするとともに、対象画像領域より外側の周辺部(背景画像領域)において物の全体像や形状を把握を可能とし、画像データが解像度の異なる2領域を持ち、人の目に近い機能を持った画像データを形成するようにするとよい。
【発明の効果】
【0014】
上記構成を備えた本発明によれば、次の効果を奏する。
(1)カメラの画像をディスプレイにリアルタイムにて表示し、その際、カメラのズーム機能、フォーカス機能、自動露光機能、ホワイトバランス機能等の光学調整機能を制御しながらカメラ位置を上下左右に移動可能とし、捕捉した画像を加工し、捕捉した解像度のまま維持する第1の画像領域と、画素を間引き第1の画像領域より画素数の少ない第2の画像領域をそれぞれ形成し、第2の画像領域を第1の画像領域を囲成する部位に形成することにより所望位置の画像データを解像度の異なる2領域を持たせて人の目に近い機能を持った画像データとして形成し、併せて、原画像のデータ量を減らし1本のケーブル、例えば、IEEE1394ケーブルにより転送することを可能とする画像処理装置、および方法が得られる。
(2)取り込み画像(原画像)の周辺を間引きし、画像解像度の異なる画像データを作製することにより、原画像の画像データのデータ量を削減し、物理的に上限が定められている通信速度の範囲内にて、1本のケーブルで転送スピードを上げて効率よく画像情報を転送できる、画像処理装置、および方法が得られる。
【図面の簡単な説明】
【0015】
【図1】本発明に係る画像処理装置の実施例の構成を示すブロック図である。
【図2】画像処理装置のカメラの構成を示すブロック図である。
【図3】画像処理装置の駆動制御手段の構成を示すブロック図である。
【図4】画像処理装置のデータ転送手段の構成を示すブロック図である。
【図5】カメラ手段を制御するカメラ通信制御手段の構成を示すブロック図である。
【図6】カメラが撮像し取り込んだ画像データを間引き加工処理することを示す概略図である。
【図7】カメラが撮像した画像データ(1280画素×720ライン)の中央部における640画素×360ラインの画像をパーシャルスキャン(640画素×360ライン)し、画像データのx方向の画素を1/2、y方向の画素を1/2にビニング(640画素×360ライン)して加工処理することを示す概略図である。
【図8】雲台の内部正面概要図を示し、カメラ駆動部が、回転台を2軸のジンバル構造と直線移動が可能なモータ付スライドボリュームを2個用いてカメラを上下左右に移動させる機構として構成されていることを示す概要図である。
【図9】雲台の内部側面概要図を示す。
【図10】モータ操作時(カメラ首振り系)の通信フロー概要図である。
【図11】カメラ手段(カメラ映像系)への通信フロー概要図である。
【図12】画像処理装置を構成する各手段の動作例を示すシーケンス図である。
【図13】画像処理方法のフロー図である。
【発明を実施するための形態】
【実施例】
【0016】
以下本発明に係る画像処理装置を視覚型ロボットに搭載した実施例について、図面を参照しながら説明する。
【0017】
図1〜図5において、画像処理装置1は、光学系を含むカメラとデータ通信をつかさどるIEEE1394物理層を含むカメラ手段2に搭載される。
【0018】
該カメラ手段2は、カメラ10、カメラ駆動手段20、駆動制御手段30、データ転送手段50を含んで構成され、前記カメラ駆動手段20と前記駆動制御手段30とでカメラ雲台(カメラを搭載するための台で、例えば電動により動かして広い視野範囲を撮影するためのもの)を構成する(図1)。
【0019】
前記カメラ手段2は1本のIEEE1394ケーブル5を介してカメラ通信制御手段70に接続される(図1)。さらに、前記カメラ通信制御手段70は、画像表示モニタ80に接続される。符号85は入力手段である(図5)。
【0020】
このうち、前記カメラ10は、レンズ11と、該レンズ11を介して結像される所定エリアの投影像を映像信号に変換する撮像素子12と、該撮像素子12で生成された映像信号をデジタル変換し画像データを生成する画像処理部13と、生成された画像データを前記データ転送手段50に送信する画像データ送信部14を含んで構成される(図2)。
【0021】
前記カメラ駆動手段20は、前記カメラ10を前後左右に移動させるモータ21とモータ位置検出器22を備えている(図1)。前記カメラ10を用いて広い視野範囲で撮影するために、カメラ雲台を用いてこれを上下左右に動かす方法を採用している。本実施例では、前記カメラ駆動手段20のカメラ駆動部20Aは、構造を単純化し、回転台を2軸のジンバル構造と直線移動が可能なモータ付スライドボリュームを2個用いてカメラを上下左右に移動させる機構として構成している(図8、図9参照)。すなわち、スライドボリュームの抵抗の大小によりモータの移動位置を把握する。前記モータ位置検出器22は、モータの位置を検出しモータ位置検出信号を前記駆動制御手段30に送信する。
【0022】
前記駆動制御手段30は、駆動制御部30Aと、モータドライバ30Bより構成される(図1、図3)。前記駆動制御部30Aは、例えば、MCU(Motor Control Unit:モータ制御装置)により構成され、前記カメラ通信制御手段70から発信されるカメラ制御コマンドを受信するとモータ21のON/OFF及び正転/逆転の制御を行う(図10参照)。このため、カメラ制御コマンド受信部31、第1信号制御部32、カメラ制御コマンド送信部33、モータ位置検出信号受信部34、カメラ位置信号送信部35、ROM36、RAM37を含んで構成される(図3)。前記ROM36は、前記駆動制御部30Aを動作させるプログラムを記憶している。また前記RAM37は、ワークRAMを構成している。前記駆動制御部30Aは、カメラ制御コマンドと雲台制御コマンドの選別を行なう。
【0023】
前記駆動制御部30Aは、前記モータ21のON/OFF制御を行うとともに、カメラ制御コマンドを前記カメラ10に送信し、さらに、モータ位置検出信号をカメラ位置信号に変換して前記データ転送手段50に送信する。
【0024】
また、前記駆動制御部30Aは、カメラ位置情報のデジタル化を行うとともに、前記データ転送手段50から送信されるデータ内容が位置情報データかカメラ制御データかを判別する。データ内容が位置情報データである場合には、モータ21に対する移動方向、カメラ位置、動作ステータスを設定/取得するためのデータを前記データ転送手段50より受け取る。前記データ転送手段50から送出されるデータ内容がカメラ制御データである場合には、カメラの画面サイズ、フレームレート、輝度などのパラメータを設定/取得するためのデータを前記データ転送手段50より受け取る。
【0025】
前記データ転送手段50は、データ転送部50Aと、IEEE1394物理層50Bより構成される(図1、図4)。前記データ転送部50Aは、例えば、FPGA(Field−Programmable Gate Array)により構成され、一枚のフレーム全体を縮小した画像と、フレームの一部を切り出した画像を一枚の画像として画像処理し転送する(図6参照)。
【0026】
すなわち、前記データ転送部50Aでは、カメラ10が撮像した画像をビニング画像とパーシャルスキャン画像を1枚の画像として加工処理しISO出力し画像転送処理を行なう(図7)。
【0027】
前記カメラ手段2(前記データ転送手段50)は、捕捉した画像解像度を維持する画像領域(第1の画像領域)の座標[例えば、図6における(a,b)、(c,b)、(a,d)、(c,d)]とサイズを算出して間引く範囲を決定(画成)し、領域の画像から、例えば、矩形部分の画像解像度を高画像解像度に維持する画像領域(第1の画像領域)を算出する。ここでは、先ず、前記カメラ10の画像解像度を通常よりm倍(mは2,3,4・・・の整数)高くして高解像度に設定して画角内の目的映像(対象領域の画像:第1の画像領域の画像)の切り出しを行ない、さらに、カメラ内部で全体画像(背景領域画像)の画像データの画素数を1/mに間引き、画角内の目的映像と間引いた画像とを1枚の画像とすることで首振り並びにm倍ズームと同等のことを行なう。この場合、前記カメラ10から送られる第2の画像領域の画像と第1の画像領域の画像は同じ画素×ラインである、例えば、カメラ10(撮像素子12)の解像度が1280画素×720ラインの画像データの画素数を1/2に間引き第1の画像領域、第2の画像領域とも640画素×360ラインとすると、転送データ量D1は、D1=2(画面)/4=1/2に減らすことができる。同様に、カメラ10(撮像素子12)の解像度が1280画素×720ラインの画像データの画素数を1/4に間引き第1の画像領域、第2の画像領域とも320画素×180ラインとすると、転送データ量D2を、D2=2(画面)/16=1/8に減らすことができる。
【0028】
切り出し位置とPAN/TILTE動作の切り替えは次のとおりである。(図7、図10、図11参照)。
(1)ビニング画像の表示範囲内は切り出しで移動し、その後に雲台を移動する。
(2)切り出しサイズは640画素×360ラインに固定し、切り出し位置は1ピクセル/1ライン単位で任意とする。
(3)切り出し位置が極力、画像の中央となるように雲台を動作させる。
(4)切り出しの範囲が表示範囲外の場合は切り出し位置を変更して範囲内に収まるようにする。
【0029】
前記データ転送部50Aは、カメラ制御コマンド受信部51、第2信号制御部52、カメラ制御コマンド送信部53、カメラ位置信号受信部54、カメラ位置信号送信部55、画像データ受信部56、画素間引き加工処理部57、画素間引き画像転送部58、ROM59、RAM60を含んで構成される(図4)。前記ROM59は、前記データ転送部50Aを動作させるプログラムを記憶している。また、前記RAM60は、ワークRAMを構成している。
【0030】
かくして、前記データ転送手段50は、カメラ位置制御データ、カメラ制御データ、転送プロトコール制御用データの制御を行ってこれらのデータを前記駆動制御手段30に送信する。さらに、カメラ位置制御データ、カメラ制御データ、転送プロトコール制御用データ、および、前記カメラ10から送出される画像データを変換し、高解像度により捕捉した画像領域を高解像度のまま維持した第1の画像領域と、画素を間引いて第1の領域より画素数の少ない第2の画像領域を形成し、第2の画像領域を第1の画像領域を囲成する部位に形成することによりカメラが撮像する画像領域の画像を解像度の異なる2領域を持った画像とする処理を行ない伝送する画像のデータ量を減らして画像データを圧縮するこことなく1本のケーブルにより前記カメラ通信制御手段70に送出することを可能とする。
【0031】
前記データ転送手段50より送信されるカメラ制御コマンドを前記駆動制御手段30が受信し、かつ前記駆動制御手段30より送信されるカメラ駆動信号が前記カメラ駆動手段20を介して前記カメラ10に入力すると前記カメラ10は上下左右に移動し所望のカメラ位置が設定され、前記カメラ10が高解像度により撮像した画像データはデータ転送手段50に送信される(図11)。
【0032】
前記カメラ通信制御手段70は、前記データ転送手段50との間でカメラ位置制御コマンドの送信を行うとともに画像データの受信および転送プロトコール制御用データの送受信を行って、カメラの映像を画像表示手段80にリアルタイムで表示するとともに、カメラ制御コマンドを送信してカメラの制御(ズーム、フォーカス、自動露光、ホワイトバランスなど)を行い、さらに、カメラの位置を上下左右に移動させることに寄与する。前記カメラ通信制御手段70は、例えば、PC(Personal Computer)により構成される。
【0033】
前記カメラ通信制御手段70は、カメラ制御コマンド送信部71と、カメラ位置検知信号受信部72と、画素間引き画像データ受信部73と、通信制御部74、画素間引き画像データ送信部75を備えている。
【0034】
前記カメラ通信制御手段70は、前記カメラ10に必要な動きを与えるカメラ制御データ(信号)を前記データ転送手段50に送信するとともに、前記データ転送手段50より送信される画像データ(画素間引き加工された「画素間引き加工画像」を含む。)を受信し、その画像データの第2の画像領域の画素をもとの解像度(例えば、1280画素×720ライン)に戻し、第1の画像領域をそのままの解像度ではめ込み表示モニタ80に送信する。
【0035】
前記画像表示モニタ80は、前記カメラ通信制御手段70より送出される解像度の異なる2領域を持った画像を表示する。
【0036】
(画像処理方法における処理手順)
画像処理方法における処理手順を、図10〜図13を用いて説明する。
【0037】
今、入力手段85を操作しカメラ通信制御手段が送信するカメラ制御コマンド(カメラ駆動信号)を受信すると(S10)、モータ21がONとなりカメラ10は撮像を開始する(S11)。カメラ手段2は画像の取込みを実行するとともに(S12)、カメラ位置を検出しカメラ位置信号をデータ転送手段50に送信する(S13)。さらに、カメラ位置を修正するカメラ制御コマンド(カメラ位置修正信号)が入力すると(S14)、カメラ位置が指定され(S15)、その位置における画像が取り込まれ(S16)る。取込み画像は一旦記憶され(S17)、画素の間引き処理が行なわれる(S18)。画素間引き画像はカメラ通信制御手段70に転送され(S19)、画像表示手段80に表示される(S20)。
【符号の説明】
【0038】
1 画像処理装置
2 カメラ手段
5 IEEE1394ケーブル
10 カメラ
11 レンズ
12 撮像素子
13 画像処理部
14 画像データ送信部
20 カメラ駆動手段
20A カメラ駆動部
21 モータ
22 モータ位置検出器
30 駆動制御手段
30A 駆動制御部
30B モータドライバ
31 カメラ制御コマンド受信部
32 第1信号制御部
33 カメラ制御コマンド送信部
34 モータ位置検出信号受信部
35 カメラ位置信号送信部
36 ROM
37 RAM
50 データ転送手段
50A データ転送部
50B IEEE1394物理層
51 カメラ制御コマンド受信部
52 第2信号制御部
53 カメラ制御コマンド送信部
54 カメラ位置信号受信部
55 カメラ位置信号送信部
56 画像データ受信部
57 画素間引き加工処理部
58 間引き画像転送部
59 ROM
60 RAM
70 カメラ通信制御手段
71 カメラ制御コマンド発信部
72 カメラ位置信号受信部
73 間引き画像データ受信部
74 間引き画像データ送信部
75 通信制御部
80 画像表示手段
85 入力手段

【特許請求の範囲】
【請求項1】
入力手段からカメラ通信制御手段にカメラ位置情報が入力したときに、カメラ手段を構成するカメラを上下左右に移動させて前記カメラ通信制御手段が有する当該カメラ制御データに対応するカメラ位置に移動させ、当該移動位置において前記カメラが撮像する画像データを前記カメラ通信制御手段に転送する画像処理装置において、
前記カメラ手段中に、捕捉した画像データを加工し、捕捉した画像解像度のまま維持する第1の画像領域と、画素を間引き前記第1の画像領域より画素数の少ない第2の画像領域をそれぞれ形成し、前記第2の画像領域を前記第1の画像領域を囲成する部位にそれぞれ形成することにより原画像のデータ量を減らして原画像の画像データを画像解像度の異なる2領域を持った画像データとし、この画像データを前記カメラ通信制御手段に転送するデータ転送手段を具備し、
該データ転送手段を前記カメラ通信制御手段と1本のケーブルで接続し、画像解析度の異なる2領域を持った画像データを1本のケーブルで転送可能としたことを特徴とする画像処理装置。
【請求項2】
前記データ転送手段が、IEEE1394物理層を具備し、前記データ転送手段を前記カメラ通信制御手段と1本のIEEE1394ケーブルにより接続したことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
さらに、カメラ制御コマンドが入力するとカメラを上下左右に移動させるとともにカメラを駆動させるモータの位置を検出してモータ位置検出信号を駆動制御手段に送信するカメラ駆動手段を備え、該カメラ駆動手段を構成するカメラ駆動部が、回転台を2軸のジンバル構造と直線移動が可能なモータ付スライドボリュームを2個用いてカメラを上下左右に移動させる機構として構成されていることを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
カメラ制御コマンドが入力するとカメラを上下左右に移動させるとともにカメラを駆動させるモータの位置を検出してモータ位置検出信号を駆動制御手段に送信するカメラ駆動手段と、
カメラ制御コマンドをカメラに送信するとともにモータ位置検出信号をカメラ位置信号に変換してデータ転送手段に送信する駆動制御手段と、
カメラ制御コマンドを前記駆動制御手段に送信するとともにカメラ位置信号をカメラ通信制御手段に送信するデータ転送手段を備え、
前記カメラ通信制御手段よりカメラ制御コマンドが入力するときに、カメラ位置をカメラ制御データに対応するカメラ位置に移動させ、移動位置におけるカメラが撮像する画像データをデータ転送手段に送信する画像処理装置において、
捕捉した画像データを加工し、捕捉した解像度のまま維持した第1の画像領域と、画素を間引き前記第1の画像領域より画素数を減らした第2の画像領域をそれぞれ形成するステップと、
前記第2の画像領域を前記第1の画像領域を囲成する部位に形成するステップと、
この画像解像度の異なる2領域を持った画像データを1本のケーブルにより前記カメラ通信制御手段に転送するステップとを含むことを特徴とする画像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2012−142809(P2012−142809A)
【公開日】平成24年7月26日(2012.7.26)
【国際特許分類】
【出願番号】特願2010−294888(P2010−294888)
【出願日】平成22年12月28日(2010.12.28)
【出願人】(398045599)株式会社テクノスコープ (3)
【Fターム(参考)】