撮像装置、方法およびプログラム
【課題】多眼カメラを構成する全ての撮像部が動物体を捉えていない場合でも、フレームレートを高くすること。
【解決手段】ステップS１００１で、撮像部１０１〜１０９がそれぞれタイミングをずらして撮像を行う。ステップS１００２で、ステップS１００１において取得した撮像画像データに対して後述する動物体判定処理を行う。ステップS１００３で、ステップS１００２の動物体判定処理の結果に基づいて、撮像タイミング決定処理を行う。ステップS１００４で、撮像終了か判定し、終了でない場合、ステップS１００１〜ステップS１００４までを繰り返す。
【解決手段】ステップS１００１で、撮像部１０１〜１０９がそれぞれタイミングをずらして撮像を行う。ステップS１００２で、ステップS１００１において取得した撮像画像データに対して後述する動物体判定処理を行う。ステップS１００３で、ステップS１００２の動物体判定処理の結果に基づいて、撮像タイミング決定処理を行う。ステップS１００４で、撮像終了か判定し、終了でない場合、ステップS１００１〜ステップS１００４までを繰り返す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、方法およびプログラムに関し、より具体的には多視点からの撮像画像を取得する撮像装置、方法およびプログラムに関する。
【背景技術】
【０００２】
撮像対象を多視点から捉えて画像を取得する撮像装置が提案されている（例えば、非特許文献１参照）。この撮像装置は、複数の撮像部を有し、各撮像部が各々撮像を行うことで、多視点から撮像対象を捉えた複数の画像を取得することができる。そして撮像後に、各撮像部から得られた画像を合成することで、様々な処理を行い、例えばパノラマ画像や空間解像度の高い画像などを生成する。上記のような撮像装置を、本願では多眼カメラと呼ぶ。
【０００３】
非特許文献１では、多眼カメラにおいて、各撮像部でタイミングを少しずつずらして撮像すること（以下、タイミングずらし撮像）によって、多眼カメラ全体の撮像フレームレートを撮像部個々の撮像フレームレート以上に高くしている。撮像フレームレートを高くすることで動物体の動きをより滑らかに記録できるため、表示の際に動物体の動きをより自然に表現することが可能となる。
【先行技術文献】
【特許文献】
【０００４】
【非特許文献１】Bennett Wilburn, 他４名, " High-Speed Videography Using a Dense Camera Array ", CVPR'04
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に、多眼カメラは、撮像対象に対し各撮像部が一定の間隔をもって配置されており、各撮像範囲が異なってくるため、ある動物体を撮像するとき全ての撮像部がその動物体を撮像範囲内に捕らえているとは限らない。換言すると、多眼カメラを構成する撮像部のうち、ある撮像部が動物体を捉えているが別の撮像部は捉えていない場合があり、このような場合、動物体を捉えていない撮像部の撮像タイミングをずらしてもフレームレートを上げることができない。すなわち、各撮像部の撮像タイミングをずらしたときに、このような動物体を捉えていない撮像部による撮像が連続すると、長時間の間、動物体の動きを記録することができないという状況が発生し期待するフレームレートが得られないという問題がある。
【０００６】
そこで本発明では、多眼カメラを構成する全ての撮像部が動物体を捉えていない場合でも、フレームレートを高くすることができる撮像装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
このような課題を解決するため、本発明の撮像装置は、異なる撮像範囲を有する複数の撮像手段を備え、複数の撮像手段の各々により得られた複数の画像から出力画像を生成する撮像装置であって、撮像手段の各々により取得した撮像画像に動物体が撮像されているか否かを判定し、複数の撮像手段のうち動物体を撮像している撮像手段を特定する動物体判定手段と、複数の撮像手段が同時に撮像しないよう各撮像手段の撮像タイミングを変えて撮像させる撮像タイミング制御手段とを備え、撮像タイミング制御手段は、動物体判定手段により特定された、動物体を撮像している撮像手段の撮像タイミングを調整し、撮像手段の全体の撮像タイミングを決定して前記動物体についてのフレームレートを高くすることを特徴とする。
【発明の効果】
【０００８】
本発明は、多眼カメラを構成する全ての撮像部が動物体を捉えていない場合でも、フレームレートを高くすることができる撮像装置、方法およびプログラムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施例である撮像装置の外観上の構成を示す図である。
【図２】本実施例の撮像装置の各処理部を示すブロック図である。
【図３】本実施例の撮像部１０１〜１０９の詳細を示す図である。
【図４】デジタル信号処理部２０９の処理の一例を示すブロック図である。
【図５】本実施例の撮像部１０１〜１０９の同時撮像による撮像タイミングを示す図である。
【図６】撮像部１０１〜１０９のタイミングずらし撮像による撮像タイミングの一例を示す図である。
【図７】撮像部１０４、１０５、１０６の横方向の撮像範囲の一例を模式的に示した図である。
【図８】本実施例の動物体を写していない撮像部を含む多眼カメラを模式的に示した図である。
【図９】タイミングずらし撮像を行った場合の撮像タイミングの一例を示す図である。
【図１０】本発明の一実施例における撮像処理のフローチャートである。
【図１１】本実施例の撮像タイミング制御部２１４の構成を示すブロック図である。
【図１２】本実施例の動物体判定部１１０１の動作を示すフローチャートである。
【図１３】撮像タイミング決定部１１０２により決定した撮像タイミングの一例を示す図である。
【図１４】本実施例の撮像タイミングずらしの一例を示す図である。
【図１５】撮像タイミング配置アルゴリズムを示す図である。
【発明を実施するための形態】
【００１０】
［実施例］
＜撮像装置の構成＞
図１は、本発明の一実施例である９個の撮像部を内蔵した多眼カメラの外観を模式的に示す図である。図１を参照すると、本実施例の多眼カメラは、複数の撮像部１０１〜１０９、像ボタン１１０、フラッシュ１１１およびカメラボディで１１２を備える。本実施例では、撮像部が９個の多眼カメラを例に説明するが、本発明はこれに限定されず、３個以上の任意の個数の撮像部を持つカメラに適用可能である。なお、以下の説明では、図１に示すように、撮像部１０４、１０５および１０６が並ぶ方向を「横方向」、撮像部１０２、１０５および１０８が並ぶ方向を「縦方向」とする。
【００１１】
図２は、図１の多眼カメラの各処理部の構成を表している。撮像部１０１〜１０９は、被写体の光情報をセンサで受光してA/D変換を施し、データ転送経路であるバス２１６にデジタルデータを出力する。
【００１２】
フラッシュ２１５は、撮像時、被写体に光を照射して露光量を調整する。デジタル信号処理部２０９は、図４に示すように上記の各撮像部から出力されたデジタルデータにホワイトバランス処理、ガンマ処理、ノイズ低減処理などを行い、デジタル画像を生成する。圧縮・伸張部２１０は、上記デジタルデータを圧縮または伸張しJpegやMpegなどのファイルフォーマットとの変換を実行する処理を行う。
【００１３】
外部メモリ制御部２１１は、PCその他メディア２１２（例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリ）に接続するためのインターフェースである。CPU２０３は、各構成の処理全てを全体として制御し、 ROM２０１やRAM２０２に格納された命令を順に読み込みんで解釈し、処理を実行する。また、ROM２０１とRAM２０２は、その処理に必要なプログラム、データ、作業領域などをCPU２０３に提供する。
【００１４】
撮像装置制御部２０４は、フォーカスを合わせる、シャッターを開く、絞りを調節するなどの、CPU２０３から指示された各撮像部の制御を行う。操作部２０５は、本実施例の多眼カメラに対する操作を処理し、例えばボタンやモードダイヤルなどを用いて、これらを介して入力されたユーザ指示を受け取る。CG生成部２０６は、文字やグラフィックなどを生成する。表示部２０８は、カメラの撮像しようとする映像やユーザ向けの情報を表示し、例えば通常は液晶ディスプレイが用いられており、CG生成部２０６やデジタル信号処理部２０９、後述の画像合成部２１３から受け取った撮像画像や文字の表示を行う。また、表示部２０８は、タッチスクリーン機能を有していても良く、その場合は、表示部２０８のタッチスクリーンからのユーザ指示を操作部２０５の入力として扱うことも可能である。
【００１５】
画像合成部２１３は、撮像部１０１〜１０９から得られたデジタル画像或いは、デジタル信号処理部から出力されるデジタル画像群を利用して新たな出力画像を生成し、その結果をバス２１６へ出力する。すなわち、多眼カメラは、複数の撮像部で被写体を撮像し、その結果複数の画像が得られるが、最終的に多眼カメラの出力としては通常、１つの画像にするため、この画像合成部２１３が複数の画像を合成して１つの画像として出力する。ここで、この画像の合成は、本技術分野で知られたいずれの手法を用いることもできる。
【００１６】
撮像タイミング制御部２１４は、本実施例の特徴である、撮像部１０１〜１０９の撮像タイミングを決定し、その結果をバス２１６へ出力する。なお、一般に多眼カメラの構成要素は上記以外にも存在するが、本件発明の説明には不要なため、説明を省略する。
【００１７】
図３を参照して撮像部１０１〜１０９の詳細を説明する。撮像部１０１〜１０９は、ズームレンズ３０１、フォーカスレンズ３０２、ぶれ補正レンズ３０３、絞り３０４、シャッター３０５、光学ローパスフィルタ３０６、iRカットフィルタ３０７およびカラーフィルタ３０８を備える。このような光学系を通った光はCMOSやCCDなどのセンサ３０９で受光されて被写体の光量を検知する。A/D変換部３１０は、被写体の光量をデジタル値に変換する。
【００１８】
＜タイミングずらし撮像による撮像フレームレートの向上＞
以上が本実施例の多眼カメラの構成だが、このような多眼カメラにおけるタイミングずらし撮像による撮像フレームレートの向上について、図５および図６を用いて説明する。図５は、撮像部１０１〜１０９が同時に撮像を行う場合の撮像タイミングを表しており、図６は、撮像部１０１〜１０９がタイミングずらし撮像を行う場合の撮像タイミングを表している。図５に示すように全撮像部が同時に撮像を行う場合、撮像タイミング５０１a〜５０９aなどは同じタイミングとなるため、結局多眼カメラ全体の撮像フレームレートは撮像部１０１〜１０９の元々有する撮像フレームレートと同一になる。
【００１９】
一方、図６のようにタイミングずらし撮像を行う場合、各々の撮像タイミングがずれるため、多眼カメラ全体の撮像フレームレートは撮像部１０１〜１０９の撮像フレームレート以上に向上する。例えば、図６において、撮像部１０１〜１０９の撮像フレームレートが15[fps]であれば、多眼カメラ全体の撮像フレームレートは15 x 9 = 135[fps]となる。なお、上記の例では、全ての撮像部のタイミングをずらしたが、一部の撮像部のタイミングのみをずらしても構わない。
【００２０】
＜動物体を写していない撮像部を含む多眼カメラによるタイミングずらし撮像＞
次に、本実施例の特徴であるタイミングずらし撮像を説明する。上述した従来のタイミングずらし撮像は一般にフレームレートを高くすることができるが、このタイミングずらし撮像は、全ての撮像部が動物体を写していない場合期待したフレームレートを得られない。この点について図７を用いて説明するが、説明を簡単にするため各撮像部と被写体である動物体との関係を二次元で考える。
【００２１】
図７は、多眼カメラを図１の縦方向、すなわち多眼カメラ下部から見た撮像部１０４、１０５および１０６の横方向の撮像範囲を模式的に示した図である。図７では、撮像部１０４および１０５は動物体７０１を捉えているが、撮像部１０６は動物体７０１を捉えていない。このような状況で、タイミングずらし撮像を行うと、撮像部１０６が撮像するタイミングでは、動物体７０１を記録することができない。ここでは、横方向についてのみ説明したが、縦方向についても同様である。
【００２２】
以上の点を踏まえて、図８に示すように、撮像部１０１、１０２、１０４および１０５は動物体を捉え（動物体撮像部群８０１）、撮像部１０３、１０６、１０７、１０８および１０９は動物体を捉えていない（非道物体撮像部群８０２）という状況を想定する。以下、動物体を捉えている撮像部を動物体撮像部および動物体部を捉えていない撮像部を非道物体撮像部とよぶ。
【００２３】
図９は、図８の多眼カメラを用いて図６に示した撮像タイミングで、タイミングずらし撮像を行った場合の多眼カメラ全体の撮像タイミングを示す図である。図６に示す撮像タイミングで撮像すると、撮像部１０１から１０９まで順にタイミングをずらし撮像が行われる。つまり、例えば撮像部１０１はタイミング６０１ａと６０１ｂとで撮像し、撮像部１０３はタイミング６０３ａと６０３ｂとで撮像する。ここで、図８を参照すると、動物体撮像部は撮像部１０１、１０２、１０４および１０５、非動物体撮像部は撮像部１０３、１０６ないし１０９なので、図９に示すように撮像タイミングを白と黒とで色分けする。そうすると、例えばタイミング６０１ａ、６０２ａは、動物体撮像部である撮像部１０１、１０２の撮像タイミングであるから黒となり、６０３ａ、６０６ａは、非動物対撮像部である撮像部１０３、１０６の撮像タイミングであるから白となる。
【００２４】
図９に示すように、撮像タイミング６０６a〜６０９aや撮像タイミング６０６b〜６０９bの間は連続して、非撮像部の撮像タイミングとなることから、この間は動物体を記録することができない。すなわち、撮像タイミング６０６a〜６０９a間の撮像は動物体についての多眼カメラ全体のフレームレートの向上に寄与しない。この結果、動物体の像を全ての撮像部で記録できない場合、タイミングずらし撮像を行っても、各撮像部の撮像タイミングを適切なものにしないと期待されるフレームレートを得られないこととなる。
【００２５】
一般にフレームレートをあげるためには、平均して短い間隔で動物体撮像部が撮像を行う必要があることから、例えば動物体撮像部と非動物体撮像部とが交互に撮像するようなタイミングで撮像するのが効率的である。そこで、本発明では、動物体撮像部を特定し、その特定結果に基づいて、動物体撮像部ができるだけ間を空けずに撮像を行うように撮像部１０１〜１０９の撮像タイミングを決定する。
【００２６】
＜撮像全体の処理＞
図１０は、本実施例における撮像処理のフローチャートである。まず、ステップS１００１で、撮像部１０１〜１０９がそれぞれタイミングをずらして撮像を行う。ステップS１００２で、ステップS１００１において取得した撮像画像データに対して後述する動物体判定処理を行う。ステップS１００３で、ステップS１００２の動物体判定処理の結果に基づいて、後述する撮像タイミング決定処理を行う。
【００２７】
ステップS１００４で、撮像終了か判定し、終了でない場合、ステップS１００１〜ステップS１００４までを繰り返す。ここで、ステップS１００１では、一度目の撮像はあらかじめ決められた撮像タイミングで撮像を行い、二度目以降の撮像はステップS１００３で決められた撮像タイミングで撮像を行う。本実施例では、一般に動物体が各撮像部の撮像範囲の内外を刻々と移動することから、繰り返し撮像を行うようにしているが、これに限られず本技術分野で知られた種々のタイミングで撮像することができる。
【００２８】
＜撮像タイミング制御部の構成＞
図１１は撮像タイミング制御部２１４の構成を示すブロック図である。撮像タイミング制御部２１４は、動物体判定部１１０１、撮像タイミング決定部１１０２により構成される。
【００２９】
動物体判定部１１０１は、撮像部１０１〜１０９による各撮像画像に動物体が写っているか否かをそれぞれ判定することで、撮像部１０１〜１０９の中から動物体撮像部を特定する。動物体判定処理の詳細は後述する。
【００３０】
撮像タイミング決定部１１０２は、動物体判定部１１０１が特定した動物体撮像部ができるだけ間を空けずに撮像を行うように、撮像部１０１〜１０９の撮像タイミングを決定する。撮像タイミング決定処理の詳細は後述する。
【００３１】
＜動物体判定部の処理＞
図１２は、動物体判定部１１０１の動作の例を示すフローチャートである。図１２は、撮像部１０１〜１０９のうちのある１つの撮像部による撮像画像中に、動物体が写っているかどうかを一定の判定条件に合致するか判定することにより判定する動作の例を示している。まず、ステップS１２０１で、ある１つの撮像部による撮像画像データを取得する。ステップS１２０２で、ステップS１２０１で取得した画像データと、その撮像部がそれ以前のタイミングに撮像し記憶しておいた画像データとの変化量を算出する。変化量は、本技術分野で知られたいずれの値も使用することができ、例えば画素値の平均誤差を用いることができる。ステップS１２０３で、ステップS１２０２で算出した変化量が、あらかじめ決められたしきい値（例えば、２５６階調の画像で、画素値の平均誤差が１６）以上かを判定し、しきい値以上であれば、ステップS１２０４で、動物体が写っていると判定する。しきい値以下であれば、ステップS１２０５で、動物体が写っていないと判定する。
【００３２】
ここで、動物体が写っていると判定された画像を撮像た撮像部は、動物体撮像部であると特定される。なお、上記の動物体判定方法は、三脚を用いるなどカメラが固定されている状況を想定したものだが、本発明はこれに限定されず、任意の動物体判定方法を用いてよい。
【００３３】
＜撮像タイミング決定部の処理の詳細＞
図１３および１４は、撮像タイミング決定部１１０２により決定した撮像タイミングの例を示す図である。図１３を用いて、撮像タイミング決定処理について説明する。
【００３４】
撮像タイミング決定部１１０２は、動物体判定部１１０１により判定された動物体撮像部の撮像タイミングが等間隔に近くなるように撮像部１０１〜１０９の撮像タイミングをそれぞれ決定する。このような撮像タイミング決定方法の一例を以下に示す。
【００３５】
まず、式(1)により、動物体撮像部の撮像タイミング間隔iを算出する。
【００３６】
【数１】
【００３７】
ここで、Nは撮像部の個数、nは動物体撮像部の個数が非動物体撮像部の個数以下のときは「動物体撮像部の個数」であり、動物体撮像部の個数が非動物体撮像部の個数より多いときは「非動物体撮像部の個数」である。また、ROUNDDAWN( )関数は剰余の切り捨てを行う関数である。このようにＮおよびｎをおくと、間隔iおきに動物体撮像部の撮像タイミングを配置されるように各撮像部の撮像タイミングを決定すれば、多眼カメラ全体のフレームレートが最も高くなることが理解できる。
【００３８】
間隔ｉおきに動物体撮像部に撮像させる撮像タイミングの具体的な決定方法は、本技術分野で知られたいずれかの方法で可能だが、例えば図１５に示すようなアルゴリズムを使用することができる。このアルゴリズムによって、図１３に示すように、N=9、n=4で、i=2となり、撮像部2個ごとに動物体撮像部の撮像タイミングが配置されるようになる。
【００３９】
図１５を参照すると、図８の例では動物体撮像部の個数が非動物体撮像部の個数以下なので、このアルゴリズムをそのまま使用する。まず、（１）動物体撮像部と非動物体撮像部をそれぞれラスタ順に並べる。次に、（２）動物体撮像部のうち最初の撮像部１０１のタイミング６０１ａを図１４に示すように配置する。（３）式(1)の間隔i-1個（2-1=1）の非動物体撮像部を順番に配置する。すなわち、最初の非動物体撮像部である撮像部１０３のタイミング６０３を、図１４に示すようにタイミング６０１の次のタイミングに配置する。（4）次の動物体撮像部を順番に配置する。すなわち、撮像部１０１の次の動物体撮像部である撮像部１０２のタイミング６０２を、図１４に示すようにタイミング６０３の次のタイミングに配置する。（5）全ての撮像部が配置されるまで（３）および（４）を繰り返し、余った撮像部があったら最後の撮像タイミングに配置する。以上のアルゴリズムにより、図１３に示すように撮像タイミングが決定する。
【００４０】
以上のアルゴリズムは、動物体撮像部の個数が非動物体撮像部の個数以下のとき使用することができるが、動物体撮像部の個数が非動物体撮像部の個数より多いときは、「動物体撮影部」と「非動物体撮影部」を逆にするだけで用いることができる。このように撮像タイミングを決定することによって、図１３に示すように動物体の動きを記録できないのは、長くても撮像タイミング６０８aと６０９aとの間、および撮像タイミング６０８bと６０９bとの間だけとなる。これにより、図９の例と比較して、動物体の動きを記録できない時間が短くなっている。例えば、各撮像部の撮像フレームレートを15[fps]とすると、図９の例では、最大4/135[s]の間、動物体の動きを記録できない。一方、図１３の例では、動物体の動きを記録できない時間が最大2/135[s]に短縮され、その分フレームレートが高くなる。
【００４１】
なお、動物体撮像部同士や、動物体を写していない撮像部同士の撮像タイミングの順番は任意である。また、本発明は、上記の撮像タイミング決定方法に限定されず、動物体の動きを記録できない時間を短くするような任意の撮像タイミング決定方法を用いてよい。
【００４２】
本実施例は、動物体が１つであることを前提にしているが、複数の動物体を識別して、各動物体ができるだけ間を空けずに撮像されるように撮像部１０１〜１０９の撮像タイミングを決定しても構わない。
【００４３】
以上説明したように、本実施例によれば、動物体撮像部を特定し、その特定結果に基づいて、撮像タイミングを決定する。これにより、多眼カメラ中に動物体を写していない撮像部を含む場合でも、動物体の動きを記録できない時間を短くし、フレームレートを向上させることができる。
【００４４】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数のプロセッサが連携して処理を行うことによっても実現できるものである。
【技術分野】
【０００１】
本発明は、撮像装置、方法およびプログラムに関し、より具体的には多視点からの撮像画像を取得する撮像装置、方法およびプログラムに関する。
【背景技術】
【０００２】
撮像対象を多視点から捉えて画像を取得する撮像装置が提案されている（例えば、非特許文献１参照）。この撮像装置は、複数の撮像部を有し、各撮像部が各々撮像を行うことで、多視点から撮像対象を捉えた複数の画像を取得することができる。そして撮像後に、各撮像部から得られた画像を合成することで、様々な処理を行い、例えばパノラマ画像や空間解像度の高い画像などを生成する。上記のような撮像装置を、本願では多眼カメラと呼ぶ。
【０００３】
非特許文献１では、多眼カメラにおいて、各撮像部でタイミングを少しずつずらして撮像すること（以下、タイミングずらし撮像）によって、多眼カメラ全体の撮像フレームレートを撮像部個々の撮像フレームレート以上に高くしている。撮像フレームレートを高くすることで動物体の動きをより滑らかに記録できるため、表示の際に動物体の動きをより自然に表現することが可能となる。
【先行技術文献】
【特許文献】
【０００４】
【非特許文献１】Bennett Wilburn, 他４名, " High-Speed Videography Using a Dense Camera Array ", CVPR'04
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に、多眼カメラは、撮像対象に対し各撮像部が一定の間隔をもって配置されており、各撮像範囲が異なってくるため、ある動物体を撮像するとき全ての撮像部がその動物体を撮像範囲内に捕らえているとは限らない。換言すると、多眼カメラを構成する撮像部のうち、ある撮像部が動物体を捉えているが別の撮像部は捉えていない場合があり、このような場合、動物体を捉えていない撮像部の撮像タイミングをずらしてもフレームレートを上げることができない。すなわち、各撮像部の撮像タイミングをずらしたときに、このような動物体を捉えていない撮像部による撮像が連続すると、長時間の間、動物体の動きを記録することができないという状況が発生し期待するフレームレートが得られないという問題がある。
【０００６】
そこで本発明では、多眼カメラを構成する全ての撮像部が動物体を捉えていない場合でも、フレームレートを高くすることができる撮像装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
このような課題を解決するため、本発明の撮像装置は、異なる撮像範囲を有する複数の撮像手段を備え、複数の撮像手段の各々により得られた複数の画像から出力画像を生成する撮像装置であって、撮像手段の各々により取得した撮像画像に動物体が撮像されているか否かを判定し、複数の撮像手段のうち動物体を撮像している撮像手段を特定する動物体判定手段と、複数の撮像手段が同時に撮像しないよう各撮像手段の撮像タイミングを変えて撮像させる撮像タイミング制御手段とを備え、撮像タイミング制御手段は、動物体判定手段により特定された、動物体を撮像している撮像手段の撮像タイミングを調整し、撮像手段の全体の撮像タイミングを決定して前記動物体についてのフレームレートを高くすることを特徴とする。
【発明の効果】
【０００８】
本発明は、多眼カメラを構成する全ての撮像部が動物体を捉えていない場合でも、フレームレートを高くすることができる撮像装置、方法およびプログラムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施例である撮像装置の外観上の構成を示す図である。
【図２】本実施例の撮像装置の各処理部を示すブロック図である。
【図３】本実施例の撮像部１０１〜１０９の詳細を示す図である。
【図４】デジタル信号処理部２０９の処理の一例を示すブロック図である。
【図５】本実施例の撮像部１０１〜１０９の同時撮像による撮像タイミングを示す図である。
【図６】撮像部１０１〜１０９のタイミングずらし撮像による撮像タイミングの一例を示す図である。
【図７】撮像部１０４、１０５、１０６の横方向の撮像範囲の一例を模式的に示した図である。
【図８】本実施例の動物体を写していない撮像部を含む多眼カメラを模式的に示した図である。
【図９】タイミングずらし撮像を行った場合の撮像タイミングの一例を示す図である。
【図１０】本発明の一実施例における撮像処理のフローチャートである。
【図１１】本実施例の撮像タイミング制御部２１４の構成を示すブロック図である。
【図１２】本実施例の動物体判定部１１０１の動作を示すフローチャートである。
【図１３】撮像タイミング決定部１１０２により決定した撮像タイミングの一例を示す図である。
【図１４】本実施例の撮像タイミングずらしの一例を示す図である。
【図１５】撮像タイミング配置アルゴリズムを示す図である。
【発明を実施するための形態】
【００１０】
［実施例］
＜撮像装置の構成＞
図１は、本発明の一実施例である９個の撮像部を内蔵した多眼カメラの外観を模式的に示す図である。図１を参照すると、本実施例の多眼カメラは、複数の撮像部１０１〜１０９、像ボタン１１０、フラッシュ１１１およびカメラボディで１１２を備える。本実施例では、撮像部が９個の多眼カメラを例に説明するが、本発明はこれに限定されず、３個以上の任意の個数の撮像部を持つカメラに適用可能である。なお、以下の説明では、図１に示すように、撮像部１０４、１０５および１０６が並ぶ方向を「横方向」、撮像部１０２、１０５および１０８が並ぶ方向を「縦方向」とする。
【００１１】
図２は、図１の多眼カメラの各処理部の構成を表している。撮像部１０１〜１０９は、被写体の光情報をセンサで受光してA/D変換を施し、データ転送経路であるバス２１６にデジタルデータを出力する。
【００１２】
フラッシュ２１５は、撮像時、被写体に光を照射して露光量を調整する。デジタル信号処理部２０９は、図４に示すように上記の各撮像部から出力されたデジタルデータにホワイトバランス処理、ガンマ処理、ノイズ低減処理などを行い、デジタル画像を生成する。圧縮・伸張部２１０は、上記デジタルデータを圧縮または伸張しJpegやMpegなどのファイルフォーマットとの変換を実行する処理を行う。
【００１３】
外部メモリ制御部２１１は、PCその他メディア２１２（例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリ）に接続するためのインターフェースである。CPU２０３は、各構成の処理全てを全体として制御し、 ROM２０１やRAM２０２に格納された命令を順に読み込みんで解釈し、処理を実行する。また、ROM２０１とRAM２０２は、その処理に必要なプログラム、データ、作業領域などをCPU２０３に提供する。
【００１４】
撮像装置制御部２０４は、フォーカスを合わせる、シャッターを開く、絞りを調節するなどの、CPU２０３から指示された各撮像部の制御を行う。操作部２０５は、本実施例の多眼カメラに対する操作を処理し、例えばボタンやモードダイヤルなどを用いて、これらを介して入力されたユーザ指示を受け取る。CG生成部２０６は、文字やグラフィックなどを生成する。表示部２０８は、カメラの撮像しようとする映像やユーザ向けの情報を表示し、例えば通常は液晶ディスプレイが用いられており、CG生成部２０６やデジタル信号処理部２０９、後述の画像合成部２１３から受け取った撮像画像や文字の表示を行う。また、表示部２０８は、タッチスクリーン機能を有していても良く、その場合は、表示部２０８のタッチスクリーンからのユーザ指示を操作部２０５の入力として扱うことも可能である。
【００１５】
画像合成部２１３は、撮像部１０１〜１０９から得られたデジタル画像或いは、デジタル信号処理部から出力されるデジタル画像群を利用して新たな出力画像を生成し、その結果をバス２１６へ出力する。すなわち、多眼カメラは、複数の撮像部で被写体を撮像し、その結果複数の画像が得られるが、最終的に多眼カメラの出力としては通常、１つの画像にするため、この画像合成部２１３が複数の画像を合成して１つの画像として出力する。ここで、この画像の合成は、本技術分野で知られたいずれの手法を用いることもできる。
【００１６】
撮像タイミング制御部２１４は、本実施例の特徴である、撮像部１０１〜１０９の撮像タイミングを決定し、その結果をバス２１６へ出力する。なお、一般に多眼カメラの構成要素は上記以外にも存在するが、本件発明の説明には不要なため、説明を省略する。
【００１７】
図３を参照して撮像部１０１〜１０９の詳細を説明する。撮像部１０１〜１０９は、ズームレンズ３０１、フォーカスレンズ３０２、ぶれ補正レンズ３０３、絞り３０４、シャッター３０５、光学ローパスフィルタ３０６、iRカットフィルタ３０７およびカラーフィルタ３０８を備える。このような光学系を通った光はCMOSやCCDなどのセンサ３０９で受光されて被写体の光量を検知する。A/D変換部３１０は、被写体の光量をデジタル値に変換する。
【００１８】
＜タイミングずらし撮像による撮像フレームレートの向上＞
以上が本実施例の多眼カメラの構成だが、このような多眼カメラにおけるタイミングずらし撮像による撮像フレームレートの向上について、図５および図６を用いて説明する。図５は、撮像部１０１〜１０９が同時に撮像を行う場合の撮像タイミングを表しており、図６は、撮像部１０１〜１０９がタイミングずらし撮像を行う場合の撮像タイミングを表している。図５に示すように全撮像部が同時に撮像を行う場合、撮像タイミング５０１a〜５０９aなどは同じタイミングとなるため、結局多眼カメラ全体の撮像フレームレートは撮像部１０１〜１０９の元々有する撮像フレームレートと同一になる。
【００１９】
一方、図６のようにタイミングずらし撮像を行う場合、各々の撮像タイミングがずれるため、多眼カメラ全体の撮像フレームレートは撮像部１０１〜１０９の撮像フレームレート以上に向上する。例えば、図６において、撮像部１０１〜１０９の撮像フレームレートが15[fps]であれば、多眼カメラ全体の撮像フレームレートは15 x 9 = 135[fps]となる。なお、上記の例では、全ての撮像部のタイミングをずらしたが、一部の撮像部のタイミングのみをずらしても構わない。
【００２０】
＜動物体を写していない撮像部を含む多眼カメラによるタイミングずらし撮像＞
次に、本実施例の特徴であるタイミングずらし撮像を説明する。上述した従来のタイミングずらし撮像は一般にフレームレートを高くすることができるが、このタイミングずらし撮像は、全ての撮像部が動物体を写していない場合期待したフレームレートを得られない。この点について図７を用いて説明するが、説明を簡単にするため各撮像部と被写体である動物体との関係を二次元で考える。
【００２１】
図７は、多眼カメラを図１の縦方向、すなわち多眼カメラ下部から見た撮像部１０４、１０５および１０６の横方向の撮像範囲を模式的に示した図である。図７では、撮像部１０４および１０５は動物体７０１を捉えているが、撮像部１０６は動物体７０１を捉えていない。このような状況で、タイミングずらし撮像を行うと、撮像部１０６が撮像するタイミングでは、動物体７０１を記録することができない。ここでは、横方向についてのみ説明したが、縦方向についても同様である。
【００２２】
以上の点を踏まえて、図８に示すように、撮像部１０１、１０２、１０４および１０５は動物体を捉え（動物体撮像部群８０１）、撮像部１０３、１０６、１０７、１０８および１０９は動物体を捉えていない（非道物体撮像部群８０２）という状況を想定する。以下、動物体を捉えている撮像部を動物体撮像部および動物体部を捉えていない撮像部を非道物体撮像部とよぶ。
【００２３】
図９は、図８の多眼カメラを用いて図６に示した撮像タイミングで、タイミングずらし撮像を行った場合の多眼カメラ全体の撮像タイミングを示す図である。図６に示す撮像タイミングで撮像すると、撮像部１０１から１０９まで順にタイミングをずらし撮像が行われる。つまり、例えば撮像部１０１はタイミング６０１ａと６０１ｂとで撮像し、撮像部１０３はタイミング６０３ａと６０３ｂとで撮像する。ここで、図８を参照すると、動物体撮像部は撮像部１０１、１０２、１０４および１０５、非動物体撮像部は撮像部１０３、１０６ないし１０９なので、図９に示すように撮像タイミングを白と黒とで色分けする。そうすると、例えばタイミング６０１ａ、６０２ａは、動物体撮像部である撮像部１０１、１０２の撮像タイミングであるから黒となり、６０３ａ、６０６ａは、非動物対撮像部である撮像部１０３、１０６の撮像タイミングであるから白となる。
【００２４】
図９に示すように、撮像タイミング６０６a〜６０９aや撮像タイミング６０６b〜６０９bの間は連続して、非撮像部の撮像タイミングとなることから、この間は動物体を記録することができない。すなわち、撮像タイミング６０６a〜６０９a間の撮像は動物体についての多眼カメラ全体のフレームレートの向上に寄与しない。この結果、動物体の像を全ての撮像部で記録できない場合、タイミングずらし撮像を行っても、各撮像部の撮像タイミングを適切なものにしないと期待されるフレームレートを得られないこととなる。
【００２５】
一般にフレームレートをあげるためには、平均して短い間隔で動物体撮像部が撮像を行う必要があることから、例えば動物体撮像部と非動物体撮像部とが交互に撮像するようなタイミングで撮像するのが効率的である。そこで、本発明では、動物体撮像部を特定し、その特定結果に基づいて、動物体撮像部ができるだけ間を空けずに撮像を行うように撮像部１０１〜１０９の撮像タイミングを決定する。
【００２６】
＜撮像全体の処理＞
図１０は、本実施例における撮像処理のフローチャートである。まず、ステップS１００１で、撮像部１０１〜１０９がそれぞれタイミングをずらして撮像を行う。ステップS１００２で、ステップS１００１において取得した撮像画像データに対して後述する動物体判定処理を行う。ステップS１００３で、ステップS１００２の動物体判定処理の結果に基づいて、後述する撮像タイミング決定処理を行う。
【００２７】
ステップS１００４で、撮像終了か判定し、終了でない場合、ステップS１００１〜ステップS１００４までを繰り返す。ここで、ステップS１００１では、一度目の撮像はあらかじめ決められた撮像タイミングで撮像を行い、二度目以降の撮像はステップS１００３で決められた撮像タイミングで撮像を行う。本実施例では、一般に動物体が各撮像部の撮像範囲の内外を刻々と移動することから、繰り返し撮像を行うようにしているが、これに限られず本技術分野で知られた種々のタイミングで撮像することができる。
【００２８】
＜撮像タイミング制御部の構成＞
図１１は撮像タイミング制御部２１４の構成を示すブロック図である。撮像タイミング制御部２１４は、動物体判定部１１０１、撮像タイミング決定部１１０２により構成される。
【００２９】
動物体判定部１１０１は、撮像部１０１〜１０９による各撮像画像に動物体が写っているか否かをそれぞれ判定することで、撮像部１０１〜１０９の中から動物体撮像部を特定する。動物体判定処理の詳細は後述する。
【００３０】
撮像タイミング決定部１１０２は、動物体判定部１１０１が特定した動物体撮像部ができるだけ間を空けずに撮像を行うように、撮像部１０１〜１０９の撮像タイミングを決定する。撮像タイミング決定処理の詳細は後述する。
【００３１】
＜動物体判定部の処理＞
図１２は、動物体判定部１１０１の動作の例を示すフローチャートである。図１２は、撮像部１０１〜１０９のうちのある１つの撮像部による撮像画像中に、動物体が写っているかどうかを一定の判定条件に合致するか判定することにより判定する動作の例を示している。まず、ステップS１２０１で、ある１つの撮像部による撮像画像データを取得する。ステップS１２０２で、ステップS１２０１で取得した画像データと、その撮像部がそれ以前のタイミングに撮像し記憶しておいた画像データとの変化量を算出する。変化量は、本技術分野で知られたいずれの値も使用することができ、例えば画素値の平均誤差を用いることができる。ステップS１２０３で、ステップS１２０２で算出した変化量が、あらかじめ決められたしきい値（例えば、２５６階調の画像で、画素値の平均誤差が１６）以上かを判定し、しきい値以上であれば、ステップS１２０４で、動物体が写っていると判定する。しきい値以下であれば、ステップS１２０５で、動物体が写っていないと判定する。
【００３２】
ここで、動物体が写っていると判定された画像を撮像た撮像部は、動物体撮像部であると特定される。なお、上記の動物体判定方法は、三脚を用いるなどカメラが固定されている状況を想定したものだが、本発明はこれに限定されず、任意の動物体判定方法を用いてよい。
【００３３】
＜撮像タイミング決定部の処理の詳細＞
図１３および１４は、撮像タイミング決定部１１０２により決定した撮像タイミングの例を示す図である。図１３を用いて、撮像タイミング決定処理について説明する。
【００３４】
撮像タイミング決定部１１０２は、動物体判定部１１０１により判定された動物体撮像部の撮像タイミングが等間隔に近くなるように撮像部１０１〜１０９の撮像タイミングをそれぞれ決定する。このような撮像タイミング決定方法の一例を以下に示す。
【００３５】
まず、式(1)により、動物体撮像部の撮像タイミング間隔iを算出する。
【００３６】
【数１】
【００３７】
ここで、Nは撮像部の個数、nは動物体撮像部の個数が非動物体撮像部の個数以下のときは「動物体撮像部の個数」であり、動物体撮像部の個数が非動物体撮像部の個数より多いときは「非動物体撮像部の個数」である。また、ROUNDDAWN( )関数は剰余の切り捨てを行う関数である。このようにＮおよびｎをおくと、間隔iおきに動物体撮像部の撮像タイミングを配置されるように各撮像部の撮像タイミングを決定すれば、多眼カメラ全体のフレームレートが最も高くなることが理解できる。
【００３８】
間隔ｉおきに動物体撮像部に撮像させる撮像タイミングの具体的な決定方法は、本技術分野で知られたいずれかの方法で可能だが、例えば図１５に示すようなアルゴリズムを使用することができる。このアルゴリズムによって、図１３に示すように、N=9、n=4で、i=2となり、撮像部2個ごとに動物体撮像部の撮像タイミングが配置されるようになる。
【００３９】
図１５を参照すると、図８の例では動物体撮像部の個数が非動物体撮像部の個数以下なので、このアルゴリズムをそのまま使用する。まず、（１）動物体撮像部と非動物体撮像部をそれぞれラスタ順に並べる。次に、（２）動物体撮像部のうち最初の撮像部１０１のタイミング６０１ａを図１４に示すように配置する。（３）式(1)の間隔i-1個（2-1=1）の非動物体撮像部を順番に配置する。すなわち、最初の非動物体撮像部である撮像部１０３のタイミング６０３を、図１４に示すようにタイミング６０１の次のタイミングに配置する。（4）次の動物体撮像部を順番に配置する。すなわち、撮像部１０１の次の動物体撮像部である撮像部１０２のタイミング６０２を、図１４に示すようにタイミング６０３の次のタイミングに配置する。（5）全ての撮像部が配置されるまで（３）および（４）を繰り返し、余った撮像部があったら最後の撮像タイミングに配置する。以上のアルゴリズムにより、図１３に示すように撮像タイミングが決定する。
【００４０】
以上のアルゴリズムは、動物体撮像部の個数が非動物体撮像部の個数以下のとき使用することができるが、動物体撮像部の個数が非動物体撮像部の個数より多いときは、「動物体撮影部」と「非動物体撮影部」を逆にするだけで用いることができる。このように撮像タイミングを決定することによって、図１３に示すように動物体の動きを記録できないのは、長くても撮像タイミング６０８aと６０９aとの間、および撮像タイミング６０８bと６０９bとの間だけとなる。これにより、図９の例と比較して、動物体の動きを記録できない時間が短くなっている。例えば、各撮像部の撮像フレームレートを15[fps]とすると、図９の例では、最大4/135[s]の間、動物体の動きを記録できない。一方、図１３の例では、動物体の動きを記録できない時間が最大2/135[s]に短縮され、その分フレームレートが高くなる。
【００４１】
なお、動物体撮像部同士や、動物体を写していない撮像部同士の撮像タイミングの順番は任意である。また、本発明は、上記の撮像タイミング決定方法に限定されず、動物体の動きを記録できない時間を短くするような任意の撮像タイミング決定方法を用いてよい。
【００４２】
本実施例は、動物体が１つであることを前提にしているが、複数の動物体を識別して、各動物体ができるだけ間を空けずに撮像されるように撮像部１０１〜１０９の撮像タイミングを決定しても構わない。
【００４３】
以上説明したように、本実施例によれば、動物体撮像部を特定し、その特定結果に基づいて、撮像タイミングを決定する。これにより、多眼カメラ中に動物体を写していない撮像部を含む場合でも、動物体の動きを記録できない時間を短くし、フレームレートを向上させることができる。
【００４４】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数のプロセッサが連携して処理を行うことによっても実現できるものである。
【特許請求の範囲】
【請求項１】
異なる撮像範囲を有する複数の撮像手段を備え、該複数の撮像手段の各々により得られた複数の画像から出力画像を生成する撮像装置であって、
前記撮像手段の各々により取得した撮像画像に動物体が撮像されているか否かを判定し、前記複数の撮像手段のうち動物体を撮像している撮像手段を特定する動物体判定手段と、
前記複数の撮像手段が同時に撮像しないよう各撮像手段の撮像タイミングを変えて撮像させる撮像タイミング制御手段と
を備え、
前記撮像タイミング制御手段は、前記動物体判定手段により特定された、前記動物体を撮像している撮像手段の撮像タイミングを調整し、前記撮像手段の全体の撮像タイミングを決定して前記動物体についてのフレームレートを高くすることを特徴とする撮像装置。
【請求項２】
前記撮像タイミング制御手段は、前記動物体を撮像している撮像手段の各々の撮像タイミングが等間隔に近くなるように、前記撮像手段の撮像タイミングを決定する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記動物体判定手段は、前記撮像手段がお互いに異なるタイミングで取得した複数の前記撮像画像から変化量を算出し、その変化量が判定条件に合致したときに、前記撮像画像に動物体が撮像されていると判定することを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記算出する変化量は、前記撮像画像の画素値の平均誤差であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記判定条件は、前記変化量が予め定めたしきい値を超えることであることを特徴とする請求項３または４に記載の撮像装置。
【請求項６】
異なる撮像範囲を有する複数の撮像手段を備え、該複数の撮像手段の各々により得られた複数の画像から出力画像を生成する撮像装置の撮像方法であって、
前記撮像手段の各々により取得した撮像画像に動物体が撮像されているか否かを判定し、前記複数の撮像手段のうち動物体を撮像している撮像手段を特定する動物体判定ステップと、
前記複数の撮像手段が同時に撮像しないよう各撮像手段の撮像タイミングを変えて撮像させる撮像タイミング制御ステップと
を備え、
前記撮像タイミング制御ステップは、前記動物体判定手段により特定された、前記動物体を撮像している撮像手段の撮像タイミングを調整し、前記撮像手段の全体の撮像タイミングを決定して前記動物体についてのフレームレートを高くすることを特徴とする撮像装置。
【請求項７】
撮像装置に、異なる撮像範囲を有する複数の撮像手段を備え、該複数の撮像手段の各々により得られた複数の画像から出力画像を生成する撮像方法を実行させるプログラムであって、該撮像方法は、
前記撮像手段の各々により取得した撮像画像に動物体が撮像されているか否かを判定し、前記複数の撮像手段のうち動物体を撮像している撮像手段を特定する動物体判定ステップと、
前記複数の撮像手段が同時に撮像しないよう各撮像手段の撮像タイミングを変えて撮像させる撮像タイミング制御ステップと
を備え、
前記撮像タイミング制御ステップは、前記動物体判定手段により特定された、前記動物体を撮像している撮像手段の撮像タイミングを調整し、前記撮像手段の全体の撮像タイミングを決定して前記動物体についてのフレームレートを高くすることを特徴とするプログラム。
【請求項１】
異なる撮像範囲を有する複数の撮像手段を備え、該複数の撮像手段の各々により得られた複数の画像から出力画像を生成する撮像装置であって、
前記撮像手段の各々により取得した撮像画像に動物体が撮像されているか否かを判定し、前記複数の撮像手段のうち動物体を撮像している撮像手段を特定する動物体判定手段と、
前記複数の撮像手段が同時に撮像しないよう各撮像手段の撮像タイミングを変えて撮像させる撮像タイミング制御手段と
を備え、
前記撮像タイミング制御手段は、前記動物体判定手段により特定された、前記動物体を撮像している撮像手段の撮像タイミングを調整し、前記撮像手段の全体の撮像タイミングを決定して前記動物体についてのフレームレートを高くすることを特徴とする撮像装置。
【請求項２】
前記撮像タイミング制御手段は、前記動物体を撮像している撮像手段の各々の撮像タイミングが等間隔に近くなるように、前記撮像手段の撮像タイミングを決定する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記動物体判定手段は、前記撮像手段がお互いに異なるタイミングで取得した複数の前記撮像画像から変化量を算出し、その変化量が判定条件に合致したときに、前記撮像画像に動物体が撮像されていると判定することを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記算出する変化量は、前記撮像画像の画素値の平均誤差であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記判定条件は、前記変化量が予め定めたしきい値を超えることであることを特徴とする請求項３または４に記載の撮像装置。
【請求項６】
異なる撮像範囲を有する複数の撮像手段を備え、該複数の撮像手段の各々により得られた複数の画像から出力画像を生成する撮像装置の撮像方法であって、
前記撮像手段の各々により取得した撮像画像に動物体が撮像されているか否かを判定し、前記複数の撮像手段のうち動物体を撮像している撮像手段を特定する動物体判定ステップと、
前記複数の撮像手段が同時に撮像しないよう各撮像手段の撮像タイミングを変えて撮像させる撮像タイミング制御ステップと
を備え、
前記撮像タイミング制御ステップは、前記動物体判定手段により特定された、前記動物体を撮像している撮像手段の撮像タイミングを調整し、前記撮像手段の全体の撮像タイミングを決定して前記動物体についてのフレームレートを高くすることを特徴とする撮像装置。
【請求項７】
撮像装置に、異なる撮像範囲を有する複数の撮像手段を備え、該複数の撮像手段の各々により得られた複数の画像から出力画像を生成する撮像方法を実行させるプログラムであって、該撮像方法は、
前記撮像手段の各々により取得した撮像画像に動物体が撮像されているか否かを判定し、前記複数の撮像手段のうち動物体を撮像している撮像手段を特定する動物体判定ステップと、
前記複数の撮像手段が同時に撮像しないよう各撮像手段の撮像タイミングを変えて撮像させる撮像タイミング制御ステップと
を備え、
前記撮像タイミング制御ステップは、前記動物体判定手段により特定された、前記動物体を撮像している撮像手段の撮像タイミングを調整し、前記撮像手段の全体の撮像タイミングを決定して前記動物体についてのフレームレートを高くすることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−２２２５２６（Ｐ２０１２−２２２５２６Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８４８６４（Ｐ２０１１−８４８６４）
【出願日】平成２３年４月６日（２０１１．４．６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月６日（２０１１．４．６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]