画像処理方法、撮影装置、および画像処理装置
【課題】 撮影画像データを取得して三次元画像を表示することができる画像処理方法、三次元の画像を表示するための画像データを得ることができる撮影装置および画像処理装置を提供する。
【解決手段】 撮影光学系１０１で第１のフォーカスレンズ１０１ｃの合焦位置（前方）と第２のフォーカスレンズ１０１ｉの合焦位置（後方）の撮影画像（２Ｄ化像）を生成し、各撮影画像における各画素の輝度を、各画素の合焦の程度が高いほど高輝度側に調整した２つの輝度調整画像を表わす２つの輝度調整画像データを輝度比処理部１３０で生成するとともに、各撮影画像の合焦の程度が低い領域ほど高い圧縮率で圧縮した２つの圧縮画像を表わす２つの圧縮画像データを圧縮率処理部１３１，圧縮処理回路１２３で生成して、画像表示部１３の、重ねて配置された２枚の光透過性表示画面上に表示する。
【解決手段】 撮影光学系１０１で第１のフォーカスレンズ１０１ｃの合焦位置（前方）と第２のフォーカスレンズ１０１ｉの合焦位置（後方）の撮影画像（２Ｄ化像）を生成し、各撮影画像における各画素の輝度を、各画素の合焦の程度が高いほど高輝度側に調整した２つの輝度調整画像を表わす２つの輝度調整画像データを輝度比処理部１３０で生成するとともに、各撮影画像の合焦の程度が低い領域ほど高い圧縮率で圧縮した２つの圧縮画像を表わす２つの圧縮画像データを圧縮率処理部１３１，圧縮処理回路１２３で生成して、画像表示部１３の、重ねて配置された２枚の光透過性表示画面上に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像データを取得して表示する画像処理方法、撮影画像データを生成する撮影装置、および撮影画像データを取得して処理する画像処理装置に関する。
【背景技術】
【０００２】
従来より、撮影装置において、被写体を結像させる撮影光学系やその撮影光学系を経由して得られた画像に関する様々な技術が提案されている。例えば、撮影光学系を経由して入射してきた被写体像を瞬時に可視像として電子的に且つ直接的に記録現像する電子現像型カメラにおいて、撮影時には複数の電子現像型記録媒体をそれぞれ異なった像面に位置決めするとともに、撮影終了後には複数の電子現像型記録媒体を一平面に整列させて固定するホルダ組立体を備えた技術が提案されている（特許文献１参照）。この技術によれば、光路長補正プリズムが不要であるとともに複数の電子現像型記録媒体からの記録画像の読み取りを容易に行なうことができる。
【０００３】
また、電子部品上の検査点の位置を三角測量により測定するにあたり、ビームスプリッタを設けて電子部品からの光束を２つに分割し、各光束内に各カメラを配置する技術が提案されている（特許文献２参照）。この技術によれば、各カメラの光軸間隔を数ミリ程度まで接近させることができるため、半導体素子のような小さな電子部品上の検査点であっても、その立体的な凹凸を正確に測定することができる。
【０００４】
さらに、接眼鏡筒部の傾斜角が可変な実体顕微鏡用傾斜角可変双眼鏡筒において、固定鏡筒部と可動鏡筒部とを備え、固定鏡筒部を可動鏡筒部でコの字状に囲い、可動鏡筒部内に像回転補正光学系を配置する技術が提案されている（特許文献３参照）。この技術によれば、鏡筒部の小型化が図れるとともに、医療における手術等の作業性を高めることができる。
【０００５】
また、観察者の視線方向から射影して生成された二次元画像を、その観察者から見て異なった奥行き位置に配備された複数の表示面にそれぞれ表示するとともに、それら表示される二次元画像の輝度を各表示面毎にそれぞれ独立に変化させて、三次元画像（立体像）を表示する三次元画像表示方法において、各表示面に表示される二次元画像の透過度を各表示面毎にそれぞれ独立に変化させて、各表示面に表示される二次元画像の輝度をそれぞれ独立に変化させる技術が提案されている（特許文献４参照）。この技術によれば、眼鏡を用いることなく動画表示が可能であり、また立体視の生理的要因間での矛盾（例えば、両眼視差および輻輳と、ピント調節との間での矛盾）を抑制することができ、さらに電気的に表示の書換えが可能である。
【０００６】
さらに、観察者から見て異なった奥行き位置に配備された複数の表示面それぞれに、表示対象物を観察者の視線方向から射影して生成された二次元画像を表示し、それら表示される二次元画像の輝度を各表示面毎にそれぞれ独立に変化させるとともに、観察者の最も近い位置に配置された表示面に備えられた光の偏向方向が互いにそれぞれ異なる複数の領域を有する光学部材で、その表示面に入射する入射光をそれぞれ異なる方向に出射する技術が提案されている（特許文献５参照）。この技術によれば、簡単な構成で、複数の観察者に対して同時に三次元画像を表示することができる。
【０００７】
また、第１，第２の透明自発光型表示装置と、反射ミラーと、波長変換手段と、フィルタ膜とを備え、第１，第２の透明自発光型表示装置からの発光光の通過をフィルタ膜で阻止するとともに波長変換手段で変換された所定波長の光を通過させ、第１，第２の透明自発光型表示装置に表示される二次元像の輝度を、第１，第２の画素群ごとにそれぞれ独立に変化させる技術が提案されている（特許文献６参照）。この技術によれば、立体視の生理的要因間での矛盾を抑制することができ、且つ眼鏡を用いることなくカラー画像の三次元画像の表示が可能であり、また構成が簡単でコンパクトな三次元画像表示装置を提供することができる。
【０００８】
さらに、電子内視鏡装置において、対物レンズ，光学ローパスフィルタから出射される像光を接合プリズムで分離し、分離した光を、異なる光路長に設定された遠点用ＣＣＤと近点用ＣＣＤへ入射させる技術が提案されている（特許文献７参照）。この技術によれば、異なる距離にピントが合った複数の画像を同時に撮影して表示することができ、診断や処置等に有益な情報を得ることができる。
【０００９】
また、電子内視鏡装置において、対物レンズ，光学ローパスフィルタから出射される像光をクロスプリズムで三つの光路に分離し、これらの分離光を入射するように、異なる光路長に設定された遠点用ＣＣＤと近点用ＣＣＤを配置するとともに、別の遠点用ＣＣＤを上記遠点用ＣＣＤに対し半画素ずれた位置に設ける技術が提案されている（特許文献８参照）。この技術によれば、異なる距離にピントが合った複数の画像を同時に表示することができるとともに高解像度化が図られて、診断や処置等に有益な情報を得ることができる。
【特許文献１】特開平９−９６８６５号公報
【特許文献２】特開平９−４２９４６号公報
【特許文献３】特開平１１−２３１２２６号公報
【特許文献４】特開２００１−５４１４４号公報
【特許文献５】特開２００３−６６３７１号公報
【特許文献６】特開２００４−１５７２９６号公報
【特許文献７】特開平１１−１９７０９７号公報
【特許文献８】特開平１１−１９７０９８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上述した特許文献１，２，３，７に提案された技術は、撮影光学系を工夫した技術であり、また特許文献４，５，６，８に提案された技術は、三次元画像を表示するための技術である。このように、上述した特許文献１〜８には、撮影光学系の工夫や撮影光学系を経由して得られた画像を三次元的に表示する技術が提案されている。しかし、これらの特許文献１〜８には、三次元画像を表示するために必要である撮影画像データを生成したりあるいは取得して画像処理を行なう技術に関しては記載されていない。
【００１１】
本発明は、上記事情に鑑み、撮影画像データを取得して三次元画像を表示することができる画像処理方法、三次元の画像を表示するための画像データを得ることができる撮影装置、および画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成する本発明の画像処理方法は、
同一被写体に対する、ピントの合った距離が互いに異なる複数の撮影画像を表わす複数の撮影画像データを取得し、
各撮影画像における各画素の輝度を、その各画素の合焦の程度が高いほど高輝度側に調整した複数の輝度調整画像を表わす複数の輝度調整画像データを生成し、
重ねて配置された複数枚の光透過性表示画面上に上記複数の輝度調整画像を１枚ずつ表示することを特徴とする。
【００１３】
本発明の画像処理方法は、先ず、同一被写体に対する、ピントの合った距離が互いに異なる複数の撮影画像を表わす複数の撮影画像データを取得する。このようにすることにより、三次元の画像を表示するための撮影画像データを取得する。次いで、各撮影画像における各画素の輝度を、その各画素の合焦の程度が高いほど高輝度側に調整した複数の輝度調整画像を表わす複数の輝度調整画像データを生成する。これにより、観察者から見て、例えば、近い撮影画像（前方の画像）にピントが合っている場合は、その前方の画像の各画素の輝度を高輝度側に調整するとともに遠い撮影画像（後方の画像）の各画素の輝度を低輝度側に調整した２つの輝度調整画像を表わす２つの輝度調整画像データを生成する。さらに、この例の場合は、重ねて配置された２枚の光透過性表示画面上に上記２つの輝度調整画像を１枚ずつ表示する。このようにして、撮影画像データを取得して複数の輝度調整用画像データを生成し、重ねて配置された複数枚の光透過性表示画面上に複数の輝度調整画像を１枚ずつ表示することにより、三次元の画像を表示することができる。
【００１４】
ここで、本発明の画像処理方法において、各撮影画像を、その各撮影画像の合焦の程度が低い領域ほど高い圧縮率で圧縮した複数の圧縮画像を表わす複数の圧縮画像データを生成し、上記複数の圧縮画像データを保存することが好ましい。
【００１５】
撮影画像の合焦の程度が低い領域はピントが合っていないためボケの程度が大きく、従って高い圧縮率で圧縮し、また撮影画像の合焦の程度が高い領域はピントが合っているためボケの程度は小さく、従って低い圧縮率で圧縮する。このようにすることにより、三次元画像を表示するための画像データを効率よく圧縮することができる。
【００１６】
また、上記目的を達成する本発明の撮影装置のうちの第１の撮影装置は、
撮影により、同一被写体に対する、ピントの合った距離が互いに異なる複数の撮影画像を表わす複数の撮影画像データを生成する撮影部と、
各撮影画像における各画素の輝度を、その各画素の合焦の程度が高いほど高輝度側に調整した複数の輝度調整画像を表わす複数の輝度調整画像データを生成する画像処理部とを備えたことを特徴とする。
【００１７】
ここで、本発明の第１の撮影装置において、重ねて配置された複数枚の光透過性表示画面を有し、それら複数枚の表示画面上に上記複数の輝度調整画像を１枚ずつ表示する画像表示部を備えたことが好ましい。
【００１８】
本発明の第１の撮影装置は、三次元の画像を表示するための撮影画像データを撮影部で生成し、生成された撮影画像データで表わされる各撮影画像における各画素の輝度を、その各画素の合焦の程度が高いほど高輝度側に調整した複数の輝度調整画像を表わす複数の輝度調整画像データを画像処理部で生成するものである。このため、観察者から見て、例えば、前方の画像にピントが合っている場合は、その前方の画像の各画素の輝度が高輝度側に調整されるとともに後方の画像の各画素の輝度が低輝度側に調整された２つの輝度調整画像を表わす２つの輝度調整画像データが生成される。ここで、本発明の第１の撮影装置に上記画像表示部を備えた場合、その画像表示面が有する重ねて配置された２枚の光透過性表示画面上に上記２つの輝度調整画像を１枚ずつ表示することができる。このようにすることにより、撮影画像データを取得し、取得した撮影画像データに基づいて三次元画像を表示することができる。
【００１９】
さらに、上記目的を達成する本発明の撮影装置のうちの第２の撮影装置は、
撮影により、同一被写体に対するピントの合った距離が互いに異なる複数の撮影画像を表わす複数の撮影画像データを生成する撮影部と、
各撮影画像を、その各撮影画像の合焦の程度が低い領域ほど高い圧縮率で圧縮した複数の圧縮画像を表わす複数の圧縮画像データを生成する画像圧縮部とを備えたことを特徴とする。
【００２０】
本発明の第２の撮影装置は、三次元の画像を表示するための撮影画像データを撮影部で取得し、取得した撮影画像データで表わされる各撮影画像を、その各撮影画像の合焦の程度が低い領域ほど高い圧縮率で圧縮した複数の圧縮画像を表わす複数の圧縮画像データを画像圧縮部で生成するものである。このため、撮影画像の合焦の程度が低い領域は高い圧縮率で圧縮され、また撮影画像の合焦の程度が高い領域は低い圧縮率で圧縮される。従って、三次元画像を表示するための画像データを効率よく圧縮することができる。
【００２１】
また、上記目的を達成する本発明の画像処理装置は、
同一被写体に対する、ピントの合った距離が互いに異なる複数の撮影画像を表わす複数の撮影画像データを取得する画像取得部と、
各撮影画像における各画素の輝度を、その各画素の合焦の程度が高いほど高輝度側に調整した複数の輝度調整画像を表わす複数の輝度調整画像データを生成する画像処理部とを備えたことを特徴とする。
【００２２】
ここで、本発明の画像処理装置において、重ねて配置された複数枚の光透過性表示画面を有し、それら複数枚の表示画面上に上記複数の輝度調整画像を１枚ずつ表示する画像表示部を備えたことが好ましい。
【００２３】
本発明の画像処理装置は、三次元の画像を表示するための撮影画像データを画像取得部で取得し、取得した撮影画像データで表わされる各撮影画像における各画素の輝度を、その各画素の合焦の程度が高いほど高輝度側に調整した複数の輝度調整画像を表わす複数の輝度調整画像データを画像処理部で生成するものである。このため、観察者から見て、例えば、前方の画像にピントが合っている場合は、その前方の画像の各画素の輝度が高輝度側に調整されるとともに後方の画像の各画素の輝度が低輝度側に調整された２つの輝度調整画像を表わす２つの輝度調整画像データが生成される。ここで、本発明の画像処理装置に上記画像表示部を備えた場合、その画像表示面が有する重ねて配置された２枚の光透過性表示画面上に上記２つの輝度調整画像を１枚ずつ表示することができる。このようにすることにより、撮影画像データを取得し、取得した撮影画像データに基づいて三次元画像を表示することができる。
【００２４】
また、本発明の画像処理装置において、各撮影画像を、その各撮影画像の合焦の程度が低い領域ほど高い圧縮率で圧縮した複数の圧縮画像を表わす複数の圧縮画像データを生成することも好ましい態様である。
【００２５】
このように、撮影画像の合焦の程度が低い領域は高い圧縮率で圧縮し、また撮影画像の合焦の程度が高い領域は低い圧縮率で圧縮することにより、三次元画像を表示するための画像データを効率よく圧縮することができる。
【発明の効果】
【００２６】
本発明によれば、撮影画像データを取得して三次元画像を表示することができる画像処理方法、三次元の画像を表示するための画像データを得ることができる撮影装置および画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施の形態について説明する。
【００２８】
図１は、本発明の第１の撮影装置および本発明の第２の撮影装置の双方の一実施形態であるデジタルカメラを上方から見た上面図（図１（ａ））、正面から見た正面図（図１（ｂ））および背面から見た背面図（図１（ｃ））である。
【００２９】
このデジタルカメラ１は、撮影により、同一被写体に対するピントのあった距離が互いに異なる２つの撮影画像を表わす２つの撮影画像データを生成して三次元画像を表示することができるデジタルカメラである。また、このデジタルカメラ１には、本発明の画像処理方法の一実施形態が適用されている。
【００３０】
先ず、このデジタルカメラ１の概要について説明する。
【００３１】
このデジタルカメラ１は、図１（ａ），図１（ｂ）に示すようにカメラボディ１ａの中央にレンズ鏡胴１０が配備されている。また、このカメラボディ１ａの上面にはパワーボタン１１が配備されており、このパワーボタン１１が操作されると、図１（ａ），（ｂ）に示すようにレンズ鏡胴１０が繰出されて撮影準備が整えられるようになっている。
【００３２】
さらに、カメラボディ１ａ上面には、電源投入用のパワーボタン１１のほか、レリーズボタン１２とそのレリーズボタン１２の廻りに撮影モードダイヤル１２＿１とが配備されており、この撮影モードダイヤル１２＿１がＡＵＴＯに切り替えられているときにレリーズボタン１２が押されて撮影が行なわれるときにはデジタルカメラ１の内部に自動的に撮影条件が設定されて撮影が行なわれる。また、この撮影モードダイヤル１２＿１が動画撮影モードに切り替えられると、動画撮影が行なわれるようになり、シーンポジション（符号ＳＰ）側に切り替えられると、撮影シーンに応じた撮影条件がデジタルカメラ１内部に自動的に設定されて撮影が行なわれるようになる。
【００３３】
また、図１（ｃ）に示すように、カメラボディ１ａの背面側には、詳細は後述する画像表示部（液晶モニタ）１３が設けられており、撮影モード時には、この画像表示部１３上に被写体が表示されたり、メニューが表示されたりする。この撮影モードにあるときに画像表示部１３の脇にある再生ボタン１４が一度押されると、再生モードに切り替わり既撮影画像が画像表示部１３上に表示され、この再生ボタン１４が再度押されると、撮影モードに切り替わりスルー画像が画像表示部１３上に表示される。また、再生モードボタン１４の横には、Ｆ（フォトモード）ボタン１５が配備されており、よく用いられるモード、例えばピクセル設定モードや感度設定モードなどの切り替えがこのＦボタン１５の操作により簡単に行なえるようにもなっている。
【００３４】
また、そのＦボタン１５の下方には十字キー１６やＯＫ／メニューボタン１７が配備され上方にはズームスイッチ１８が配備されている。これら十字キー１６やＯＫ／メニューボタン１７の操作により、セットアップメニューに切り替えて日時の設定や画像表示を行なうか否かの設定等を行なったり、撮影メニューに切り替えて連写，セルフタイマ等を選択したりすることができる。
【００３５】
さらに、十字キー１６の下方には、画像表示部１３の表示を切り換えたり操作を途中でやめるときなどに使用されるＤＳＰ／ＢＡＣＫボタン１９が配備されている。
【００３６】
また、図１（ｂ）に示すカメラボディ１ａの正面には測光センサ２０や閃光発光窓２１が配備されており、閃光発光が必要な場合にはその閃光発光窓２１から閃光が被写体に向けて発光されるようになっている。
【００３７】
図２は、図１に示すデジタルカメラの内部構成を示す図である。
【００３８】
このデジタルカメラ１には、撮影光学系１０１（本発明にいう撮像部の一例に相当）を構成するアイリス１０１ａ，ズームレンズ１０１ｂ，第１のフォーカスレンズ１０１ｃと、ハーフミラー１０１ｄ，第１の反射鏡１０１ｅ，第２の反射鏡１０１ｆ，第１のＣＣＤ１０１ｇと、第３の反射鏡１０１ｈ，第２のフォーカスレンズ１０１ｉ，第２のＣＣＤ１０１ｊとが備えられている。
【００３９】
また、このデジタルカメラ１には、アイリス１０１ａ，ズームレンズ１０１ｂ，第１のフォーカスレンズ１０１ｃ用のモータを駆動するモータドライバ１１１，１１２，１１３が備えられている。
【００４０】
さらに、デジタルカメラ１には、タイミングジェネレータ１１４と、ＣＰＵ１１５が備えられている。タイミングジェネレータ１１４は、ＣＰＵ１１５からの指示により所定のタイミングで第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊを駆動する。これにより、第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊに入射されている被写体光が所定のフレームレートで光電変換され、それら第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊからアナログ画像信号として出力される。尚、第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊを含む撮影光学系１０１における詳細な動作説明については後述するが、この撮影光学系１０１は、撮影により、同一被写体に対する、ピントのあった距離が互いに異なる２つの撮影画像を表わす２つの撮影画像データを生成する。
【００４１】
ＣＰＵ１１５は、このデジタルカメラ１全体の制御を行なう。具体的には、ＣＰＵ１１５にはＲＯＭが内蔵されており、その内蔵されたＲＯＭのプログラムの手順にしたがってデジタルカメラ１全体の動作が制御される。
【００４２】
さらに、デジタルカメラ１には、第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊから出力されたアナログ画像信号の雑音を低減する処理等を行なう第１のＣＤＳＡＭＰ１１６，第２のＣＤＳＡＭＰ１１７と、それらの処理等が施されたアナログ画像信号をデジタル画像信号にアナログ／デジタル変換する第１のＡ／Ｄ変換回路１１８，第２のＡ／Ｄ変換回路１１９と、これら第１のＡ／Ｄ変換回路１１８，第２のＡ／Ｄ変換回路１１９でデジタル画像信号に変換されたＲＧＢからなる画像データをデータバスを介して、メモリであるＳＤＲＡＭ１２０に転送する画像入力コントローラ１２１とが備えられている。
【００４３】
また、デジタルカメラ１には、ＳＤＲＡＭ１２０の画像データを読み出させ、ＹＣ信号への変換を行なう画像処理プロセスを実行する画像信号処理回路１２２と、画像処理プロセスが終了した時点でＪＰＥＧプロセスを実行して画像データの圧縮を行なう圧縮処理回路１２３と、画像データをビデオ信号に変換して画像表示部１３に導くためのＶｉｄｅｏ／ＬＣＤエンコーダ１２４とが備えられている。尚、圧縮処理回路１２３では、後述する圧縮率処理部１３１からの情報を参照して、画像データの圧縮を行なう。
【００４４】
さらに、デジタルカメラ１には、画像のピント情報を検出するＡＦ検出回路１２５と、画像の輝度情報と白色バランス情報を検出するＡＥ＆ＡＷＢ検出部１２６と、作業領域用のメモリとしても使用される前述したＳＤＲＡＭ１２０と、Ａ領域，Ｂ領域を有する表示用のバッファとしてのＶＲＡＭ１２７と、画像データを記録メディア１１０に記憶するための制御を行なうメディアコントローラ１２８と、測光センサ２０とが備えられている。
【００４５】
また、デジタルカメラ１には、フラッシュ発光部１２９と、前述したパワーボタン１１，レリーズボタン１２，撮影モードダイヤル１２＿１，再生ボタン１４，Ｆボタン１５，十字キー１６、ＯＫ／メニューボタン１７，ズームスイッチ１８，ＤＳＰ／ＢＡＣＫボタン１９からなる操作スイッチ群１００が備えられている。
【００４６】
さらに、デジタルカメラ１には、撮影光学系１０１で生成された２つの撮影画像データで表わされる２つの撮影画像の各撮影画像における各画素の輝度を、その各画素の合焦の程度が高いほど高輝度側に調整した２つの輝度調整画像を表わす２つの輝度調整画像データを生成する輝度比処理部１３０（本発明にいう画像処理部の一例に相当）が備えられている。
【００４７】
ここで、画像表示部１３は、重ねて配置された２枚の光透過性表示画面を有し、これら２枚の表示画面上に２つの輝度調整画像を１枚ずつ表示するものであり、眼鏡を用いないで動画表示が可能な３次元表示装置である。
【００４８】
また、デジタルカメラ１には、各撮影画像を、その各撮影画像の合焦の程度が低い領域ほど高い圧縮率で圧縮した２つの圧縮画像を表わす２つの圧縮画像データを生成する情報を、前述した圧縮処理回路１２３に提供する圧縮率処理部１３１が備えられている。圧縮処理回路１２３では、この情報を参照して、画像データの圧縮を行なう。ここで、圧縮率処理部１３１および圧縮処理回路１２３が、本発明にいう画像圧縮部の一例に相当する。
【００４９】
次に、このデジタルカメラ１の概略動作について説明する。
【００５０】
このデジタルカメラ１の動作は統括的にＣＰＵ１１５により制御される。このＣＰＵ１１５内にはＲＯＭが内蔵されており、その内蔵されたＲＯＭ内にプログラムが格納されている。このプログラムの手順にしたがってデジタルカメラ１全体の動作がＣＰＵ１１５により制御される。また、ＳＤＲＡＭ１２０にはＲＯＭに記述されているプログラムの手順にしたがってＣＰＵ１１５がこのデジタルカメラ１全体を制御しているときに、処理中の画像データが一時的に格納されたりする。
【００５１】
また、表示用のバッファとしてのＶＲＡＭ１２７にはスルー画像を表わす画像データがＡ領域、Ｂ領域に順次記憶され、それらの領域にある画像データが交互にＶｉｄｅｏ／ＬＣＤエンコーダ１２４に供給され画像データに基づく画像が順次切り換えられてスルー画像として画像表示部１３上に表示される。ここで、画像表示部１３上に表示されるスルー画は、詳細は後述するが、眼鏡を用いないでも観察することができる三次元の動画である。
【００５２】
ここでは、撮影モードダイヤル１２＿１（図１参照）がＡＵＴＯに切り替えられて撮影が行なわれた場合の画像データの流れを、図２を参照して説明する。
【００５３】
撮影モードダイヤル１２＿１がＡＵＴＯに切り替えられると、ＣＰＵ１１５は撮影光学系１０１を経由した被写体光を第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊで捉え、それらの第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊで生成される画像データを所定の間隔ごとに第１のＣＤＳＡＭＰ１１６，第２のＣＤＳＡＭＰ１１７側へ出力させ、第１のＡ／Ｄ変換部１１８，第２のＡ／Ｄ変換部１１９および画像入力コントローラ１２１，輝度比処理部１３０，画像信号処理回路１２２で表示可能な画像データに変換してスルー画像を画像表示部１３の画面上に表示させる。そのスルー画像に基づいて任意にフレーミングが行なわれ、ＡＦ検出回路１２５が絶えず第１のフォーカスレンズ１０１ｃ，第２のフォーカスレンズ１０１ｈを前後させ、後述するようにして合焦点検出を行なって、焦点のあった画像を第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊに結像させる。このときにはＡＥ＆ＡＷＢ検出部１２６によって被写界輝度が検出され、その検出結果に基づいてホワイトバランス調整のためにＲ、Ｇ、Ｂの各色信号のゲインが調整されたりする。このように被写界輝度に応じて露出が調節され焦点のあった画像を表わす画像データを、タイミングジェネレータ１１４からのタイミング信号に応じて所定の間隔ごとに第１のＣＤＳＡＭＰ１１６，第２のＣＤＳＡＭＰ１１７へ出力させ、後段でスルー画像を得ている。撮影者はこのスルー画像を見ながらフレーミングを行ない、シャッタチャンスにレリーズ操作を行なう。
【００５４】
レリーズ操作が行なわれると、ＣＰＵ１１５は、第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊにレリーズ操作時の画像を結像させるため、タイミングジェネレータ１１４からタイミング信号を供給させる。このタイミング信号は第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊに露光開始および露光終了を告げるものでありいわゆるシャッタスピードに相当する。ＣＰＵ１１５はこの露光終了時に第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊから画像データ（ＲＧＢの光の３原色Ｒ，Ｇ、Ｂからなる画像データ）を出力させ、後段の第１のＣＤＳＡＭＰ１１６，第２のＣＤＳＡＭＰ１１７に供給させる。さらに、第１のＣＤＳＡＭＰ１１６，第２のＣＤＳＡＭＰ１１７でそれら第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊから出力された画像データの雑音が低減され、その雑音が低減された画像データが第１のＡ／Ｄ変換部１１８，第２のＡ／Ｄ変換部１１９でデジタル信号に変換される。これら第１のＡ／Ｄ変換部１１８，第２のＡ／Ｄ変換部１１９でデジタル信号に変換されたＲＧＢからなる画像データは、後段の画像入力コントローラ１２１によりデータバスを介してＳＤＲＡＭ１２０に供給され、このＳＤＲＡＭ１２０に第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊのすべての画素の画像データが記憶される。すべての画素データに対応する画像データがＳＤＲＡＭ１２０に記憶されると、ＣＰＵ１１５が後述する輝度比処理部１３０，画像信号処理回路１２２の画像処理プロセスを起動させ、その画像処理プロセスによってＳＤＲＡＭ１２０の画像データを読み出させ、ＹＣ信号への変換を行なわせる。さらに、この画像信号処理部１２２の画像処理プロセスが終了したことをＣＰＵ１１５が検知すると、ＣＰＵ１１５は後述する圧縮率処理部１３１，圧縮処理回路１２３のＪＰＥＧプロセスを起動させ、ＪＰＥＧプロセスによって画像データの圧縮を行なわせる。これら圧縮率処理部１３１，圧縮処理回路１２３での圧縮が完了したことをＣＰＵ１１５が検知すると、ＣＰＵ１１５は次に記録処理プロセスを起動させ、ＪＰＥＧ圧縮された画像データを、メディアコントローラ１２８を介して記録メディア１１０に記録させる。このようにして、画像データの処理が行なわれる。
【００５５】
図３は、図２に示す撮影光学系で前面と後面の２次元画像を同時に生成する様子を説明するための図である。
【００５６】
眼鏡を用いないで動画表示が可能な３次元表示装置である画像表示部１３に、画像データを供給するためには、３次元物体を観察者から見て遠い表示面と近い表示面の２つの面にて射影できる２次元的な画像（２Ｄ化像）を生成する必要がある。本実施形態のデジタルカメラ１は、観察者から見て遠い表示面（後方）の画像と、観察者から見て近い表示面（前方）の画像を、同時に撮像する撮影装置である。
【００５７】
本実施形態の特徴の１つは、図３に示すように、第１のＣＣＤ１０１ｇと第２のＣＣＤ１０１ｊにおける２つの光学系であって、焦点距離が異なり、光軸および光路長が同じである撮影光学系１０１にある。また、本実施形態の効果の１つは、光軸と光路長が同じであり、２つの撮像素子である第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊを持つデジタルカメラに、合焦調節レンズ（第２のフォーカスレンズ１０１ｉ）を挿入するだけで、三次元画像表示（３Ｄ表示）に必要な２Ｄ化像を生成することができることにある。
【００５８】
ここでは、被写体Ａと被写体Ｂが距離Ｌだけ離れており、被写体Ａは被写体Ｂより後方に位置し、被写体Ａと被写体Ｂはデジタルカメラ１の方向に対して互いに重ならないように実在しする場合を例に挙げて説明する。
【００５９】
被写体Ｂは被写体Ａより前方に位置し、合焦調節レンズ（第１のフォーカスレンズ１０１ｃ）で被写体Ｂに焦点（ピント）を合わせると、第１のフォーカスレンズ１０１ｃの合焦位置での画像が、光量調節用絞り（アイリス１０１ａ）、倍率調節用レンズ（ズームレンズ１０１ｂ）、第１のフォーカスレンズ１０１ｃを通過してハーフミラー１０１ｄにて約半分の光が透過して、反射鏡２枚（第１の反射鏡１０１ｅ，第２の反射鏡１０１ｆ）を経由して第１のＣＣＤ１０１ｇに入射する。
【００６０】
被写体Ａは被写体Ｂより後方に位置し、第２のフォーカスレンズ１０１ｉで被写体Ａに焦点（ピント）を合わせると、第２のフォーカスレンズ１０１ｉの合焦位置での画像が、アイリス１０１ａ，ズームレンズ１０１ｂ，第１のフォーカスレンズ１０１ｃを通過してハーフミラー１０１ｄにて約半分の光が反射して、第３の反射鏡１０１ｈを経由し、第２のフォーカスレンズ１０１ｉを通過して、第２のＣＣＤ１０１ｊに入射する。
【００６１】
第１のＣＣＤ１０１ｇの撮像画像は、前方位置にある被写体Ｂに合焦しており、後方位置にある被写体Ａには非合焦である。第２のＣＣＤ１０１ｊの撮像画像は、後方位置にある被写体Ａに合焦しており、前方位置にある被写体Ｂには非合焦である。
【００６２】
前述したように、このデジタルカメラ１の撮影光学系１０１を用いると、第１のフォーカスレンズ１０１ｃの合焦位置（前方）と第２のフォーカスレンズ１０１ｉの合焦位置（後方）の２Ｄ化像を、光軸と光路長が同じであリ、２つの撮像素子（第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊ）を持つデジタルカメラに、合焦調節レンズ（第２のフォーカスレンズ１０１ｉ）を挿入するだけで、３Ｄ表示に必要な２Ｄ化像を生成することができる。
【００６３】
図４は、図２，図３に示す撮影光学系とは異なる撮影光学系で前面と後面の２次元画像を同時に生成する様子を説明するための図である。
【００６４】
図４には、図２，図３に示す撮影光学系１０１とは異なる撮影光学系２０１が示されている。この撮影光学系２０１は、図２，図３に示す撮影光学系１０１と比較し、第１の反射鏡１０１ｅ，第２の反射鏡１０１ｆが削除されている点が異なっている。
【００６５】
ここでの特徴は、第１のＣＣＤ１０１ｇと第２のＣＣＤ１０１ｊにおける２つの光学系であって、焦点距離が異なり、光軸が同じで、光路長が異なる撮影光学系２０１にある。また、ここでの効果は、前述したデジタルカメラ１と比較し、２枚の反射鏡（第１の反射鏡１０１ｅ，第２の反射鏡１０１ｆ）が不要となり、従って光量低下を防止することができるとともに、部品点数と調整工数の削減効果によるコストダウンを図ることができる。また、前述したデジタルカメラ１と同様に、３Ｄ表示に必要な２Ｄ化像を生成することができる。
【００６６】
ここでは、被写体Ａと被写体Ｂが距離Ｌだけ離れており、被写体Ａは被写体Ｂより後方に位置し、被写体Ａと被写体Ｂはデジタルカメラの方向に対して互いに重ならないように実在しする場合を例に挙げて説明する。
【００６７】
被写体Ｂは被写体Ａより前方に位置し、合焦調節レンズ（第１のフォーカスレンズ１０１ｃ）で被写体Ｂに焦点（ピント）を合わせると、第１のフォーカスレンズ１０１ｃの合焦位置での画像が、光量調節用絞り（アイリス１０１ａ）、倍率調節用レンズ（ズームレンズ１０１ｂ）、第１のフォーカスレンズ１０１ｃを通過してハーフミラー１０１ｄにて約半分の光が透過して、第１のＣＣＤ１０１ｇに入射する。
【００６８】
被写体Ａは被写体Ｂより後方に位置し、第２のフォーカスレンズ１０１ｉで被写体Ａに焦点（ピント）を合わせると、第２のフォーカスレンズ１０１ｉの合焦位置での画像が、アイリス１０１ａ，ズームレンズ１０１ｂ，第１のフォーカスレンズ１０１ｃを通過してハーフミラー１０１ｄにて約半分の光が反射して、第３の反射鏡１０１ｈを経由して、第２のフォーカスレンズ１０１ｉを通過して、第２のＣＣＤ１０１ｊに入射する。
【００６９】
第１のＣＣＤ１０１ｇの撮像画像は、前方位置にある被写体Ｂに合焦しており、後方位置にある被写体Ａには非合焦である。第２のＣＣＤ１０１ｊの撮像画像は、後方位置にある被写体Ａに合焦しており、前方位置にある被写体Ｂには非合焦である。
【００７０】
前述したように、この撮影光学系２０１を用いると、第１のフォーカスレンズ１０１ｃの合焦位置（前方）と第２のフォーカスレンズ１０１ｉの合焦位置（後方）の２Ｄ化像を、光軸が同じで光路長が異なり、２つの撮像素子（第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊ）を持つデジタルカメラに、合焦調節レンズ（第２のフォーカスレンズ１０１ｉ）を挿入するだけで、３Ｄ表示に必要な２Ｄ化像を生成することができる。このような撮影光学系２０１を用いて三次元画像を表示してもよい。
【００７１】
図５は、図２に示す輝度比処理部における信号処理の流れを示す図、図６は、図２に示す輝度比処理部における信号波形を示す図である。
【００７２】
上述したように、撮影光学系１０１を備えたデジタルカメラ１（もしくは撮影光学系２０１を備えたデジタルカメラ）では、第１のＣＣＤ１０１ｇと第２のＣＣＤ１０１ｊにおける２つの光学系であって、焦点距離が異なり、光軸が同じである撮影光学系１０１，２０１に特徴がある。且つ、３Ｄ表示に必要な２Ｄ化像を、単一の光軸上で撮像した前面と後面の２Ｄ化像にて提供している。
【００７３】
さらに、輝度比処理部１３０では、撮影光学系１０１（もしくは撮影光学系２０１）で得られた単一の光軸上で撮像した前面と後面の２Ｄ化像から、観察者から見た奥行き方向の連続情報を逐次演算可能とする信号処理方法が提供される。
【００７４】
ここで、前面寄りに被写体がある場合は前面での合焦比率が高く後面での合焦比率が低いので、前面での輝度信号に前面での合焦比率を乗算し、後面での輝度信号に後面での合焦比率を乗算して、３Ｄ表示の輝度信号を提供する。この効果は、合焦比率を用いて奥行き方向の情報を逐次演算し、奥行きが連続的に変化して見える３Ｄ表示させる輝度信号が得られることにある。
【００７５】
次に、図５，図６を参照して、輝度比処理部１３０における信号処理の流れと各部波形について説明する。前方面の合焦位置で撮像された画像輝度信号Ｙａは、輝度比処理部１３０に備えられたＨＰＦ（ハイパスフィルタ）に入力され、そのＨＰＦで空間周波数の高域成分ａが抽出され、さらにその高域成分ａの絶対値Ａが求められる。また、後方面の合焦位置で撮像された画像輝度信号Ｙｂは、輝度比処理部１３０に備えられた上記ＨＰＦとは異なるＨＰＦに入力され、そのＨＰＦで空間周波数の高域成分ｂが抽出され、その高域成分ｂの絶対値Ｂが求められる。
【００７６】
図６に示す各部波形においては、合焦している部分を太線にて示している。前方面の画像は前方面の被写体に合焦（Ａ＞Ｂ）しており、後方面の被写体は非合焦（Ａ＜Ｂ）である。また、後方面の画像は後方面の被写体に合焦（Ａ＜Ｂ）しており、前方面の被写体は非合焦（Ａ＞Ｂ）である。前方面での合焦比率Ａ／（Ａ＋Ｂ）を、前方面の合焦位置で撮像された画像輝度信号Ｙａに乗算して、前方側のＬＣＤ画面（画像表示部１３の第１の光透過性表示画面）に表示させる画像輝度信号Ｙａ’（Ｙａ’＝Ｙａ×Ａ／（Ａ＋Ｂ））（第１の輝度調整画像データ）とする。この画像輝度信号Ｙａ’は、前方面寄りにある合焦している部分が増加し、後方面寄りにある非合焦の部分が減少していることを表わしている信号である。また、後方面での合焦比率Ｂ／〈Ａ＋Ｂ）を、後方面の合焦位置で撮像された画像輝度信号Ｙｂに乗算して、後方側のＬＣＤ画面（画像表示部１３の第２の光透過性表示画面）に表示させる画像輝度信号Ｙｂ’（Ｙｂ’＝Ｙｂ×Ｂ／（Ａ＋Ｂ））（第２の輝度調整画像データ）とする。この画像輝度信号Ｙｂ’は、後方面寄りにある合焦している部分が増加し、前方面寄りにある非合焦の部分が減少していることを表わしている信号である。尚、この図６に示す画像輝度信号Ｙａ’は、高域成分ａの絶対値Ａの大きな部分（画像のあるエッジと他のエッジ）どうしが接続されるような処理が施されて生成されている。
【００７７】
以上説明したように、前方側に射影する画像と後方側に射影する画像にて、その輝度信号を被写体の奥行き位置に応じて可変することができる。これらの画像を画像表示部１３に供給すると、立体的な被写体として表示される。
【００７８】
図７は、図２に示す圧縮率処理部における信号処理の流れを示す図である。
【００７９】
この圧縮率処理部１３１は、単一の光軸上で撮像した前面と後面の２Ｄ化像より、記録用の画像データを生成する時の圧縮率を最適化する処理を行なう。即ち、この圧縮率処理部１３１は、上述した輝度比処理部１３０にて算出した前面と後面との合焦比率（Ａ／（Ａ＋Ｂ），Ｂ／〈Ａ＋Ｂ））に応じて、画像データ圧縮率を調整する。詳細には、基準圧縮率Ｚに、前方面での合焦比率Ａ／（Ａ＋Ｂ）の逆数を乗算して、前方側のＬＣＤ画面（画像表示部１３の第１の光透過性表示画面）に表示させる画像データの保存用の圧縮率Ｚａ’（Ｚａ’＝Ｚ×（Ａ＋Ｂ）／Ａ）とする。また、基準圧縮率Ｚに、後方面での合焦比率Ｂ／〈Ａ＋Ｂ）の逆数を乗算して、後方側のＬＣＤ画面（画像表示部１３の第２の光透過性表示画面）に表示させる画像データの保存用の圧縮率Ｚｂ’（Ｚｂ’＝Ｚ×（Ａ＋Ｂ）／Ｂ）とする。つまり、各画素（プロック）について、後面より前面の合焦比率が高い場合には、前面の画像データの圧縮率を下げ、且つ、後面の画像データの圧縮率を上げる。このように、前面と後面の各画素（ブロック）の圧縮率が合焦比率に応じて調整されるため、３Ｄ表示させる画像データを効率的に圧縮することができるという効果を有する。つまり、合焦比率の高い表示面に射影する画像データの圧縮率を下げるのでより鮮鋭な記録ができ、また合焦比率の低い表示面に射影する画像データの圧縮率を上げるので保存するデータ量をより削減することができる。より望ましい態様としては、前面の保存データ量と後面の保存データ量の和がほぼ等しくなるように画像データ圧縮率を調整するのが良い。これは、前面と後面の画像データの品質をほぼ等しくすることになり、画像表示部１３上に射影された３Ｄ画像の奥行き方向の品質がほぼ等しくなるので自然な画像として表示することができる。
【００８０】
尚、上述した実施形態では、本発明の撮影装置としてデジタルカメラの例で説明したが、これに限られるものではなく、本発明の撮影装置は、デジタルカメラの機能が組み込まれた携帯電話や動画を撮影するビデオカメラ等であってもよい。
【００８１】
次に、本発明の画像処理装置の一実施形態について説明する。
【００８２】
図８は、本発明の画像処理装置の一実施形態が実現される情報処理装置を示す概要図である。
【００８３】
この図８には、情報処理装置として、一般にワークステーションまたはパーソナルコンピュータと呼ばれるコンピュータ２００が示されており、このコンピュータ２００により本発明の画像処理装置の一実施形態が実現される。尚、この画像処理装置の一実施形態の実現にあたっては、後述するＣＤ―ＲＯＭ３００に記憶された画像処理プログラムがコンピュータ２００にローディングされることにより行なわれる。
【００８４】
先ず、このコンピュータ２００のハードウェア構成について説明する。
【００８５】
このコンピュータ２００は、ＣＰＵ（中央処理装置）、ＲＡＭ（ランダムアクセスメモリ）、ハードディスク、通信用ボード等が内蔵された本体部２０１、その本体部２０１からの指示により表示画面２０２ａ上に画像や文字列を表示する画像表示部（液晶モニタ）２０２、このコンピュータ２００に利用者の指示を入力するためのキーボード２０３、表示画面２０２ａ上の任意の位置を指定することにより、その指定時にその位置に表示されていたアイコン等に応じた指示を入力するマウス２０４を備えている。ここで、画像表示部２０２は、重ねて配置された２枚の光透過性表示画面を有し、それら２枚の表示画面上に、後述する２つの輝度調整画像を１枚ずつ表示する画像表示部である。
【００８６】
本体部２０１は、さらに外観上、フレキシブルディスク（図示せず）、ＣＤ―ＲＯＭ２００が装填されるフレキシブルディスク装填口２０１ａ、ＣＤ―ＲＯＭ装填口２０１ｂを有しており、それらの内部には、それらの装填口２０１ａ，２０１ｂから装填されたフレキシブルディスクやＣＤ−ＲＯＭ３００をドライブしてアクセスするフレキシブルディスクドライブやＣＤ−ＲＯＭドライブも内蔵されている。
【００８７】
図９は、図８に示した外観を有するコンピュータのハードウェア構成図である。
【００８８】
図９のハードウェア構成図には、ＣＰＵ２１１、ＲＡＭ２１２、ハードディスクコントローラ２１３、フレキシブルディスクドライブ２１４、ＣＤ―ＲＯＭドライブ２１５、マウスコントローラ２１６、キーボードコントローラ２１７、ディスプレイコントローラ２１８、および通信用ボード２１９が示されており、それらはバス２１０で相互に接続されている。
【００８９】
フレキシブルディスクドライブ２１４、ＣＤ―ＲＯＭドライブ２１５は、図８を参照して説明したように、それぞれフレキシブルディスク装填口２０１ａおよびＣＤ−ＲＯＭ装填口２０１ｂから装填されたフレキシブルディスク４００、ＣＤ−ＲＯＭ３００をアクセスするものである。通信用ボード２１９は通信回線５００に接続される。
【００９０】
また、図９には、ハードディスクコントローラ２１３によりアクセスされるハードディスク２２０、マウスコントローラ２１６により制御されるマウス２０４、キーボードコントローラ２１７により制御されるキーボード２０３、およびディスプレイコントローラ２１８により制御される画像表示部２０２も示されている。
【００９１】
図１０は、図８に示す情報処理装置であるコンピュータを、画像処理装置として動作させる画像処理プログラムが記憶されたＣＤ−ＲＯＭを示す概念図である。
【００９２】
図１０に示すＣＤ−ＲＯＭ３００には、画像処理プログラム３１０が記憶されており、この画像処理プログラム３１０は、画像取得ルーチン部３１１および画像処理ルーチン部３１２で構成されている。画像処理プログラム３１０の各部の細部については、本発明の画像処理装置の一実施形態の各部の作用とあわせて説明する。
【００９３】
図１１は、本発明の画像処理装置の、ＣＤ−ＲＯＭに記憶された画像処理プログラムにより実現される一実施形態の構成を示す図である。
【００９４】
図１１に示す画像処理装置２００＿１は、ＣＤ―ＲＯＭ３００に記憶された画像処理プログラムがコンピュータ２００にローディングされることにより実現される画像取得部２００＿１１および画像処理部２００＿１２と、前述した画像表示部２０２とにより構成される。
【００９５】
画像取得部２００＿１１は、図１０に示す画像取得ルーチン部３１１のプログラムの作用を受けて動作し、図９に示す通信回線５００および通信用ボード２１９を経由して、デジタルカメラ等からの、同一被写体に対する、ピントの合った距離が互いに異なる複数の撮影画像を表わす複数の撮影画像データを取得する。
【００９６】
画像処理部２００＿１２は、図１０に示す画像処理ルーチン部３１２のプログラムの作用を受けて動作し、各撮影画像における各画素の輝度を、その各画素の合焦の程度が高いほど高輝度側に調整した２つの輝度調整画像を表わす２つの輝度調整画像データを生成する。また、各撮影画像を、その各撮影画像の合焦の程度が低い領域ほど高い圧縮率で圧縮した２つの圧縮画像を表わす２つの圧縮画像データを生成して、ハードディスクコントローラ２１３を経由してハードディスク２２０に保存する。
【００９７】
画像表示部２０２は、前述したように、重ねて配置された２枚の光透過性表示画面を有し、それら２枚の表示画面上に上記２つの輝度調整画像を１枚ずつ表示する。
【００９８】
本実施形態の画像処理装置２００＿１は、三次元の画像を表示するための撮影画像データを画像取得部２００＿１１で取得し、取得した撮影画像データで表わされる各撮影画像における各画素の輝度を、その各画素の合焦の程度が高いほど高輝度側に調整した２つの輝度調整画像を表わす２つの輝度調整画像データを画像処理部２００＿１２で生成するものである。このため、観察者から見て、前方の画像にピントが合っている場合は、その前方の画像の各画素の輝度が高輝度側に調整されるとともに後方の画像の各画素の輝度が低輝度側に調整された２つの輝度調整画像を表わす２つの輝度調整画像データが生成される。さらに、画像処理装置２００＿１に備えられた画像表示部２０２の２枚の光透過性表示画面上に上記２つの輝度調整画像が１枚ずつ表示される。このようにして、画像表示部２０２に三次元画像が表示される。
【００９９】
また、本実施形態の画像処理装置２００＿１では、撮影画像の合焦の程度が低い領域は高い圧縮率で圧縮し、また撮影画像の合焦の程度が高い領域は低い圧縮率で圧縮するものであるため、三次元画像を表示するための画像データを効率よく圧縮することができる。
【図面の簡単な説明】
【０１００】
【図１】本発明の第１の撮影装置および本発明の第２の撮影装置の双方の一実施形態であるデジタルカメラを上方から見た上面図、正面から見た正面図および背面から見た背面図である。
【図２】図１に示すデジタルカメラの内部構成を示す図である。
【図３】図２に示す撮影光学系で前面と後面の２次元画像を同時に生成する様子を説明するための図である。
【図４】図２，図３に示す撮影光学系とは異なる撮影光学系で前面と後面の２次元画像を同時に生成する様子を説明するための図である。
【図５】図２に示す輝度比処理部における信号処理の流れを示す図である。
【図６】図２に示す輝度比処理部における信号波形を示す図である。
【図７】図２に示す圧縮率処理部における信号処理の流れを示す図である。
【図８】本発明の画像処理装置の一実施形態が実現される情報処理装置を示す概要図である。
【図９】図８に示した外観を有するコンピュータのハードウェア構成図である。
【図１０】図８に示す情報処理装置であるコンピュータを、画像処理装置として動作させる画像処理プログラムが記憶されたＣＤ−ＲＯＭを示す概念図である。
【図１１】本発明の画像処理装置の、ＣＤ−ＲＯＭに記憶された画像処理プログラムにより実現される一実施形態の構成を示す図である。
【符号の説明】
【０１０１】
１ デジタルカメラ
１ａ カメラボディ
１０ レンズ鏡胴
１１ パワーボタン
１２ レリーズボタン
１２＿１ 撮影モードダイヤル
１３ 画像表示部
１４ 再生ボタン
１５ Ｆボタン
１６ 十字キー
１７ ＯＫ／メニューボタン
１８ ズームスイッチ
１９ ＤＳＰ／ＢＡＣＫボタン
２０ 測光センサ
２１ 閃光発光窓
１００ 操作部
１０１，２０１ 撮影光学系
１０１ａ アイリス
１０１ｂ ズームレンズ
１０１ｃ，１０１ｉ フォーカスレンズ
１０１ｄ ハーフミラー
１０１ｅ，１０１ｆ，１０１ｈ 反射鏡
１０１ｇ，１０１ｊ ＣＣＤ
１１０ 記録メディア
１１１，１１２，１１３ モータドライバ
１１４ タイミングジェネレータ
１１５，２１１ ＣＰＵ
１１６，１１７ ＣＤＳＡＭＰ
１１８，１１９ Ａ／Ｄ変換回路
１２０ メモリ（ＳＤＲＡＭ）
１２１ 画像入力コントローラ
１２２ 画像信号処理回路
１２３ 圧縮処理回路
１２４ ビデオエンコーダ
１２５ ＡＦ検出回路
１２６ ＡＥ＆ＡＷＢ検出回路
１２７ ＶＲＡＭ
１２８ メディアコントローラ
１２９ フラッシュ発光部
１３０ 輝度比処理部
１３１ 圧縮率処理部
２００ コンピュータ
２００＿１ 画像処理装置
２００＿１１ 画像取得部
２００＿１２ 画像処理部
２０１ 本体部
２０１ａ フレキシブルディスク装填口
２０１ｂ ＣＤ―ＲＯＭ装填口
２０２ 画像表示部
２０２ａ 表示画面
２０３ キーボード
２０４ マウス
２１０ バス
２１１ ＣＰＵ
２１２ ＲＡＭ
２１３ ハードディスクコントローラ
２１４ フレキシブルディスクドライブ
２１５ ＣＤ―ＲＯＭドライブ
２１６ マウスコントローラ
２１７ キーボードコントローラ
２１８ ディスプレイコントローラ
２１９ 通信用ボード
２２０ ハードディスク
３００ ＣＤ―ＲＯＭ
３１０ 画像処理プログラム
３１１ 画像取得ルーチン部
３１２ 画像処理ルーチン部
４００ フレキシブルディスク
５００ 通信回線
【技術分野】
【０００１】
本発明は、撮影画像データを取得して表示する画像処理方法、撮影画像データを生成する撮影装置、および撮影画像データを取得して処理する画像処理装置に関する。
【背景技術】
【０００２】
従来より、撮影装置において、被写体を結像させる撮影光学系やその撮影光学系を経由して得られた画像に関する様々な技術が提案されている。例えば、撮影光学系を経由して入射してきた被写体像を瞬時に可視像として電子的に且つ直接的に記録現像する電子現像型カメラにおいて、撮影時には複数の電子現像型記録媒体をそれぞれ異なった像面に位置決めするとともに、撮影終了後には複数の電子現像型記録媒体を一平面に整列させて固定するホルダ組立体を備えた技術が提案されている（特許文献１参照）。この技術によれば、光路長補正プリズムが不要であるとともに複数の電子現像型記録媒体からの記録画像の読み取りを容易に行なうことができる。
【０００３】
また、電子部品上の検査点の位置を三角測量により測定するにあたり、ビームスプリッタを設けて電子部品からの光束を２つに分割し、各光束内に各カメラを配置する技術が提案されている（特許文献２参照）。この技術によれば、各カメラの光軸間隔を数ミリ程度まで接近させることができるため、半導体素子のような小さな電子部品上の検査点であっても、その立体的な凹凸を正確に測定することができる。
【０００４】
さらに、接眼鏡筒部の傾斜角が可変な実体顕微鏡用傾斜角可変双眼鏡筒において、固定鏡筒部と可動鏡筒部とを備え、固定鏡筒部を可動鏡筒部でコの字状に囲い、可動鏡筒部内に像回転補正光学系を配置する技術が提案されている（特許文献３参照）。この技術によれば、鏡筒部の小型化が図れるとともに、医療における手術等の作業性を高めることができる。
【０００５】
また、観察者の視線方向から射影して生成された二次元画像を、その観察者から見て異なった奥行き位置に配備された複数の表示面にそれぞれ表示するとともに、それら表示される二次元画像の輝度を各表示面毎にそれぞれ独立に変化させて、三次元画像（立体像）を表示する三次元画像表示方法において、各表示面に表示される二次元画像の透過度を各表示面毎にそれぞれ独立に変化させて、各表示面に表示される二次元画像の輝度をそれぞれ独立に変化させる技術が提案されている（特許文献４参照）。この技術によれば、眼鏡を用いることなく動画表示が可能であり、また立体視の生理的要因間での矛盾（例えば、両眼視差および輻輳と、ピント調節との間での矛盾）を抑制することができ、さらに電気的に表示の書換えが可能である。
【０００６】
さらに、観察者から見て異なった奥行き位置に配備された複数の表示面それぞれに、表示対象物を観察者の視線方向から射影して生成された二次元画像を表示し、それら表示される二次元画像の輝度を各表示面毎にそれぞれ独立に変化させるとともに、観察者の最も近い位置に配置された表示面に備えられた光の偏向方向が互いにそれぞれ異なる複数の領域を有する光学部材で、その表示面に入射する入射光をそれぞれ異なる方向に出射する技術が提案されている（特許文献５参照）。この技術によれば、簡単な構成で、複数の観察者に対して同時に三次元画像を表示することができる。
【０００７】
また、第１，第２の透明自発光型表示装置と、反射ミラーと、波長変換手段と、フィルタ膜とを備え、第１，第２の透明自発光型表示装置からの発光光の通過をフィルタ膜で阻止するとともに波長変換手段で変換された所定波長の光を通過させ、第１，第２の透明自発光型表示装置に表示される二次元像の輝度を、第１，第２の画素群ごとにそれぞれ独立に変化させる技術が提案されている（特許文献６参照）。この技術によれば、立体視の生理的要因間での矛盾を抑制することができ、且つ眼鏡を用いることなくカラー画像の三次元画像の表示が可能であり、また構成が簡単でコンパクトな三次元画像表示装置を提供することができる。
【０００８】
さらに、電子内視鏡装置において、対物レンズ，光学ローパスフィルタから出射される像光を接合プリズムで分離し、分離した光を、異なる光路長に設定された遠点用ＣＣＤと近点用ＣＣＤへ入射させる技術が提案されている（特許文献７参照）。この技術によれば、異なる距離にピントが合った複数の画像を同時に撮影して表示することができ、診断や処置等に有益な情報を得ることができる。
【０００９】
また、電子内視鏡装置において、対物レンズ，光学ローパスフィルタから出射される像光をクロスプリズムで三つの光路に分離し、これらの分離光を入射するように、異なる光路長に設定された遠点用ＣＣＤと近点用ＣＣＤを配置するとともに、別の遠点用ＣＣＤを上記遠点用ＣＣＤに対し半画素ずれた位置に設ける技術が提案されている（特許文献８参照）。この技術によれば、異なる距離にピントが合った複数の画像を同時に表示することができるとともに高解像度化が図られて、診断や処置等に有益な情報を得ることができる。
【特許文献１】特開平９−９６８６５号公報
【特許文献２】特開平９−４２９４６号公報
【特許文献３】特開平１１−２３１２２６号公報
【特許文献４】特開２００１−５４１４４号公報
【特許文献５】特開２００３−６６３７１号公報
【特許文献６】特開２００４−１５７２９６号公報
【特許文献７】特開平１１−１９７０９７号公報
【特許文献８】特開平１１−１９７０９８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上述した特許文献１，２，３，７に提案された技術は、撮影光学系を工夫した技術であり、また特許文献４，５，６，８に提案された技術は、三次元画像を表示するための技術である。このように、上述した特許文献１〜８には、撮影光学系の工夫や撮影光学系を経由して得られた画像を三次元的に表示する技術が提案されている。しかし、これらの特許文献１〜８には、三次元画像を表示するために必要である撮影画像データを生成したりあるいは取得して画像処理を行なう技術に関しては記載されていない。
【００１１】
本発明は、上記事情に鑑み、撮影画像データを取得して三次元画像を表示することができる画像処理方法、三次元の画像を表示するための画像データを得ることができる撮影装置、および画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成する本発明の画像処理方法は、
同一被写体に対する、ピントの合った距離が互いに異なる複数の撮影画像を表わす複数の撮影画像データを取得し、
各撮影画像における各画素の輝度を、その各画素の合焦の程度が高いほど高輝度側に調整した複数の輝度調整画像を表わす複数の輝度調整画像データを生成し、
重ねて配置された複数枚の光透過性表示画面上に上記複数の輝度調整画像を１枚ずつ表示することを特徴とする。
【００１３】
本発明の画像処理方法は、先ず、同一被写体に対する、ピントの合った距離が互いに異なる複数の撮影画像を表わす複数の撮影画像データを取得する。このようにすることにより、三次元の画像を表示するための撮影画像データを取得する。次いで、各撮影画像における各画素の輝度を、その各画素の合焦の程度が高いほど高輝度側に調整した複数の輝度調整画像を表わす複数の輝度調整画像データを生成する。これにより、観察者から見て、例えば、近い撮影画像（前方の画像）にピントが合っている場合は、その前方の画像の各画素の輝度を高輝度側に調整するとともに遠い撮影画像（後方の画像）の各画素の輝度を低輝度側に調整した２つの輝度調整画像を表わす２つの輝度調整画像データを生成する。さらに、この例の場合は、重ねて配置された２枚の光透過性表示画面上に上記２つの輝度調整画像を１枚ずつ表示する。このようにして、撮影画像データを取得して複数の輝度調整用画像データを生成し、重ねて配置された複数枚の光透過性表示画面上に複数の輝度調整画像を１枚ずつ表示することにより、三次元の画像を表示することができる。
【００１４】
ここで、本発明の画像処理方法において、各撮影画像を、その各撮影画像の合焦の程度が低い領域ほど高い圧縮率で圧縮した複数の圧縮画像を表わす複数の圧縮画像データを生成し、上記複数の圧縮画像データを保存することが好ましい。
【００１５】
撮影画像の合焦の程度が低い領域はピントが合っていないためボケの程度が大きく、従って高い圧縮率で圧縮し、また撮影画像の合焦の程度が高い領域はピントが合っているためボケの程度は小さく、従って低い圧縮率で圧縮する。このようにすることにより、三次元画像を表示するための画像データを効率よく圧縮することができる。
【００１６】
また、上記目的を達成する本発明の撮影装置のうちの第１の撮影装置は、
撮影により、同一被写体に対する、ピントの合った距離が互いに異なる複数の撮影画像を表わす複数の撮影画像データを生成する撮影部と、
各撮影画像における各画素の輝度を、その各画素の合焦の程度が高いほど高輝度側に調整した複数の輝度調整画像を表わす複数の輝度調整画像データを生成する画像処理部とを備えたことを特徴とする。
【００１７】
ここで、本発明の第１の撮影装置において、重ねて配置された複数枚の光透過性表示画面を有し、それら複数枚の表示画面上に上記複数の輝度調整画像を１枚ずつ表示する画像表示部を備えたことが好ましい。
【００１８】
本発明の第１の撮影装置は、三次元の画像を表示するための撮影画像データを撮影部で生成し、生成された撮影画像データで表わされる各撮影画像における各画素の輝度を、その各画素の合焦の程度が高いほど高輝度側に調整した複数の輝度調整画像を表わす複数の輝度調整画像データを画像処理部で生成するものである。このため、観察者から見て、例えば、前方の画像にピントが合っている場合は、その前方の画像の各画素の輝度が高輝度側に調整されるとともに後方の画像の各画素の輝度が低輝度側に調整された２つの輝度調整画像を表わす２つの輝度調整画像データが生成される。ここで、本発明の第１の撮影装置に上記画像表示部を備えた場合、その画像表示面が有する重ねて配置された２枚の光透過性表示画面上に上記２つの輝度調整画像を１枚ずつ表示することができる。このようにすることにより、撮影画像データを取得し、取得した撮影画像データに基づいて三次元画像を表示することができる。
【００１９】
さらに、上記目的を達成する本発明の撮影装置のうちの第２の撮影装置は、
撮影により、同一被写体に対するピントの合った距離が互いに異なる複数の撮影画像を表わす複数の撮影画像データを生成する撮影部と、
各撮影画像を、その各撮影画像の合焦の程度が低い領域ほど高い圧縮率で圧縮した複数の圧縮画像を表わす複数の圧縮画像データを生成する画像圧縮部とを備えたことを特徴とする。
【００２０】
本発明の第２の撮影装置は、三次元の画像を表示するための撮影画像データを撮影部で取得し、取得した撮影画像データで表わされる各撮影画像を、その各撮影画像の合焦の程度が低い領域ほど高い圧縮率で圧縮した複数の圧縮画像を表わす複数の圧縮画像データを画像圧縮部で生成するものである。このため、撮影画像の合焦の程度が低い領域は高い圧縮率で圧縮され、また撮影画像の合焦の程度が高い領域は低い圧縮率で圧縮される。従って、三次元画像を表示するための画像データを効率よく圧縮することができる。
【００２１】
また、上記目的を達成する本発明の画像処理装置は、
同一被写体に対する、ピントの合った距離が互いに異なる複数の撮影画像を表わす複数の撮影画像データを取得する画像取得部と、
各撮影画像における各画素の輝度を、その各画素の合焦の程度が高いほど高輝度側に調整した複数の輝度調整画像を表わす複数の輝度調整画像データを生成する画像処理部とを備えたことを特徴とする。
【００２２】
ここで、本発明の画像処理装置において、重ねて配置された複数枚の光透過性表示画面を有し、それら複数枚の表示画面上に上記複数の輝度調整画像を１枚ずつ表示する画像表示部を備えたことが好ましい。
【００２３】
本発明の画像処理装置は、三次元の画像を表示するための撮影画像データを画像取得部で取得し、取得した撮影画像データで表わされる各撮影画像における各画素の輝度を、その各画素の合焦の程度が高いほど高輝度側に調整した複数の輝度調整画像を表わす複数の輝度調整画像データを画像処理部で生成するものである。このため、観察者から見て、例えば、前方の画像にピントが合っている場合は、その前方の画像の各画素の輝度が高輝度側に調整されるとともに後方の画像の各画素の輝度が低輝度側に調整された２つの輝度調整画像を表わす２つの輝度調整画像データが生成される。ここで、本発明の画像処理装置に上記画像表示部を備えた場合、その画像表示面が有する重ねて配置された２枚の光透過性表示画面上に上記２つの輝度調整画像を１枚ずつ表示することができる。このようにすることにより、撮影画像データを取得し、取得した撮影画像データに基づいて三次元画像を表示することができる。
【００２４】
また、本発明の画像処理装置において、各撮影画像を、その各撮影画像の合焦の程度が低い領域ほど高い圧縮率で圧縮した複数の圧縮画像を表わす複数の圧縮画像データを生成することも好ましい態様である。
【００２５】
このように、撮影画像の合焦の程度が低い領域は高い圧縮率で圧縮し、また撮影画像の合焦の程度が高い領域は低い圧縮率で圧縮することにより、三次元画像を表示するための画像データを効率よく圧縮することができる。
【発明の効果】
【００２６】
本発明によれば、撮影画像データを取得して三次元画像を表示することができる画像処理方法、三次元の画像を表示するための画像データを得ることができる撮影装置および画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施の形態について説明する。
【００２８】
図１は、本発明の第１の撮影装置および本発明の第２の撮影装置の双方の一実施形態であるデジタルカメラを上方から見た上面図（図１（ａ））、正面から見た正面図（図１（ｂ））および背面から見た背面図（図１（ｃ））である。
【００２９】
このデジタルカメラ１は、撮影により、同一被写体に対するピントのあった距離が互いに異なる２つの撮影画像を表わす２つの撮影画像データを生成して三次元画像を表示することができるデジタルカメラである。また、このデジタルカメラ１には、本発明の画像処理方法の一実施形態が適用されている。
【００３０】
先ず、このデジタルカメラ１の概要について説明する。
【００３１】
このデジタルカメラ１は、図１（ａ），図１（ｂ）に示すようにカメラボディ１ａの中央にレンズ鏡胴１０が配備されている。また、このカメラボディ１ａの上面にはパワーボタン１１が配備されており、このパワーボタン１１が操作されると、図１（ａ），（ｂ）に示すようにレンズ鏡胴１０が繰出されて撮影準備が整えられるようになっている。
【００３２】
さらに、カメラボディ１ａ上面には、電源投入用のパワーボタン１１のほか、レリーズボタン１２とそのレリーズボタン１２の廻りに撮影モードダイヤル１２＿１とが配備されており、この撮影モードダイヤル１２＿１がＡＵＴＯに切り替えられているときにレリーズボタン１２が押されて撮影が行なわれるときにはデジタルカメラ１の内部に自動的に撮影条件が設定されて撮影が行なわれる。また、この撮影モードダイヤル１２＿１が動画撮影モードに切り替えられると、動画撮影が行なわれるようになり、シーンポジション（符号ＳＰ）側に切り替えられると、撮影シーンに応じた撮影条件がデジタルカメラ１内部に自動的に設定されて撮影が行なわれるようになる。
【００３３】
また、図１（ｃ）に示すように、カメラボディ１ａの背面側には、詳細は後述する画像表示部（液晶モニタ）１３が設けられており、撮影モード時には、この画像表示部１３上に被写体が表示されたり、メニューが表示されたりする。この撮影モードにあるときに画像表示部１３の脇にある再生ボタン１４が一度押されると、再生モードに切り替わり既撮影画像が画像表示部１３上に表示され、この再生ボタン１４が再度押されると、撮影モードに切り替わりスルー画像が画像表示部１３上に表示される。また、再生モードボタン１４の横には、Ｆ（フォトモード）ボタン１５が配備されており、よく用いられるモード、例えばピクセル設定モードや感度設定モードなどの切り替えがこのＦボタン１５の操作により簡単に行なえるようにもなっている。
【００３４】
また、そのＦボタン１５の下方には十字キー１６やＯＫ／メニューボタン１７が配備され上方にはズームスイッチ１８が配備されている。これら十字キー１６やＯＫ／メニューボタン１７の操作により、セットアップメニューに切り替えて日時の設定や画像表示を行なうか否かの設定等を行なったり、撮影メニューに切り替えて連写，セルフタイマ等を選択したりすることができる。
【００３５】
さらに、十字キー１６の下方には、画像表示部１３の表示を切り換えたり操作を途中でやめるときなどに使用されるＤＳＰ／ＢＡＣＫボタン１９が配備されている。
【００３６】
また、図１（ｂ）に示すカメラボディ１ａの正面には測光センサ２０や閃光発光窓２１が配備されており、閃光発光が必要な場合にはその閃光発光窓２１から閃光が被写体に向けて発光されるようになっている。
【００３７】
図２は、図１に示すデジタルカメラの内部構成を示す図である。
【００３８】
このデジタルカメラ１には、撮影光学系１０１（本発明にいう撮像部の一例に相当）を構成するアイリス１０１ａ，ズームレンズ１０１ｂ，第１のフォーカスレンズ１０１ｃと、ハーフミラー１０１ｄ，第１の反射鏡１０１ｅ，第２の反射鏡１０１ｆ，第１のＣＣＤ１０１ｇと、第３の反射鏡１０１ｈ，第２のフォーカスレンズ１０１ｉ，第２のＣＣＤ１０１ｊとが備えられている。
【００３９】
また、このデジタルカメラ１には、アイリス１０１ａ，ズームレンズ１０１ｂ，第１のフォーカスレンズ１０１ｃ用のモータを駆動するモータドライバ１１１，１１２，１１３が備えられている。
【００４０】
さらに、デジタルカメラ１には、タイミングジェネレータ１１４と、ＣＰＵ１１５が備えられている。タイミングジェネレータ１１４は、ＣＰＵ１１５からの指示により所定のタイミングで第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊを駆動する。これにより、第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊに入射されている被写体光が所定のフレームレートで光電変換され、それら第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊからアナログ画像信号として出力される。尚、第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊを含む撮影光学系１０１における詳細な動作説明については後述するが、この撮影光学系１０１は、撮影により、同一被写体に対する、ピントのあった距離が互いに異なる２つの撮影画像を表わす２つの撮影画像データを生成する。
【００４１】
ＣＰＵ１１５は、このデジタルカメラ１全体の制御を行なう。具体的には、ＣＰＵ１１５にはＲＯＭが内蔵されており、その内蔵されたＲＯＭのプログラムの手順にしたがってデジタルカメラ１全体の動作が制御される。
【００４２】
さらに、デジタルカメラ１には、第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊから出力されたアナログ画像信号の雑音を低減する処理等を行なう第１のＣＤＳＡＭＰ１１６，第２のＣＤＳＡＭＰ１１７と、それらの処理等が施されたアナログ画像信号をデジタル画像信号にアナログ／デジタル変換する第１のＡ／Ｄ変換回路１１８，第２のＡ／Ｄ変換回路１１９と、これら第１のＡ／Ｄ変換回路１１８，第２のＡ／Ｄ変換回路１１９でデジタル画像信号に変換されたＲＧＢからなる画像データをデータバスを介して、メモリであるＳＤＲＡＭ１２０に転送する画像入力コントローラ１２１とが備えられている。
【００４３】
また、デジタルカメラ１には、ＳＤＲＡＭ１２０の画像データを読み出させ、ＹＣ信号への変換を行なう画像処理プロセスを実行する画像信号処理回路１２２と、画像処理プロセスが終了した時点でＪＰＥＧプロセスを実行して画像データの圧縮を行なう圧縮処理回路１２３と、画像データをビデオ信号に変換して画像表示部１３に導くためのＶｉｄｅｏ／ＬＣＤエンコーダ１２４とが備えられている。尚、圧縮処理回路１２３では、後述する圧縮率処理部１３１からの情報を参照して、画像データの圧縮を行なう。
【００４４】
さらに、デジタルカメラ１には、画像のピント情報を検出するＡＦ検出回路１２５と、画像の輝度情報と白色バランス情報を検出するＡＥ＆ＡＷＢ検出部１２６と、作業領域用のメモリとしても使用される前述したＳＤＲＡＭ１２０と、Ａ領域，Ｂ領域を有する表示用のバッファとしてのＶＲＡＭ１２７と、画像データを記録メディア１１０に記憶するための制御を行なうメディアコントローラ１２８と、測光センサ２０とが備えられている。
【００４５】
また、デジタルカメラ１には、フラッシュ発光部１２９と、前述したパワーボタン１１，レリーズボタン１２，撮影モードダイヤル１２＿１，再生ボタン１４，Ｆボタン１５，十字キー１６、ＯＫ／メニューボタン１７，ズームスイッチ１８，ＤＳＰ／ＢＡＣＫボタン１９からなる操作スイッチ群１００が備えられている。
【００４６】
さらに、デジタルカメラ１には、撮影光学系１０１で生成された２つの撮影画像データで表わされる２つの撮影画像の各撮影画像における各画素の輝度を、その各画素の合焦の程度が高いほど高輝度側に調整した２つの輝度調整画像を表わす２つの輝度調整画像データを生成する輝度比処理部１３０（本発明にいう画像処理部の一例に相当）が備えられている。
【００４７】
ここで、画像表示部１３は、重ねて配置された２枚の光透過性表示画面を有し、これら２枚の表示画面上に２つの輝度調整画像を１枚ずつ表示するものであり、眼鏡を用いないで動画表示が可能な３次元表示装置である。
【００４８】
また、デジタルカメラ１には、各撮影画像を、その各撮影画像の合焦の程度が低い領域ほど高い圧縮率で圧縮した２つの圧縮画像を表わす２つの圧縮画像データを生成する情報を、前述した圧縮処理回路１２３に提供する圧縮率処理部１３１が備えられている。圧縮処理回路１２３では、この情報を参照して、画像データの圧縮を行なう。ここで、圧縮率処理部１３１および圧縮処理回路１２３が、本発明にいう画像圧縮部の一例に相当する。
【００４９】
次に、このデジタルカメラ１の概略動作について説明する。
【００５０】
このデジタルカメラ１の動作は統括的にＣＰＵ１１５により制御される。このＣＰＵ１１５内にはＲＯＭが内蔵されており、その内蔵されたＲＯＭ内にプログラムが格納されている。このプログラムの手順にしたがってデジタルカメラ１全体の動作がＣＰＵ１１５により制御される。また、ＳＤＲＡＭ１２０にはＲＯＭに記述されているプログラムの手順にしたがってＣＰＵ１１５がこのデジタルカメラ１全体を制御しているときに、処理中の画像データが一時的に格納されたりする。
【００５１】
また、表示用のバッファとしてのＶＲＡＭ１２７にはスルー画像を表わす画像データがＡ領域、Ｂ領域に順次記憶され、それらの領域にある画像データが交互にＶｉｄｅｏ／ＬＣＤエンコーダ１２４に供給され画像データに基づく画像が順次切り換えられてスルー画像として画像表示部１３上に表示される。ここで、画像表示部１３上に表示されるスルー画は、詳細は後述するが、眼鏡を用いないでも観察することができる三次元の動画である。
【００５２】
ここでは、撮影モードダイヤル１２＿１（図１参照）がＡＵＴＯに切り替えられて撮影が行なわれた場合の画像データの流れを、図２を参照して説明する。
【００５３】
撮影モードダイヤル１２＿１がＡＵＴＯに切り替えられると、ＣＰＵ１１５は撮影光学系１０１を経由した被写体光を第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊで捉え、それらの第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊで生成される画像データを所定の間隔ごとに第１のＣＤＳＡＭＰ１１６，第２のＣＤＳＡＭＰ１１７側へ出力させ、第１のＡ／Ｄ変換部１１８，第２のＡ／Ｄ変換部１１９および画像入力コントローラ１２１，輝度比処理部１３０，画像信号処理回路１２２で表示可能な画像データに変換してスルー画像を画像表示部１３の画面上に表示させる。そのスルー画像に基づいて任意にフレーミングが行なわれ、ＡＦ検出回路１２５が絶えず第１のフォーカスレンズ１０１ｃ，第２のフォーカスレンズ１０１ｈを前後させ、後述するようにして合焦点検出を行なって、焦点のあった画像を第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊに結像させる。このときにはＡＥ＆ＡＷＢ検出部１２６によって被写界輝度が検出され、その検出結果に基づいてホワイトバランス調整のためにＲ、Ｇ、Ｂの各色信号のゲインが調整されたりする。このように被写界輝度に応じて露出が調節され焦点のあった画像を表わす画像データを、タイミングジェネレータ１１４からのタイミング信号に応じて所定の間隔ごとに第１のＣＤＳＡＭＰ１１６，第２のＣＤＳＡＭＰ１１７へ出力させ、後段でスルー画像を得ている。撮影者はこのスルー画像を見ながらフレーミングを行ない、シャッタチャンスにレリーズ操作を行なう。
【００５４】
レリーズ操作が行なわれると、ＣＰＵ１１５は、第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊにレリーズ操作時の画像を結像させるため、タイミングジェネレータ１１４からタイミング信号を供給させる。このタイミング信号は第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊに露光開始および露光終了を告げるものでありいわゆるシャッタスピードに相当する。ＣＰＵ１１５はこの露光終了時に第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊから画像データ（ＲＧＢの光の３原色Ｒ，Ｇ、Ｂからなる画像データ）を出力させ、後段の第１のＣＤＳＡＭＰ１１６，第２のＣＤＳＡＭＰ１１７に供給させる。さらに、第１のＣＤＳＡＭＰ１１６，第２のＣＤＳＡＭＰ１１７でそれら第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊから出力された画像データの雑音が低減され、その雑音が低減された画像データが第１のＡ／Ｄ変換部１１８，第２のＡ／Ｄ変換部１１９でデジタル信号に変換される。これら第１のＡ／Ｄ変換部１１８，第２のＡ／Ｄ変換部１１９でデジタル信号に変換されたＲＧＢからなる画像データは、後段の画像入力コントローラ１２１によりデータバスを介してＳＤＲＡＭ１２０に供給され、このＳＤＲＡＭ１２０に第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊのすべての画素の画像データが記憶される。すべての画素データに対応する画像データがＳＤＲＡＭ１２０に記憶されると、ＣＰＵ１１５が後述する輝度比処理部１３０，画像信号処理回路１２２の画像処理プロセスを起動させ、その画像処理プロセスによってＳＤＲＡＭ１２０の画像データを読み出させ、ＹＣ信号への変換を行なわせる。さらに、この画像信号処理部１２２の画像処理プロセスが終了したことをＣＰＵ１１５が検知すると、ＣＰＵ１１５は後述する圧縮率処理部１３１，圧縮処理回路１２３のＪＰＥＧプロセスを起動させ、ＪＰＥＧプロセスによって画像データの圧縮を行なわせる。これら圧縮率処理部１３１，圧縮処理回路１２３での圧縮が完了したことをＣＰＵ１１５が検知すると、ＣＰＵ１１５は次に記録処理プロセスを起動させ、ＪＰＥＧ圧縮された画像データを、メディアコントローラ１２８を介して記録メディア１１０に記録させる。このようにして、画像データの処理が行なわれる。
【００５５】
図３は、図２に示す撮影光学系で前面と後面の２次元画像を同時に生成する様子を説明するための図である。
【００５６】
眼鏡を用いないで動画表示が可能な３次元表示装置である画像表示部１３に、画像データを供給するためには、３次元物体を観察者から見て遠い表示面と近い表示面の２つの面にて射影できる２次元的な画像（２Ｄ化像）を生成する必要がある。本実施形態のデジタルカメラ１は、観察者から見て遠い表示面（後方）の画像と、観察者から見て近い表示面（前方）の画像を、同時に撮像する撮影装置である。
【００５７】
本実施形態の特徴の１つは、図３に示すように、第１のＣＣＤ１０１ｇと第２のＣＣＤ１０１ｊにおける２つの光学系であって、焦点距離が異なり、光軸および光路長が同じである撮影光学系１０１にある。また、本実施形態の効果の１つは、光軸と光路長が同じであり、２つの撮像素子である第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊを持つデジタルカメラに、合焦調節レンズ（第２のフォーカスレンズ１０１ｉ）を挿入するだけで、三次元画像表示（３Ｄ表示）に必要な２Ｄ化像を生成することができることにある。
【００５８】
ここでは、被写体Ａと被写体Ｂが距離Ｌだけ離れており、被写体Ａは被写体Ｂより後方に位置し、被写体Ａと被写体Ｂはデジタルカメラ１の方向に対して互いに重ならないように実在しする場合を例に挙げて説明する。
【００５９】
被写体Ｂは被写体Ａより前方に位置し、合焦調節レンズ（第１のフォーカスレンズ１０１ｃ）で被写体Ｂに焦点（ピント）を合わせると、第１のフォーカスレンズ１０１ｃの合焦位置での画像が、光量調節用絞り（アイリス１０１ａ）、倍率調節用レンズ（ズームレンズ１０１ｂ）、第１のフォーカスレンズ１０１ｃを通過してハーフミラー１０１ｄにて約半分の光が透過して、反射鏡２枚（第１の反射鏡１０１ｅ，第２の反射鏡１０１ｆ）を経由して第１のＣＣＤ１０１ｇに入射する。
【００６０】
被写体Ａは被写体Ｂより後方に位置し、第２のフォーカスレンズ１０１ｉで被写体Ａに焦点（ピント）を合わせると、第２のフォーカスレンズ１０１ｉの合焦位置での画像が、アイリス１０１ａ，ズームレンズ１０１ｂ，第１のフォーカスレンズ１０１ｃを通過してハーフミラー１０１ｄにて約半分の光が反射して、第３の反射鏡１０１ｈを経由し、第２のフォーカスレンズ１０１ｉを通過して、第２のＣＣＤ１０１ｊに入射する。
【００６１】
第１のＣＣＤ１０１ｇの撮像画像は、前方位置にある被写体Ｂに合焦しており、後方位置にある被写体Ａには非合焦である。第２のＣＣＤ１０１ｊの撮像画像は、後方位置にある被写体Ａに合焦しており、前方位置にある被写体Ｂには非合焦である。
【００６２】
前述したように、このデジタルカメラ１の撮影光学系１０１を用いると、第１のフォーカスレンズ１０１ｃの合焦位置（前方）と第２のフォーカスレンズ１０１ｉの合焦位置（後方）の２Ｄ化像を、光軸と光路長が同じであリ、２つの撮像素子（第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊ）を持つデジタルカメラに、合焦調節レンズ（第２のフォーカスレンズ１０１ｉ）を挿入するだけで、３Ｄ表示に必要な２Ｄ化像を生成することができる。
【００６３】
図４は、図２，図３に示す撮影光学系とは異なる撮影光学系で前面と後面の２次元画像を同時に生成する様子を説明するための図である。
【００６４】
図４には、図２，図３に示す撮影光学系１０１とは異なる撮影光学系２０１が示されている。この撮影光学系２０１は、図２，図３に示す撮影光学系１０１と比較し、第１の反射鏡１０１ｅ，第２の反射鏡１０１ｆが削除されている点が異なっている。
【００６５】
ここでの特徴は、第１のＣＣＤ１０１ｇと第２のＣＣＤ１０１ｊにおける２つの光学系であって、焦点距離が異なり、光軸が同じで、光路長が異なる撮影光学系２０１にある。また、ここでの効果は、前述したデジタルカメラ１と比較し、２枚の反射鏡（第１の反射鏡１０１ｅ，第２の反射鏡１０１ｆ）が不要となり、従って光量低下を防止することができるとともに、部品点数と調整工数の削減効果によるコストダウンを図ることができる。また、前述したデジタルカメラ１と同様に、３Ｄ表示に必要な２Ｄ化像を生成することができる。
【００６６】
ここでは、被写体Ａと被写体Ｂが距離Ｌだけ離れており、被写体Ａは被写体Ｂより後方に位置し、被写体Ａと被写体Ｂはデジタルカメラの方向に対して互いに重ならないように実在しする場合を例に挙げて説明する。
【００６７】
被写体Ｂは被写体Ａより前方に位置し、合焦調節レンズ（第１のフォーカスレンズ１０１ｃ）で被写体Ｂに焦点（ピント）を合わせると、第１のフォーカスレンズ１０１ｃの合焦位置での画像が、光量調節用絞り（アイリス１０１ａ）、倍率調節用レンズ（ズームレンズ１０１ｂ）、第１のフォーカスレンズ１０１ｃを通過してハーフミラー１０１ｄにて約半分の光が透過して、第１のＣＣＤ１０１ｇに入射する。
【００６８】
被写体Ａは被写体Ｂより後方に位置し、第２のフォーカスレンズ１０１ｉで被写体Ａに焦点（ピント）を合わせると、第２のフォーカスレンズ１０１ｉの合焦位置での画像が、アイリス１０１ａ，ズームレンズ１０１ｂ，第１のフォーカスレンズ１０１ｃを通過してハーフミラー１０１ｄにて約半分の光が反射して、第３の反射鏡１０１ｈを経由して、第２のフォーカスレンズ１０１ｉを通過して、第２のＣＣＤ１０１ｊに入射する。
【００６９】
第１のＣＣＤ１０１ｇの撮像画像は、前方位置にある被写体Ｂに合焦しており、後方位置にある被写体Ａには非合焦である。第２のＣＣＤ１０１ｊの撮像画像は、後方位置にある被写体Ａに合焦しており、前方位置にある被写体Ｂには非合焦である。
【００７０】
前述したように、この撮影光学系２０１を用いると、第１のフォーカスレンズ１０１ｃの合焦位置（前方）と第２のフォーカスレンズ１０１ｉの合焦位置（後方）の２Ｄ化像を、光軸が同じで光路長が異なり、２つの撮像素子（第１のＣＣＤ１０１ｇ，第２のＣＣＤ１０１ｊ）を持つデジタルカメラに、合焦調節レンズ（第２のフォーカスレンズ１０１ｉ）を挿入するだけで、３Ｄ表示に必要な２Ｄ化像を生成することができる。このような撮影光学系２０１を用いて三次元画像を表示してもよい。
【００７１】
図５は、図２に示す輝度比処理部における信号処理の流れを示す図、図６は、図２に示す輝度比処理部における信号波形を示す図である。
【００７２】
上述したように、撮影光学系１０１を備えたデジタルカメラ１（もしくは撮影光学系２０１を備えたデジタルカメラ）では、第１のＣＣＤ１０１ｇと第２のＣＣＤ１０１ｊにおける２つの光学系であって、焦点距離が異なり、光軸が同じである撮影光学系１０１，２０１に特徴がある。且つ、３Ｄ表示に必要な２Ｄ化像を、単一の光軸上で撮像した前面と後面の２Ｄ化像にて提供している。
【００７３】
さらに、輝度比処理部１３０では、撮影光学系１０１（もしくは撮影光学系２０１）で得られた単一の光軸上で撮像した前面と後面の２Ｄ化像から、観察者から見た奥行き方向の連続情報を逐次演算可能とする信号処理方法が提供される。
【００７４】
ここで、前面寄りに被写体がある場合は前面での合焦比率が高く後面での合焦比率が低いので、前面での輝度信号に前面での合焦比率を乗算し、後面での輝度信号に後面での合焦比率を乗算して、３Ｄ表示の輝度信号を提供する。この効果は、合焦比率を用いて奥行き方向の情報を逐次演算し、奥行きが連続的に変化して見える３Ｄ表示させる輝度信号が得られることにある。
【００７５】
次に、図５，図６を参照して、輝度比処理部１３０における信号処理の流れと各部波形について説明する。前方面の合焦位置で撮像された画像輝度信号Ｙａは、輝度比処理部１３０に備えられたＨＰＦ（ハイパスフィルタ）に入力され、そのＨＰＦで空間周波数の高域成分ａが抽出され、さらにその高域成分ａの絶対値Ａが求められる。また、後方面の合焦位置で撮像された画像輝度信号Ｙｂは、輝度比処理部１３０に備えられた上記ＨＰＦとは異なるＨＰＦに入力され、そのＨＰＦで空間周波数の高域成分ｂが抽出され、その高域成分ｂの絶対値Ｂが求められる。
【００７６】
図６に示す各部波形においては、合焦している部分を太線にて示している。前方面の画像は前方面の被写体に合焦（Ａ＞Ｂ）しており、後方面の被写体は非合焦（Ａ＜Ｂ）である。また、後方面の画像は後方面の被写体に合焦（Ａ＜Ｂ）しており、前方面の被写体は非合焦（Ａ＞Ｂ）である。前方面での合焦比率Ａ／（Ａ＋Ｂ）を、前方面の合焦位置で撮像された画像輝度信号Ｙａに乗算して、前方側のＬＣＤ画面（画像表示部１３の第１の光透過性表示画面）に表示させる画像輝度信号Ｙａ’（Ｙａ’＝Ｙａ×Ａ／（Ａ＋Ｂ））（第１の輝度調整画像データ）とする。この画像輝度信号Ｙａ’は、前方面寄りにある合焦している部分が増加し、後方面寄りにある非合焦の部分が減少していることを表わしている信号である。また、後方面での合焦比率Ｂ／〈Ａ＋Ｂ）を、後方面の合焦位置で撮像された画像輝度信号Ｙｂに乗算して、後方側のＬＣＤ画面（画像表示部１３の第２の光透過性表示画面）に表示させる画像輝度信号Ｙｂ’（Ｙｂ’＝Ｙｂ×Ｂ／（Ａ＋Ｂ））（第２の輝度調整画像データ）とする。この画像輝度信号Ｙｂ’は、後方面寄りにある合焦している部分が増加し、前方面寄りにある非合焦の部分が減少していることを表わしている信号である。尚、この図６に示す画像輝度信号Ｙａ’は、高域成分ａの絶対値Ａの大きな部分（画像のあるエッジと他のエッジ）どうしが接続されるような処理が施されて生成されている。
【００７７】
以上説明したように、前方側に射影する画像と後方側に射影する画像にて、その輝度信号を被写体の奥行き位置に応じて可変することができる。これらの画像を画像表示部１３に供給すると、立体的な被写体として表示される。
【００７８】
図７は、図２に示す圧縮率処理部における信号処理の流れを示す図である。
【００７９】
この圧縮率処理部１３１は、単一の光軸上で撮像した前面と後面の２Ｄ化像より、記録用の画像データを生成する時の圧縮率を最適化する処理を行なう。即ち、この圧縮率処理部１３１は、上述した輝度比処理部１３０にて算出した前面と後面との合焦比率（Ａ／（Ａ＋Ｂ），Ｂ／〈Ａ＋Ｂ））に応じて、画像データ圧縮率を調整する。詳細には、基準圧縮率Ｚに、前方面での合焦比率Ａ／（Ａ＋Ｂ）の逆数を乗算して、前方側のＬＣＤ画面（画像表示部１３の第１の光透過性表示画面）に表示させる画像データの保存用の圧縮率Ｚａ’（Ｚａ’＝Ｚ×（Ａ＋Ｂ）／Ａ）とする。また、基準圧縮率Ｚに、後方面での合焦比率Ｂ／〈Ａ＋Ｂ）の逆数を乗算して、後方側のＬＣＤ画面（画像表示部１３の第２の光透過性表示画面）に表示させる画像データの保存用の圧縮率Ｚｂ’（Ｚｂ’＝Ｚ×（Ａ＋Ｂ）／Ｂ）とする。つまり、各画素（プロック）について、後面より前面の合焦比率が高い場合には、前面の画像データの圧縮率を下げ、且つ、後面の画像データの圧縮率を上げる。このように、前面と後面の各画素（ブロック）の圧縮率が合焦比率に応じて調整されるため、３Ｄ表示させる画像データを効率的に圧縮することができるという効果を有する。つまり、合焦比率の高い表示面に射影する画像データの圧縮率を下げるのでより鮮鋭な記録ができ、また合焦比率の低い表示面に射影する画像データの圧縮率を上げるので保存するデータ量をより削減することができる。より望ましい態様としては、前面の保存データ量と後面の保存データ量の和がほぼ等しくなるように画像データ圧縮率を調整するのが良い。これは、前面と後面の画像データの品質をほぼ等しくすることになり、画像表示部１３上に射影された３Ｄ画像の奥行き方向の品質がほぼ等しくなるので自然な画像として表示することができる。
【００８０】
尚、上述した実施形態では、本発明の撮影装置としてデジタルカメラの例で説明したが、これに限られるものではなく、本発明の撮影装置は、デジタルカメラの機能が組み込まれた携帯電話や動画を撮影するビデオカメラ等であってもよい。
【００８１】
次に、本発明の画像処理装置の一実施形態について説明する。
【００８２】
図８は、本発明の画像処理装置の一実施形態が実現される情報処理装置を示す概要図である。
【００８３】
この図８には、情報処理装置として、一般にワークステーションまたはパーソナルコンピュータと呼ばれるコンピュータ２００が示されており、このコンピュータ２００により本発明の画像処理装置の一実施形態が実現される。尚、この画像処理装置の一実施形態の実現にあたっては、後述するＣＤ―ＲＯＭ３００に記憶された画像処理プログラムがコンピュータ２００にローディングされることにより行なわれる。
【００８４】
先ず、このコンピュータ２００のハードウェア構成について説明する。
【００８５】
このコンピュータ２００は、ＣＰＵ（中央処理装置）、ＲＡＭ（ランダムアクセスメモリ）、ハードディスク、通信用ボード等が内蔵された本体部２０１、その本体部２０１からの指示により表示画面２０２ａ上に画像や文字列を表示する画像表示部（液晶モニタ）２０２、このコンピュータ２００に利用者の指示を入力するためのキーボード２０３、表示画面２０２ａ上の任意の位置を指定することにより、その指定時にその位置に表示されていたアイコン等に応じた指示を入力するマウス２０４を備えている。ここで、画像表示部２０２は、重ねて配置された２枚の光透過性表示画面を有し、それら２枚の表示画面上に、後述する２つの輝度調整画像を１枚ずつ表示する画像表示部である。
【００８６】
本体部２０１は、さらに外観上、フレキシブルディスク（図示せず）、ＣＤ―ＲＯＭ２００が装填されるフレキシブルディスク装填口２０１ａ、ＣＤ―ＲＯＭ装填口２０１ｂを有しており、それらの内部には、それらの装填口２０１ａ，２０１ｂから装填されたフレキシブルディスクやＣＤ−ＲＯＭ３００をドライブしてアクセスするフレキシブルディスクドライブやＣＤ−ＲＯＭドライブも内蔵されている。
【００８７】
図９は、図８に示した外観を有するコンピュータのハードウェア構成図である。
【００８８】
図９のハードウェア構成図には、ＣＰＵ２１１、ＲＡＭ２１２、ハードディスクコントローラ２１３、フレキシブルディスクドライブ２１４、ＣＤ―ＲＯＭドライブ２１５、マウスコントローラ２１６、キーボードコントローラ２１７、ディスプレイコントローラ２１８、および通信用ボード２１９が示されており、それらはバス２１０で相互に接続されている。
【００８９】
フレキシブルディスクドライブ２１４、ＣＤ―ＲＯＭドライブ２１５は、図８を参照して説明したように、それぞれフレキシブルディスク装填口２０１ａおよびＣＤ−ＲＯＭ装填口２０１ｂから装填されたフレキシブルディスク４００、ＣＤ−ＲＯＭ３００をアクセスするものである。通信用ボード２１９は通信回線５００に接続される。
【００９０】
また、図９には、ハードディスクコントローラ２１３によりアクセスされるハードディスク２２０、マウスコントローラ２１６により制御されるマウス２０４、キーボードコントローラ２１７により制御されるキーボード２０３、およびディスプレイコントローラ２１８により制御される画像表示部２０２も示されている。
【００９１】
図１０は、図８に示す情報処理装置であるコンピュータを、画像処理装置として動作させる画像処理プログラムが記憶されたＣＤ−ＲＯＭを示す概念図である。
【００９２】
図１０に示すＣＤ−ＲＯＭ３００には、画像処理プログラム３１０が記憶されており、この画像処理プログラム３１０は、画像取得ルーチン部３１１および画像処理ルーチン部３１２で構成されている。画像処理プログラム３１０の各部の細部については、本発明の画像処理装置の一実施形態の各部の作用とあわせて説明する。
【００９３】
図１１は、本発明の画像処理装置の、ＣＤ−ＲＯＭに記憶された画像処理プログラムにより実現される一実施形態の構成を示す図である。
【００９４】
図１１に示す画像処理装置２００＿１は、ＣＤ―ＲＯＭ３００に記憶された画像処理プログラムがコンピュータ２００にローディングされることにより実現される画像取得部２００＿１１および画像処理部２００＿１２と、前述した画像表示部２０２とにより構成される。
【００９５】
画像取得部２００＿１１は、図１０に示す画像取得ルーチン部３１１のプログラムの作用を受けて動作し、図９に示す通信回線５００および通信用ボード２１９を経由して、デジタルカメラ等からの、同一被写体に対する、ピントの合った距離が互いに異なる複数の撮影画像を表わす複数の撮影画像データを取得する。
【００９６】
画像処理部２００＿１２は、図１０に示す画像処理ルーチン部３１２のプログラムの作用を受けて動作し、各撮影画像における各画素の輝度を、その各画素の合焦の程度が高いほど高輝度側に調整した２つの輝度調整画像を表わす２つの輝度調整画像データを生成する。また、各撮影画像を、その各撮影画像の合焦の程度が低い領域ほど高い圧縮率で圧縮した２つの圧縮画像を表わす２つの圧縮画像データを生成して、ハードディスクコントローラ２１３を経由してハードディスク２２０に保存する。
【００９７】
画像表示部２０２は、前述したように、重ねて配置された２枚の光透過性表示画面を有し、それら２枚の表示画面上に上記２つの輝度調整画像を１枚ずつ表示する。
【００９８】
本実施形態の画像処理装置２００＿１は、三次元の画像を表示するための撮影画像データを画像取得部２００＿１１で取得し、取得した撮影画像データで表わされる各撮影画像における各画素の輝度を、その各画素の合焦の程度が高いほど高輝度側に調整した２つの輝度調整画像を表わす２つの輝度調整画像データを画像処理部２００＿１２で生成するものである。このため、観察者から見て、前方の画像にピントが合っている場合は、その前方の画像の各画素の輝度が高輝度側に調整されるとともに後方の画像の各画素の輝度が低輝度側に調整された２つの輝度調整画像を表わす２つの輝度調整画像データが生成される。さらに、画像処理装置２００＿１に備えられた画像表示部２０２の２枚の光透過性表示画面上に上記２つの輝度調整画像が１枚ずつ表示される。このようにして、画像表示部２０２に三次元画像が表示される。
【００９９】
また、本実施形態の画像処理装置２００＿１では、撮影画像の合焦の程度が低い領域は高い圧縮率で圧縮し、また撮影画像の合焦の程度が高い領域は低い圧縮率で圧縮するものであるため、三次元画像を表示するための画像データを効率よく圧縮することができる。
【図面の簡単な説明】
【０１００】
【図１】本発明の第１の撮影装置および本発明の第２の撮影装置の双方の一実施形態であるデジタルカメラを上方から見た上面図、正面から見た正面図および背面から見た背面図である。
【図２】図１に示すデジタルカメラの内部構成を示す図である。
【図３】図２に示す撮影光学系で前面と後面の２次元画像を同時に生成する様子を説明するための図である。
【図４】図２，図３に示す撮影光学系とは異なる撮影光学系で前面と後面の２次元画像を同時に生成する様子を説明するための図である。
【図５】図２に示す輝度比処理部における信号処理の流れを示す図である。
【図６】図２に示す輝度比処理部における信号波形を示す図である。
【図７】図２に示す圧縮率処理部における信号処理の流れを示す図である。
【図８】本発明の画像処理装置の一実施形態が実現される情報処理装置を示す概要図である。
【図９】図８に示した外観を有するコンピュータのハードウェア構成図である。
【図１０】図８に示す情報処理装置であるコンピュータを、画像処理装置として動作させる画像処理プログラムが記憶されたＣＤ−ＲＯＭを示す概念図である。
【図１１】本発明の画像処理装置の、ＣＤ−ＲＯＭに記憶された画像処理プログラムにより実現される一実施形態の構成を示す図である。
【符号の説明】
【０１０１】
１ デジタルカメラ
１ａ カメラボディ
１０ レンズ鏡胴
１１ パワーボタン
１２ レリーズボタン
１２＿１ 撮影モードダイヤル
１３ 画像表示部
１４ 再生ボタン
１５ Ｆボタン
１６ 十字キー
１７ ＯＫ／メニューボタン
１８ ズームスイッチ
１９ ＤＳＰ／ＢＡＣＫボタン
２０ 測光センサ
２１ 閃光発光窓
１００ 操作部
１０１，２０１ 撮影光学系
１０１ａ アイリス
１０１ｂ ズームレンズ
１０１ｃ，１０１ｉ フォーカスレンズ
１０１ｄ ハーフミラー
１０１ｅ，１０１ｆ，１０１ｈ 反射鏡
１０１ｇ，１０１ｊ ＣＣＤ
１１０ 記録メディア
１１１，１１２，１１３ モータドライバ
１１４ タイミングジェネレータ
１１５，２１１ ＣＰＵ
１１６，１１７ ＣＤＳＡＭＰ
１１８，１１９ Ａ／Ｄ変換回路
１２０ メモリ（ＳＤＲＡＭ）
１２１ 画像入力コントローラ
１２２ 画像信号処理回路
１２３ 圧縮処理回路
１２４ ビデオエンコーダ
１２５ ＡＦ検出回路
１２６ ＡＥ＆ＡＷＢ検出回路
１２７ ＶＲＡＭ
１２８ メディアコントローラ
１２９ フラッシュ発光部
１３０ 輝度比処理部
１３１ 圧縮率処理部
２００ コンピュータ
２００＿１ 画像処理装置
２００＿１１ 画像取得部
２００＿１２ 画像処理部
２０１ 本体部
２０１ａ フレキシブルディスク装填口
２０１ｂ ＣＤ―ＲＯＭ装填口
２０２ 画像表示部
２０２ａ 表示画面
２０３ キーボード
２０４ マウス
２１０ バス
２１１ ＣＰＵ
２１２ ＲＡＭ
２１３ ハードディスクコントローラ
２１４ フレキシブルディスクドライブ
２１５ ＣＤ―ＲＯＭドライブ
２１６ マウスコントローラ
２１７ キーボードコントローラ
２１８ ディスプレイコントローラ
２１９ 通信用ボード
２２０ ハードディスク
３００ ＣＤ―ＲＯＭ
３１０ 画像処理プログラム
３１１ 画像取得ルーチン部
３１２ 画像処理ルーチン部
４００ フレキシブルディスク
５００ 通信回線
【特許請求の範囲】
【請求項１】
同一被写体に対する、ピントの合った距離が互いに異なる複数の撮影画像を表わす複数の撮影画像データを取得し、
各撮影画像における各画素の輝度を、該各画素の合焦の程度が高いほど高輝度側に調整した複数の輝度調整画像を表わす複数の輝度調整画像データを生成し、
重ねて配置された複数枚の光透過性表示画面上に前記複数の輝度調整画像を１枚ずつ表示することを特徴とする画像処理方法。
【請求項２】
各撮影画像を、該各撮影画像の合焦の程度が低い領域ほど高い圧縮率で圧縮した複数の圧縮画像を表わす複数の圧縮画像データを生成し、前記複数の圧縮画像データを保存することを特徴とする請求項１記載の画像処理方法。
【請求項３】
撮影により、同一被写体に対する、ピントの合った距離が互いに異なる複数の撮影画像を表わす複数の撮影画像データを生成する撮影部と、
各撮影画像における各画素の輝度を、該各画素の合焦の程度が高いほど高輝度側に調整した複数の輝度調整画像を表わす複数の輝度調整画像データを生成する画像処理部とを備えたことを特徴とする撮影装置。
【請求項４】
重ねて配置された複数枚の光透過性表示画面を有し、該複数枚の表示画面上に前記複数の輝度調整画像を１枚ずつ表示する画像表示部を備えたことを特徴とする請求項３記載の撮影装置。
【請求項５】
撮影により、同一被写体に対する、ピントの合った距離が互いに異なる複数の撮影画像を表わす複数の撮影画像データを生成する撮影部と、
各撮影画像を、該各撮影画像の合焦の程度が低い領域ほど高い圧縮率で圧縮した複数の圧縮画像を表わす複数の圧縮画像データを生成する画像圧縮部とを備えたことを特徴とする撮影装置。
【請求項６】
同一被写体に対する、ピントの合った距離が互いに異なる複数の撮影画像を表わす複数の撮影画像データを取得する画像取得部と、
各撮影画像における各画素の輝度を、該各画素の合焦の程度が高いほど高輝度側に調整した複数の輝度調整画像を表わす複数の輝度調整画像データを生成する画像処理部とを備えたことを特徴とする画像処理装置。
【請求項７】
重ねて配置された複数枚の光透過性表示画面を有し、該複数枚の表示画面上に前記複数の輝度調整画像を１枚ずつ表示する画像表示部を備えたことを特徴とする請求項６記載の画像処理装置。
【請求項８】
各撮影画像を、該各撮影画像の合焦の程度が低い領域ほど高い圧縮率で圧縮した複数の圧縮画像を表わす複数の圧縮画像データを生成することを特徴とする請求項６記載の画像処理装置。
【請求項１】
同一被写体に対する、ピントの合った距離が互いに異なる複数の撮影画像を表わす複数の撮影画像データを取得し、
各撮影画像における各画素の輝度を、該各画素の合焦の程度が高いほど高輝度側に調整した複数の輝度調整画像を表わす複数の輝度調整画像データを生成し、
重ねて配置された複数枚の光透過性表示画面上に前記複数の輝度調整画像を１枚ずつ表示することを特徴とする画像処理方法。
【請求項２】
各撮影画像を、該各撮影画像の合焦の程度が低い領域ほど高い圧縮率で圧縮した複数の圧縮画像を表わす複数の圧縮画像データを生成し、前記複数の圧縮画像データを保存することを特徴とする請求項１記載の画像処理方法。
【請求項３】
撮影により、同一被写体に対する、ピントの合った距離が互いに異なる複数の撮影画像を表わす複数の撮影画像データを生成する撮影部と、
各撮影画像における各画素の輝度を、該各画素の合焦の程度が高いほど高輝度側に調整した複数の輝度調整画像を表わす複数の輝度調整画像データを生成する画像処理部とを備えたことを特徴とする撮影装置。
【請求項４】
重ねて配置された複数枚の光透過性表示画面を有し、該複数枚の表示画面上に前記複数の輝度調整画像を１枚ずつ表示する画像表示部を備えたことを特徴とする請求項３記載の撮影装置。
【請求項５】
撮影により、同一被写体に対する、ピントの合った距離が互いに異なる複数の撮影画像を表わす複数の撮影画像データを生成する撮影部と、
各撮影画像を、該各撮影画像の合焦の程度が低い領域ほど高い圧縮率で圧縮した複数の圧縮画像を表わす複数の圧縮画像データを生成する画像圧縮部とを備えたことを特徴とする撮影装置。
【請求項６】
同一被写体に対する、ピントの合った距離が互いに異なる複数の撮影画像を表わす複数の撮影画像データを取得する画像取得部と、
各撮影画像における各画素の輝度を、該各画素の合焦の程度が高いほど高輝度側に調整した複数の輝度調整画像を表わす複数の輝度調整画像データを生成する画像処理部とを備えたことを特徴とする画像処理装置。
【請求項７】
重ねて配置された複数枚の光透過性表示画面を有し、該複数枚の表示画面上に前記複数の輝度調整画像を１枚ずつ表示する画像表示部を備えたことを特徴とする請求項６記載の画像処理装置。
【請求項８】
各撮影画像を、該各撮影画像の合焦の程度が低い領域ほど高い圧縮率で圧縮した複数の圧縮画像を表わす複数の圧縮画像データを生成することを特徴とする請求項６記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００７−３１８３０７（Ｐ２００７−３１８３０７Ａ）
【公開日】平成１９年１２月６日（２００７．１２．６）
【国際特許分類】
【出願番号】特願２００６−１４４０７１（Ｐ２００６−１４４０７１）
【出願日】平成１８年５月２４日（２００６．５．２４）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成１９年１２月６日（２００７．１２．６）
【国際特許分類】
【出願日】平成１８年５月２４日（２００６．５．２４）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]