画像処理装置、画像処理方法、プログラム、記録媒体
【課題】歪曲収差と遠近感のバランスがとれた画像を生成する。
【解決手段】画像を取得する画像取得部と、前記画像の内容について示す画像情報を取得する情報取得部と、前記画像情報に基づいて、前記画像の歪みの一部を残すように補正する補正部と、を有することを特徴とする画像処理装置を提供する。例えば、前記画像情報が、前記画像の内容は会議であることを示す場合には、前記補正部は、前記歪みの水平方向成分を全て解消し、前記歪みの垂直方向成分を所定量残すように補正する。
【解決手段】画像を取得する画像取得部と、前記画像の内容について示す画像情報を取得する情報取得部と、前記画像情報に基づいて、前記画像の歪みの一部を残すように補正する補正部と、を有することを特徴とする画像処理装置を提供する。例えば、前記画像情報が、前記画像の内容は会議であることを示す場合には、前記補正部は、前記歪みの水平方向成分を全て解消し、前記歪みの垂直方向成分を所定量残すように補正する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、プログラム、記録媒体に関する。
【背景技術】
【0002】
画角の大きな広角レンズを用いることで広範囲の被写体を一枚の画像に撮像できる技術がある。近年では、該技術が、テレビ会議や車載カメラで利用されるようになってきている。しかし、広角レンズで撮影した画像には、遠近感(パースペクティブ)が強調される問題や、歪曲収差(幾何学的な歪み)により人が歪んで見える問題が生じる。例えば広角レンズを用いてテレビ会議を撮影した場合、撮影した画像中の人の顔が歪んでいたり(歪曲収差の問題)、実際よりも人が遠くに座っているように感じたりしてしまう(遠近感の強調の問題)。これらの問題に対して、歪曲収差補正や遠近感補正の各補正技術が既に知られている(例えば、特許文献1、特許文献2参照)。
【0003】
特許文献1では、高画質な画像を効率的に得る目的で、推定された撮影シーンに応じて所定の画像処理、具体的には諧調制御や幾何歪み補正、平滑化処理などを行う画像処理装置が開示されている。
【0004】
特許文献2では、画像撮影装置を低コスト化する目的で、水平方向だけの座標変換で歪曲収差の大きい魚眼画像を人間が見易い画像に補正する画像処理装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、特許文献1の画像処理装置では、歪曲収差を補正することはできるが遠近感の強調を解消できないという問題がある。
【0006】
また、特許文献2の画像処理装置は、歪曲収差を補正するものであるが、撮影シーンによっては水平方向だけの補正では十分でない場合もあり、歪曲収差の補正を十分に行うことはできないという問題がある。
【0007】
そこで、本発明は、上記のような問題を鑑みて、歪曲収差と遠近感のバランスがとれた画像を生成する画像処理装置、画像処理方法、プログラム、記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するため、画像を取得する画像取得部と、前記画像の内容について示す画像情報を取得する情報取得部と、前記画像情報に基づいて、前記画像の歪みの一部を残すように補正する補正部と、を有することを特徴とする画像処理装置を提供する。
【発明の効果】
【0009】
本発明の画像処理装置、画像処理方法、プログラム、記録媒体によれば、歪曲収差と遠近感のバランスがとれた画像を生成できる。
【図面の簡単な説明】
【0010】
【図1】本実施例の画像処理装置の機能構成例を示した図。
【図2】本実施例のCPUの機能構成例を示した図。
【図3】本実施例の画像処理装置の処理フローを示した図。
【図4】処理対象の一例を示した図。
【図5】広角レンズで撮影された画像の一例を示した図。
【図6】注目画素などを示した図。
【図7】補正前の画像と補正後の画像の関係を示した図。
【図8】補正後の画像の一例を示した図。
【図9】画像情報と、補正率α、βの対応を示した図。
【図10】別の実施形態の画像処理装置の機能構成例を示した図
【図11】別の実施形態のCPUの機能構成例を示した図。
【図12】別の実施形態の画像処理装置の処理フローを示した図。
【図13】本実施形態の通信システムの機能構成例を示した図。
【図14】別の実施形態の画像処理装置の機能構成例を示した図。
【図15】画像処理装置の外観図の一例を示した図。
【図16】分析部の処理フローを示した図。
【図17】分析部の別の処理フローを示した図。
【図18】分析部が文字などの分析処理を説明するための図。
【発明を実施するための形態】
【0011】
以下、本発明を実施するための形態の説明を行う。なお、同じ機能を持つ構成部や同じ処理を行う過程には同じ番号を付し、重複説明を省略する。
[実施形態1]
図13に、本実施形態1の画像処理装置により構成される通信システム2000の機能構成例について示す。図13の例では、N個(Nは2以上の整数)の画像処理装置100n(n=1,...,N)がネットワーク1000に接続されている。以下の説明では、N個の画像処理装置100n(n=1,...,N)のうち、注目する画像処理装置を画像処理装置1001とするが、他の画像処理装置1002〜100Nのうちの1つを注目する画像処理装置としてもよい。また、画像処理装置100nを総じていう場合には、画像処理装置100という。
【0012】
通信システム2000では、N個の画像処理装置100n(n=1,...,N)のうち、複数の画像処理装置と、他の複数の画像処理装置との間で、ネットワーク1000を経由して、画像などが送受信される。更に詳細には、画像などを送信する画像処理装置100は、当該画像処理装置100に入力された画像に対して補正を施し、当該補正後の画像を、他の複数の画像処理装置100に送信する。また、通信システム2000では、画像などを送信する画像処理装置100が、他の複数の画像処理装置100に対して、一方向で画像を送信するようにしてもよい。
【0013】
以下の説明では、当該通信システム2000は、テレビ電話会議に用いられるものとして、説明を行なうが、他の用途に用いても良い。テレビ電話会議で用いられる場合には、各画像処理装置100n(n=1,...,N)のそれぞれは、互いに離れた会議場所に設置される。そして、該会議場所に一人以上の参加者が出席し、該一人以上の参加者は、口頭や、ホワイトボードや用紙などに文字・記号を記載することで、テレビ電話会議が行われる。
【0014】
図1に、実施形態1の画像処理装置100の機能構成例を示す。図1に示された画像処理装置100は、撮影部10と、制御部20と、映像出力部30と、入力部40と、CPU50と、記憶部60と、通信部85と、を有し、これらがバス70により接続されている。
【0015】
撮影部10は、所謂カメラユニットであり、例えば、広角レンズや撮像素子などで構成される。撮影部10により、様々な画像が撮影される。制御部20は、画像処理装置100全体の制御を行う。映像出力部30は補正後の画像を表示装置120に出力し、当該補正後の画像を表示装置120に表示させる。表示装置120とは、被写体の画像や操作用アイコンなどを表示するものであり、液晶や有機ELで構成される。また、表示装置120は、映像出力部30とケーブル120cにより接続される。
【0016】
通信部85はネットワーク1000で繋がっている他の画像処理装置に補正後の画像を送信する。通信部85は、例えば、ネットワークI/F部である。通信部85は、有線及び/又は無線回線などのデータ伝送路により構築されたLAN(Local Area Network)、WAN(Wide Area Network)などのネットワークを介して、接続された他の画像処理装置とのインタフェースである。
【0017】
入力部40は、ユーザインターフェースの役割を果たし、キースイッチ(ハードキー)やタッチパネル機能(GUIのソフトウェアキーを含む:Graphical User Interface)を備えたLCD(Liquid Crystal Display)などから構成される。ユーザは、入力部40から様々な情報を入力する。
【0018】
記憶部60は、一時的に画像を記憶したり、様々な情報を記憶する。記憶部60とは、例えば、ROM(Read Only Memory)やRAM(Random Access Memory)や、HDD(Hard Disk Drive)などである。また、記憶部60には、制御部20が実行するOSや、アプリケーションソフトウェアなどのプログラムやデータが、記憶又は一時保存されるようにしてもよい。また、記憶部60には、当該アプリケーションソフトウェアなどに関連するデータが記憶されるようにしてもよい。入力部40、記憶部60の詳細については後述する。
【0019】
また、図14に、図1の別の実施形態である画像処理装置100'の機能構成例を示す。図14は、図1と比較して、音出力部12および音入力部14が追加されたものである。音出力部12とは、他の画像処理装置100からネットワーク1000経由で受信した音声信号についての音声を出力するものである。音出力部12とは例えば、スピーカである。
【0020】
また、音入力部14は、画像処理装置100が設置されている場所に存在する人物(例えば、テレビ会議の参加者)が発生した音声を収音するものである。音入力部14は例えば、マイクである。音声を用いない用途で、通信システム2000を用いる場合には、図1記載の画像処理装置100を用いればよく、テレビ電話会議などの用途で、通信システム2000を用いる場合には、図14記載の画像処理装置100'を用いればよい。
【0021】
図15に、図14に示す画像処理装置100'の具体的外観図を示す。以下、画像処理装置100'の長手方向をX軸方向とし、水平面内でX軸方向と直交する方向をY軸方向(幅方向)とし、X軸方向およびY軸方向に直交する(鉛直方向、高さ方向)をZ軸方向として説明する。
【0022】
画像処理装置100'は、筐体1100、アーム1200、ハウジング1300を備えている。このうち、筐体1100の右側壁面1130には、音収音用の孔1131が設けられる。当該音収音用の孔1131を通過した、外部からの音が、内部に設けられた音入力部14に収音される。
【0023】
また、上面部1150には、電源スイッチ109と、音出力用の孔1151が設けられる。ユーザが、電源スイッチ109をONにすることで、画像処理装置100'を起動させることが出来る。また、音出力部12から出力された音は、音出力孔1151を通過して、外部に出力される。
【0024】
また、筐体の1100の左側壁面1140側には、アーム1200及びカメラハウジング1300を収容するための、凹部形状の収容部1160が形成されている。また、筐体1100の左側壁面1140には、接続口(図示せず)が設けられる。接続口は、映像出力部30と、表示装置120(ディスプレイ)とを接続するためのケーブル120cが接続されるものである。
【0025】
また、アーム1200は、トルクヒンジ1210により、筐体1100に取り付けられる。アーム1200が、筐体1100に対して、135度のチルト角ω1の範囲で、上下方向に回転可能に構成されている。図15では、チルト角ω1が90度の状態であることを示している。チルト角ω1を0度にすることで、アーム1200及びカメラハウジング1300を収容部1160に収容することが出来る。
【0026】
カメラハウジング1300には、内蔵型の撮影手段10が収容されている。当該撮像手段10により、人物(例えば、テレビ会議の参加者)や、用紙に記載された文字や記号、部屋などを撮影することが出来る。また、カメラハウジング1300には、トルクヒンジ1310が形成されている。カメラハウジング1300には、トルクヒンジ1310を介して、アーム1200に取り付けられている。カメラハウジング1300がアーム1200に対して、図15で示されている状態を0度として、±180度のパン角ω2の範囲で、かつ、±45度のチルト角ω3の範囲で、上下左右方向に回転可能に構成されている。
【0027】
また、本実施例の画像処理装置100は、図15に記載されたものではなく、他の構成であっても良い。例えば、PC(Personal Computer)に、音出力部12や音入力部14を外部接続したものを用いてもよい。また、本実施例の画像処理装置100をスマートフォンなどの携帯型端末に適用しても良い。
【0028】
図2に、実施形態1のCPU50の機能構成例を示し、図3に、実施形態1の画像処理装置の処理フローを示す。まず、撮影部10が処理対象の(被写体の)画像を撮影する(ステップS2)。以下の説明では、図4に示すように、会議の画像が処理対象の画像であるとして説明する。なお、図4では、5人の人物がテーブルを囲って、会議をしている場面を簡略的に示している。図5は、撮影部10が広角レンズを用いたカメラユニットである場合に、図4の会議風景を撮影した場合に、樽型の歪曲収差が生じている画像の例である。また、歪曲収差は、「幾何学的な歪み」のことであり、「歪み」の原因の1つである。一般的に、光軸中心C(画像中央)付近は、歪曲収差はほとんど生じないが、光軸中心Cから離れるほど、歪曲収差は大きくなる傾向にある。特に、樽型歪みでは、光軸中心に向かって押しつぶされるような歪みが生じる。また、垂直方向とは、被写体の鉛直方向(重力方向)であり、Y軸方向とする。また、水平方向とは、画像を平面で示した場合に、垂直方向と直交する方向であり、X軸方向(図4参照)とする。
【0029】
撮影部10中の撮像素子で、光学レンズを通った光学像は電気信号(画像データ)に変換される。撮像素子は、CCDやCMOSセンサなどで構成されることが多い。撮像素子がベイヤー配列(一画素にR、G、Bのいずれか一成分が割り当てられた画素データ)である場合には、更にベイヤー変換を施して各画素にRGBの各色成分を割り当てた画像を生成する。
【0030】
撮影された処理対象の画像は、画像取得部502に入力される。画像取得部502は、入力された処理対象の(被写体の)画像を取得する(ステップS4)。また、画像取得部502が、上記ベイヤー変換を行っても良い。画像取得部502は、例えば、RGB画像、またはUV画像、またはYCbCr画像を生成する。
【0031】
一方、入力部40から画像情報が入力される(ステップS6)。ここで、画像情報とは、撮影部10が撮影した画像の内容(例えば、撮影場面)について示す情報である。ここで、画像情報とは、「画像が人物の映っている場面であることを示す情報(以下、単に「人物情報」という。」または「画像がホワイトボードや用紙などに記載された文字や記号などを示す情報(以下、単に「文字情報」という。)」であるとする。画像情報をその他の内容について示す情報であるとしてもよい。また、以下では、画像情報が人物情報である場合を「人物モード」とし、画像情報が文字情報である場合を、「文字モード」とする。画像情報(モード)は、予め定めており、記憶部60に記憶されている。
【0032】
入力部40は、上述したように、タッチパネル機能を有するものとしてよく、複数の画像情報(複数の撮影モード(この例では、人物モードまたは文字モード))をユーザに対して表示し、ユーザに選択させる。ユーザにより、人物モードが選択されると、入力部40から、画像情報として人物情報が入力され、文字モードが選択されると、入力部40から画像情報として文字情報が入力される。このようにして、入力部40からユーザにより画像情報が入力される。ユーザは、画像処理装置100をテレビ電話会議で用いる場合には、入力部40でから、人物モードを選択すればよい。
【0033】
入力部40から入力された画像情報は情報取得部504に入力される。情報取得部504は、入力された画像情報を取得する(ステップS8)。
【0034】
画像取得部502で取得した画像、および、情報取得部504で取得した画像情報は、補正部506に入力される。補正部506は、画像情報に基づいて、画像の歪みの一部を残すように補正する。更に詳細には、補正部506は、画像情報に基づいて、画像の歪曲収差の一部を残すように補正する、としてもよい。ここで、画像の歪みの一部とは、画像の所定方向(例えば、垂直方向、または水平方向、または垂直方向ベクトルの所定割合と水平方向ベクトルの所定割合が加算された方向(つまり、斜め方向)の歪みの所定割合(所定量)をいう。また、「画像情報に基づいて」とは、「画像情報が、「人物情報」であるか、「文字情報」であるか、を判断する」ということである。
<画像情報が、人物の画像であることを示す場合>
まず、画像情報が「画像の内容が人物の画像である」ことを示す場合について説明する。つまり、ユーザにより、入力部40から「人物モード」が選択された場合(画像情報が人物情報である場合)である。ここで、画像の垂直方向とは、画像を平面で示した場合に、会議の奥行き方向であることを意味し、画像の水平方向とは、画像を平面で示した場合に、垂直方向と直交する方向であることを意味する。
【0035】
一般的に、画像内の人物の顔や体が、歪みにより曲がって見えることは、ユーザにとって好ましくない。従って、補正部506は、歪みの水平方向成分(図4記載のX軸方向成分)に関しては、歪みを全て解消するように補正する。また、補正部506は、歪みの垂直方向(奥行き方向)成分(図4記載のY軸方向成分)に関しては、歪みを所定割合(所定量)残すように、補正する。このように補正することで、人物の画像においては、歪曲収差を解消しつつ、遠近感の強調を抑えることができる。
【0036】
図6に、変換前の画像の画素と、変換後の画像の画素との、関係について示す。図6を用いて補正部506の処理内容を説明する。まず、用語の説明を行う。図6の1つの升目を1つの画素とする。そして、光源中心C(図5も参照)を原点(座標は(0、0))とする。注目画素とは、補正前の画像(実像)の全画素のうち、注目する任意の画素をいう。注目画素の座標をP1(x'、y')とする。また、歪みを所定量残すように画像を補正した場合(つまり、画像情報が人物情報である場合)の注目画素の変換後の座標をP2(x''、y'')とする。また、画像の歪みを残さないように補正した場合(後述する)の注目画素の変換後の座標をP0(x、y)とする。
【0037】
補正部506が画像を補正することで、P1(x'、y')はP2(x''、y'')に変換される。図7に補正前の画像の画素(変換前の画素であり、「変換前画素」という。)と、補正後の画像の画素(変換後の画素であり、「変換後画素」という。)とを模式的に示す。この例での補正部506の補正処理は、大略して、「対応関係を求める処理(以下、「第1処理」という。)」と「輝度値を求め、設定する処理(以下、「第2処理」という。)」とに分けられる。図7を用いて補正部506の処理を簡略的に説明する。
【0038】
<対応関係を求める処理(第1処理)>
まず、補正部506は、第1処理として、変換後画素に対応する、変換前画素を求める。また、図7の例では、X軸方向の変換後画素の数はNx個とし、Y軸方向の変換後画素の数はNy個とする。つまり、変換後画素の数は、Nx×Ny個存在する。
【0039】
図7の例では、変換後画素(1、1)に注目すると、該変換後画素(1、1)は変換前画素(3、3)と対応する。変換後画素に対応する変換前画素の求め方は後述する。そして、注目する変換後画素を(2、1)、(3、1)・・・(Nx、1)、(1、2)(1、3)・・・(1、Ny)・・・(Nx、Ny)と変化させてゆき、全ての変換後画素に対応する変換前画素の座標を求める。
【0040】
ここで、変換前画素P1(x'、y')と変換後画素P2(x''、y'')との間に、以下の式(1)が成り立つ。ただし、座標(a、b)の変換前画素を「変換前画素(a、b)」とし、座標(c、d)の変換後画素を「変換後画素(c、d)」とする。
【0041】
【数1】
ここで、hは理想像高であり、つまり光軸中心C(0、0)からP0(x、y)までの距離であり、h=(x2+y2)1/2となる。それぞれの注目画素についてのhの値は、キャリブレーション等により予め測定される値である。変換係数cmは、(x、y)(x'、y')から事前に求められるものである。また、定数Mは、撮影部10のカメラユニットの種類などから予め定められるものである。また、補正率α、βは歪曲収差の軽減具合を定める値であり、0≦α≦1、0≦β≦1となり、画像情報に基づいて定められるものである。α、βは大きくなるほど、歪曲収差の軽減は大きくなり、α、βは小さくなるほど、歪曲収差の軽減は小さくなる。
【0042】
また、画像情報が、人物情報である場合には、水平方向成分(X軸方向成分)の歪みを完全に、または、略完全に解消するように補正する。ここで、水平成分の歪みを完全に解消するように補正する場合には、α=1に設定する。また、水平成分の歪みを略完全に解消する場合には、α=0.9など、αを1に近い値に設定する。また、画像情報が、人物情報である場合には、歪みの垂直方向成分(Y軸方向)の歪みを所定割合残して補正し、例えば、β=0.3に設定する。
【0043】
つまり、画像情報が人物情報である場合には、補正部506は、解消される歪みの水平方向成分が、解消される歪みの垂直方向成分より大きくなるように補正することが好ましい。換言すれば、αを1とし、または、αを1に近い値(例えば、0.9)とし、かつ、α>βとすることが好ましい。
【0044】
θは、水平線Aと注目画素P1(x'、y')とがなす角度であり、注目する変換後画素が変化する度に、θの値を測定する。なお、歪曲収差の特性上、原点(0、0)、P1(x'、y')、P0(x、y)は一直線上(理想像高hの矢印)に位置する。
【0045】
上記式(1)から、変換後の座標P2(x''、y'')に対応する変換前の座標P1(x'、y')を求めることができる。このようにして、Nx×Ny個、全ての変換後画素に対応する変換前画素の座標を求める。なお、上記式(1)中のcm、Mの値は、記憶部60に記憶させておく。
【0046】
<輝度値を求め、設定する処理(第2処理)>
次に、補正部506は、第2処理として、式(1)により算出された全ての変換前画素P1(x'、y')について輝度値を求める。輝度値の求め方の手法は公知の技術を用いればよい。補正部506は、求められた変換前画素の輝度値を、対応する変換後画素の輝度値として設定する。
【0047】
例えば、上記式(1)から、注目した変換後画素が(1、1)である場合には、この注目した変換後画素(1、1)に対応する変換前画素(3、3)を求め(第1処理)、該変換前画素(3、3)の輝度値を求める(第2処理)。該求められた変換前画素(3、3)の輝度値を変換後画素(1、1)に設定する。その他の全ての変換後画素についても上記第1処理、第2処理を行う。このようにして、補正部506は、補正後の画像を生成できる。
【0048】
また、補正部506は、全ての変換後画素に対応する変換前画素を求めた後に、該全ての変換前画素の輝度値を求めるようにしてもよい。また、変換後画素に対応する変換前画素を1つ求めた後に、該求められた変換前画素の輝度値を求めるようにしてもよい。また、所定数、変換後画素に対応する変換前画素を求め、該所定数求められた変換前画素の輝度値を全て求め、この処理を繰り返すことで、全ての変換前画素の輝度値を求めるようにしてもよい。
【0049】
生成された補正後の画像は、映像出力部30もしくは通信部85に入力される。映像出力部30は、入力された補正後の画像をケーブル120cを経由させて表示装置120(図1や図14参照)に出力する。通信部85は、ネットワーク1000(図13参照)で接続されている他の画像処理装置に補正後の画像を送信する。取得された画像が図4である場合には、図8のような画像を生成でき、図4とほぼ同一の画像を得て、表示装置120に表示させたり、他の画像処理装置に送信することが出来る。
<画像情報が、ホワイトボードや用紙などに書かれた文字の画像であることを示す場合>
次に、ユーザにより、「文字モード」が選択された場合について説明する。文字モードが選択された場合、つまり、画像が、例えばホワイトボードや用紙などに描かれた文字や図などの場合には、歪曲収差により文字などが歪むのは非常に見難くなり、ユーザにとって許容し難い。従って、水平方向成分の歪曲収差、垂直方向成分の歪曲収差ともに、全て、または、略全て解消するように、補正部506は、補正を行う。水平方向成分の歪曲収差、垂直方向成分の歪曲収差ともに、全て解消する場合には、上記式(1)において、補正率α=β=1として、変換後の座標P2(x''、y'')と対応する変換前の座標P1(x'、y')を求める(第1処理)。また、水平方向成分の歪曲収差、垂直方向成分の歪曲収差ともに、略全て解消する場合には、上記式(1)では、補正率α、βの内少なくとも一方を1に近い値(例えば、0.9)として、変換後の座標P2(x''、y'')と対応する変換前の座標P1(x'、y')を求める(第1処理)。
【0050】
そして、変換前画素P1(x'、y')全ての輝度値を求め、対応する変換後画素に設定する(第2処理)。水平方向成分の歪曲収差、垂直方向成分の歪曲収差ともに、全て解消するように補正した場合には、図6では、P1(x'、y')はP0(x、y)に変換される。これ以外の処理については、「人物モード」が選択された場合と同様なので、説明を省略する。
【0051】
また、画像情報ごとに、予めα、βの値を定めておき、テーブル表として、記憶部60に記憶させておく。図9に記憶例を示す。図9に示す例では、画像情報が人物情報である場合には、例えば、α=1、β=0、3とし、画像情報が文字情報である場合には、例えば、α=β=1とする。また、人物情報、文字情報以外の画像情報に対応する補正率α、βを定めておいてもよい。そして、補正部506が、情報取得部504が取得した画像情報に対応するα、βの値を抽出し、上記式(1)に適用して、補正を行なう。
【0052】
更に補正率を場面(画像情報)ごとに固定した値にするのではなく、ユーザが入力した値を補正率としてもよい。この場合、事前に入力部でユーザからの補正率の入力を受け付けて、それを図9に示すテーブル表として記憶部60に記憶させておけばよい。
【0053】
特許文献1を含む従来の技術では、樽型の歪曲収差が生じている撮影画像を補正する場合、光軸中心から放射状に引き伸ばすように、画像を補正する場合が多い。引き伸ばした後は、補正前の画像よりも画像サイズが大きくなるため、補正後の画像を縮小して補正前の画像のサイズと同じサイズにする。これにより、歪曲収差の補正後は、光軸中心(画像中央)付近の被写体は小さくなってしまい、画像全体として遠近感が強調された画像になる傾向がある。
【0054】
本実施形態1の画像処理装置であれば、情報取得部502により取得された画像情報に基づいて、補正部506は、画像の歪みの一部を残すように補正する。本実施例の画像処理装置では、上記式(1)や図9に示すα、βの値を用いて、入力された画像の補正を行なう。
【0055】
更に、本実施形態1の画像処理装置は、撮影対象物(人物または文字・記号)によって、歪曲収差の軽減具合を調整できることから、遠近感の強調をできるだけ抑えて、歪曲収差を軽減した画像、つまり、歪曲収差と遠近感のバランスがとれた画像を生成できる。つまり、撮影される画像が人物である場合には、歪みの水平方向成分は、所定量残し、歪みの垂直方向成分は全てまたは略全て解消するように、補正する。このように補正することで、歪曲収差と遠近感のバランスのとれた画像(人物画像)を生成出力することができる。
【0056】
また、上述では、画像処理装置100で補正した画像を通信部85で、ネットワーク経由で他の画像処理装置に送信する例を説明した。その他の例として、他の画像処理装置1002〜100Nから送信され、かつ、歪み補正がなされてない画像を、補正部506で補正して、自己の(ローカルの)画像処理装置1001の映像出力部30経由で、表示装置120に表示させるようにしてもよい。この場合に、自己の画像処理装置1001のみのCPU50を具備させておけば、他の画像処理装置1002〜100NにはCPU50を具備させる必要はなくなる。
[実施形態2]
次に、実施形態2の画像処理装置200について説明する。実施形態1の画像処理装置100、100'は、ユーザにより入力部40から入力された画像情報を取得するものであった。実施形態2の画像処理装置200は、撮影された画像を分析することで、画像情報を取得するものである。
【0057】
実施形態2の画像処理装置の機能構成例を図10に示す。図10は、入力部40が省略されている点、CPU50がCPU80に代替されている点で、図1と異なる。また、音出力部12と、音入力部14(図14参照)を具備させるようにしてもよい。
【0058】
図11にCPU80の機能構成例を示す。CPU80は、画像取得部502、分析部510、情報取得部504、補正部506とを含む。また、図12に実施形態2の画像処理装置の処理フローを示す。撮影部10により画像が撮影されると(ステップS2)、該撮影された画像は、画像取得部502と分析部510に入力される。
【0059】
分析部510は、入力された画像の内容を分析して、当該分析結果に基づいて、画像情報を生成する(ステップS11)。そして、情報取得部504は、分析部510が生成した画像情報を取得する。ここでは、画像の内容が、「人物の画像」「ホワイトボードや用紙などに書かれた文字などの画像」の2つである場合を説明する。つまり、画像情報は、人物情報または文字情報とする。これら2つの画像情報は予め記憶部60に記憶させておくことが好ましい。
<第1の分析手法について>
次に、ステップS11の分析部510の第1の分析手法について、説明する。図16に、第1の分析手法の処理フローについて説明する。まず、分析部510は、入力された画像に人物が二人以上映っているか否かを判断する(ステップS20)。画像中の人物を検出する技術としては、顔検出技術、例えば、目などのパーツパターンを検出する技術や、肌色などの色パターンを検出する技術などを用いればよい。人を検出する技術についてはこれらに限られない。
【0060】
そして、分析部510が、入力された画像に人物が二人以上映っているかと判断すると(ステップS20のYes)、分析部510は、入力された画像は人物が映っている画像であると判断する(ステップS22)。つまり、分析部510は、画像情報として人物情報を生成して情報取得部504に出力する。そして、情報取得部504は、画像情報として、人物情報を取得する。そして、補正部506は、取得された人物情報に基づいて、歪みの水平方向成分を全て、または、略全て解消し、歪みの垂直方向成分を所定割合残すように補正する(図12記載のステップS10)。
【0061】
また、分析部510が、入力された画像に、一人の人物が映っている、または、人物が映っていない、と判断すると(ステップS20のNo)、分析部510は、入力された画像は文字が映っている画像であると判断する(ステップS22)。つまり、分析部510は、画像情報として文字情報を生成して情報取得部504に出力する。そして、情報取得部504は、画像情報として、文字情報を取得する。そして、補正部506は、取得された文字情報に基づいて、歪みの水平方向成分および歪みの垂直方向成分を全て、または、略全て解消するように補正する(図12記載のステップS10)。
【0062】
ここで、入力された画像に一人の人物が映っていることについて説明する。上述のように、入力された画像に一人の人物が映っている場合には、分析部510は、画像情報として文字情報を生成して、補正部506は、歪みの水平方向成分および歪みの垂直方向成分を全て、または、略全て解消するように、画像を補正する。
【0063】
入力された画像に一人の人物が映っているというのは、(i)当該一人の人物がホワイトボードや用紙などに、文字や図形を描きながら説明をしている場合と、(ii)当該一人の人物が文字や図形を描かずに、口頭で説明をしている場合と、に分けられる。
【0064】
(i)の場合には、テレビ会議参加者にとって、当該一人の人物の画像よりも、ホワイトボードや用紙などに描かれた文字や図形の方が、重要な場合が多い。従って、歪曲収差により文字や図形を見難くなることを回避するために、補正部506は、歪みの水平方向成分および歪みの垂直方向成分を全て、または、略全て解消するように、画像を補正する。
【0065】
また、(ii)の場合には、口頭で説明している当該一人の人物の位置は、画像の中央(図5記載の点C)である場合が多い。一般的に画像の中央に移っている被写体の歪みについては微小である。従って、補正部506は、歪みの水平方向成分および歪みの垂直方向成分を全て、または、略全て解消するように、画像を補正する。
【0066】
つまり、入力された画像に一人の人物が映っている場合である(i)または(ii)の場合には、両者とも、補正部506は、歪みの水平方向成分および歪みの垂直方向成分を全て、または、略全て解消するように、画像を補正する。
<第2の分析手法について>
次に、ステップS11の分析部510の第2の分析手法について、説明する。図17に、第2の分析手法の処理フローについて説明する。まず、分析部510は、入力された画像に文字や記号が映っているか否かを判断する(ステップS30)。分析部510の文字や記号などが映っているか否かを判断する手法について説明する。画像が、ホワイトボードに書かれた文字の画像である場合には、一般的に白色の比率が多くなる。そこで、分析部510が、白色の比率を求め、該比率が予め定められた閾値より大きい場合には、画像はホワイトボードに書かれた文字の画像であると判断する。
【0067】
また、文字などが記載される媒体の色が白色である場合には、他の媒体でもよく、例えば、白色の用紙であってもよい。また、媒体の色が白色に限られない。この場合には、分析部510が分析しやすくするために、記載される文字の輝度は、当該単一色と大きく異なることが好ましい。例えば、文字などが記載される媒体が黒色に近い黒板である場合には、記載される文字の色はチョークなどで記載された白色であることが好ましい。
【0068】
また、分析部510による文字や記号などが映っているか否かを判断する他の手法について図18を用いて説明する。図18の例では、白色の用紙700に4行の黒色文字720が記載されている例である。この場合には、分析部510は、単位ライン分のX軸およびY軸の黒画素の合計値を求める。ここで、単位ラインとは、幅が1画素のX軸方向、または、Y軸方向に沿ったラインである。図18の例では、分析部510は、X軸方向の単位ラインごとの黒画素の合計値740xと、Y軸方向の単位ラインごとの黒画素の合計値740yを求める。そして、分析部510が、図18に示すX軸黒画素合計値740xと、Y軸黒画素合計値740yと、を求めると、分析部510は、画像に横書きの文字が映っていると判断する。また、同様の手法で、分析部510は、画像に縦書きの文字が映っていると判断することが出来る。
【0069】
分析部510が、画像に文字や図形が映っていると判断すると(ステップS30のYes)、分析部510は、入力された画像は文字や図形が映っている画像であると判断する(ステップS32)。つまり、分析部510は、画像情報として文字情報を生成して情報取得部504に出力する。そして、情報取得部504は、画像情報として、文字情報を取得する。そして、補正部506は、取得された文字情報に基づいて、歪みの水平方向成分および歪みの垂直方向を全て、または、略全て解消するように補正する(図12記載のステップS10)。
【0070】
また、分析部510が、画像に文字や図形が映っていないと判断すると(ステップS30のNo)、分析部510は、入力された画像が、二人以上の人物が映っていると判断する(ステップS34)。つまり、分析部510は、画像情報として人物情報を生成して情報取得部504に出力する。そして、情報取得部504は、画像情報として、人物情報を取得する。そして、補正部506は、取得された人物情報に基づいて、歪みの水平方向成分を全て、または、略全て解消し、歪みの垂直方向成分を所定割合残すように補正する(ステップS10)。
【0071】
また、分析部510は、判断結果を元に、記憶部60に記憶されている複数の画像情報(この場合には、「画像が人物である情報」または「画像が文字である情報」)から選択することで、画像情報を生成するようにしてもよい。このように、予め、画像情報を定めておき、記憶部60に記憶させておくことで、分析部510は正確な画像情報を生成できる。
【0072】
また、分析部510は、記憶部60に記憶されている複数の画像情報を用いずに、判断結果を元に画像情報を生成するようにしてもよい。この場合には、記憶部60への記憶コストを削減できる。
【0073】
分析部510により生成された画像情報は、補正部506に入力される。
【0074】
また、撮影部10で撮影された画像は、画像取得部502に入力される。画像取得部502は、入力された画像を取得する(ステップS4)。画像取得部502により取得された画像は、補正部506に入力される。そして、補正部506は、入力された画像情報に基づいて、入力された画像を補正する(ステップS10)。補正部506の補正手法については、実施形態1と同様なので、説明を省略する。
【0075】
この実施形態2の画像処理装置であれば、分析部510が、撮影された画像を分析することで、画像情報を取得する。従って、実施形態1のように、入力部40を設ける必要はなく、ユーザによる画像情報の選択処理を省略できる。
【0076】
以上説明した本実施例の画像処理装置はコンピュータに画像処理プログラムを解読させて実現することができる。この実施例で提案する画像処理プログラムはコンピュータが解読可能なプログラム言語によって記述され、磁気ディスク或はCD−ROM等の記録媒体に記録され、これら記録媒体からコンピュータにインストールされるか、又は通信回線を通じてコンピュータにインストールされ、コンピュータに備えられたCPUに解読されて画像処理装置として機能する。
【符号の説明】
【0077】
10・・・撮影部
20・・・制御部
30・・・映像出力部
40・・・入力部
50・・・CPU
60・・・記憶部
70・・・バス
100、200・・・画像処理装置
502・・・画像取得部
504・・・情報取得部
506・・・補正部
【先行技術文献】
【特許文献】
【0078】
【特許文献1】特開2001−238177号公報
【特許文献2】特開2009−177703号公報
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、プログラム、記録媒体に関する。
【背景技術】
【0002】
画角の大きな広角レンズを用いることで広範囲の被写体を一枚の画像に撮像できる技術がある。近年では、該技術が、テレビ会議や車載カメラで利用されるようになってきている。しかし、広角レンズで撮影した画像には、遠近感(パースペクティブ)が強調される問題や、歪曲収差(幾何学的な歪み)により人が歪んで見える問題が生じる。例えば広角レンズを用いてテレビ会議を撮影した場合、撮影した画像中の人の顔が歪んでいたり(歪曲収差の問題)、実際よりも人が遠くに座っているように感じたりしてしまう(遠近感の強調の問題)。これらの問題に対して、歪曲収差補正や遠近感補正の各補正技術が既に知られている(例えば、特許文献1、特許文献2参照)。
【0003】
特許文献1では、高画質な画像を効率的に得る目的で、推定された撮影シーンに応じて所定の画像処理、具体的には諧調制御や幾何歪み補正、平滑化処理などを行う画像処理装置が開示されている。
【0004】
特許文献2では、画像撮影装置を低コスト化する目的で、水平方向だけの座標変換で歪曲収差の大きい魚眼画像を人間が見易い画像に補正する画像処理装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、特許文献1の画像処理装置では、歪曲収差を補正することはできるが遠近感の強調を解消できないという問題がある。
【0006】
また、特許文献2の画像処理装置は、歪曲収差を補正するものであるが、撮影シーンによっては水平方向だけの補正では十分でない場合もあり、歪曲収差の補正を十分に行うことはできないという問題がある。
【0007】
そこで、本発明は、上記のような問題を鑑みて、歪曲収差と遠近感のバランスがとれた画像を生成する画像処理装置、画像処理方法、プログラム、記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するため、画像を取得する画像取得部と、前記画像の内容について示す画像情報を取得する情報取得部と、前記画像情報に基づいて、前記画像の歪みの一部を残すように補正する補正部と、を有することを特徴とする画像処理装置を提供する。
【発明の効果】
【0009】
本発明の画像処理装置、画像処理方法、プログラム、記録媒体によれば、歪曲収差と遠近感のバランスがとれた画像を生成できる。
【図面の簡単な説明】
【0010】
【図1】本実施例の画像処理装置の機能構成例を示した図。
【図2】本実施例のCPUの機能構成例を示した図。
【図3】本実施例の画像処理装置の処理フローを示した図。
【図4】処理対象の一例を示した図。
【図5】広角レンズで撮影された画像の一例を示した図。
【図6】注目画素などを示した図。
【図7】補正前の画像と補正後の画像の関係を示した図。
【図8】補正後の画像の一例を示した図。
【図9】画像情報と、補正率α、βの対応を示した図。
【図10】別の実施形態の画像処理装置の機能構成例を示した図
【図11】別の実施形態のCPUの機能構成例を示した図。
【図12】別の実施形態の画像処理装置の処理フローを示した図。
【図13】本実施形態の通信システムの機能構成例を示した図。
【図14】別の実施形態の画像処理装置の機能構成例を示した図。
【図15】画像処理装置の外観図の一例を示した図。
【図16】分析部の処理フローを示した図。
【図17】分析部の別の処理フローを示した図。
【図18】分析部が文字などの分析処理を説明するための図。
【発明を実施するための形態】
【0011】
以下、本発明を実施するための形態の説明を行う。なお、同じ機能を持つ構成部や同じ処理を行う過程には同じ番号を付し、重複説明を省略する。
[実施形態1]
図13に、本実施形態1の画像処理装置により構成される通信システム2000の機能構成例について示す。図13の例では、N個(Nは2以上の整数)の画像処理装置100n(n=1,...,N)がネットワーク1000に接続されている。以下の説明では、N個の画像処理装置100n(n=1,...,N)のうち、注目する画像処理装置を画像処理装置1001とするが、他の画像処理装置1002〜100Nのうちの1つを注目する画像処理装置としてもよい。また、画像処理装置100nを総じていう場合には、画像処理装置100という。
【0012】
通信システム2000では、N個の画像処理装置100n(n=1,...,N)のうち、複数の画像処理装置と、他の複数の画像処理装置との間で、ネットワーク1000を経由して、画像などが送受信される。更に詳細には、画像などを送信する画像処理装置100は、当該画像処理装置100に入力された画像に対して補正を施し、当該補正後の画像を、他の複数の画像処理装置100に送信する。また、通信システム2000では、画像などを送信する画像処理装置100が、他の複数の画像処理装置100に対して、一方向で画像を送信するようにしてもよい。
【0013】
以下の説明では、当該通信システム2000は、テレビ電話会議に用いられるものとして、説明を行なうが、他の用途に用いても良い。テレビ電話会議で用いられる場合には、各画像処理装置100n(n=1,...,N)のそれぞれは、互いに離れた会議場所に設置される。そして、該会議場所に一人以上の参加者が出席し、該一人以上の参加者は、口頭や、ホワイトボードや用紙などに文字・記号を記載することで、テレビ電話会議が行われる。
【0014】
図1に、実施形態1の画像処理装置100の機能構成例を示す。図1に示された画像処理装置100は、撮影部10と、制御部20と、映像出力部30と、入力部40と、CPU50と、記憶部60と、通信部85と、を有し、これらがバス70により接続されている。
【0015】
撮影部10は、所謂カメラユニットであり、例えば、広角レンズや撮像素子などで構成される。撮影部10により、様々な画像が撮影される。制御部20は、画像処理装置100全体の制御を行う。映像出力部30は補正後の画像を表示装置120に出力し、当該補正後の画像を表示装置120に表示させる。表示装置120とは、被写体の画像や操作用アイコンなどを表示するものであり、液晶や有機ELで構成される。また、表示装置120は、映像出力部30とケーブル120cにより接続される。
【0016】
通信部85はネットワーク1000で繋がっている他の画像処理装置に補正後の画像を送信する。通信部85は、例えば、ネットワークI/F部である。通信部85は、有線及び/又は無線回線などのデータ伝送路により構築されたLAN(Local Area Network)、WAN(Wide Area Network)などのネットワークを介して、接続された他の画像処理装置とのインタフェースである。
【0017】
入力部40は、ユーザインターフェースの役割を果たし、キースイッチ(ハードキー)やタッチパネル機能(GUIのソフトウェアキーを含む:Graphical User Interface)を備えたLCD(Liquid Crystal Display)などから構成される。ユーザは、入力部40から様々な情報を入力する。
【0018】
記憶部60は、一時的に画像を記憶したり、様々な情報を記憶する。記憶部60とは、例えば、ROM(Read Only Memory)やRAM(Random Access Memory)や、HDD(Hard Disk Drive)などである。また、記憶部60には、制御部20が実行するOSや、アプリケーションソフトウェアなどのプログラムやデータが、記憶又は一時保存されるようにしてもよい。また、記憶部60には、当該アプリケーションソフトウェアなどに関連するデータが記憶されるようにしてもよい。入力部40、記憶部60の詳細については後述する。
【0019】
また、図14に、図1の別の実施形態である画像処理装置100'の機能構成例を示す。図14は、図1と比較して、音出力部12および音入力部14が追加されたものである。音出力部12とは、他の画像処理装置100からネットワーク1000経由で受信した音声信号についての音声を出力するものである。音出力部12とは例えば、スピーカである。
【0020】
また、音入力部14は、画像処理装置100が設置されている場所に存在する人物(例えば、テレビ会議の参加者)が発生した音声を収音するものである。音入力部14は例えば、マイクである。音声を用いない用途で、通信システム2000を用いる場合には、図1記載の画像処理装置100を用いればよく、テレビ電話会議などの用途で、通信システム2000を用いる場合には、図14記載の画像処理装置100'を用いればよい。
【0021】
図15に、図14に示す画像処理装置100'の具体的外観図を示す。以下、画像処理装置100'の長手方向をX軸方向とし、水平面内でX軸方向と直交する方向をY軸方向(幅方向)とし、X軸方向およびY軸方向に直交する(鉛直方向、高さ方向)をZ軸方向として説明する。
【0022】
画像処理装置100'は、筐体1100、アーム1200、ハウジング1300を備えている。このうち、筐体1100の右側壁面1130には、音収音用の孔1131が設けられる。当該音収音用の孔1131を通過した、外部からの音が、内部に設けられた音入力部14に収音される。
【0023】
また、上面部1150には、電源スイッチ109と、音出力用の孔1151が設けられる。ユーザが、電源スイッチ109をONにすることで、画像処理装置100'を起動させることが出来る。また、音出力部12から出力された音は、音出力孔1151を通過して、外部に出力される。
【0024】
また、筐体の1100の左側壁面1140側には、アーム1200及びカメラハウジング1300を収容するための、凹部形状の収容部1160が形成されている。また、筐体1100の左側壁面1140には、接続口(図示せず)が設けられる。接続口は、映像出力部30と、表示装置120(ディスプレイ)とを接続するためのケーブル120cが接続されるものである。
【0025】
また、アーム1200は、トルクヒンジ1210により、筐体1100に取り付けられる。アーム1200が、筐体1100に対して、135度のチルト角ω1の範囲で、上下方向に回転可能に構成されている。図15では、チルト角ω1が90度の状態であることを示している。チルト角ω1を0度にすることで、アーム1200及びカメラハウジング1300を収容部1160に収容することが出来る。
【0026】
カメラハウジング1300には、内蔵型の撮影手段10が収容されている。当該撮像手段10により、人物(例えば、テレビ会議の参加者)や、用紙に記載された文字や記号、部屋などを撮影することが出来る。また、カメラハウジング1300には、トルクヒンジ1310が形成されている。カメラハウジング1300には、トルクヒンジ1310を介して、アーム1200に取り付けられている。カメラハウジング1300がアーム1200に対して、図15で示されている状態を0度として、±180度のパン角ω2の範囲で、かつ、±45度のチルト角ω3の範囲で、上下左右方向に回転可能に構成されている。
【0027】
また、本実施例の画像処理装置100は、図15に記載されたものではなく、他の構成であっても良い。例えば、PC(Personal Computer)に、音出力部12や音入力部14を外部接続したものを用いてもよい。また、本実施例の画像処理装置100をスマートフォンなどの携帯型端末に適用しても良い。
【0028】
図2に、実施形態1のCPU50の機能構成例を示し、図3に、実施形態1の画像処理装置の処理フローを示す。まず、撮影部10が処理対象の(被写体の)画像を撮影する(ステップS2)。以下の説明では、図4に示すように、会議の画像が処理対象の画像であるとして説明する。なお、図4では、5人の人物がテーブルを囲って、会議をしている場面を簡略的に示している。図5は、撮影部10が広角レンズを用いたカメラユニットである場合に、図4の会議風景を撮影した場合に、樽型の歪曲収差が生じている画像の例である。また、歪曲収差は、「幾何学的な歪み」のことであり、「歪み」の原因の1つである。一般的に、光軸中心C(画像中央)付近は、歪曲収差はほとんど生じないが、光軸中心Cから離れるほど、歪曲収差は大きくなる傾向にある。特に、樽型歪みでは、光軸中心に向かって押しつぶされるような歪みが生じる。また、垂直方向とは、被写体の鉛直方向(重力方向)であり、Y軸方向とする。また、水平方向とは、画像を平面で示した場合に、垂直方向と直交する方向であり、X軸方向(図4参照)とする。
【0029】
撮影部10中の撮像素子で、光学レンズを通った光学像は電気信号(画像データ)に変換される。撮像素子は、CCDやCMOSセンサなどで構成されることが多い。撮像素子がベイヤー配列(一画素にR、G、Bのいずれか一成分が割り当てられた画素データ)である場合には、更にベイヤー変換を施して各画素にRGBの各色成分を割り当てた画像を生成する。
【0030】
撮影された処理対象の画像は、画像取得部502に入力される。画像取得部502は、入力された処理対象の(被写体の)画像を取得する(ステップS4)。また、画像取得部502が、上記ベイヤー変換を行っても良い。画像取得部502は、例えば、RGB画像、またはUV画像、またはYCbCr画像を生成する。
【0031】
一方、入力部40から画像情報が入力される(ステップS6)。ここで、画像情報とは、撮影部10が撮影した画像の内容(例えば、撮影場面)について示す情報である。ここで、画像情報とは、「画像が人物の映っている場面であることを示す情報(以下、単に「人物情報」という。」または「画像がホワイトボードや用紙などに記載された文字や記号などを示す情報(以下、単に「文字情報」という。)」であるとする。画像情報をその他の内容について示す情報であるとしてもよい。また、以下では、画像情報が人物情報である場合を「人物モード」とし、画像情報が文字情報である場合を、「文字モード」とする。画像情報(モード)は、予め定めており、記憶部60に記憶されている。
【0032】
入力部40は、上述したように、タッチパネル機能を有するものとしてよく、複数の画像情報(複数の撮影モード(この例では、人物モードまたは文字モード))をユーザに対して表示し、ユーザに選択させる。ユーザにより、人物モードが選択されると、入力部40から、画像情報として人物情報が入力され、文字モードが選択されると、入力部40から画像情報として文字情報が入力される。このようにして、入力部40からユーザにより画像情報が入力される。ユーザは、画像処理装置100をテレビ電話会議で用いる場合には、入力部40でから、人物モードを選択すればよい。
【0033】
入力部40から入力された画像情報は情報取得部504に入力される。情報取得部504は、入力された画像情報を取得する(ステップS8)。
【0034】
画像取得部502で取得した画像、および、情報取得部504で取得した画像情報は、補正部506に入力される。補正部506は、画像情報に基づいて、画像の歪みの一部を残すように補正する。更に詳細には、補正部506は、画像情報に基づいて、画像の歪曲収差の一部を残すように補正する、としてもよい。ここで、画像の歪みの一部とは、画像の所定方向(例えば、垂直方向、または水平方向、または垂直方向ベクトルの所定割合と水平方向ベクトルの所定割合が加算された方向(つまり、斜め方向)の歪みの所定割合(所定量)をいう。また、「画像情報に基づいて」とは、「画像情報が、「人物情報」であるか、「文字情報」であるか、を判断する」ということである。
<画像情報が、人物の画像であることを示す場合>
まず、画像情報が「画像の内容が人物の画像である」ことを示す場合について説明する。つまり、ユーザにより、入力部40から「人物モード」が選択された場合(画像情報が人物情報である場合)である。ここで、画像の垂直方向とは、画像を平面で示した場合に、会議の奥行き方向であることを意味し、画像の水平方向とは、画像を平面で示した場合に、垂直方向と直交する方向であることを意味する。
【0035】
一般的に、画像内の人物の顔や体が、歪みにより曲がって見えることは、ユーザにとって好ましくない。従って、補正部506は、歪みの水平方向成分(図4記載のX軸方向成分)に関しては、歪みを全て解消するように補正する。また、補正部506は、歪みの垂直方向(奥行き方向)成分(図4記載のY軸方向成分)に関しては、歪みを所定割合(所定量)残すように、補正する。このように補正することで、人物の画像においては、歪曲収差を解消しつつ、遠近感の強調を抑えることができる。
【0036】
図6に、変換前の画像の画素と、変換後の画像の画素との、関係について示す。図6を用いて補正部506の処理内容を説明する。まず、用語の説明を行う。図6の1つの升目を1つの画素とする。そして、光源中心C(図5も参照)を原点(座標は(0、0))とする。注目画素とは、補正前の画像(実像)の全画素のうち、注目する任意の画素をいう。注目画素の座標をP1(x'、y')とする。また、歪みを所定量残すように画像を補正した場合(つまり、画像情報が人物情報である場合)の注目画素の変換後の座標をP2(x''、y'')とする。また、画像の歪みを残さないように補正した場合(後述する)の注目画素の変換後の座標をP0(x、y)とする。
【0037】
補正部506が画像を補正することで、P1(x'、y')はP2(x''、y'')に変換される。図7に補正前の画像の画素(変換前の画素であり、「変換前画素」という。)と、補正後の画像の画素(変換後の画素であり、「変換後画素」という。)とを模式的に示す。この例での補正部506の補正処理は、大略して、「対応関係を求める処理(以下、「第1処理」という。)」と「輝度値を求め、設定する処理(以下、「第2処理」という。)」とに分けられる。図7を用いて補正部506の処理を簡略的に説明する。
【0038】
<対応関係を求める処理(第1処理)>
まず、補正部506は、第1処理として、変換後画素に対応する、変換前画素を求める。また、図7の例では、X軸方向の変換後画素の数はNx個とし、Y軸方向の変換後画素の数はNy個とする。つまり、変換後画素の数は、Nx×Ny個存在する。
【0039】
図7の例では、変換後画素(1、1)に注目すると、該変換後画素(1、1)は変換前画素(3、3)と対応する。変換後画素に対応する変換前画素の求め方は後述する。そして、注目する変換後画素を(2、1)、(3、1)・・・(Nx、1)、(1、2)(1、3)・・・(1、Ny)・・・(Nx、Ny)と変化させてゆき、全ての変換後画素に対応する変換前画素の座標を求める。
【0040】
ここで、変換前画素P1(x'、y')と変換後画素P2(x''、y'')との間に、以下の式(1)が成り立つ。ただし、座標(a、b)の変換前画素を「変換前画素(a、b)」とし、座標(c、d)の変換後画素を「変換後画素(c、d)」とする。
【0041】
【数1】
ここで、hは理想像高であり、つまり光軸中心C(0、0)からP0(x、y)までの距離であり、h=(x2+y2)1/2となる。それぞれの注目画素についてのhの値は、キャリブレーション等により予め測定される値である。変換係数cmは、(x、y)(x'、y')から事前に求められるものである。また、定数Mは、撮影部10のカメラユニットの種類などから予め定められるものである。また、補正率α、βは歪曲収差の軽減具合を定める値であり、0≦α≦1、0≦β≦1となり、画像情報に基づいて定められるものである。α、βは大きくなるほど、歪曲収差の軽減は大きくなり、α、βは小さくなるほど、歪曲収差の軽減は小さくなる。
【0042】
また、画像情報が、人物情報である場合には、水平方向成分(X軸方向成分)の歪みを完全に、または、略完全に解消するように補正する。ここで、水平成分の歪みを完全に解消するように補正する場合には、α=1に設定する。また、水平成分の歪みを略完全に解消する場合には、α=0.9など、αを1に近い値に設定する。また、画像情報が、人物情報である場合には、歪みの垂直方向成分(Y軸方向)の歪みを所定割合残して補正し、例えば、β=0.3に設定する。
【0043】
つまり、画像情報が人物情報である場合には、補正部506は、解消される歪みの水平方向成分が、解消される歪みの垂直方向成分より大きくなるように補正することが好ましい。換言すれば、αを1とし、または、αを1に近い値(例えば、0.9)とし、かつ、α>βとすることが好ましい。
【0044】
θは、水平線Aと注目画素P1(x'、y')とがなす角度であり、注目する変換後画素が変化する度に、θの値を測定する。なお、歪曲収差の特性上、原点(0、0)、P1(x'、y')、P0(x、y)は一直線上(理想像高hの矢印)に位置する。
【0045】
上記式(1)から、変換後の座標P2(x''、y'')に対応する変換前の座標P1(x'、y')を求めることができる。このようにして、Nx×Ny個、全ての変換後画素に対応する変換前画素の座標を求める。なお、上記式(1)中のcm、Mの値は、記憶部60に記憶させておく。
【0046】
<輝度値を求め、設定する処理(第2処理)>
次に、補正部506は、第2処理として、式(1)により算出された全ての変換前画素P1(x'、y')について輝度値を求める。輝度値の求め方の手法は公知の技術を用いればよい。補正部506は、求められた変換前画素の輝度値を、対応する変換後画素の輝度値として設定する。
【0047】
例えば、上記式(1)から、注目した変換後画素が(1、1)である場合には、この注目した変換後画素(1、1)に対応する変換前画素(3、3)を求め(第1処理)、該変換前画素(3、3)の輝度値を求める(第2処理)。該求められた変換前画素(3、3)の輝度値を変換後画素(1、1)に設定する。その他の全ての変換後画素についても上記第1処理、第2処理を行う。このようにして、補正部506は、補正後の画像を生成できる。
【0048】
また、補正部506は、全ての変換後画素に対応する変換前画素を求めた後に、該全ての変換前画素の輝度値を求めるようにしてもよい。また、変換後画素に対応する変換前画素を1つ求めた後に、該求められた変換前画素の輝度値を求めるようにしてもよい。また、所定数、変換後画素に対応する変換前画素を求め、該所定数求められた変換前画素の輝度値を全て求め、この処理を繰り返すことで、全ての変換前画素の輝度値を求めるようにしてもよい。
【0049】
生成された補正後の画像は、映像出力部30もしくは通信部85に入力される。映像出力部30は、入力された補正後の画像をケーブル120cを経由させて表示装置120(図1や図14参照)に出力する。通信部85は、ネットワーク1000(図13参照)で接続されている他の画像処理装置に補正後の画像を送信する。取得された画像が図4である場合には、図8のような画像を生成でき、図4とほぼ同一の画像を得て、表示装置120に表示させたり、他の画像処理装置に送信することが出来る。
<画像情報が、ホワイトボードや用紙などに書かれた文字の画像であることを示す場合>
次に、ユーザにより、「文字モード」が選択された場合について説明する。文字モードが選択された場合、つまり、画像が、例えばホワイトボードや用紙などに描かれた文字や図などの場合には、歪曲収差により文字などが歪むのは非常に見難くなり、ユーザにとって許容し難い。従って、水平方向成分の歪曲収差、垂直方向成分の歪曲収差ともに、全て、または、略全て解消するように、補正部506は、補正を行う。水平方向成分の歪曲収差、垂直方向成分の歪曲収差ともに、全て解消する場合には、上記式(1)において、補正率α=β=1として、変換後の座標P2(x''、y'')と対応する変換前の座標P1(x'、y')を求める(第1処理)。また、水平方向成分の歪曲収差、垂直方向成分の歪曲収差ともに、略全て解消する場合には、上記式(1)では、補正率α、βの内少なくとも一方を1に近い値(例えば、0.9)として、変換後の座標P2(x''、y'')と対応する変換前の座標P1(x'、y')を求める(第1処理)。
【0050】
そして、変換前画素P1(x'、y')全ての輝度値を求め、対応する変換後画素に設定する(第2処理)。水平方向成分の歪曲収差、垂直方向成分の歪曲収差ともに、全て解消するように補正した場合には、図6では、P1(x'、y')はP0(x、y)に変換される。これ以外の処理については、「人物モード」が選択された場合と同様なので、説明を省略する。
【0051】
また、画像情報ごとに、予めα、βの値を定めておき、テーブル表として、記憶部60に記憶させておく。図9に記憶例を示す。図9に示す例では、画像情報が人物情報である場合には、例えば、α=1、β=0、3とし、画像情報が文字情報である場合には、例えば、α=β=1とする。また、人物情報、文字情報以外の画像情報に対応する補正率α、βを定めておいてもよい。そして、補正部506が、情報取得部504が取得した画像情報に対応するα、βの値を抽出し、上記式(1)に適用して、補正を行なう。
【0052】
更に補正率を場面(画像情報)ごとに固定した値にするのではなく、ユーザが入力した値を補正率としてもよい。この場合、事前に入力部でユーザからの補正率の入力を受け付けて、それを図9に示すテーブル表として記憶部60に記憶させておけばよい。
【0053】
特許文献1を含む従来の技術では、樽型の歪曲収差が生じている撮影画像を補正する場合、光軸中心から放射状に引き伸ばすように、画像を補正する場合が多い。引き伸ばした後は、補正前の画像よりも画像サイズが大きくなるため、補正後の画像を縮小して補正前の画像のサイズと同じサイズにする。これにより、歪曲収差の補正後は、光軸中心(画像中央)付近の被写体は小さくなってしまい、画像全体として遠近感が強調された画像になる傾向がある。
【0054】
本実施形態1の画像処理装置であれば、情報取得部502により取得された画像情報に基づいて、補正部506は、画像の歪みの一部を残すように補正する。本実施例の画像処理装置では、上記式(1)や図9に示すα、βの値を用いて、入力された画像の補正を行なう。
【0055】
更に、本実施形態1の画像処理装置は、撮影対象物(人物または文字・記号)によって、歪曲収差の軽減具合を調整できることから、遠近感の強調をできるだけ抑えて、歪曲収差を軽減した画像、つまり、歪曲収差と遠近感のバランスがとれた画像を生成できる。つまり、撮影される画像が人物である場合には、歪みの水平方向成分は、所定量残し、歪みの垂直方向成分は全てまたは略全て解消するように、補正する。このように補正することで、歪曲収差と遠近感のバランスのとれた画像(人物画像)を生成出力することができる。
【0056】
また、上述では、画像処理装置100で補正した画像を通信部85で、ネットワーク経由で他の画像処理装置に送信する例を説明した。その他の例として、他の画像処理装置1002〜100Nから送信され、かつ、歪み補正がなされてない画像を、補正部506で補正して、自己の(ローカルの)画像処理装置1001の映像出力部30経由で、表示装置120に表示させるようにしてもよい。この場合に、自己の画像処理装置1001のみのCPU50を具備させておけば、他の画像処理装置1002〜100NにはCPU50を具備させる必要はなくなる。
[実施形態2]
次に、実施形態2の画像処理装置200について説明する。実施形態1の画像処理装置100、100'は、ユーザにより入力部40から入力された画像情報を取得するものであった。実施形態2の画像処理装置200は、撮影された画像を分析することで、画像情報を取得するものである。
【0057】
実施形態2の画像処理装置の機能構成例を図10に示す。図10は、入力部40が省略されている点、CPU50がCPU80に代替されている点で、図1と異なる。また、音出力部12と、音入力部14(図14参照)を具備させるようにしてもよい。
【0058】
図11にCPU80の機能構成例を示す。CPU80は、画像取得部502、分析部510、情報取得部504、補正部506とを含む。また、図12に実施形態2の画像処理装置の処理フローを示す。撮影部10により画像が撮影されると(ステップS2)、該撮影された画像は、画像取得部502と分析部510に入力される。
【0059】
分析部510は、入力された画像の内容を分析して、当該分析結果に基づいて、画像情報を生成する(ステップS11)。そして、情報取得部504は、分析部510が生成した画像情報を取得する。ここでは、画像の内容が、「人物の画像」「ホワイトボードや用紙などに書かれた文字などの画像」の2つである場合を説明する。つまり、画像情報は、人物情報または文字情報とする。これら2つの画像情報は予め記憶部60に記憶させておくことが好ましい。
<第1の分析手法について>
次に、ステップS11の分析部510の第1の分析手法について、説明する。図16に、第1の分析手法の処理フローについて説明する。まず、分析部510は、入力された画像に人物が二人以上映っているか否かを判断する(ステップS20)。画像中の人物を検出する技術としては、顔検出技術、例えば、目などのパーツパターンを検出する技術や、肌色などの色パターンを検出する技術などを用いればよい。人を検出する技術についてはこれらに限られない。
【0060】
そして、分析部510が、入力された画像に人物が二人以上映っているかと判断すると(ステップS20のYes)、分析部510は、入力された画像は人物が映っている画像であると判断する(ステップS22)。つまり、分析部510は、画像情報として人物情報を生成して情報取得部504に出力する。そして、情報取得部504は、画像情報として、人物情報を取得する。そして、補正部506は、取得された人物情報に基づいて、歪みの水平方向成分を全て、または、略全て解消し、歪みの垂直方向成分を所定割合残すように補正する(図12記載のステップS10)。
【0061】
また、分析部510が、入力された画像に、一人の人物が映っている、または、人物が映っていない、と判断すると(ステップS20のNo)、分析部510は、入力された画像は文字が映っている画像であると判断する(ステップS22)。つまり、分析部510は、画像情報として文字情報を生成して情報取得部504に出力する。そして、情報取得部504は、画像情報として、文字情報を取得する。そして、補正部506は、取得された文字情報に基づいて、歪みの水平方向成分および歪みの垂直方向成分を全て、または、略全て解消するように補正する(図12記載のステップS10)。
【0062】
ここで、入力された画像に一人の人物が映っていることについて説明する。上述のように、入力された画像に一人の人物が映っている場合には、分析部510は、画像情報として文字情報を生成して、補正部506は、歪みの水平方向成分および歪みの垂直方向成分を全て、または、略全て解消するように、画像を補正する。
【0063】
入力された画像に一人の人物が映っているというのは、(i)当該一人の人物がホワイトボードや用紙などに、文字や図形を描きながら説明をしている場合と、(ii)当該一人の人物が文字や図形を描かずに、口頭で説明をしている場合と、に分けられる。
【0064】
(i)の場合には、テレビ会議参加者にとって、当該一人の人物の画像よりも、ホワイトボードや用紙などに描かれた文字や図形の方が、重要な場合が多い。従って、歪曲収差により文字や図形を見難くなることを回避するために、補正部506は、歪みの水平方向成分および歪みの垂直方向成分を全て、または、略全て解消するように、画像を補正する。
【0065】
また、(ii)の場合には、口頭で説明している当該一人の人物の位置は、画像の中央(図5記載の点C)である場合が多い。一般的に画像の中央に移っている被写体の歪みについては微小である。従って、補正部506は、歪みの水平方向成分および歪みの垂直方向成分を全て、または、略全て解消するように、画像を補正する。
【0066】
つまり、入力された画像に一人の人物が映っている場合である(i)または(ii)の場合には、両者とも、補正部506は、歪みの水平方向成分および歪みの垂直方向成分を全て、または、略全て解消するように、画像を補正する。
<第2の分析手法について>
次に、ステップS11の分析部510の第2の分析手法について、説明する。図17に、第2の分析手法の処理フローについて説明する。まず、分析部510は、入力された画像に文字や記号が映っているか否かを判断する(ステップS30)。分析部510の文字や記号などが映っているか否かを判断する手法について説明する。画像が、ホワイトボードに書かれた文字の画像である場合には、一般的に白色の比率が多くなる。そこで、分析部510が、白色の比率を求め、該比率が予め定められた閾値より大きい場合には、画像はホワイトボードに書かれた文字の画像であると判断する。
【0067】
また、文字などが記載される媒体の色が白色である場合には、他の媒体でもよく、例えば、白色の用紙であってもよい。また、媒体の色が白色に限られない。この場合には、分析部510が分析しやすくするために、記載される文字の輝度は、当該単一色と大きく異なることが好ましい。例えば、文字などが記載される媒体が黒色に近い黒板である場合には、記載される文字の色はチョークなどで記載された白色であることが好ましい。
【0068】
また、分析部510による文字や記号などが映っているか否かを判断する他の手法について図18を用いて説明する。図18の例では、白色の用紙700に4行の黒色文字720が記載されている例である。この場合には、分析部510は、単位ライン分のX軸およびY軸の黒画素の合計値を求める。ここで、単位ラインとは、幅が1画素のX軸方向、または、Y軸方向に沿ったラインである。図18の例では、分析部510は、X軸方向の単位ラインごとの黒画素の合計値740xと、Y軸方向の単位ラインごとの黒画素の合計値740yを求める。そして、分析部510が、図18に示すX軸黒画素合計値740xと、Y軸黒画素合計値740yと、を求めると、分析部510は、画像に横書きの文字が映っていると判断する。また、同様の手法で、分析部510は、画像に縦書きの文字が映っていると判断することが出来る。
【0069】
分析部510が、画像に文字や図形が映っていると判断すると(ステップS30のYes)、分析部510は、入力された画像は文字や図形が映っている画像であると判断する(ステップS32)。つまり、分析部510は、画像情報として文字情報を生成して情報取得部504に出力する。そして、情報取得部504は、画像情報として、文字情報を取得する。そして、補正部506は、取得された文字情報に基づいて、歪みの水平方向成分および歪みの垂直方向を全て、または、略全て解消するように補正する(図12記載のステップS10)。
【0070】
また、分析部510が、画像に文字や図形が映っていないと判断すると(ステップS30のNo)、分析部510は、入力された画像が、二人以上の人物が映っていると判断する(ステップS34)。つまり、分析部510は、画像情報として人物情報を生成して情報取得部504に出力する。そして、情報取得部504は、画像情報として、人物情報を取得する。そして、補正部506は、取得された人物情報に基づいて、歪みの水平方向成分を全て、または、略全て解消し、歪みの垂直方向成分を所定割合残すように補正する(ステップS10)。
【0071】
また、分析部510は、判断結果を元に、記憶部60に記憶されている複数の画像情報(この場合には、「画像が人物である情報」または「画像が文字である情報」)から選択することで、画像情報を生成するようにしてもよい。このように、予め、画像情報を定めておき、記憶部60に記憶させておくことで、分析部510は正確な画像情報を生成できる。
【0072】
また、分析部510は、記憶部60に記憶されている複数の画像情報を用いずに、判断結果を元に画像情報を生成するようにしてもよい。この場合には、記憶部60への記憶コストを削減できる。
【0073】
分析部510により生成された画像情報は、補正部506に入力される。
【0074】
また、撮影部10で撮影された画像は、画像取得部502に入力される。画像取得部502は、入力された画像を取得する(ステップS4)。画像取得部502により取得された画像は、補正部506に入力される。そして、補正部506は、入力された画像情報に基づいて、入力された画像を補正する(ステップS10)。補正部506の補正手法については、実施形態1と同様なので、説明を省略する。
【0075】
この実施形態2の画像処理装置であれば、分析部510が、撮影された画像を分析することで、画像情報を取得する。従って、実施形態1のように、入力部40を設ける必要はなく、ユーザによる画像情報の選択処理を省略できる。
【0076】
以上説明した本実施例の画像処理装置はコンピュータに画像処理プログラムを解読させて実現することができる。この実施例で提案する画像処理プログラムはコンピュータが解読可能なプログラム言語によって記述され、磁気ディスク或はCD−ROM等の記録媒体に記録され、これら記録媒体からコンピュータにインストールされるか、又は通信回線を通じてコンピュータにインストールされ、コンピュータに備えられたCPUに解読されて画像処理装置として機能する。
【符号の説明】
【0077】
10・・・撮影部
20・・・制御部
30・・・映像出力部
40・・・入力部
50・・・CPU
60・・・記憶部
70・・・バス
100、200・・・画像処理装置
502・・・画像取得部
504・・・情報取得部
506・・・補正部
【先行技術文献】
【特許文献】
【0078】
【特許文献1】特開2001−238177号公報
【特許文献2】特開2009−177703号公報
【特許請求の範囲】
【請求項1】
画像を取得する画像取得部と、
前記画像の内容について示す画像情報を取得する情報取得部と、
前記画像情報に基づいて、前記画像の歪みの一部を残すように補正する補正部と、
を有することを特徴とする画像処理装置。
【請求項2】
前記画像情報が、前記画像の内容は人物であることを示す場合には、
前記補正部は、前記歪みの水平方向成分を全て、または、略全て解消し、前記歪みの垂直方向成分を所定割合残すように補正することを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記補正部は、解消される前記歪みの水平方向成分が、解消される前記歪みの垂直方向成分より大きくなるように補正することを特徴とする請求項1記載の画像処理装置。
【請求項4】
前記画像情報が入力される入力部を有し、
前記情報取得部は、前記入力部から入力された前記画像情報を取得することを特徴とする請求項1〜3何れか1項に記載の画像処理装置。
【請求項5】
前記画像を分析することで、前記画像情報を生成する分析部を有し、
前記情報取得部は、前記分析部により生成された前記画像情報を取得することを特徴とする請求項1〜3何れか1項に記載の画像処理装置。
【請求項6】
前記分析部は、前記画像は二人以上の人物が映っている画像であると分析した場合には、前記画像の内容は人物であることを示す前記画像情報を生成することを特徴とする請求項5記載の画像処理装置。
【請求項7】
前記分析部は、前記画像は一人の人物が映っている画像である、または、前記画像は人物が映っていない画像である、と分析した場合には、
前記補正部は、前記歪みの水平方向成分および前記歪みの垂直方向成分を全て、または、略全て解消するように補正することを特徴とする請求項6記載の画像処理装置。
【請求項8】
予め、複数の前記画像情報が記憶されている記憶部を有し、
前記分析部は、前記記憶部に記憶されている前記複数の前記画像情報から選択することで、前記画像情報を生成することを特徴とする請求項5記載の画像処理装置。
【請求項9】
画像を取得する画像取得工程と、
前記画像の内容について示す画像情報を取得する情報取得工程と、
前記画像情報に基づいて、前記画像の歪みの一部を残すように補正する補正工程と、
を有することを特徴とする画像処理方法。
【請求項10】
コンピュータに請求項1〜8何れかに記載の画像処理装置の各構成部として機能させるためのプログラム。
【請求項11】
請求項10記載のプログラムを記録したコンピュータ読み取り可能は記録媒体。
【請求項1】
画像を取得する画像取得部と、
前記画像の内容について示す画像情報を取得する情報取得部と、
前記画像情報に基づいて、前記画像の歪みの一部を残すように補正する補正部と、
を有することを特徴とする画像処理装置。
【請求項2】
前記画像情報が、前記画像の内容は人物であることを示す場合には、
前記補正部は、前記歪みの水平方向成分を全て、または、略全て解消し、前記歪みの垂直方向成分を所定割合残すように補正することを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記補正部は、解消される前記歪みの水平方向成分が、解消される前記歪みの垂直方向成分より大きくなるように補正することを特徴とする請求項1記載の画像処理装置。
【請求項4】
前記画像情報が入力される入力部を有し、
前記情報取得部は、前記入力部から入力された前記画像情報を取得することを特徴とする請求項1〜3何れか1項に記載の画像処理装置。
【請求項5】
前記画像を分析することで、前記画像情報を生成する分析部を有し、
前記情報取得部は、前記分析部により生成された前記画像情報を取得することを特徴とする請求項1〜3何れか1項に記載の画像処理装置。
【請求項6】
前記分析部は、前記画像は二人以上の人物が映っている画像であると分析した場合には、前記画像の内容は人物であることを示す前記画像情報を生成することを特徴とする請求項5記載の画像処理装置。
【請求項7】
前記分析部は、前記画像は一人の人物が映っている画像である、または、前記画像は人物が映っていない画像である、と分析した場合には、
前記補正部は、前記歪みの水平方向成分および前記歪みの垂直方向成分を全て、または、略全て解消するように補正することを特徴とする請求項6記載の画像処理装置。
【請求項8】
予め、複数の前記画像情報が記憶されている記憶部を有し、
前記分析部は、前記記憶部に記憶されている前記複数の前記画像情報から選択することで、前記画像情報を生成することを特徴とする請求項5記載の画像処理装置。
【請求項9】
画像を取得する画像取得工程と、
前記画像の内容について示す画像情報を取得する情報取得工程と、
前記画像情報に基づいて、前記画像の歪みの一部を残すように補正する補正工程と、
を有することを特徴とする画像処理方法。
【請求項10】
コンピュータに請求項1〜8何れかに記載の画像処理装置の各構成部として機能させるためのプログラム。
【請求項11】
請求項10記載のプログラムを記録したコンピュータ読み取り可能は記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図6】
【図2】
【図3】
【図4】
【図5】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図6】
【公開番号】特開2012−54907(P2012−54907A)
【公開日】平成24年3月15日(2012.3.15)
【国際特許分類】
【出願番号】特願2011−128398(P2011−128398)
【出願日】平成23年6月8日(2011.6.8)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
【公開日】平成24年3月15日(2012.3.15)
【国際特許分類】
【出願日】平成23年6月8日(2011.6.8)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
[ Back to top ]