画像処理装置
【課題】 本発明の目的は、透過型ディスプレイを利用して対話形の画像通信を行う画像通信装置などにおいて、透過型ディスプレイによって生じる利用者の画像への不要な写り込みを除去すること、また、対話の際に利用者と対話相手との視線を合わせることの可能な画像処理装置を提供することである。
【解決手段】 本発明の画像処理装置（１１〜１５、１９〜２１）は、情報を表示する透過型の表示部（１１）と、撮像部（１３）と、制御部（２０）とを備える。撮像部は、表示部を挟んで被写体と対面させて配置され、表示部を透過した被写体光による像を撮像する。そして制御部は、被写体光が表示部を透過するときに、被写体光による像に対して重畳される表示部の表示情報を、撮像部が撮像した画像から除去する。
【解決手段】 本発明の画像処理装置（１１〜１５、１９〜２１）は、情報を表示する透過型の表示部（１１）と、撮像部（１３）と、制御部（２０）とを備える。撮像部は、表示部を挟んで被写体と対面させて配置され、表示部を透過した被写体光による像を撮像する。そして制御部は、被写体光が表示部を透過するときに、被写体光による像に対して重畳される表示部の表示情報を、撮像部が撮像した画像から除去する。
【発明の詳細な説明】
【技術分野】
【０００１】
対話形の画像通信を行う画像通信装置などに搭載される画像処理装置に関する。
【背景技術】
【０００２】
画像通信により遠隔の相手と対話することができる装置、例えば、テレビ電話などが普及している。この従来の装置では、画像通信による対話の際に利用者と対話の相手との視線を合わせることが難しく、対話が不自然になっていた。
【０００３】
具体的には、自分（装置の利用者）が相手を見ているかのような画像を相手の装置のディスプレイに表示させるには、自分の装置のカメラを見る必要がある。しかしそうすると、自分のディスプレイに表示される相手の画像からは目を逸らさなくてはならなかった。また、自分のディスプレイに表示される相手の画像を見ていると、自分のカメラからは自ずと目を逸らしてしまうので、相手のディスプレイには、視線を逸らした不自然な自分の画像が表示されていた。なお、このような不自然さは、自分のディスプレイに表示される相手の画像にも同様に現れていた。
【０００４】
ところで、画像などの情報を表示するディスプレイとして、近年、透過型のディスプレイが提案されている。具体例としては、自動車のフロントガラスに情報を表示させるオンスクリーンディスプレイや、空気中の水蒸気に映像を投射する形式のディスプレイ、また、特許文献１のように、表示の対象物に向けてディスプレイをかざすことで、その対象物を透過表示すると共に対象物の属性などの情報を当該ディスプレイの画面に一緒に表示するといったものがある。このような透過型のディスプレイは、そのどちらの側からもディスプレイの反対側を透過して見渡すことができるという特徴を有している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−１９０６４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このような透過型ディスプレイの特徴を利用すれば、画像通信によって対話を行う際に、自分（利用者）と対話の相手との視線が合わないという不自然さを解消することができる。
【０００７】
具体的には、例えば、透過型ディスプレイを用いて利用者に対話相手の画像を表示すると共に、表示された画像の対話相手と利用者との視線が合うように、利用者の反対側に透過型ディスプレイを挟んでカメラを配置する。そして、そのカメラにより利用者を透過型ディスプレイ越しに撮像して、その撮像による利用者の画像を対話相手に送信するようにすれば、画像通信による対話において、利用者と対話相手との視線を合わせることができるようになる。
【０００８】
ところが、そうした場合、利用者と対話相手との視線を合わせることはできるものの、利用者の画像はカメラにより透過型ディスプレイ越しに撮像されるため、撮像された画像には、撮像するときに透過型ディスプレイに表示されていた対話相手の画像などの情報が、利用者の像に重畳して一緒に写り込んでしまう。
【０００９】
この利用者の画像に写り込んだ透過型ディスプレイの表示情報は、対話相手にとって不要なものであり、このような画像を対話相手に送信すると、対話が不自然になってしまう。
【００１０】
したがって、画像通信による対話を不自然なものとしないためには、透過型ディスプレイにより生じる不要な写り込みを利用者の画像から除去する必要がある。即ち、この点が、従来技術の課題となる。
【００１１】
本発明は、上記従来技術の課題を解決するためのものである。本発明の目的は、透過型ディスプレイを利用して対話形の画像通信を行う画像通信装置などにおいて、透過型ディスプレイによって生じる利用者の画像への不要な写り込みを除去することの可能な画像処理装置を提供することである。また、本発明のもう１つの目的は、透過型ディスプレイを利用して対話形の画像通信を行う画像通信装置などにおいて、対話の際に利用者と対話相手との視線を合わせることの可能な画像処理装置を提供することである。
【００１２】
これによって、本発明では、画像通信での対話の不自然さを解消する。
【課題を解決するための手段】
【００１３】
第１の発明の画像処理装置は、情報を表示する透過型の表示部と、撮像部と、制御部とを備える。撮像部は、表示部を挟んで被写体と対面させて配置され、表示部を透過した被写体光による像を撮像する。そして制御部は、被写体光が表示部を透過するときに、被写体光による像に対して重畳される表示部の表示情報を、撮像部が撮像した画像から除去する。
【００１４】
第２の発明は、第１の発明において、制御部は、撮像部が被写体光による像を撮像したときに表示部に表示されていた表示情報を取得すると共に、取得した表示情報のうち撮像部の撮像画角の範囲に対応する部分の情報に基づき算出した調整値により、撮像部が撮像した画像の信号レベルを画素毎に調整することで前記の除去を行う。
【００１５】
第３の発明は、第２の発明において、表示部は、当該表示部に配置された画素の光透過率を変化させることで情報表示を行う透過型のディスプレイであり、制御部は、取得した表示情報のうち撮像部の撮像画角の範囲に対応する部分の情報を基に光透過率分布の情報を作成すると共に、その光透過率分布の情報に基づき算出したゲインを撮像部が撮像した画像の信号レベルに対して画素毎に乗算することで前記の除去を行う。
【００１６】
第４の発明は、第３の発明において、制御部は、ゲインの算出において、光透過率分布の情報により示される画素の光透過率が高い場合にはゲインを低く算出し、光透過率が低い場合にはゲインを高く算出する。
【００１７】
第５の発明は、第１ないし第４の発明の何れか一の発明において、制御部は、表示部に情報表示を行わない場合は、前記の除去を行わない。
【発明の効果】
【００１８】
本発明では、透過型の表示部を挟んで被写体と対面させて配置された撮像部が、表示部を透過した被写体光による像を撮像する。従って、本発明を利用すれば、画像通信による対話の際に、利用者と対話相手との視線を合わせることができる。
【００１９】
また、本発明では、被写体光が表示部を透過するときにその被写体光による像に対して重畳される表示部の表示情報を、上記のように配置された撮像部が撮像した画像から除去する。従って、本発明を利用すれば、透過型の表示部によって生じる利用者（被写体）の画像への不要な写り込みを除去することができる。
【００２０】
これにより、本発明では、画像通信での対話の不自然さを解消することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態の画像処理装置の構成を示すブロック図である。
【図２】画像処理装置の利用方法の例を示す図である。
【図３】画像処理装置の画像通信の動作を示す流れ図である。
【図４】光透過率分布の情報の具体例を示す図である。
【図５】画像処理装置の利用方法の例（情報表示を行わない場合）を示す図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施形態について説明する。なお、本実施形態は、本発明の画像処理装置を適用した画像通信装置の実施形態であるが、以下では、本実施形態を画像処理装置と称すこととする。
【００２３】
図１は本実施形態の画像処理装置の構成を示すブロック図である。
【００２４】
図１に示すように、画像処理装置は、透過型ディスプレイ１１と、表示制御回路１２と、対面カメラユニット１３と、バッファメモリ１４と、画像処理回路１５と、送信回路１６と、外部インターフェース（Ｉ／Ｆ）１７と、受信回路１８と、バッファメモリ１９と、制御回路２０とを有している。なお、バッファメモリ１４、画像処理回路１５、送信回路１６、外部Ｉ／Ｆ１７、受信回路１８、バッファメモリ１９および制御回路２０は、それぞれシステムバス２１を介して接続されている。また、表示制御回路１２および対面カメラユニット１３は、それぞれ制御回路２０と接続されている。
【００２５】
透過型ディスプレイ１１は、例えば、透過型の液晶表示素子で構成されたディスプレイである。この透過型ディスプレイ１１は、透明板上に配置された画素の光透過率を下げてディスプレイ外部からの入射光の透過光量を減衰させることで、画像や文字（カラー画像（文字）、モノクロ画像（文字）の何れでも可）などの任意の情報を表示する。なお、透過型ディスプレイ１１では、情報を表示する際に、画素の光透過率が完全に０％になることはない。また、透過型ディスプレイ１１は、情報を表示しない箇所では画素の光透過率を上げることでディスプレイ外部からの入射光を透過させる。したがって、透過型ディスプレイ１１は、外部からの入射光、例えば被写体光による像に対してディスプレイの表示情報を重畳させる役目を果たす。
【００２６】
表示制御回路１２は、制御回路２０の指令に応じて、バッファメモリ１９に格納された画像データや文字データなどを透過型ディスプレイ１１へ表示する。なお、この表示は、表示制御回路１２が透過型ディスプレイ１１の画素の光透過率を前述のとおり制御することによって行われる。
【００２７】
対面カメラユニット１３は、制御回路２０の指令に応じて、不図示の撮像レンズを通して入射する透過型ディスプレイ１１の透過光による像を連続して撮像するとともに、撮像により生成した画像を所定のフレームレートでバッファメモリ１４へ順次出力する。この出力によりバッファメモリ１４へ格納される画像は、ＣＤＳ（相関二重サンプリング）、ゲイン調整、Ａ／Ｄ変換、また、ホワイトバランス調整、色分離（補間）、ガンマ補正などの処理が施されたデジタルデータ（画像データ）である。また、対面カメラユニット１３は、自動焦点調整（ＡＦ）機能、自動露出調整（ＡＥ）機能を有しており、撮像時には、これらの機能によりカメラの焦点および露出を自動的に調整する。
【００２８】
画像処理回路１５は、制御回路２０の指令に基づき、バッファメモリ１４の画像データに写り込んだ透過型ディスプレイ１１の表示情報を画像データから除去する。
【００２９】
上述したとおり、例えば被写体光などの外部からの光が透過型ディスプレイ１１を透過すると、その被写体光による像に対してディスプレイの表示情報が重畳される。このため、対面カメラユニット１３で透過型ディスプレイ１１の透過光による像を撮像すると、撮像された画像データには透過型ディスプレイ１１の表示情報が写り込むこととなる。なお、被写体光による像の表示情報が重畳された部分は、輝度が低下して、あたかも影が発生したかのようになってしまう。したがって、画像処理回路１５は、その写り込んだ表示情報を画像データから除去する。この画像処理回路１５が行う除去処理については後述する。
【００３０】
送信回路１６は、制御回路２０の指令に応じて、画像処理回路１５による除去処理後のバッファメモリ１４の画像データを、外部Ｉ／Ｆ１７を介して、通信の相手先となる外部の装置や機器へ送信する。また、送信回路１６は、制御回路２０の指令に応じて、通信の開始を要求するメッセージなどを、外部Ｉ／Ｆ１７を介して、通信の相手先となる外部の装置や機器へ送信する。
【００３１】
受信回路１８は、制御回路２０の指令に応じて、通信の相手先となる外部の装置や機器から送られた画像データを外部Ｉ／Ｆ１７を介して受信するとともに、受信した画像データをバッファメモリ１９へ格納する。
【００３２】
外部Ｉ／Ｆ１７は、画像処理装置と通信の相手先となる外部の装置や機器とを、例えば、インターネットや電話網などの通信網を介して接続するための無線ＬＡＮや携帯電話回線などの無線通信回線用、又は有線ＬＡＮや固定電話回線などの有線通信回線用のインターフェースである。
【００３３】
制御回路２０は、画像処理装置の各部を統括的に制御する。また、制御回路２０は、利用者の指示に応じて、画像処理装置の画像通信に係る処理を実行する。なお、その処理の具体的な内容は後述する。
【００３４】
ここで、本実施形態の画像処理装置の利用方法の一例を説明する。なお、以下では、例えば図２に示すように、画像処理装置（１１〜２１）が、外付けの透過型ディスプレイ１１と画像処理装置本体（１２〜２１）とによって構成されるものとする。
【００３５】
図２に示すように、画像処理装置本体には、対面カメラユニット１３の撮像レンズが、その筐体の前面に露出させて取り付けられている。対面カメラユニット１３は、この撮像レンズを通して入射する装置外部からの光による像を撮像する。
【００３６】
画像処理装置本体は、外付けの透過型ディスプレイ１１を挟んで、対面カメラユニット１３の撮像レンズが利用者側に向くように、即ち、利用者（対面カメラユニット１３の被写体）と対面させて配置される。なお、ここでは、透過型ディスプレイ１１と画像処理装置本体の位置は固定されているものとする。
【００３７】
また、この配置においては、対面カメラユニット１３により利用者の頭部を中心とした画角の画像が撮像されるように画像処理装置本体が配置される。これは、画像通信により対話を行う際には、利用者の頭部を中心とした画像が通信相手に表示されるのが一般的であり、また通常の場合、利用者の頭部と透過型ディスプレイ１１との相対的な位置関係もほぼ一定となるからである。なお、ここでは、対面カメラユニット１３の撮像画角は一定であるものとする。
【００３８】
画像処理装置（１１〜２１）がこのように配置された状態で、利用者は、外付けの透過型ディスプレイ１１に表示される、例えば、通信相手の画像に向かって話をする。なお、透過型ディスプレイ１１には、画像処理装置が通信の相手側の装置／機器から受信した画像や文字などの情報がリアルタイムに表示される。図２では、透過型ディスプレイ１１に、通信相手の画像が、“ＡＢＣ”との文字が重ねられて表示されている。
【００３９】
利用者が透過型ディスプレイ１１に表示される通信相手の画像に向かって話しているとき、画像処理装置本体（１２〜２１）の対面カメラユニット１３は、利用者（被写体）の頭部を中心とした画角の画像を透過型ディスプレイ１１越しに連続して撮像する。
【００４０】
なお、この場合、対面カメラユニット１３は、透過型ディスプレイ１１の表示情報のうち撮像画角内に表示された情報、図２では「２ａ」の点線で囲んだ部分に表示された「通信相手の頭部の画像および“ＡＢＣ”との文字」が重畳された被写体像（被写体光による像）を撮像することとなる。これは、既述のとおり、透過型ディスプレイ１１が、画素の光透過率を下げてディスプレイ外部からの入射光、この場合には利用者（被写体）からの被写体光の透過光量を減衰させることで、画像や文字などの任意の情報を表示するためである。また、対面カメラユニット１３により撮像された画像における透過型ディスプレイ１１の表示情報が重畳された部分には、利用者がディスプレイ上で見た表示情報が鏡面反転されて写っている。これは、対面カメラユニット１３が、利用者を透過型ディスプレイ１１越しに撮像するためである。
【００４１】
利用者は、対面カメラユニット１３によって撮像された画像が通信相手に対して順次送信されることで、通信相手と対話することができる。
【００４２】
しかし、撮像された画像には、上記のとおり透過型ディスプレイ１１の表示情報が写り込んでいる。これは、対話の相手にとっては不要なものである。
【００４３】
そこで、本実施形態の画像処理装置では、画像に写り込んだ透過型ディスプレイ１１の表示情報を画像から除去する。そして、その除去処理後の画像を通信の相手側の装置／機器に対して送信する。これにより、不要な写り込みのない良好な内容の画像を対話の相手側の装置／機器に表示させる。
【００４４】
以下、図３の流れ図を参照しつつ、本実施形態の画像処理装置の画像通信の動作を説明する。図３に示す処理は、例えば、利用者が画像処理装置に設けられた対話開始ボタン（不図示）を押下して、画像通信による対話の開始を制御回路２０に指示した場合に呼び出されるものである。
【００４５】
なお、透過型ディスプレイ１１の画素の光透過率は、例えば、利用者により画像処理装置の電源が「ＯＮ」にされた際に、全画素とも１００％（透明）となるように制御回路２０によって制御されている。
【００４６】
ステップ１０１：制御回路２０は、利用者により対話の開始が指示されると、送信回路１６を駆動して、画像通信の開始を要求するメッセージを外部Ｉ／Ｆ１７を介して対話の相手側の装置／機器に送信する。なお、相手側の装置／機器においてこの要求が承諾されると、対話相手の画像データが相手側の装置／機器から順次送られてくる。そして、その画像データは、外部Ｉ／Ｆ１７を介して受信回路１８により受信されてバッファメモリ１９へ格納される。
【００４７】
制御回路２０は、このようにバッファメモリ１９に順次格納される画像を、表示制御回路１２を駆動して、透過型ディスプレイ１１に表示する。
【００４８】
ステップ１０２：制御回路２０は、対面カメラユニット１３を駆動して、利用者（被写体）の頭部を中心とした画角の画像を透過型ディスプレイ１１越しに撮像する。なお、撮像された画像データ（利用者画像データ）は、バッファメモリ１４に格納される。
【００４９】
ステップ１０３：制御回路２０は、対話相手の画像データ（相手画像データ）をバッファメモリ１９から取得する。ここで取得される相手画像データは、ステップ１０２で利用者（被写体）を撮像するときに透過型ディスプレイ１１に表示されていたものである。
【００５０】
つまり、制御回路２０は、利用者画像データに写り込んだ透過型ディスプレイ１１の表示情報を含んだ相手画像データを取得する。
【００５１】
ステップ１０４：制御回路２０は、取得した相手画像データ、即ち、利用者画像データの撮像時に透過型ディスプレイ１１に表示されていた画像のうち対面カメラユニット１３の撮像画角の範囲に対応する部分の画像を抽出する。なお、この抽出は、対面カメラユニット１３から透過型ディスプレイ１１までの距離と対面カメラユニット１３の撮像画角との情報に基づいて行うことができる。
【００５２】
また、制御回路２０は、抽出した画像を、利用者画像データの画像サイズに合わせて拡大（或いは縮小）すると共に、その拡大（或いは縮小）した画像に鏡面反転処理を施して反転画像を作成する。
【００５３】
そして、制御回路２０は、作成した反転画像の各画素の信号レベルを透過型ディスプレイ１１における画素の光透過率の値に変換して「光透過率分布」の情報を作成する。
【００５４】
ここで、光透過率分布の情報の具体的な例を図４に示す。
【００５５】
図４の（１）は、利用者画像データの撮像時に透過型ディスプレイ１１に表示されていた情報が、図２で示した内容、つまり、通信相手の画像および“ＡＢＣ”との文字であった場合に作成される反転画像の例を示している。これは、透過型ディスプレイ１１の表示情報のうち対面カメラユニット１３の撮像画角内に表示された情報、つまり、図２において「２ａ」と示した点線で囲んだ部分に表示された「通信相手の頭部の画像および“ＡＢＣ”との文字」が鏡面反転された画像である。
【００５６】
図４の（２）は、図４の（１）に示す反転画像の Ｘ−Ｘ’の位置に存在する画素について、各画素の信号レベルを、透過型ディスプレイ１１における画素の光透過率の値に変換した場合に作成される光透過率分布の情報の例を示している。なお、実際には、光透過率分布は二次元の分布を持つが、図４の（２）では、便宜上、図４の（１）の Ｘ−Ｘ’の線における画素について、光透過率分布を一次元のグラフで示している。
【００５７】
図４の（２）をみると、図４の（１）の反転画像において通信相手の頭部が表示されている部分の画素の光透過率は「２０％」に下げられていることがわかる。一方、情報が何も表示されていない部分の画素の光透過率は「１００％（透明）」に上げられていることがわかる。
【００５８】
これは、既述のとおり、透過型ディスプレイ１１での情報表示が、画素の光透過率を下げることによって行われるからである。但し、透過型ディスプレイ１１では、情報を表示する際に、画素の光透過率が完全に０％になることはない。このため、透過型ディスプレイ１１では、情報が表示がされた部分（光透過率が下げられた部分）においても、被写体光が非透過となることはなく、その部分を通して被写体を見ることができる。
【００５９】
ステップ１０５：制御回路２０は、画像処理回路１５を駆動して、光透過率分布の情報に基づき、バッファメモリ１４の利用者画像データに写り込んだ透過型ディスプレイ１１の表示情報を除去する。
【００６０】
具体的には、画像処理回路１５が、光透過率分布の情報を基に、利用者画像データの各画素毎に、それぞれ、画素の信号レベルを調整するための調整値（ゲイン）を求める。例えば、光透過率分布の情報から、画素の光透過率が１００％の場合にはゲインを１倍に、また画素の光透過率が２０％の場合にはゲインを５倍にとのように求める。即ち、光透過率の逆数に比例するようにゲインを求めるようにする。
【００６１】
そして、制御回路２０は、利用者画像データの各画素毎に、画素の信号レベルと求めた画素毎のゲインとを乗算する。なお、透過型ディスプレイ１１がカラー表示に対応したものであれば、求めたゲインを画素のＲ、Ｇ、Ｂの各信号毎に乗算するようにする。このゲインの乗算により、利用者画像データは、写り込んだ透過型ディスプレイ１１の表示情報が除去されて、利用者（被写体）が写った本来あるべき画像となる。
【００６２】
ステップ１０６：制御回路２０は、送信回路１６を駆動して、画像処理回路１５による除去処理後の利用者画像データを外部Ｉ／Ｆ１７を介して対話の相手側の装置／機器に送信する。
【００６３】
ステップ１０７：制御回路２０は、利用者により対話の終了が指示されたか否かを判定する。なお、対話の終了の指示は、例えば、利用者が画像処理装置に設けられた対話終了ボタン（不図示）を押下することなどによって行える。
【００６４】
制御回路２０は、終了が指示された場合にはステップ１０８へ移行し（Ｙｅｓ側）、一方、終了が指示されていない場合にはステップ１０２へ移行して上記の処理を繰り返す（Ｎｏ側）。
【００６５】
ステップ１０８：制御回路２０は、送信回路１６を駆動して、画像通信の終了を要求するメッセージを外部Ｉ／Ｆ１７を介して対話の相手側の装置／機器に送信する。
【００６６】
そして、制御回路２０は、本フローの処理を終了する。
【００６７】
（本実施形態の補足事項）
なお、本実施形態の画像処理装置では、透過型ディスプレイに、画素の光透過率を変化させて情報表示を行うタイプのものを用いた。しかし、画像処理装置では、画素の発光の輝度を変化させて情報表示を行うタイプの透過型ディスプレイを用いることもできる。
【００６８】
但し、そうした場合は、ステップ１０４で、反転画像の各画素の信号レベルに基づき「輝度分布」の情報を作成する。次に、ステップ１０５で、輝度分布の情報を基に、調整値（輝度補正値）を求める。例えば、輝度分布の情報から、反転画像の各画素の輝度が、予め測定しておいた透過型ディスプレイにおける画素の非発光時の輝度と同じ明るさの値となるように調整値（輝度補正値）を求める。そして、利用者画像データの各画素毎に、それぞれ対応した輝度補正値を画素の輝度値から減算する。この減算により、利用者画像データに写り込んだ透過型ディスプレイの表示情報が除去される。なお、透過型ディスプレイがカラー表示に対応したものであれば、求めた輝度補正値を画素のＲ、Ｇ、Ｂの各信号毎に減算するようにする。
【００６９】
また、上記では、利用者および対話相手の音声については説明をしていないが、実際に画像通信により対話を行う際には、音声データが画像データと共に対話者の装置／機器間でやりとりされる。
【００７０】
具体的には、対話相手の画像データに同期した音声データを相手側の装置／機器から受信すると、画像処理装置は、その画像データを透過型ディスプレイ１１に表示させると共に、音声データをＡ／Ｄ変換してアナログの音声信号とする。そして、画像処理装置は、その音声信号を不図示のスピーカーなどの音声出力装置を介して対話相手の音声を再生する。また、画像処理装置は、不図示のマイクなどの音声入力装置を介して入力された利用者の音声をＡ／Ｄ変換してデジタルの音声データとする。そして、画像処理装置は、その音声データを、画像処理回路によって不要な写り込み、即ち、透過型ディスプレイ１１の表示情報が除去された利用者の画像データに同期させて、対話相手側の装置／機器へ送信する。
【００７１】
このようにして、画像処理装置は、音声データを、画像データと共に対話相手側の装置／機器とやりとりする。
【００７２】
また、上述した本実施形態の画像処理装置が行う画像通信の例の説明では、透過型ディスプレイ１１に、対話相手の画像などの情報が表示されるとした。
【００７３】
しかし、画像処理装置からは対話相手に向けて画像データおよび音声データを送信するが、対話の相手側の装置／機器からは音声データのみが送られてくるような非対称の通信モードの場合は、例えば図５に示すように、透過型ディスプレイ１１には何も表示されない。つまり、透過型ディスプレイ１１の画素の光透過率は１００％（透明）のままである。この場合、画像処理装置の対面カメラユニット１３により透過型ディスプレイ１１越しに撮像される利用者（被写体）の画像には不要な写り込みが生じないので、画像処理装置は、その除去処理を行う必要がない。このため、画像処理装置では、上記のような非対称の通信モードの場合、即ち、透過型ディスプレイ１１の情報表示を行わない場合には、除去処理を省略して行わないようにする。これにより除去処理を行う分の処理負荷が軽減される。
【００７４】
また、本実施形態の画像処理装置では、図２に示したように、透過型ディスプレイ１１の直近に画像処理装置本体（１２〜２１）を配置した。しかし、画像処理装置本体は、透過型ディスプレイ１１の直近にある必要はなく、透過型ディスプレイ１１から離れたところに配置するようにしても構わない。その場合にも、画像処理装置は、利用者の画像に写り込んだ透過型ディスプレイ１１の表示情報を、確実に除去することができる。
【００７５】
また、本実施形態の画像処理装置では、対面カメラユニット１３が、利用者（被写体）の頭部の動きに追従してその撮像を行うようにしてもよい。
【００７６】
その場合、追従による対面カメラユニット１３の上、下、左、右の各方向の移動量（画素単位）を不図示のメモリなどに記録しておく必要がある。また、その記録の際には、撮像した利用者の画像データと、その撮像時に透過型ディスプレイ１１に表示されていた対話相手の画像データと、移動量との３者の対応を示す情報についても記録しておく。なお、この不図示のメモリなどに記録した移動量及び３者の対応を示す情報は、ステップ１０４で、対面カメラユニット１３の撮像画角の範囲に対応する部分の画像を抽出する際に使用される。
【００７７】
（本実施形態の作用効果）
以上、本実施形態の画像処理装置では、利用者が透過型ディスプレイ１１に表示される対話相手の画像を見ているときに、対面カメラユニット１３により利用者（被写体）の頭部を中心とした画角の画像が透過型ディスプレイ１１越しに撮像される。なお、対面カメラユニット１３は、その撮像レンズへ入射する被写体光の光軸上に透過型ディスプレイ１１の表示情報、即ち、対話相手の画像が表示されるように配置されている。
【００７８】
したがって、本実施形態の画像処理装置では、画像通信による対話の際に利用者と対話相手との視線を合わせることができるので、画像通信での対話の不自然さを解消することができる。
【００７９】
また、本実施形態の画像処理装置では、対面カメラユニット１３により、利用者の頭部を中心とした画角の画像が透過型ディスプレイ１１越しに撮像される。
【００８０】
また、対面カメラユニット１３が利用者を撮像するときに透過型ディスプレイ１１に表示されていた対話相手の画像データが取得され、その取得された画像データのうち、対面カメラユニット１３の撮像画角の範囲に対応する部分の画像が抽出される。
【００８１】
また、抽出された画像を基に反転画像が作成され、その反転画像の各画素の信号レベルを透過型ディスプレイ１１における画素の光透過率の値に変換して光透過率分布の情報が作成される。
【００８２】
そして、撮像された利用者の画像データに写り込んだ透過型ディスプレイ１１の表示情報が、その光透過率分布の情報に基づいて除去され、その除去処理後の利用者の画像データが対話の相手側の装置／機器へ送信される。このように、良好な内容の画像が対話相手に送信される。
【００８３】
したがって、本実施形態の画像処理装置では、透過型ディスプレイによって生じる利用者の画像への不要な写り込みを除去することができるので、画像通信での対話の不自然さを解消することができる。
【００８４】
（その他）
なお、本発明は、カーナビゲーション機器／装置、パーソナルコンピュータ（ＰＣ）、テレビ、携帯電話機などにも適用することができる。
【符号の説明】
【００８５】
１１…透過型ディスプレイ，１２…表示制御回路，１３…対面カメラユニット，１４…バッファメモリ，１５…画像処理回路，１６…送信回路，１７…外部インターフェース（Ｉ／Ｆ），１８…受信回路，１９…バッファメモリ，２０…制御回路，２１…システムバス
【技術分野】
【０００１】
対話形の画像通信を行う画像通信装置などに搭載される画像処理装置に関する。
【背景技術】
【０００２】
画像通信により遠隔の相手と対話することができる装置、例えば、テレビ電話などが普及している。この従来の装置では、画像通信による対話の際に利用者と対話の相手との視線を合わせることが難しく、対話が不自然になっていた。
【０００３】
具体的には、自分（装置の利用者）が相手を見ているかのような画像を相手の装置のディスプレイに表示させるには、自分の装置のカメラを見る必要がある。しかしそうすると、自分のディスプレイに表示される相手の画像からは目を逸らさなくてはならなかった。また、自分のディスプレイに表示される相手の画像を見ていると、自分のカメラからは自ずと目を逸らしてしまうので、相手のディスプレイには、視線を逸らした不自然な自分の画像が表示されていた。なお、このような不自然さは、自分のディスプレイに表示される相手の画像にも同様に現れていた。
【０００４】
ところで、画像などの情報を表示するディスプレイとして、近年、透過型のディスプレイが提案されている。具体例としては、自動車のフロントガラスに情報を表示させるオンスクリーンディスプレイや、空気中の水蒸気に映像を投射する形式のディスプレイ、また、特許文献１のように、表示の対象物に向けてディスプレイをかざすことで、その対象物を透過表示すると共に対象物の属性などの情報を当該ディスプレイの画面に一緒に表示するといったものがある。このような透過型のディスプレイは、そのどちらの側からもディスプレイの反対側を透過して見渡すことができるという特徴を有している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−１９０６４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このような透過型ディスプレイの特徴を利用すれば、画像通信によって対話を行う際に、自分（利用者）と対話の相手との視線が合わないという不自然さを解消することができる。
【０００７】
具体的には、例えば、透過型ディスプレイを用いて利用者に対話相手の画像を表示すると共に、表示された画像の対話相手と利用者との視線が合うように、利用者の反対側に透過型ディスプレイを挟んでカメラを配置する。そして、そのカメラにより利用者を透過型ディスプレイ越しに撮像して、その撮像による利用者の画像を対話相手に送信するようにすれば、画像通信による対話において、利用者と対話相手との視線を合わせることができるようになる。
【０００８】
ところが、そうした場合、利用者と対話相手との視線を合わせることはできるものの、利用者の画像はカメラにより透過型ディスプレイ越しに撮像されるため、撮像された画像には、撮像するときに透過型ディスプレイに表示されていた対話相手の画像などの情報が、利用者の像に重畳して一緒に写り込んでしまう。
【０００９】
この利用者の画像に写り込んだ透過型ディスプレイの表示情報は、対話相手にとって不要なものであり、このような画像を対話相手に送信すると、対話が不自然になってしまう。
【００１０】
したがって、画像通信による対話を不自然なものとしないためには、透過型ディスプレイにより生じる不要な写り込みを利用者の画像から除去する必要がある。即ち、この点が、従来技術の課題となる。
【００１１】
本発明は、上記従来技術の課題を解決するためのものである。本発明の目的は、透過型ディスプレイを利用して対話形の画像通信を行う画像通信装置などにおいて、透過型ディスプレイによって生じる利用者の画像への不要な写り込みを除去することの可能な画像処理装置を提供することである。また、本発明のもう１つの目的は、透過型ディスプレイを利用して対話形の画像通信を行う画像通信装置などにおいて、対話の際に利用者と対話相手との視線を合わせることの可能な画像処理装置を提供することである。
【００１２】
これによって、本発明では、画像通信での対話の不自然さを解消する。
【課題を解決するための手段】
【００１３】
第１の発明の画像処理装置は、情報を表示する透過型の表示部と、撮像部と、制御部とを備える。撮像部は、表示部を挟んで被写体と対面させて配置され、表示部を透過した被写体光による像を撮像する。そして制御部は、被写体光が表示部を透過するときに、被写体光による像に対して重畳される表示部の表示情報を、撮像部が撮像した画像から除去する。
【００１４】
第２の発明は、第１の発明において、制御部は、撮像部が被写体光による像を撮像したときに表示部に表示されていた表示情報を取得すると共に、取得した表示情報のうち撮像部の撮像画角の範囲に対応する部分の情報に基づき算出した調整値により、撮像部が撮像した画像の信号レベルを画素毎に調整することで前記の除去を行う。
【００１５】
第３の発明は、第２の発明において、表示部は、当該表示部に配置された画素の光透過率を変化させることで情報表示を行う透過型のディスプレイであり、制御部は、取得した表示情報のうち撮像部の撮像画角の範囲に対応する部分の情報を基に光透過率分布の情報を作成すると共に、その光透過率分布の情報に基づき算出したゲインを撮像部が撮像した画像の信号レベルに対して画素毎に乗算することで前記の除去を行う。
【００１６】
第４の発明は、第３の発明において、制御部は、ゲインの算出において、光透過率分布の情報により示される画素の光透過率が高い場合にはゲインを低く算出し、光透過率が低い場合にはゲインを高く算出する。
【００１７】
第５の発明は、第１ないし第４の発明の何れか一の発明において、制御部は、表示部に情報表示を行わない場合は、前記の除去を行わない。
【発明の効果】
【００１８】
本発明では、透過型の表示部を挟んで被写体と対面させて配置された撮像部が、表示部を透過した被写体光による像を撮像する。従って、本発明を利用すれば、画像通信による対話の際に、利用者と対話相手との視線を合わせることができる。
【００１９】
また、本発明では、被写体光が表示部を透過するときにその被写体光による像に対して重畳される表示部の表示情報を、上記のように配置された撮像部が撮像した画像から除去する。従って、本発明を利用すれば、透過型の表示部によって生じる利用者（被写体）の画像への不要な写り込みを除去することができる。
【００２０】
これにより、本発明では、画像通信での対話の不自然さを解消することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態の画像処理装置の構成を示すブロック図である。
【図２】画像処理装置の利用方法の例を示す図である。
【図３】画像処理装置の画像通信の動作を示す流れ図である。
【図４】光透過率分布の情報の具体例を示す図である。
【図５】画像処理装置の利用方法の例（情報表示を行わない場合）を示す図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施形態について説明する。なお、本実施形態は、本発明の画像処理装置を適用した画像通信装置の実施形態であるが、以下では、本実施形態を画像処理装置と称すこととする。
【００２３】
図１は本実施形態の画像処理装置の構成を示すブロック図である。
【００２４】
図１に示すように、画像処理装置は、透過型ディスプレイ１１と、表示制御回路１２と、対面カメラユニット１３と、バッファメモリ１４と、画像処理回路１５と、送信回路１６と、外部インターフェース（Ｉ／Ｆ）１７と、受信回路１８と、バッファメモリ１９と、制御回路２０とを有している。なお、バッファメモリ１４、画像処理回路１５、送信回路１６、外部Ｉ／Ｆ１７、受信回路１８、バッファメモリ１９および制御回路２０は、それぞれシステムバス２１を介して接続されている。また、表示制御回路１２および対面カメラユニット１３は、それぞれ制御回路２０と接続されている。
【００２５】
透過型ディスプレイ１１は、例えば、透過型の液晶表示素子で構成されたディスプレイである。この透過型ディスプレイ１１は、透明板上に配置された画素の光透過率を下げてディスプレイ外部からの入射光の透過光量を減衰させることで、画像や文字（カラー画像（文字）、モノクロ画像（文字）の何れでも可）などの任意の情報を表示する。なお、透過型ディスプレイ１１では、情報を表示する際に、画素の光透過率が完全に０％になることはない。また、透過型ディスプレイ１１は、情報を表示しない箇所では画素の光透過率を上げることでディスプレイ外部からの入射光を透過させる。したがって、透過型ディスプレイ１１は、外部からの入射光、例えば被写体光による像に対してディスプレイの表示情報を重畳させる役目を果たす。
【００２６】
表示制御回路１２は、制御回路２０の指令に応じて、バッファメモリ１９に格納された画像データや文字データなどを透過型ディスプレイ１１へ表示する。なお、この表示は、表示制御回路１２が透過型ディスプレイ１１の画素の光透過率を前述のとおり制御することによって行われる。
【００２７】
対面カメラユニット１３は、制御回路２０の指令に応じて、不図示の撮像レンズを通して入射する透過型ディスプレイ１１の透過光による像を連続して撮像するとともに、撮像により生成した画像を所定のフレームレートでバッファメモリ１４へ順次出力する。この出力によりバッファメモリ１４へ格納される画像は、ＣＤＳ（相関二重サンプリング）、ゲイン調整、Ａ／Ｄ変換、また、ホワイトバランス調整、色分離（補間）、ガンマ補正などの処理が施されたデジタルデータ（画像データ）である。また、対面カメラユニット１３は、自動焦点調整（ＡＦ）機能、自動露出調整（ＡＥ）機能を有しており、撮像時には、これらの機能によりカメラの焦点および露出を自動的に調整する。
【００２８】
画像処理回路１５は、制御回路２０の指令に基づき、バッファメモリ１４の画像データに写り込んだ透過型ディスプレイ１１の表示情報を画像データから除去する。
【００２９】
上述したとおり、例えば被写体光などの外部からの光が透過型ディスプレイ１１を透過すると、その被写体光による像に対してディスプレイの表示情報が重畳される。このため、対面カメラユニット１３で透過型ディスプレイ１１の透過光による像を撮像すると、撮像された画像データには透過型ディスプレイ１１の表示情報が写り込むこととなる。なお、被写体光による像の表示情報が重畳された部分は、輝度が低下して、あたかも影が発生したかのようになってしまう。したがって、画像処理回路１５は、その写り込んだ表示情報を画像データから除去する。この画像処理回路１５が行う除去処理については後述する。
【００３０】
送信回路１６は、制御回路２０の指令に応じて、画像処理回路１５による除去処理後のバッファメモリ１４の画像データを、外部Ｉ／Ｆ１７を介して、通信の相手先となる外部の装置や機器へ送信する。また、送信回路１６は、制御回路２０の指令に応じて、通信の開始を要求するメッセージなどを、外部Ｉ／Ｆ１７を介して、通信の相手先となる外部の装置や機器へ送信する。
【００３１】
受信回路１８は、制御回路２０の指令に応じて、通信の相手先となる外部の装置や機器から送られた画像データを外部Ｉ／Ｆ１７を介して受信するとともに、受信した画像データをバッファメモリ１９へ格納する。
【００３２】
外部Ｉ／Ｆ１７は、画像処理装置と通信の相手先となる外部の装置や機器とを、例えば、インターネットや電話網などの通信網を介して接続するための無線ＬＡＮや携帯電話回線などの無線通信回線用、又は有線ＬＡＮや固定電話回線などの有線通信回線用のインターフェースである。
【００３３】
制御回路２０は、画像処理装置の各部を統括的に制御する。また、制御回路２０は、利用者の指示に応じて、画像処理装置の画像通信に係る処理を実行する。なお、その処理の具体的な内容は後述する。
【００３４】
ここで、本実施形態の画像処理装置の利用方法の一例を説明する。なお、以下では、例えば図２に示すように、画像処理装置（１１〜２１）が、外付けの透過型ディスプレイ１１と画像処理装置本体（１２〜２１）とによって構成されるものとする。
【００３５】
図２に示すように、画像処理装置本体には、対面カメラユニット１３の撮像レンズが、その筐体の前面に露出させて取り付けられている。対面カメラユニット１３は、この撮像レンズを通して入射する装置外部からの光による像を撮像する。
【００３６】
画像処理装置本体は、外付けの透過型ディスプレイ１１を挟んで、対面カメラユニット１３の撮像レンズが利用者側に向くように、即ち、利用者（対面カメラユニット１３の被写体）と対面させて配置される。なお、ここでは、透過型ディスプレイ１１と画像処理装置本体の位置は固定されているものとする。
【００３７】
また、この配置においては、対面カメラユニット１３により利用者の頭部を中心とした画角の画像が撮像されるように画像処理装置本体が配置される。これは、画像通信により対話を行う際には、利用者の頭部を中心とした画像が通信相手に表示されるのが一般的であり、また通常の場合、利用者の頭部と透過型ディスプレイ１１との相対的な位置関係もほぼ一定となるからである。なお、ここでは、対面カメラユニット１３の撮像画角は一定であるものとする。
【００３８】
画像処理装置（１１〜２１）がこのように配置された状態で、利用者は、外付けの透過型ディスプレイ１１に表示される、例えば、通信相手の画像に向かって話をする。なお、透過型ディスプレイ１１には、画像処理装置が通信の相手側の装置／機器から受信した画像や文字などの情報がリアルタイムに表示される。図２では、透過型ディスプレイ１１に、通信相手の画像が、“ＡＢＣ”との文字が重ねられて表示されている。
【００３９】
利用者が透過型ディスプレイ１１に表示される通信相手の画像に向かって話しているとき、画像処理装置本体（１２〜２１）の対面カメラユニット１３は、利用者（被写体）の頭部を中心とした画角の画像を透過型ディスプレイ１１越しに連続して撮像する。
【００４０】
なお、この場合、対面カメラユニット１３は、透過型ディスプレイ１１の表示情報のうち撮像画角内に表示された情報、図２では「２ａ」の点線で囲んだ部分に表示された「通信相手の頭部の画像および“ＡＢＣ”との文字」が重畳された被写体像（被写体光による像）を撮像することとなる。これは、既述のとおり、透過型ディスプレイ１１が、画素の光透過率を下げてディスプレイ外部からの入射光、この場合には利用者（被写体）からの被写体光の透過光量を減衰させることで、画像や文字などの任意の情報を表示するためである。また、対面カメラユニット１３により撮像された画像における透過型ディスプレイ１１の表示情報が重畳された部分には、利用者がディスプレイ上で見た表示情報が鏡面反転されて写っている。これは、対面カメラユニット１３が、利用者を透過型ディスプレイ１１越しに撮像するためである。
【００４１】
利用者は、対面カメラユニット１３によって撮像された画像が通信相手に対して順次送信されることで、通信相手と対話することができる。
【００４２】
しかし、撮像された画像には、上記のとおり透過型ディスプレイ１１の表示情報が写り込んでいる。これは、対話の相手にとっては不要なものである。
【００４３】
そこで、本実施形態の画像処理装置では、画像に写り込んだ透過型ディスプレイ１１の表示情報を画像から除去する。そして、その除去処理後の画像を通信の相手側の装置／機器に対して送信する。これにより、不要な写り込みのない良好な内容の画像を対話の相手側の装置／機器に表示させる。
【００４４】
以下、図３の流れ図を参照しつつ、本実施形態の画像処理装置の画像通信の動作を説明する。図３に示す処理は、例えば、利用者が画像処理装置に設けられた対話開始ボタン（不図示）を押下して、画像通信による対話の開始を制御回路２０に指示した場合に呼び出されるものである。
【００４５】
なお、透過型ディスプレイ１１の画素の光透過率は、例えば、利用者により画像処理装置の電源が「ＯＮ」にされた際に、全画素とも１００％（透明）となるように制御回路２０によって制御されている。
【００４６】
ステップ１０１：制御回路２０は、利用者により対話の開始が指示されると、送信回路１６を駆動して、画像通信の開始を要求するメッセージを外部Ｉ／Ｆ１７を介して対話の相手側の装置／機器に送信する。なお、相手側の装置／機器においてこの要求が承諾されると、対話相手の画像データが相手側の装置／機器から順次送られてくる。そして、その画像データは、外部Ｉ／Ｆ１７を介して受信回路１８により受信されてバッファメモリ１９へ格納される。
【００４７】
制御回路２０は、このようにバッファメモリ１９に順次格納される画像を、表示制御回路１２を駆動して、透過型ディスプレイ１１に表示する。
【００４８】
ステップ１０２：制御回路２０は、対面カメラユニット１３を駆動して、利用者（被写体）の頭部を中心とした画角の画像を透過型ディスプレイ１１越しに撮像する。なお、撮像された画像データ（利用者画像データ）は、バッファメモリ１４に格納される。
【００４９】
ステップ１０３：制御回路２０は、対話相手の画像データ（相手画像データ）をバッファメモリ１９から取得する。ここで取得される相手画像データは、ステップ１０２で利用者（被写体）を撮像するときに透過型ディスプレイ１１に表示されていたものである。
【００５０】
つまり、制御回路２０は、利用者画像データに写り込んだ透過型ディスプレイ１１の表示情報を含んだ相手画像データを取得する。
【００５１】
ステップ１０４：制御回路２０は、取得した相手画像データ、即ち、利用者画像データの撮像時に透過型ディスプレイ１１に表示されていた画像のうち対面カメラユニット１３の撮像画角の範囲に対応する部分の画像を抽出する。なお、この抽出は、対面カメラユニット１３から透過型ディスプレイ１１までの距離と対面カメラユニット１３の撮像画角との情報に基づいて行うことができる。
【００５２】
また、制御回路２０は、抽出した画像を、利用者画像データの画像サイズに合わせて拡大（或いは縮小）すると共に、その拡大（或いは縮小）した画像に鏡面反転処理を施して反転画像を作成する。
【００５３】
そして、制御回路２０は、作成した反転画像の各画素の信号レベルを透過型ディスプレイ１１における画素の光透過率の値に変換して「光透過率分布」の情報を作成する。
【００５４】
ここで、光透過率分布の情報の具体的な例を図４に示す。
【００５５】
図４の（１）は、利用者画像データの撮像時に透過型ディスプレイ１１に表示されていた情報が、図２で示した内容、つまり、通信相手の画像および“ＡＢＣ”との文字であった場合に作成される反転画像の例を示している。これは、透過型ディスプレイ１１の表示情報のうち対面カメラユニット１３の撮像画角内に表示された情報、つまり、図２において「２ａ」と示した点線で囲んだ部分に表示された「通信相手の頭部の画像および“ＡＢＣ”との文字」が鏡面反転された画像である。
【００５６】
図４の（２）は、図４の（１）に示す反転画像の Ｘ−Ｘ’の位置に存在する画素について、各画素の信号レベルを、透過型ディスプレイ１１における画素の光透過率の値に変換した場合に作成される光透過率分布の情報の例を示している。なお、実際には、光透過率分布は二次元の分布を持つが、図４の（２）では、便宜上、図４の（１）の Ｘ−Ｘ’の線における画素について、光透過率分布を一次元のグラフで示している。
【００５７】
図４の（２）をみると、図４の（１）の反転画像において通信相手の頭部が表示されている部分の画素の光透過率は「２０％」に下げられていることがわかる。一方、情報が何も表示されていない部分の画素の光透過率は「１００％（透明）」に上げられていることがわかる。
【００５８】
これは、既述のとおり、透過型ディスプレイ１１での情報表示が、画素の光透過率を下げることによって行われるからである。但し、透過型ディスプレイ１１では、情報を表示する際に、画素の光透過率が完全に０％になることはない。このため、透過型ディスプレイ１１では、情報が表示がされた部分（光透過率が下げられた部分）においても、被写体光が非透過となることはなく、その部分を通して被写体を見ることができる。
【００５９】
ステップ１０５：制御回路２０は、画像処理回路１５を駆動して、光透過率分布の情報に基づき、バッファメモリ１４の利用者画像データに写り込んだ透過型ディスプレイ１１の表示情報を除去する。
【００６０】
具体的には、画像処理回路１５が、光透過率分布の情報を基に、利用者画像データの各画素毎に、それぞれ、画素の信号レベルを調整するための調整値（ゲイン）を求める。例えば、光透過率分布の情報から、画素の光透過率が１００％の場合にはゲインを１倍に、また画素の光透過率が２０％の場合にはゲインを５倍にとのように求める。即ち、光透過率の逆数に比例するようにゲインを求めるようにする。
【００６１】
そして、制御回路２０は、利用者画像データの各画素毎に、画素の信号レベルと求めた画素毎のゲインとを乗算する。なお、透過型ディスプレイ１１がカラー表示に対応したものであれば、求めたゲインを画素のＲ、Ｇ、Ｂの各信号毎に乗算するようにする。このゲインの乗算により、利用者画像データは、写り込んだ透過型ディスプレイ１１の表示情報が除去されて、利用者（被写体）が写った本来あるべき画像となる。
【００６２】
ステップ１０６：制御回路２０は、送信回路１６を駆動して、画像処理回路１５による除去処理後の利用者画像データを外部Ｉ／Ｆ１７を介して対話の相手側の装置／機器に送信する。
【００６３】
ステップ１０７：制御回路２０は、利用者により対話の終了が指示されたか否かを判定する。なお、対話の終了の指示は、例えば、利用者が画像処理装置に設けられた対話終了ボタン（不図示）を押下することなどによって行える。
【００６４】
制御回路２０は、終了が指示された場合にはステップ１０８へ移行し（Ｙｅｓ側）、一方、終了が指示されていない場合にはステップ１０２へ移行して上記の処理を繰り返す（Ｎｏ側）。
【００６５】
ステップ１０８：制御回路２０は、送信回路１６を駆動して、画像通信の終了を要求するメッセージを外部Ｉ／Ｆ１７を介して対話の相手側の装置／機器に送信する。
【００６６】
そして、制御回路２０は、本フローの処理を終了する。
【００６７】
（本実施形態の補足事項）
なお、本実施形態の画像処理装置では、透過型ディスプレイに、画素の光透過率を変化させて情報表示を行うタイプのものを用いた。しかし、画像処理装置では、画素の発光の輝度を変化させて情報表示を行うタイプの透過型ディスプレイを用いることもできる。
【００６８】
但し、そうした場合は、ステップ１０４で、反転画像の各画素の信号レベルに基づき「輝度分布」の情報を作成する。次に、ステップ１０５で、輝度分布の情報を基に、調整値（輝度補正値）を求める。例えば、輝度分布の情報から、反転画像の各画素の輝度が、予め測定しておいた透過型ディスプレイにおける画素の非発光時の輝度と同じ明るさの値となるように調整値（輝度補正値）を求める。そして、利用者画像データの各画素毎に、それぞれ対応した輝度補正値を画素の輝度値から減算する。この減算により、利用者画像データに写り込んだ透過型ディスプレイの表示情報が除去される。なお、透過型ディスプレイがカラー表示に対応したものであれば、求めた輝度補正値を画素のＲ、Ｇ、Ｂの各信号毎に減算するようにする。
【００６９】
また、上記では、利用者および対話相手の音声については説明をしていないが、実際に画像通信により対話を行う際には、音声データが画像データと共に対話者の装置／機器間でやりとりされる。
【００７０】
具体的には、対話相手の画像データに同期した音声データを相手側の装置／機器から受信すると、画像処理装置は、その画像データを透過型ディスプレイ１１に表示させると共に、音声データをＡ／Ｄ変換してアナログの音声信号とする。そして、画像処理装置は、その音声信号を不図示のスピーカーなどの音声出力装置を介して対話相手の音声を再生する。また、画像処理装置は、不図示のマイクなどの音声入力装置を介して入力された利用者の音声をＡ／Ｄ変換してデジタルの音声データとする。そして、画像処理装置は、その音声データを、画像処理回路によって不要な写り込み、即ち、透過型ディスプレイ１１の表示情報が除去された利用者の画像データに同期させて、対話相手側の装置／機器へ送信する。
【００７１】
このようにして、画像処理装置は、音声データを、画像データと共に対話相手側の装置／機器とやりとりする。
【００７２】
また、上述した本実施形態の画像処理装置が行う画像通信の例の説明では、透過型ディスプレイ１１に、対話相手の画像などの情報が表示されるとした。
【００７３】
しかし、画像処理装置からは対話相手に向けて画像データおよび音声データを送信するが、対話の相手側の装置／機器からは音声データのみが送られてくるような非対称の通信モードの場合は、例えば図５に示すように、透過型ディスプレイ１１には何も表示されない。つまり、透過型ディスプレイ１１の画素の光透過率は１００％（透明）のままである。この場合、画像処理装置の対面カメラユニット１３により透過型ディスプレイ１１越しに撮像される利用者（被写体）の画像には不要な写り込みが生じないので、画像処理装置は、その除去処理を行う必要がない。このため、画像処理装置では、上記のような非対称の通信モードの場合、即ち、透過型ディスプレイ１１の情報表示を行わない場合には、除去処理を省略して行わないようにする。これにより除去処理を行う分の処理負荷が軽減される。
【００７４】
また、本実施形態の画像処理装置では、図２に示したように、透過型ディスプレイ１１の直近に画像処理装置本体（１２〜２１）を配置した。しかし、画像処理装置本体は、透過型ディスプレイ１１の直近にある必要はなく、透過型ディスプレイ１１から離れたところに配置するようにしても構わない。その場合にも、画像処理装置は、利用者の画像に写り込んだ透過型ディスプレイ１１の表示情報を、確実に除去することができる。
【００７５】
また、本実施形態の画像処理装置では、対面カメラユニット１３が、利用者（被写体）の頭部の動きに追従してその撮像を行うようにしてもよい。
【００７６】
その場合、追従による対面カメラユニット１３の上、下、左、右の各方向の移動量（画素単位）を不図示のメモリなどに記録しておく必要がある。また、その記録の際には、撮像した利用者の画像データと、その撮像時に透過型ディスプレイ１１に表示されていた対話相手の画像データと、移動量との３者の対応を示す情報についても記録しておく。なお、この不図示のメモリなどに記録した移動量及び３者の対応を示す情報は、ステップ１０４で、対面カメラユニット１３の撮像画角の範囲に対応する部分の画像を抽出する際に使用される。
【００７７】
（本実施形態の作用効果）
以上、本実施形態の画像処理装置では、利用者が透過型ディスプレイ１１に表示される対話相手の画像を見ているときに、対面カメラユニット１３により利用者（被写体）の頭部を中心とした画角の画像が透過型ディスプレイ１１越しに撮像される。なお、対面カメラユニット１３は、その撮像レンズへ入射する被写体光の光軸上に透過型ディスプレイ１１の表示情報、即ち、対話相手の画像が表示されるように配置されている。
【００７８】
したがって、本実施形態の画像処理装置では、画像通信による対話の際に利用者と対話相手との視線を合わせることができるので、画像通信での対話の不自然さを解消することができる。
【００７９】
また、本実施形態の画像処理装置では、対面カメラユニット１３により、利用者の頭部を中心とした画角の画像が透過型ディスプレイ１１越しに撮像される。
【００８０】
また、対面カメラユニット１３が利用者を撮像するときに透過型ディスプレイ１１に表示されていた対話相手の画像データが取得され、その取得された画像データのうち、対面カメラユニット１３の撮像画角の範囲に対応する部分の画像が抽出される。
【００８１】
また、抽出された画像を基に反転画像が作成され、その反転画像の各画素の信号レベルを透過型ディスプレイ１１における画素の光透過率の値に変換して光透過率分布の情報が作成される。
【００８２】
そして、撮像された利用者の画像データに写り込んだ透過型ディスプレイ１１の表示情報が、その光透過率分布の情報に基づいて除去され、その除去処理後の利用者の画像データが対話の相手側の装置／機器へ送信される。このように、良好な内容の画像が対話相手に送信される。
【００８３】
したがって、本実施形態の画像処理装置では、透過型ディスプレイによって生じる利用者の画像への不要な写り込みを除去することができるので、画像通信での対話の不自然さを解消することができる。
【００８４】
（その他）
なお、本発明は、カーナビゲーション機器／装置、パーソナルコンピュータ（ＰＣ）、テレビ、携帯電話機などにも適用することができる。
【符号の説明】
【００８５】
１１…透過型ディスプレイ，１２…表示制御回路，１３…対面カメラユニット，１４…バッファメモリ，１５…画像処理回路，１６…送信回路，１７…外部インターフェース（Ｉ／Ｆ），１８…受信回路，１９…バッファメモリ，２０…制御回路，２１…システムバス
【特許請求の範囲】
【請求項１】
情報を表示する透過型の表示部と、
前記表示部を挟んで被写体と対面させて配置され、前記表示部を透過した被写体光による像を撮像する撮像部と、
前記被写体光が前記表示部を透過するときに、前記被写体光による像に対して重畳される前記表示部の表示情報を、前記撮像部が撮像した画像から除去する制御部と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記制御部は、前記撮像部が前記被写体光による像を撮像したときに前記表示部に表示されていた表示情報を取得すると共に、取得した表示情報のうち前記撮像部の撮像画角の範囲に対応する部分の情報に基づき算出した調整値により、前記撮像部が撮像した画像の信号レベルを画素毎に調整することで前記除去を行う
ことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記表示部は、該表示部に配置された画素の光透過率を変化させることで情報表示を行う透過型のディスプレイであり、
前記制御部は、前記取得した表示情報のうち前記撮像部の撮像画角の範囲に対応する部分の情報を基に光透過率分布の情報を作成すると共に、該光透過率分布の情報に基づき算出したゲインを前記撮像部が撮像した画像の信号レベルに対して画素毎に乗算することで前記除去を行う
ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記制御部は、前記ゲインの算出において、前記光透過率分布の情報により示される画素の光透過率が高い場合にはゲインを低く算出し、光透過率が低い場合にはゲインを高く算出する
ことを特徴とする画像処理装置。
【請求項５】
請求項１ないし請求項４の何れか一項に記載の画像処理装置において、
前記制御部は、前記表示部に情報表示を行わない場合は、前記除去を行わない
ことを特徴とする画像処理装置。
【請求項１】
情報を表示する透過型の表示部と、
前記表示部を挟んで被写体と対面させて配置され、前記表示部を透過した被写体光による像を撮像する撮像部と、
前記被写体光が前記表示部を透過するときに、前記被写体光による像に対して重畳される前記表示部の表示情報を、前記撮像部が撮像した画像から除去する制御部と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記制御部は、前記撮像部が前記被写体光による像を撮像したときに前記表示部に表示されていた表示情報を取得すると共に、取得した表示情報のうち前記撮像部の撮像画角の範囲に対応する部分の情報に基づき算出した調整値により、前記撮像部が撮像した画像の信号レベルを画素毎に調整することで前記除去を行う
ことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記表示部は、該表示部に配置された画素の光透過率を変化させることで情報表示を行う透過型のディスプレイであり、
前記制御部は、前記取得した表示情報のうち前記撮像部の撮像画角の範囲に対応する部分の情報を基に光透過率分布の情報を作成すると共に、該光透過率分布の情報に基づき算出したゲインを前記撮像部が撮像した画像の信号レベルに対して画素毎に乗算することで前記除去を行う
ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記制御部は、前記ゲインの算出において、前記光透過率分布の情報により示される画素の光透過率が高い場合にはゲインを低く算出し、光透過率が低い場合にはゲインを高く算出する
ことを特徴とする画像処理装置。
【請求項５】
請求項１ないし請求項４の何れか一項に記載の画像処理装置において、
前記制御部は、前記表示部に情報表示を行わない場合は、前記除去を行わない
ことを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１０−２３２８２８（Ｐ２０１０−２３２８２８Ａ）
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願番号】特願２００９−７６４１４（Ｐ２００９−７６４１４）
【出願日】平成２１年３月２６日（２００９．３．２６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願日】平成２１年３月２６日（２００９．３．２６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]