画像転送システムにおける撮影画像の表示方法ならびに装置
【課題】 携帯情報端末の送信側のカメラで画像を撮影し、受信側に伝送して表示させるとき、画像が暗かったり明るすぎたりあるいはコントラストが少ないと、受信側での表示内容が分かりづらく見苦しくなることを解消する。
【解決手段】 送信側で画品質を自動的に評価し、評価結果に応じて画像を縮小し、同時に他の品質の良い画像を画像蓄積部から読み出して一緒に受信側に送り、２つの画像を例えばマルチウインドウで表示する。ここで、マルチウインドウ画面として、送信側で撮影された動画像を画品質の程度に応じて縮小して表示する。また、残った領域にユーザの上半身像あるいはテキスト文などを合わせて表示する。
【解決手段】 送信側で画品質を自動的に評価し、評価結果に応じて画像を縮小し、同時に他の品質の良い画像を画像蓄積部から読み出して一緒に受信側に送り、２つの画像を例えばマルチウインドウで表示する。ここで、マルチウインドウ画面として、送信側で撮影された動画像を画品質の程度に応じて縮小して表示する。また、残った領域にユーザの上半身像あるいはテキスト文などを合わせて表示する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、特に、動画像撮影装置を持つ携帯情報端末に用いて好適な画像転送システムにおける撮影画像の表示方法ならびに装置に関する。
【０００２】
【従来の技術】携帯型のテレビ電話（以下、携帯情報端末と称する）は、テレビカメラで撮影したユーザの顔写真等画像データを圧縮符号化し、無線を介して相手端末に送ることにより、相手端末で画像デー夕を復号化し、内蔵するディスプレイに表示させている。一方、送信相手の顔写真も相手端末で撮影し、符号化した画像データをユーザに送り、ユーザ側の端末で復号化してディスプレイに表示させることにより、相互に表示部に表示された相手の顔を見ながら会話を行う。
【０００３】ところで、上述した携帯情報端末は戸外の様々な環境で使用されるため、屋内の安定した照明下で撮影する場合と異なり、撮影した動画像は暗くなったり、白っぽくなったり、あるいは逆光のためにコントラストが付かない画像になったりする。また、ビルの陰などで使用すると電波が障害物で遮られ、動画像を伝送する際に、伝送エラーを起こし、相手側の表示画像にノイズが乗って見ずらい状態になることが多々ある。
【０００４】具体的に、図２に示すように、品質の悪い、例えば、暗く撮れたユーザの上半身像１２０をそのまま相手側に送り、相手端末に表示させると、相手が画像を見て不快に感じる。そこで、品質の悪い画像の代わりに、図３に示すような詫び文言を送り相手端末で表示させている。また、図４に示すように、あらかじめユーザの携帯端末に格納してある自身の上半身像である静止画像１２２を読み出し相手端末に送ることにより、品質の悪い画像の代用とすることも行われている。更に、図５に示すように、静止画像１２２と詫びの文言両方を送ることもある。また、図６に示すように、画面にノイズ１２３が重畳して、ユーザの上半身像が見難くなってしまうこともある。このような場合でも、図７に示すように、相手側に詫びの文言を送ったり、図８に示すようにユーザの上半身像を送ったり、詫びの文言とユーザの上半身像を組み合わせて送り、ノイズが多い図６に示す画像の代替えとしていた。
【０００５】
【発明が解決しようとする課題】上述したように、従来、相手側は静止画像あるいはテキスト文が表示された画像を見ることにより、品質の悪い暗い画像、あるいはノイズが重畳した画像を見ることによる不快な思いを回避できる。しかし、相手側は静止画像あるいはテキスト文などを見ていてはユーザがこのような画像を送らざるを得ない事情を完全に推測することが困難であり、逆に、いつまでこのような状態が続くのか心配になる可能性がある。
【０００６】本発明は上記事情に基づいてなされたものであり、ユーザ側において撮影された動画像を評価し、画品質が低いと判定された場合、上記品質の悪い画像を画品質に応じて縮小し、画像蓄積部に格納された、例えば、ユーザの上半身像等別の動画像を読み出し、上述した縮小された動画像と合成して相手側の端末に送り、相手側の端末では送られてきた動画像を復号化して各画像をマルチウィンドウ表示することにより、ユーサがおかれた環境条件の理解を得ると共に、受け手の不快感を解消した画像転送システムにおける撮影画像の表示方法ならびに装置を提供することを目的とする。また、ユーザ側において撮影された動画像を評価し、画品質が低いと判定された場合、上記品質の悪い画像を画品質に応じて縮小し、画像蓄積部に格納された、例えば、ユーザの上半身像等別の静止画像を読み出してそれぞれ相手側の端末に送り、相手側の端末では送られてきた品質の悪い縮小動画像と静止画像をそれぞれ復号化し、合成してマルチウィンドウ表示することにより、上記と同様の効果を得る画像転送システムにおける撮影画像の表示方法ならびに装置を提供することも目的とする。
【０００７】更に、ノイズが多い環境下で動画像を伝送した場合、受信側でノイズの大きさを測定して送信側に報告し、送信側ではノイズの大きさに合わせ、撮影した動画像の大きさを変えて他の静止画像あるいはテキスト文と共に相手先に送り、これを受信した相手先では縮小されたノイズの多い動画像と静止画像あるいはテキスト文をマルチウインドウ表示することにより、ユーザがおかれた環境条件の理解を得ると共に、受け手の不快感を解消した画像転送システムにおける撮影画像の表示方法ならびに装置を提供することも目的とする。また、ユーザの目視確認による評価に従い、動画像の縮小の程度を設定することにより上記と同様の効果を得る画像転送システムにおける撮影画像の表示方法ならびに装置を提供することも目的とする。
【０００８】
【課題を解決するための手段】本発明の画像転送システムにおける撮影画像の表示方法は、撮影装置と表示装置から成る画像転送システムにおいて、撮影装置により撮影された画像もしくは通信網を介して得られる画像の品質を評価し、その評価内容に従いシステムに取り込まれた画像を任意に縮小し、あらかじめ用意される上記撮影画像と関連した高品質の画像と共に表示装置に表示することを特徴とする。画像の品質の評価は、動画像データを一定の周期でサンプリングして静止画像として取り込み、輝度信号を抽出して画素単位で明るさに対する頻度分布を計算し、この頻度分布中に任意の判定枠を設定し、この判定枠と頻度分布との関係により画像の品質を評価することを特徴とする。
【０００９】本発明の画像転送システムにおける撮影画像の表示装置は、撮影装置により撮影された画像の品質を評価する画質評価部と、あらかじめ用意される上記撮影画像と関連する画像が蓄積される画像蓄積部と、画像蓄積部から読み出される画像と上記画像評価部による評価結果に従って縮小された画像を合成して表示する表示部とを具備することを特徴とする。また、撮影装置により撮影された動画像もしくは通信網経由で送受信される動画像の品質を評価する画質評価部と、画質評価部による評価内容に従って動画像を適当に縮小し、あらかじめ蓄積された上記撮影画像と関連した高品質の画像と共に通信網を介して転送する送信部と、通信網を介して得られる縮小動画像と高品質画像を受信する受信部と、受信部により得られる画像を合成して表示する表示部とを具備することを特徴とする。通信網経由で送受信される画像の品質を評価する画質評価部は、撮影動画像の誤り訂正符号化もしくは復号化を行う誤り訂正符号化、復号化部から動画像データの誤りの程度を得ることにより評価する。表示部は、縮小画像を撮影画像の品質に応じて大きさを変えて表示し、画像蓄積部から得られる静止画像と、更に必要に応じテキスト文を配置して表示する。
【００１０】このことにより、動画像は画品質が悪い程画面を小さく表示し、この縮小画面と前もって撮影されたユーザの上半身像等あるいはテキスト文が関連付られて表示されるため、受信側は奇異な感じを持つことなく、ユーザが現在置かれている環境を理解できる。
【００１１】
【発明の実施の形態】図１（ａ）は本発明が採用される画像転送システムの一実施形態の構成を示すブロック図である。図に示す画像転送システムは、機能的に送信部１００と受信部１１２に区分される。ユーザの上半身像は、制御部１０８の制御のもとで、撮影装置であるカメラ１０１によって撮影され、動画像データ１０２として動画像符号化部１０５に供給され、ここで圧縮符号化される。圧縮符号化された動画像データは、通信インタフェースユニット１１０を通り、公衆回線等の通信網１１１を介して受信部１１２の通信インタフェースユニット１１３に送られる。通信インタフェースユニット１１３で受信された動画像データは、制御部１１５のコントロールに従い、動画像復号化部１１６で伸長復号化され、表示部１１９に表示される。
【００１２】一方、カメラ１０１によって撮影された動画像データ１０２から輝度信号１０３が抽出されて画質評価部１０４に印加される。画質評価部１０４は、後述するように、入力された輝度信号１０３から動画像が暗過ぎるか、明る過ぎるか、あるいは、コントラストが明瞭でない等画品質についての評価値、即ち、判定結果１３４を出力する。そして、その判定結果１３４は制御部１０８に送られ、制御部１０８は、その判定結果１３４に応じて符号化された動画像データをそのまま受信部１１２に送るか、あるいは縮小するかを判断する。動画像の画品質が低いと判定された場合（例えば、図２参照）、動画像圧縮データは判定結果の大きさに応じて動画像縮小部１０６で縮小される（図１０の動画像１２５参照）。次に、動画像蓄積部１０９から指定された動画像データが読み出される。この動画像データはユーザの上半身像を動画像データとして撮影して圧縮符号化したものである（図１０の動画像データ１２２参照）。上記動画像データは短い時間についての動画像データで構わない。即ち、元々、上半身像は動きが少ないので、短い時間の動画像データを繰り返して画像蓄積部１０９から読み出して受信部１１２に送ることで、長い動画像データの代替えとすることができる。画像合成部１１８では動画像蓄積部１０９から読み出した動画像データと動画像縮小部１０６から出力される動画像データを合成して、図１０に示すような動画像データを生成する。即ち、縮小した動画像デー夕１２５と予め画像蓄積部１０９に蓄積されている動画像を合成している。ここで、品質の悪い動画像１２５は隅に小さく表示し、画面の空いている領域には、前もって撮影されたユーザの動画像を大きく配置している。合成した動画像は受信部１１２に送られて、動画像復号化部１１６で復号されて、表示装置１１９で表示される。
【００１３】受信部１１２は、受け手が図１０に示す画面上で動画像１２５を見ることでユーザの置かれている環境を理解し、画面が小さいため画品質が悪い場合でも、不快な感じを抱かせない。また、空いている領域にはユーザの普段の映像を見ることができるため、あたかも表示された画像と話をしているような仮想的な効果が期待できる。そして、図１１に示すようにテキスト文１２６も一緒に画面に表示させ、テキスト文で受信画面の状態を述ベると、ユーザの置かれている環境が受信部１１２を介して受け手に尚一層理解が得られる。テキスト文１２６は動画像１２２と一緒に動画像蓄積部１０９に蓄積しておき、読み出す時に対にして読み出してもよい。
【００１４】また、図１２に示すように、カメラ１０１で撮影された動画像データ１０２が画質評価部１０４において図１１での動画像デ−タ１２５より品質が良いと判定された場合、動画像縮小部１０６で元の動画像より小さく、動画像１２５より大きくなるように縮小する。そして、上記と同様に画像蓄積部１０９から動画像１２２を読み出した動画像と前記縮小した動画像を画像合成部１１８で合成した動画像を受信部１１２に送り、動画像復号化部１１６で復号して表示装置１１９で表示させる。即ち、動画像１２７は動画像１２５より画品質が良いため動画像１２５より大きく表示する。画品質が良好なほど大きく表示することにより、受信部１１２では送信部１００から送られてきた動画像の内容を可能な範囲で判断できる利点がある。そして、図１１と同様に、画面にテキスト文１２６も一緒に表示してもよい。
【００１５】以下、画像評価部１０４の詳細について説明する。カメラ１０１で撮影した動画像１０２の画品質を自動的に評価するために本発明は輝度を基準としていることは上述したとおりである。具体的には、まず、動画像データ１０２を一定周期で静止画としてサンプルして取り入れ、輝度信号１０３を抽出して、画質評価部１０４に印加する。画質評価部１０４は、画素単位で明るさに対する頻度分布を計算する。図１８は前記頻度分布の計算結果をグラフ表示した例である。横軸は画素の明るさのレベルを示している。左に進行するに従って画素が暗くなる。すなわちシャドウ領域である。レベルが０の場合、完全に黒くなる。右に進むにつれ画素が明るい部分を示している。即ち、ハイライト部分である。レベル２５５の場合、完全に白くなる。そして中間部分が中間調になる。そして縦軸は横軸の各レベルに対する頻度を示している。
【００１６】図１８は、シャドウ部分、中間調及びハイライト部分の画素がまんべんなく分布している良好な画像である。図１９はシャドウ部分、中間調部分の画素が少なく、ハイライト部分の画素が極端に多いため、画面全体が白っぽい画像である。一方、図２０はハイライト部分と中間調の画素が少なく、シャドウ部分の画素が極端に多いため、画面全体が暗い状態になる。また、図２１はシャドウ部分とハイライト部分の画素が全くなく、中間調部分の画素で占められた画像であり、全体でコントラストが少ない平板な画像になる。
【００１７】図２２は画質評価部１０４内部の機能構成を示した構成図である。画質評価部１０４は、機能的には、ヒストグラム計算部１３５、平滑部１３６、判定部１３７から成る。ヒストグラム計算部１３５は、輝度信号１０３から、各画素の明るさについて分類して頻度を積算する。ここでヒストグラム１３０−１を計算すると、画像によってあるレベルで画素数がなかったり、反対に極端に多くなったりすることがある。即ち、ヒストグラム１３０−１が、図２３に示すようにピーク、あるいは鋭い谷が生じることがある。そこで、平滑部１３６でそのピーク及び谷間を平滑する。
【００１８】判定部１３７では、平滑化したヒストグラム１３０−１に対して図２４に示すように判定枠１３１を横軸に接して配置してみる。ヒストグラム１３０−１が判定枠１３１を内包していればこのヒストグラム１３０−１はシャドウ部分、中間調及びハイライト部分までの画素が分布していることを示している。例えば、図２５に示すように、ヒストグラム１３０−１がシャドウ部分に片寄っている場合、判定枠１３１はヒストグラム１３０からはみ出してしまう。また、図２６に示すように、判定枠１３１の横軸についてシャドウ部及びハイライト部分をカットして短くすると、コントラストの少ない画像のヒストグラム１３０−１もこの判定枠１３１に内包することになる。即ち、判定枠の大きさを色々変えることにより画品質を評価できることになる。
【００１９】判定部１３７では上記判定枠１３１を種々揃えて、それら判定枠１３１を変えて評価して画像を等級分けして、判定結果１３４を出力する。例えば、図１０の動画像１２５の品質は下級、図１２の動画像１２７の品質は中級などと評価する。尚、本発明実施形態では評価枠１３１を矩形としているが、用途によって画像のヒストグラム１３０−１は色々変わるので、実際の応用により実験で評価枠の形状を決めた方がよい。
【００２０】尚、ここでは、画質評価部１０４で自動的に画質を評価し、評価結果に応じて動画像縮小部１０６で動画像を縮小し、動画像蓄積部１０９から動画像を読み出して画像合成部１１８で合成した後、受信側１１２に伝送する例を示した。これに対し、カメラ１０１で撮影された動画像を、別途用意される表示モニタ（図示せず）に表示し、人間による目視確認による評価の後受信側に送り、撮影された動画像をどの程度縮小して良いか、決めることもできる。即ち、表示モニタに表示された映像を人間が見て、品質が悪いと判断した場合、別途用意される、例えば、キーボード等（図示せず）のマニュアル入力手段を操作することにより、画像縮小部１０６に対して制御部１０８を介して縮小画面のサイズを設定指示する。動画像縮小部１０６により生成される縮小画像は、動画像蓄積部１０９から読み出される関連した動画像と共に画像合成部１１８で合成され、送信側１００にも別途用意される動画像復号化部（図示せず）で復号され表示モニタ上に表示される。ここでキーボード等を操作することによって動画像縮小部１０６に対して縮小の程度と動画像蓄積部１０９から読み出される動画像の種類を設定できる。ここで目視確認された内容は、通信インタフェースユニット１１０、通信網１１１、受信側１１２における通信ユニット１１３を介し、動画像復号化部１１６にて復号化され表示装置１１９に表示される。
【００２１】尚、受信側１１２で表示装置１１９による表示内容を確認しながら、受信側に別途用意されるキーボードを操作することで、送信側１１０での動画像縮小部１０６による縮小の程度及び、動画像蓄積部１０９から読み出される動画像の種類を選択しても良い。
【００２２】次に、図１（ｂ）を使用して本発明の他の実施形態について説明する。図１（ａ）に示す第一の実施形態では、送信側１００で画像蓄積部１０９から読み出された動画像と、動画像縮小部１０６の出力を、画像合成部１１８で動画像として合成して、受信部１１２に伝送していた。ここで示す実施形態では、カメラ１０１により撮影される動画像と関連する高品質の静止画像をあらかじめ静止画像蓄積部１０９に蓄積しておき、撮影される動画像とは個別に受信側１１２に送信し、受信側１１２でそれら各画像を復号化し、かつ合成して表示するものである。
【００２３】即ち、図１（ｂ）に示すように、画質評価部１０４での判定結果１３４により、カメラ１０１により撮影された動画像は画品質が低いと判定された場合、まず、動画像符号化部１０５で符号化される動画像データは、動画像縮小部１０６で縮小され、誤り訂正符号化部１０７で誤り符号が付加される。次に、静止画像蓄積部１０９からユーザの上半身像を撮影した静止画像が読み出される。そして、静止画像蓄積部１０９から読み出された静止画像と動画像縮小部１０６から出力された動画像データを通信インタフェースユニット１１０と通信網１１１を介して受信側１１２に送る。受信側１１２では、画像データを通信インタフェースユニット１１３を介して受信し、縮小された動画像は、誤り訂正複号化部１１４で誤り訂正し、動画像復号化部１１６で元の動画像を復号化して画像合成部１１８の一方の入力端子に印加する。一方、通信インタフェースユニット１１３を介して受信された静止画像は、静止画像復号化部１１７で復号化され、画像合成部１１８の他方の入力端子に印加される。画像合成部１１８では、図１０〜図１３のように品質の低い動画像１２５あるいは１２７を動画像の品質に応じ、大きさを変えて配置する。そして、静止画像１２２と、必要に応じてテキスト文１２６を配置して、前記各画像をマルチウインドウで表示する。
【００２４】以上説明のように、図１（ａ）に示す第一の実施形態では、送信側１００で縮小した動画像１２５と画像蓄積部１０９から読み出した動画像１２２を合成してーつの動画像として受信側１１２に継続して送っていた。これに対し、図１（ｂ）に示す第二の実施形態では、縮小した動画像は元の大きさも動画像より画像データが少なく、画像蓄積部１０９から読み出した静止画像も一回だけ受信部１１２に送ればよく、従って、全体として動画像の伝送量が少なくすることができるという利点がある。
【００２５】一方、ここでも第一の実施形態同様、別途送信側１００に用意される表示モニタにより目視確認ならびにキーボードによるマニュアル操作による動画像縮小の程度設定も可能である。即ち、表示モニタに表示された映像を人間が見て、品質が悪いと判断した場合、別途用意される、例えば、キーボード等のマニュアル入力手段を操作することにより、画像縮小部１０６に対して制御部１０８を介して縮小画面のサイズを設定指示する。動画像縮小部１０６により生成される縮小画像は、送信側１００にも別途用意される動画像復号化部で復号され表示モニタ上に表示される。一方、静止画像蓄積部１０９から読み出された静止画像は、同じく送信側１００に別途用意される静止画像復号化部にて復号化され、更に上記縮小動画像と合成され表示モニタ上に表示される。ここで目視確認しながらキーボードを操作することによって動画像縮小部１０６に対する最適な縮小の程度の指示と、静止画像蓄積部１０９に蓄積された適切な静止画像の種類の特定が可能となる。
【００２６】尚、受信側１１２で表示装置１１９による表示内容を確認しながら、受信側に別途用意されるキーボードを操作することで、送信側１１０での動画像縮小部１０６による縮小の程度及び、動画像蓄積部１０９から読み出される動画像の種類を選択しても良い。
【００２７】次に、本発明の更に他の実施形態につき、図１（ｂ）を参照しながら説明する。上述した第一の実施形態と第二の実施形態は、いずれもカメラ１０１により撮影された動画像の明るさ、暗さ及びコントラスト等を、画質評価部１０４で評価し、画品質に応じて、受信部１１２で配置する品質の低い動画像の面積を変えている。ここでは、図６に示すような雑音が重畳した画像を受信部１１２の表示装置１１９で表示する場合について、見易い表示になるように工夫している。即ち、図１（ｂ）において、最初カメラ１０１から入力される動画像データ１０２は動画像符号化部１０５で圧縮符号化され、誤り訂正符号化部１０７で誤り訂正符号が付加される。そして、その動画像データは受信部１１２に送られ、動画像データに誤りがある場合、誤り訂正復号化部１１４で誤り訂正され、動画像復号化部１１６で復号化される。最初、この復号化された動画像データは画像合成部１１８を通して表示部１１９に表示される。
【００２８】ここで、受信部１１２で動画像データを誤り訂正復号化部１１５で誤り訂正する際に、動画像データの誤りの程度を評価して評価値を制御部１１５に出力する。誤り訂正復号化部１１４で完全に訂正できない場合、誤った動画像データが一部動画像復号化部１１６に送られ、復号の際に誤って復号され、表示装置１１９の表示画面に雑音が重畳することになる。上述した評価値はこれら誤り訂正が完全にできない場合に、どの程度誤り訂正ができなかったを定量化して示した値である。そして、誤り訂正復号化部１１４での評価値を送信側１００に通信網１１１を介して送り返す。評価値は制御部１０８に読み込まれて、評価値の大きさにより動画像符号化部１０５からの出力される動画像データを動画像縮小部１０６にて指定された大きさに縮小する。
【００２９】一方、画像蓄積部１０９から読み出された静止画は、縮小された動画像データと共に受信部１１２に送られる。受信部１１２では動画像データは誤り訂正復号化部１１４を通って誤りがあった場合、誤り訂正され動画像復号化部１１６で復号化され画像合成部１１８に印加される（図１４の動画像１２８参照）。一方、受信部１１２で受信された静止画は静止画像復号化部１１７で復号化され画像合成部１１８に印加される（図１４の静止画像１２２参照）。そして、画像合成部１１８において入力される動画像と静止画像を合成して表示装置１１９に表示する。また、図１５に示すように画像蓄積部１０９からテキスト文１２９を静止画像１２２と一緒に送り、表示装置１１９に表示してもよい。また、誤り訂正復号化部１１４で評価された評価値から受信部１１２に送られた動画像データに雑音がそれほど多く重畳されていないと評価された場合、図１６に示すように表示装置１１９に表示する動画像１３０を動画像１２８より大きめにして表示する。更に、図１７に示すようにテキスト文１２９と一緒に表示してもよい。
【００３０】また、表示装置１１９に表示された縮小動画像と静止画像による、例えば、マルチウインドウ表示を確認しながら別途用意されるキーボードによるマニュアル操作により、送信側１００の動画像縮小部１０６に対する縮小の程度、及び静止画像蓄積部１０９から読み出される静止画像の選択も可能であることはいうまでもない。
【００３１】更に、ここでは、受信部１１２で受信した動画像データを誤り訂正復号化部１１４で伝送品質を評価しているが、受信部１１２から周期的に測定信号を送信部１００に送り、その測定信号を送信部１００で受信して、伝送回線の品質を測定して評価してもかまわない。そして、この品質結果から動画像縮小部１０６での縮小の程度を設定し、縮小した動画像を受信部１１２に送っても構わない。また、送信側１００で受信側１１２から送られてきた伝送品質を送信側１００に別途用意される表示モニタに数値で表示し、その数値を人間が評価してキーボードを操作することにより、動画縮小部１０６に対し縮小の程度、及び静止画像蓄積部１０９から読み出される画像の種類を設定することになる。
【００３２】尚、上述した各実施形態では、いずれも表示装置１１９に表示される安定した画像１２２及びテキスト文１２９は、送信側１００の画像蓄積装置１０９から得ていた。これは、縮小した動画像１２８のみ受信部１１２に送り、受信部１１２で画像１２２及びテキスト文１２９を用意して、動画像１２８と一緒にマルチウインドウ表示させても良い。また、別途送信側１００に用意される表示モニタに表示されるカメラ１０１で撮影した静止画１０２を人間が見て評価し、キーボードを操作することで縮小画像の大きさを変えても良い。あるいは受信側の表示装置１１９に表示されるマルチウインドウ画面を目視することにより人間が評価し、受信側１１２でキーボードを操作することで送信側１００を制御して縮小画像の大きさを変えても良い。
【００３３】更に、各実施形態共に、受信部１１２に表示する縮小した画像１２５は動画像に限定したが静止画像であっても構わない。即ち、カメラ１０１がデジタルカメラのように静止画を撮影して、撮影毎に画品質を評価して受信部１１２で画品質に応じて、画品質が低い場合、縮小して他の画像と一緒に表示してもかまわない。また受信側１１２にある表示装置１１９の表示画像を確認しながらキーボードを操作することで画像を縮小しても構わない。
【００３４】更に、各実施形態共に、動画像縮小部１０６は送信部１００にあり、画像データを送信部１００で縮小してから、受信部１１２に送っているが、送信部１００から直接動画像データを受信部１１２に送り、受信部１１２で画像の品質を評価してから画像を縮小しても構わない。また、送信側１００に別途付加される表示モニタに表示される画像を見ながらキーボードを操作して画像を縮小しても構わない。
【００３５】また、各実施形態共に、送信部１００のカメラ１０１で撮影した動画像の画品質を評価し、その評価結果に応じて受信部１１２に縮小した動画像を送っているが、動画像の画品質を評価して評価結果に応じて動画像を縮小し、画像蓄積部１０９から読み出した画像と一緒に表示モニタに表示させても構わない。表示モニタに表示されるカメラ１０１で撮影された映像を直接人間の目で確認し、評価してからキーボードを操作することで動画像縮小部１０６による縮小の程度を設定し、かつ、静止画像蓄積部１０９から読み込む静止画像の種類を選択しても良い。即ち、本発明は、一個の画像撮影装置と表示部で構成される閉じたシステムにおいても同様にして適用できるものである。
【００３６】
【発明の効果】以上説明のように本発明は、撮影装置と表示装置から成る画像転送システムにおいて、撮影装置により撮影された画像もしくは通信網を介して得られる画像の品質を評価し、その評価内容に従いシステムに取り込まれた画像を任意に縮小し、あらかじめ用意される上記撮影画像と関連した高品質の画像と共に表示装置に表示することを特徴とするものであり、このことにより、カメラで撮影した動画像の明るさ、暗さ及びコントラスト、あるいは動画像に重畳している雑音の大きさなどを計測することにより画品質を自動的に評価することができる。従って、受信側では、評価値の大きさに応じて表示面積を変えた動画像と、別な安定した画像をマルチウインドウで表示することにより、ユーザに不快感を抱かせることなく、送信側の撮影環境を簡単に知らせることができる。
【図面の簡単な説明】
【図１】本発明の実施形態の二例を示すブロック図。
【図２】従来例における、暗い表示画面の例を示す図。
【図３】従来例における、画品質の悪い画面の代わりにテキスト文を表示した画面の例を示す図。
【図４】従来例における、画品質の悪い画面の代わりに別な画像を表示した画面の例を示す図。
【図５】従来例における、画品質の悪い画面の代わりに別な画像とテキスト文を表示した画面の例を示す図。
【図６】従来例における、雑音が重畳した画面の例を示す図。
【図７】従来例における、雑音が重畳した画面の代わりにテキスト文を表示した画面の例を示す図。
【図８】従来例における、雑音が重畳した画面の代わりに別な画像を表示した画面の例を示す図。
【図９】従来例における、雑音が重畳した画面の代わりに別な画像とテキスト文を表示した画面の例を示す図。
【図１０】本発明実施形態における、縮小した画品質の悪い動画像と別な画像をマルチウインドウで表示した画面の例を示す図。
【図１１】本発明実施形態における、縮小した画品質の悪い動画像、別な画像及びテキスト文をマルチウインドウで表示した画面の例を示す図。
【図１２】本発明実施形態における、縮小した画品質の悪い動画像と別な画像をマルチウインドウで表示した画面の例を示す図。
【図１３】本発明実施形態における、縮小した画品質の悪い動画像、別な画像及びテキスト文をマルチウインドウで表示した画面の例を示す図。
【図１４】本発明実施形態における、縮小して雑音の重畳した動画像と別な画像をマルチウインドウで表示した画面の例を示す図。
【図１５】本発明実施形態における、縮小して雑音の重畳した動画像、別な画像及びテキスト文をマルチウインドウで表示した画面の例を示す図。
【図１６】本発明実施形態における、縮小して雑音の重畳した動画像と別な画像をマルチウインドウで表示した画面の例を示す図。
【図１７】本発明実施形態における、縮小して雑音の重畳した動画像、別な画像及びテキスト文をマルチウインドウで表示した画面の例を示す図。
【図１８】本発明実施形態の動作を説明するために引用した図であり、画像の明るさのヒストグラムを示した図。
【図１９】本発明実施形態の動作を説明するために引用した図であり、明るい画像のヒストグラムを示す図。
【図２０】本発明実施形態の動作を説明するために引用した図であり、暗い画像のヒストグラムを示す図。
【図２１】本発明実施形態の動作を説明するために引用した図であり、比較的コントラストのない画像のヒストグラムを示す図。
【図２２】図１に示す画質評価部の内部構成を示すブロック図。
【図２３】本発明実施形態における、画像の明るさのヒストグラムを示す図。
【図２４】本発明実施形態における、画像のヒストグラムと評価枠を示した図。
【図２５】本発明実施形態における、暗い画面のヒストグラムと評価枠を示した図である。
【図２６】本発明実施形態における、コントラストのない画像と評価枠を示した図。
【符号の説明】
１００…送信部、１０１…カメラ、１０２…動画像データ、１０３…輝度信号、１０４…画質評価部、１０５…動画像符号化部、１０６…動画像縮小部、１０７…誤り訂正符号化部、１０８…制御部、１０９…画像蓄積部（動画／静止画）、１１０、１１３…通信インタフェースユニット、１１１…通信網、１１２…受信部、１１４…誤り訂正復号化部、１１５…制御部、１１６…動画像復号化部、１１７…静止画像復号化部、１１８…画像合成部、１１９…表示装置、１２０…ユーザ上半身像、１２１、１２４、１２６、１２９…テキスト文、１２２…静止画像、１２３…雑音、１２５、１２７…動画像、１２８、１３０…動画像、１３０−１１３５…ヒストグラム、１３１…評価枠、１３４…判定結果、１３６…平滑部、１３７…判定部。
【０００１】
【発明の属する技術分野】本発明は、特に、動画像撮影装置を持つ携帯情報端末に用いて好適な画像転送システムにおける撮影画像の表示方法ならびに装置に関する。
【０００２】
【従来の技術】携帯型のテレビ電話（以下、携帯情報端末と称する）は、テレビカメラで撮影したユーザの顔写真等画像データを圧縮符号化し、無線を介して相手端末に送ることにより、相手端末で画像デー夕を復号化し、内蔵するディスプレイに表示させている。一方、送信相手の顔写真も相手端末で撮影し、符号化した画像データをユーザに送り、ユーザ側の端末で復号化してディスプレイに表示させることにより、相互に表示部に表示された相手の顔を見ながら会話を行う。
【０００３】ところで、上述した携帯情報端末は戸外の様々な環境で使用されるため、屋内の安定した照明下で撮影する場合と異なり、撮影した動画像は暗くなったり、白っぽくなったり、あるいは逆光のためにコントラストが付かない画像になったりする。また、ビルの陰などで使用すると電波が障害物で遮られ、動画像を伝送する際に、伝送エラーを起こし、相手側の表示画像にノイズが乗って見ずらい状態になることが多々ある。
【０００４】具体的に、図２に示すように、品質の悪い、例えば、暗く撮れたユーザの上半身像１２０をそのまま相手側に送り、相手端末に表示させると、相手が画像を見て不快に感じる。そこで、品質の悪い画像の代わりに、図３に示すような詫び文言を送り相手端末で表示させている。また、図４に示すように、あらかじめユーザの携帯端末に格納してある自身の上半身像である静止画像１２２を読み出し相手端末に送ることにより、品質の悪い画像の代用とすることも行われている。更に、図５に示すように、静止画像１２２と詫びの文言両方を送ることもある。また、図６に示すように、画面にノイズ１２３が重畳して、ユーザの上半身像が見難くなってしまうこともある。このような場合でも、図７に示すように、相手側に詫びの文言を送ったり、図８に示すようにユーザの上半身像を送ったり、詫びの文言とユーザの上半身像を組み合わせて送り、ノイズが多い図６に示す画像の代替えとしていた。
【０００５】
【発明が解決しようとする課題】上述したように、従来、相手側は静止画像あるいはテキスト文が表示された画像を見ることにより、品質の悪い暗い画像、あるいはノイズが重畳した画像を見ることによる不快な思いを回避できる。しかし、相手側は静止画像あるいはテキスト文などを見ていてはユーザがこのような画像を送らざるを得ない事情を完全に推測することが困難であり、逆に、いつまでこのような状態が続くのか心配になる可能性がある。
【０００６】本発明は上記事情に基づいてなされたものであり、ユーザ側において撮影された動画像を評価し、画品質が低いと判定された場合、上記品質の悪い画像を画品質に応じて縮小し、画像蓄積部に格納された、例えば、ユーザの上半身像等別の動画像を読み出し、上述した縮小された動画像と合成して相手側の端末に送り、相手側の端末では送られてきた動画像を復号化して各画像をマルチウィンドウ表示することにより、ユーサがおかれた環境条件の理解を得ると共に、受け手の不快感を解消した画像転送システムにおける撮影画像の表示方法ならびに装置を提供することを目的とする。また、ユーザ側において撮影された動画像を評価し、画品質が低いと判定された場合、上記品質の悪い画像を画品質に応じて縮小し、画像蓄積部に格納された、例えば、ユーザの上半身像等別の静止画像を読み出してそれぞれ相手側の端末に送り、相手側の端末では送られてきた品質の悪い縮小動画像と静止画像をそれぞれ復号化し、合成してマルチウィンドウ表示することにより、上記と同様の効果を得る画像転送システムにおける撮影画像の表示方法ならびに装置を提供することも目的とする。
【０００７】更に、ノイズが多い環境下で動画像を伝送した場合、受信側でノイズの大きさを測定して送信側に報告し、送信側ではノイズの大きさに合わせ、撮影した動画像の大きさを変えて他の静止画像あるいはテキスト文と共に相手先に送り、これを受信した相手先では縮小されたノイズの多い動画像と静止画像あるいはテキスト文をマルチウインドウ表示することにより、ユーザがおかれた環境条件の理解を得ると共に、受け手の不快感を解消した画像転送システムにおける撮影画像の表示方法ならびに装置を提供することも目的とする。また、ユーザの目視確認による評価に従い、動画像の縮小の程度を設定することにより上記と同様の効果を得る画像転送システムにおける撮影画像の表示方法ならびに装置を提供することも目的とする。
【０００８】
【課題を解決するための手段】本発明の画像転送システムにおける撮影画像の表示方法は、撮影装置と表示装置から成る画像転送システムにおいて、撮影装置により撮影された画像もしくは通信網を介して得られる画像の品質を評価し、その評価内容に従いシステムに取り込まれた画像を任意に縮小し、あらかじめ用意される上記撮影画像と関連した高品質の画像と共に表示装置に表示することを特徴とする。画像の品質の評価は、動画像データを一定の周期でサンプリングして静止画像として取り込み、輝度信号を抽出して画素単位で明るさに対する頻度分布を計算し、この頻度分布中に任意の判定枠を設定し、この判定枠と頻度分布との関係により画像の品質を評価することを特徴とする。
【０００９】本発明の画像転送システムにおける撮影画像の表示装置は、撮影装置により撮影された画像の品質を評価する画質評価部と、あらかじめ用意される上記撮影画像と関連する画像が蓄積される画像蓄積部と、画像蓄積部から読み出される画像と上記画像評価部による評価結果に従って縮小された画像を合成して表示する表示部とを具備することを特徴とする。また、撮影装置により撮影された動画像もしくは通信網経由で送受信される動画像の品質を評価する画質評価部と、画質評価部による評価内容に従って動画像を適当に縮小し、あらかじめ蓄積された上記撮影画像と関連した高品質の画像と共に通信網を介して転送する送信部と、通信網を介して得られる縮小動画像と高品質画像を受信する受信部と、受信部により得られる画像を合成して表示する表示部とを具備することを特徴とする。通信網経由で送受信される画像の品質を評価する画質評価部は、撮影動画像の誤り訂正符号化もしくは復号化を行う誤り訂正符号化、復号化部から動画像データの誤りの程度を得ることにより評価する。表示部は、縮小画像を撮影画像の品質に応じて大きさを変えて表示し、画像蓄積部から得られる静止画像と、更に必要に応じテキスト文を配置して表示する。
【００１０】このことにより、動画像は画品質が悪い程画面を小さく表示し、この縮小画面と前もって撮影されたユーザの上半身像等あるいはテキスト文が関連付られて表示されるため、受信側は奇異な感じを持つことなく、ユーザが現在置かれている環境を理解できる。
【００１１】
【発明の実施の形態】図１（ａ）は本発明が採用される画像転送システムの一実施形態の構成を示すブロック図である。図に示す画像転送システムは、機能的に送信部１００と受信部１１２に区分される。ユーザの上半身像は、制御部１０８の制御のもとで、撮影装置であるカメラ１０１によって撮影され、動画像データ１０２として動画像符号化部１０５に供給され、ここで圧縮符号化される。圧縮符号化された動画像データは、通信インタフェースユニット１１０を通り、公衆回線等の通信網１１１を介して受信部１１２の通信インタフェースユニット１１３に送られる。通信インタフェースユニット１１３で受信された動画像データは、制御部１１５のコントロールに従い、動画像復号化部１１６で伸長復号化され、表示部１１９に表示される。
【００１２】一方、カメラ１０１によって撮影された動画像データ１０２から輝度信号１０３が抽出されて画質評価部１０４に印加される。画質評価部１０４は、後述するように、入力された輝度信号１０３から動画像が暗過ぎるか、明る過ぎるか、あるいは、コントラストが明瞭でない等画品質についての評価値、即ち、判定結果１３４を出力する。そして、その判定結果１３４は制御部１０８に送られ、制御部１０８は、その判定結果１３４に応じて符号化された動画像データをそのまま受信部１１２に送るか、あるいは縮小するかを判断する。動画像の画品質が低いと判定された場合（例えば、図２参照）、動画像圧縮データは判定結果の大きさに応じて動画像縮小部１０６で縮小される（図１０の動画像１２５参照）。次に、動画像蓄積部１０９から指定された動画像データが読み出される。この動画像データはユーザの上半身像を動画像データとして撮影して圧縮符号化したものである（図１０の動画像データ１２２参照）。上記動画像データは短い時間についての動画像データで構わない。即ち、元々、上半身像は動きが少ないので、短い時間の動画像データを繰り返して画像蓄積部１０９から読み出して受信部１１２に送ることで、長い動画像データの代替えとすることができる。画像合成部１１８では動画像蓄積部１０９から読み出した動画像データと動画像縮小部１０６から出力される動画像データを合成して、図１０に示すような動画像データを生成する。即ち、縮小した動画像デー夕１２５と予め画像蓄積部１０９に蓄積されている動画像を合成している。ここで、品質の悪い動画像１２５は隅に小さく表示し、画面の空いている領域には、前もって撮影されたユーザの動画像を大きく配置している。合成した動画像は受信部１１２に送られて、動画像復号化部１１６で復号されて、表示装置１１９で表示される。
【００１３】受信部１１２は、受け手が図１０に示す画面上で動画像１２５を見ることでユーザの置かれている環境を理解し、画面が小さいため画品質が悪い場合でも、不快な感じを抱かせない。また、空いている領域にはユーザの普段の映像を見ることができるため、あたかも表示された画像と話をしているような仮想的な効果が期待できる。そして、図１１に示すようにテキスト文１２６も一緒に画面に表示させ、テキスト文で受信画面の状態を述ベると、ユーザの置かれている環境が受信部１１２を介して受け手に尚一層理解が得られる。テキスト文１２６は動画像１２２と一緒に動画像蓄積部１０９に蓄積しておき、読み出す時に対にして読み出してもよい。
【００１４】また、図１２に示すように、カメラ１０１で撮影された動画像データ１０２が画質評価部１０４において図１１での動画像デ−タ１２５より品質が良いと判定された場合、動画像縮小部１０６で元の動画像より小さく、動画像１２５より大きくなるように縮小する。そして、上記と同様に画像蓄積部１０９から動画像１２２を読み出した動画像と前記縮小した動画像を画像合成部１１８で合成した動画像を受信部１１２に送り、動画像復号化部１１６で復号して表示装置１１９で表示させる。即ち、動画像１２７は動画像１２５より画品質が良いため動画像１２５より大きく表示する。画品質が良好なほど大きく表示することにより、受信部１１２では送信部１００から送られてきた動画像の内容を可能な範囲で判断できる利点がある。そして、図１１と同様に、画面にテキスト文１２６も一緒に表示してもよい。
【００１５】以下、画像評価部１０４の詳細について説明する。カメラ１０１で撮影した動画像１０２の画品質を自動的に評価するために本発明は輝度を基準としていることは上述したとおりである。具体的には、まず、動画像データ１０２を一定周期で静止画としてサンプルして取り入れ、輝度信号１０３を抽出して、画質評価部１０４に印加する。画質評価部１０４は、画素単位で明るさに対する頻度分布を計算する。図１８は前記頻度分布の計算結果をグラフ表示した例である。横軸は画素の明るさのレベルを示している。左に進行するに従って画素が暗くなる。すなわちシャドウ領域である。レベルが０の場合、完全に黒くなる。右に進むにつれ画素が明るい部分を示している。即ち、ハイライト部分である。レベル２５５の場合、完全に白くなる。そして中間部分が中間調になる。そして縦軸は横軸の各レベルに対する頻度を示している。
【００１６】図１８は、シャドウ部分、中間調及びハイライト部分の画素がまんべんなく分布している良好な画像である。図１９はシャドウ部分、中間調部分の画素が少なく、ハイライト部分の画素が極端に多いため、画面全体が白っぽい画像である。一方、図２０はハイライト部分と中間調の画素が少なく、シャドウ部分の画素が極端に多いため、画面全体が暗い状態になる。また、図２１はシャドウ部分とハイライト部分の画素が全くなく、中間調部分の画素で占められた画像であり、全体でコントラストが少ない平板な画像になる。
【００１７】図２２は画質評価部１０４内部の機能構成を示した構成図である。画質評価部１０４は、機能的には、ヒストグラム計算部１３５、平滑部１３６、判定部１３７から成る。ヒストグラム計算部１３５は、輝度信号１０３から、各画素の明るさについて分類して頻度を積算する。ここでヒストグラム１３０−１を計算すると、画像によってあるレベルで画素数がなかったり、反対に極端に多くなったりすることがある。即ち、ヒストグラム１３０−１が、図２３に示すようにピーク、あるいは鋭い谷が生じることがある。そこで、平滑部１３６でそのピーク及び谷間を平滑する。
【００１８】判定部１３７では、平滑化したヒストグラム１３０−１に対して図２４に示すように判定枠１３１を横軸に接して配置してみる。ヒストグラム１３０−１が判定枠１３１を内包していればこのヒストグラム１３０−１はシャドウ部分、中間調及びハイライト部分までの画素が分布していることを示している。例えば、図２５に示すように、ヒストグラム１３０−１がシャドウ部分に片寄っている場合、判定枠１３１はヒストグラム１３０からはみ出してしまう。また、図２６に示すように、判定枠１３１の横軸についてシャドウ部及びハイライト部分をカットして短くすると、コントラストの少ない画像のヒストグラム１３０−１もこの判定枠１３１に内包することになる。即ち、判定枠の大きさを色々変えることにより画品質を評価できることになる。
【００１９】判定部１３７では上記判定枠１３１を種々揃えて、それら判定枠１３１を変えて評価して画像を等級分けして、判定結果１３４を出力する。例えば、図１０の動画像１２５の品質は下級、図１２の動画像１２７の品質は中級などと評価する。尚、本発明実施形態では評価枠１３１を矩形としているが、用途によって画像のヒストグラム１３０−１は色々変わるので、実際の応用により実験で評価枠の形状を決めた方がよい。
【００２０】尚、ここでは、画質評価部１０４で自動的に画質を評価し、評価結果に応じて動画像縮小部１０６で動画像を縮小し、動画像蓄積部１０９から動画像を読み出して画像合成部１１８で合成した後、受信側１１２に伝送する例を示した。これに対し、カメラ１０１で撮影された動画像を、別途用意される表示モニタ（図示せず）に表示し、人間による目視確認による評価の後受信側に送り、撮影された動画像をどの程度縮小して良いか、決めることもできる。即ち、表示モニタに表示された映像を人間が見て、品質が悪いと判断した場合、別途用意される、例えば、キーボード等（図示せず）のマニュアル入力手段を操作することにより、画像縮小部１０６に対して制御部１０８を介して縮小画面のサイズを設定指示する。動画像縮小部１０６により生成される縮小画像は、動画像蓄積部１０９から読み出される関連した動画像と共に画像合成部１１８で合成され、送信側１００にも別途用意される動画像復号化部（図示せず）で復号され表示モニタ上に表示される。ここでキーボード等を操作することによって動画像縮小部１０６に対して縮小の程度と動画像蓄積部１０９から読み出される動画像の種類を設定できる。ここで目視確認された内容は、通信インタフェースユニット１１０、通信網１１１、受信側１１２における通信ユニット１１３を介し、動画像復号化部１１６にて復号化され表示装置１１９に表示される。
【００２１】尚、受信側１１２で表示装置１１９による表示内容を確認しながら、受信側に別途用意されるキーボードを操作することで、送信側１１０での動画像縮小部１０６による縮小の程度及び、動画像蓄積部１０９から読み出される動画像の種類を選択しても良い。
【００２２】次に、図１（ｂ）を使用して本発明の他の実施形態について説明する。図１（ａ）に示す第一の実施形態では、送信側１００で画像蓄積部１０９から読み出された動画像と、動画像縮小部１０６の出力を、画像合成部１１８で動画像として合成して、受信部１１２に伝送していた。ここで示す実施形態では、カメラ１０１により撮影される動画像と関連する高品質の静止画像をあらかじめ静止画像蓄積部１０９に蓄積しておき、撮影される動画像とは個別に受信側１１２に送信し、受信側１１２でそれら各画像を復号化し、かつ合成して表示するものである。
【００２３】即ち、図１（ｂ）に示すように、画質評価部１０４での判定結果１３４により、カメラ１０１により撮影された動画像は画品質が低いと判定された場合、まず、動画像符号化部１０５で符号化される動画像データは、動画像縮小部１０６で縮小され、誤り訂正符号化部１０７で誤り符号が付加される。次に、静止画像蓄積部１０９からユーザの上半身像を撮影した静止画像が読み出される。そして、静止画像蓄積部１０９から読み出された静止画像と動画像縮小部１０６から出力された動画像データを通信インタフェースユニット１１０と通信網１１１を介して受信側１１２に送る。受信側１１２では、画像データを通信インタフェースユニット１１３を介して受信し、縮小された動画像は、誤り訂正複号化部１１４で誤り訂正し、動画像復号化部１１６で元の動画像を復号化して画像合成部１１８の一方の入力端子に印加する。一方、通信インタフェースユニット１１３を介して受信された静止画像は、静止画像復号化部１１７で復号化され、画像合成部１１８の他方の入力端子に印加される。画像合成部１１８では、図１０〜図１３のように品質の低い動画像１２５あるいは１２７を動画像の品質に応じ、大きさを変えて配置する。そして、静止画像１２２と、必要に応じてテキスト文１２６を配置して、前記各画像をマルチウインドウで表示する。
【００２４】以上説明のように、図１（ａ）に示す第一の実施形態では、送信側１００で縮小した動画像１２５と画像蓄積部１０９から読み出した動画像１２２を合成してーつの動画像として受信側１１２に継続して送っていた。これに対し、図１（ｂ）に示す第二の実施形態では、縮小した動画像は元の大きさも動画像より画像データが少なく、画像蓄積部１０９から読み出した静止画像も一回だけ受信部１１２に送ればよく、従って、全体として動画像の伝送量が少なくすることができるという利点がある。
【００２５】一方、ここでも第一の実施形態同様、別途送信側１００に用意される表示モニタにより目視確認ならびにキーボードによるマニュアル操作による動画像縮小の程度設定も可能である。即ち、表示モニタに表示された映像を人間が見て、品質が悪いと判断した場合、別途用意される、例えば、キーボード等のマニュアル入力手段を操作することにより、画像縮小部１０６に対して制御部１０８を介して縮小画面のサイズを設定指示する。動画像縮小部１０６により生成される縮小画像は、送信側１００にも別途用意される動画像復号化部で復号され表示モニタ上に表示される。一方、静止画像蓄積部１０９から読み出された静止画像は、同じく送信側１００に別途用意される静止画像復号化部にて復号化され、更に上記縮小動画像と合成され表示モニタ上に表示される。ここで目視確認しながらキーボードを操作することによって動画像縮小部１０６に対する最適な縮小の程度の指示と、静止画像蓄積部１０９に蓄積された適切な静止画像の種類の特定が可能となる。
【００２６】尚、受信側１１２で表示装置１１９による表示内容を確認しながら、受信側に別途用意されるキーボードを操作することで、送信側１１０での動画像縮小部１０６による縮小の程度及び、動画像蓄積部１０９から読み出される動画像の種類を選択しても良い。
【００２７】次に、本発明の更に他の実施形態につき、図１（ｂ）を参照しながら説明する。上述した第一の実施形態と第二の実施形態は、いずれもカメラ１０１により撮影された動画像の明るさ、暗さ及びコントラスト等を、画質評価部１０４で評価し、画品質に応じて、受信部１１２で配置する品質の低い動画像の面積を変えている。ここでは、図６に示すような雑音が重畳した画像を受信部１１２の表示装置１１９で表示する場合について、見易い表示になるように工夫している。即ち、図１（ｂ）において、最初カメラ１０１から入力される動画像データ１０２は動画像符号化部１０５で圧縮符号化され、誤り訂正符号化部１０７で誤り訂正符号が付加される。そして、その動画像データは受信部１１２に送られ、動画像データに誤りがある場合、誤り訂正復号化部１１４で誤り訂正され、動画像復号化部１１６で復号化される。最初、この復号化された動画像データは画像合成部１１８を通して表示部１１９に表示される。
【００２８】ここで、受信部１１２で動画像データを誤り訂正復号化部１１５で誤り訂正する際に、動画像データの誤りの程度を評価して評価値を制御部１１５に出力する。誤り訂正復号化部１１４で完全に訂正できない場合、誤った動画像データが一部動画像復号化部１１６に送られ、復号の際に誤って復号され、表示装置１１９の表示画面に雑音が重畳することになる。上述した評価値はこれら誤り訂正が完全にできない場合に、どの程度誤り訂正ができなかったを定量化して示した値である。そして、誤り訂正復号化部１１４での評価値を送信側１００に通信網１１１を介して送り返す。評価値は制御部１０８に読み込まれて、評価値の大きさにより動画像符号化部１０５からの出力される動画像データを動画像縮小部１０６にて指定された大きさに縮小する。
【００２９】一方、画像蓄積部１０９から読み出された静止画は、縮小された動画像データと共に受信部１１２に送られる。受信部１１２では動画像データは誤り訂正復号化部１１４を通って誤りがあった場合、誤り訂正され動画像復号化部１１６で復号化され画像合成部１１８に印加される（図１４の動画像１２８参照）。一方、受信部１１２で受信された静止画は静止画像復号化部１１７で復号化され画像合成部１１８に印加される（図１４の静止画像１２２参照）。そして、画像合成部１１８において入力される動画像と静止画像を合成して表示装置１１９に表示する。また、図１５に示すように画像蓄積部１０９からテキスト文１２９を静止画像１２２と一緒に送り、表示装置１１９に表示してもよい。また、誤り訂正復号化部１１４で評価された評価値から受信部１１２に送られた動画像データに雑音がそれほど多く重畳されていないと評価された場合、図１６に示すように表示装置１１９に表示する動画像１３０を動画像１２８より大きめにして表示する。更に、図１７に示すようにテキスト文１２９と一緒に表示してもよい。
【００３０】また、表示装置１１９に表示された縮小動画像と静止画像による、例えば、マルチウインドウ表示を確認しながら別途用意されるキーボードによるマニュアル操作により、送信側１００の動画像縮小部１０６に対する縮小の程度、及び静止画像蓄積部１０９から読み出される静止画像の選択も可能であることはいうまでもない。
【００３１】更に、ここでは、受信部１１２で受信した動画像データを誤り訂正復号化部１１４で伝送品質を評価しているが、受信部１１２から周期的に測定信号を送信部１００に送り、その測定信号を送信部１００で受信して、伝送回線の品質を測定して評価してもかまわない。そして、この品質結果から動画像縮小部１０６での縮小の程度を設定し、縮小した動画像を受信部１１２に送っても構わない。また、送信側１００で受信側１１２から送られてきた伝送品質を送信側１００に別途用意される表示モニタに数値で表示し、その数値を人間が評価してキーボードを操作することにより、動画縮小部１０６に対し縮小の程度、及び静止画像蓄積部１０９から読み出される画像の種類を設定することになる。
【００３２】尚、上述した各実施形態では、いずれも表示装置１１９に表示される安定した画像１２２及びテキスト文１２９は、送信側１００の画像蓄積装置１０９から得ていた。これは、縮小した動画像１２８のみ受信部１１２に送り、受信部１１２で画像１２２及びテキスト文１２９を用意して、動画像１２８と一緒にマルチウインドウ表示させても良い。また、別途送信側１００に用意される表示モニタに表示されるカメラ１０１で撮影した静止画１０２を人間が見て評価し、キーボードを操作することで縮小画像の大きさを変えても良い。あるいは受信側の表示装置１１９に表示されるマルチウインドウ画面を目視することにより人間が評価し、受信側１１２でキーボードを操作することで送信側１００を制御して縮小画像の大きさを変えても良い。
【００３３】更に、各実施形態共に、受信部１１２に表示する縮小した画像１２５は動画像に限定したが静止画像であっても構わない。即ち、カメラ１０１がデジタルカメラのように静止画を撮影して、撮影毎に画品質を評価して受信部１１２で画品質に応じて、画品質が低い場合、縮小して他の画像と一緒に表示してもかまわない。また受信側１１２にある表示装置１１９の表示画像を確認しながらキーボードを操作することで画像を縮小しても構わない。
【００３４】更に、各実施形態共に、動画像縮小部１０６は送信部１００にあり、画像データを送信部１００で縮小してから、受信部１１２に送っているが、送信部１００から直接動画像データを受信部１１２に送り、受信部１１２で画像の品質を評価してから画像を縮小しても構わない。また、送信側１００に別途付加される表示モニタに表示される画像を見ながらキーボードを操作して画像を縮小しても構わない。
【００３５】また、各実施形態共に、送信部１００のカメラ１０１で撮影した動画像の画品質を評価し、その評価結果に応じて受信部１１２に縮小した動画像を送っているが、動画像の画品質を評価して評価結果に応じて動画像を縮小し、画像蓄積部１０９から読み出した画像と一緒に表示モニタに表示させても構わない。表示モニタに表示されるカメラ１０１で撮影された映像を直接人間の目で確認し、評価してからキーボードを操作することで動画像縮小部１０６による縮小の程度を設定し、かつ、静止画像蓄積部１０９から読み込む静止画像の種類を選択しても良い。即ち、本発明は、一個の画像撮影装置と表示部で構成される閉じたシステムにおいても同様にして適用できるものである。
【００３６】
【発明の効果】以上説明のように本発明は、撮影装置と表示装置から成る画像転送システムにおいて、撮影装置により撮影された画像もしくは通信網を介して得られる画像の品質を評価し、その評価内容に従いシステムに取り込まれた画像を任意に縮小し、あらかじめ用意される上記撮影画像と関連した高品質の画像と共に表示装置に表示することを特徴とするものであり、このことにより、カメラで撮影した動画像の明るさ、暗さ及びコントラスト、あるいは動画像に重畳している雑音の大きさなどを計測することにより画品質を自動的に評価することができる。従って、受信側では、評価値の大きさに応じて表示面積を変えた動画像と、別な安定した画像をマルチウインドウで表示することにより、ユーザに不快感を抱かせることなく、送信側の撮影環境を簡単に知らせることができる。
【図面の簡単な説明】
【図１】本発明の実施形態の二例を示すブロック図。
【図２】従来例における、暗い表示画面の例を示す図。
【図３】従来例における、画品質の悪い画面の代わりにテキスト文を表示した画面の例を示す図。
【図４】従来例における、画品質の悪い画面の代わりに別な画像を表示した画面の例を示す図。
【図５】従来例における、画品質の悪い画面の代わりに別な画像とテキスト文を表示した画面の例を示す図。
【図６】従来例における、雑音が重畳した画面の例を示す図。
【図７】従来例における、雑音が重畳した画面の代わりにテキスト文を表示した画面の例を示す図。
【図８】従来例における、雑音が重畳した画面の代わりに別な画像を表示した画面の例を示す図。
【図９】従来例における、雑音が重畳した画面の代わりに別な画像とテキスト文を表示した画面の例を示す図。
【図１０】本発明実施形態における、縮小した画品質の悪い動画像と別な画像をマルチウインドウで表示した画面の例を示す図。
【図１１】本発明実施形態における、縮小した画品質の悪い動画像、別な画像及びテキスト文をマルチウインドウで表示した画面の例を示す図。
【図１２】本発明実施形態における、縮小した画品質の悪い動画像と別な画像をマルチウインドウで表示した画面の例を示す図。
【図１３】本発明実施形態における、縮小した画品質の悪い動画像、別な画像及びテキスト文をマルチウインドウで表示した画面の例を示す図。
【図１４】本発明実施形態における、縮小して雑音の重畳した動画像と別な画像をマルチウインドウで表示した画面の例を示す図。
【図１５】本発明実施形態における、縮小して雑音の重畳した動画像、別な画像及びテキスト文をマルチウインドウで表示した画面の例を示す図。
【図１６】本発明実施形態における、縮小して雑音の重畳した動画像と別な画像をマルチウインドウで表示した画面の例を示す図。
【図１７】本発明実施形態における、縮小して雑音の重畳した動画像、別な画像及びテキスト文をマルチウインドウで表示した画面の例を示す図。
【図１８】本発明実施形態の動作を説明するために引用した図であり、画像の明るさのヒストグラムを示した図。
【図１９】本発明実施形態の動作を説明するために引用した図であり、明るい画像のヒストグラムを示す図。
【図２０】本発明実施形態の動作を説明するために引用した図であり、暗い画像のヒストグラムを示す図。
【図２１】本発明実施形態の動作を説明するために引用した図であり、比較的コントラストのない画像のヒストグラムを示す図。
【図２２】図１に示す画質評価部の内部構成を示すブロック図。
【図２３】本発明実施形態における、画像の明るさのヒストグラムを示す図。
【図２４】本発明実施形態における、画像のヒストグラムと評価枠を示した図。
【図２５】本発明実施形態における、暗い画面のヒストグラムと評価枠を示した図である。
【図２６】本発明実施形態における、コントラストのない画像と評価枠を示した図。
【符号の説明】
１００…送信部、１０１…カメラ、１０２…動画像データ、１０３…輝度信号、１０４…画質評価部、１０５…動画像符号化部、１０６…動画像縮小部、１０７…誤り訂正符号化部、１０８…制御部、１０９…画像蓄積部（動画／静止画）、１１０、１１３…通信インタフェースユニット、１１１…通信網、１１２…受信部、１１４…誤り訂正復号化部、１１５…制御部、１１６…動画像復号化部、１１７…静止画像復号化部、１１８…画像合成部、１１９…表示装置、１２０…ユーザ上半身像、１２１、１２４、１２６、１２９…テキスト文、１２２…静止画像、１２３…雑音、１２５、１２７…動画像、１２８、１３０…動画像、１３０−１１３５…ヒストグラム、１３１…評価枠、１３４…判定結果、１３６…平滑部、１３７…判定部。
【特許請求の範囲】
【請求項１】 撮影装置と表示装置から成る画像転送システムにおいて、撮影装置により撮影された画像の品質を評価し、その評価内容に従いシステムに取り込まれた画像を縮小し、あらかじめ用意される上記撮影画像と関連した高品質の画像と共に表示装置に表示することを特徴とする画像転送システムにおける撮影画像の表示方法。
【請求項２】 動画像データを一定の周期でサンプリングして静止画像として取り込み、その静止画像の輝度信号を抽出して画素単位で明るさに対する頻度分布を計算し、かつ、この頻度分布中に所定の判定枠を設定し、この判定枠が頻度分布に包含する状態から画像の品質を評価することを特徴とする請求項１記載の画像転送システムにおける撮影画像の表示方法。
【請求項３】 判定枠の大きさもしくは形状を任意に設定することにより画像の品質を評価することを特徴とする請求項２記載の画像転送システムにおける撮影画像の表示方法。
【請求項４】 撮影装置と表示装置から成る画像転送システムにおいて、撮影装置により撮影された動画像を符号化し、画像品質に従ってその動画像の縮小の程度を変え、あらかじめ用意された上記撮影画像と関連した高品質の動画像を合成して送信し、合成された動画像を受信側で復号化して表示することを特徴とする画像転送システムにおける撮影画像の表示方法。
【請求項５】 撮影装置と表示装置から成る画像転送システムにおいて、撮影装置により撮影された動画像を符号化し、画像品質に従ってその動画像の縮小の程度を変え、あらかじめ用意された上記撮影画像と関連した高品質の静止画像をそれぞれ送信し、受信側でその各画像を復号化し合成して表示することを特徴とする画像転送システムにおける撮影画像の表示方法。
【請求項６】 撮影装置により撮影された動画像を表示モニタにより黙視確認を行い、マニュアル入力操作によってその動画像の縮小の程度をシテスムに指示し、あらかじめ用意された上記撮影画像と関連した高品質の動画像を共に表示することを特徴とする請求項４記載の画像転送システムにおける撮影画像の表示方法。
【請求項７】 撮影装置により撮影された動画像を表示モニタにより黙視確認を行い、マニュアル操作によってその動画像の縮小の程度を指示し、あらかじめ用意された上記撮影画像と関連した高品質の静止画像を共に表示することを特徴とする請求項５記載の画像転送システムにおける撮影画像の表示方法。
【請求項８】 撮影装置と表示装置から成る画像転送システムにおいて、撮影装置により撮影された画像の伝送品質を評価し、その評価内容に従いシステムに取り込まれた画像を縮小し、あらかじめ用意される上記撮影画像と関連した高品質の画像と共に表示装置に表示することを特徴とする画像転送システムにおける撮影画像の表示方法。
【請求項９】 撮影画像を受信する側で伝送された画像の品質を評価し、その評価内容に従い取り込まれた画像を縮小し、あらかじめ用意された上記撮影画像と関連した高品質の画像と共に表示装置に表示することを特徴とする請求項８記載の画像転送システムにおける撮影画像の表示方法。
【請求項１０】 撮影画像を送信する側で伝送される撮影画像の品質の程度を定期的に受信し、この程度に従い縮小した撮影画像を受信する側に送信することを特徴とする請求項９記載の画像転送システムにおける撮影画像の表示方法。
【請求項１１】 撮影装置により撮影された画像の品質を評価する画質評価部と、あらかじめ用意される上記撮影画像と関連する画像が蓄積される画像蓄積部と、画像蓄積部から読み出される画像と上記画像評価部による評価結果に従って縮小された画像を合成して表示する表示部とを具備することを特徴とする画像転送システム。
【請求項１２】 上記画質評価部は、動画像データを一定の周期でサンプリングして静止画像として取り込み、輝度信号を抽出して画素単位で明るさに対する頻度分布を計算するヒストグラム評価部と、上記頻度分布中に所定の判定枠を設定し、この判定枠が頻度分布に包含する状態から画像の品質を評価する判定部から成ることを特徴とする請求項１１記載の画像転送システム。
【請求項１３】 上記表示部は、縮小画像を撮影画像の品質に応じて大きさを変えて表示し、画像蓄積部から得られる画像と、更に必要に応じテキスト文を配置して表示することを特徴とする請求項１１記載の画像転送システム。
【請求項１４】 撮影装置により撮影された動画像を符号化する動画像符号化部と、上記動画像の品質を評価する画質評価部と、画質評価部による評価内容に従って符号化された動画像を適当に縮小し、あらかじめ蓄積された上記撮影画像と関連した高品質の動画像を合成して転送する送信部と、上記合成された動画像を受信する受信部と、受信部により得られる合成動画像を復号して表示する表示部とを具備することを特徴とする画像転送システム。
【請求項１５】 撮影装置により撮影された動画像を符号化する動画像符号化部と、上記動画像の品質を評価する画質評価部と、画質評価部による評価内容に従ってその動画像を適当に縮小し、あらかじめ蓄積された上記撮影画像と関連した静止画像を共に転送する送信部と、上記縮小動画像ならびにその縮小画像と関連する静止画像を受信する受信部と、受信部により得られる動画像ならびにその縮小画像と関連する静止画像をそれぞれ復号化し、合成して表示する表示部とを具備することを特徴とする画像転送システム。
【請求項１６】 符号化された動画像に誤り訂正符号を付加して送信する誤り訂正符号化部と、受信された動画像に誤りがあった場合に誤り訂正を行うと共に、その誤りの程度を評価し、通信網を介して送信側に伝える誤り訂正復号化部と、誤り訂正復号化部での評価内容に従って上記動画像符号化部から出力される動画像を適当に縮小する画像縮小部とを具備することを特徴とする請求項１５記載の画像転送システム。
【請求項１７】 撮影装置により撮影された動画像を表示する表示モニタと、表示モニタに表示される動画像を目視することによって得られる画像品質に従い、その動画像の縮小の程度をシステムに指示する入力部とを更に具備することを特徴とする請求項１４もしくは１５記載の画像転送システム。
【請求項１８】 上記入力部は、表示モニタに表示された動画像を目視確認することにより得られる画像品質に従い、更に、あらかじめ蓄積された上記動画像と関連する画像の種類を指示するものであることを特徴とする請求項１７記載の画像転送システム。
【請求項１】 撮影装置と表示装置から成る画像転送システムにおいて、撮影装置により撮影された画像の品質を評価し、その評価内容に従いシステムに取り込まれた画像を縮小し、あらかじめ用意される上記撮影画像と関連した高品質の画像と共に表示装置に表示することを特徴とする画像転送システムにおける撮影画像の表示方法。
【請求項２】 動画像データを一定の周期でサンプリングして静止画像として取り込み、その静止画像の輝度信号を抽出して画素単位で明るさに対する頻度分布を計算し、かつ、この頻度分布中に所定の判定枠を設定し、この判定枠が頻度分布に包含する状態から画像の品質を評価することを特徴とする請求項１記載の画像転送システムにおける撮影画像の表示方法。
【請求項３】 判定枠の大きさもしくは形状を任意に設定することにより画像の品質を評価することを特徴とする請求項２記載の画像転送システムにおける撮影画像の表示方法。
【請求項４】 撮影装置と表示装置から成る画像転送システムにおいて、撮影装置により撮影された動画像を符号化し、画像品質に従ってその動画像の縮小の程度を変え、あらかじめ用意された上記撮影画像と関連した高品質の動画像を合成して送信し、合成された動画像を受信側で復号化して表示することを特徴とする画像転送システムにおける撮影画像の表示方法。
【請求項５】 撮影装置と表示装置から成る画像転送システムにおいて、撮影装置により撮影された動画像を符号化し、画像品質に従ってその動画像の縮小の程度を変え、あらかじめ用意された上記撮影画像と関連した高品質の静止画像をそれぞれ送信し、受信側でその各画像を復号化し合成して表示することを特徴とする画像転送システムにおける撮影画像の表示方法。
【請求項６】 撮影装置により撮影された動画像を表示モニタにより黙視確認を行い、マニュアル入力操作によってその動画像の縮小の程度をシテスムに指示し、あらかじめ用意された上記撮影画像と関連した高品質の動画像を共に表示することを特徴とする請求項４記載の画像転送システムにおける撮影画像の表示方法。
【請求項７】 撮影装置により撮影された動画像を表示モニタにより黙視確認を行い、マニュアル操作によってその動画像の縮小の程度を指示し、あらかじめ用意された上記撮影画像と関連した高品質の静止画像を共に表示することを特徴とする請求項５記載の画像転送システムにおける撮影画像の表示方法。
【請求項８】 撮影装置と表示装置から成る画像転送システムにおいて、撮影装置により撮影された画像の伝送品質を評価し、その評価内容に従いシステムに取り込まれた画像を縮小し、あらかじめ用意される上記撮影画像と関連した高品質の画像と共に表示装置に表示することを特徴とする画像転送システムにおける撮影画像の表示方法。
【請求項９】 撮影画像を受信する側で伝送された画像の品質を評価し、その評価内容に従い取り込まれた画像を縮小し、あらかじめ用意された上記撮影画像と関連した高品質の画像と共に表示装置に表示することを特徴とする請求項８記載の画像転送システムにおける撮影画像の表示方法。
【請求項１０】 撮影画像を送信する側で伝送される撮影画像の品質の程度を定期的に受信し、この程度に従い縮小した撮影画像を受信する側に送信することを特徴とする請求項９記載の画像転送システムにおける撮影画像の表示方法。
【請求項１１】 撮影装置により撮影された画像の品質を評価する画質評価部と、あらかじめ用意される上記撮影画像と関連する画像が蓄積される画像蓄積部と、画像蓄積部から読み出される画像と上記画像評価部による評価結果に従って縮小された画像を合成して表示する表示部とを具備することを特徴とする画像転送システム。
【請求項１２】 上記画質評価部は、動画像データを一定の周期でサンプリングして静止画像として取り込み、輝度信号を抽出して画素単位で明るさに対する頻度分布を計算するヒストグラム評価部と、上記頻度分布中に所定の判定枠を設定し、この判定枠が頻度分布に包含する状態から画像の品質を評価する判定部から成ることを特徴とする請求項１１記載の画像転送システム。
【請求項１３】 上記表示部は、縮小画像を撮影画像の品質に応じて大きさを変えて表示し、画像蓄積部から得られる画像と、更に必要に応じテキスト文を配置して表示することを特徴とする請求項１１記載の画像転送システム。
【請求項１４】 撮影装置により撮影された動画像を符号化する動画像符号化部と、上記動画像の品質を評価する画質評価部と、画質評価部による評価内容に従って符号化された動画像を適当に縮小し、あらかじめ蓄積された上記撮影画像と関連した高品質の動画像を合成して転送する送信部と、上記合成された動画像を受信する受信部と、受信部により得られる合成動画像を復号して表示する表示部とを具備することを特徴とする画像転送システム。
【請求項１５】 撮影装置により撮影された動画像を符号化する動画像符号化部と、上記動画像の品質を評価する画質評価部と、画質評価部による評価内容に従ってその動画像を適当に縮小し、あらかじめ蓄積された上記撮影画像と関連した静止画像を共に転送する送信部と、上記縮小動画像ならびにその縮小画像と関連する静止画像を受信する受信部と、受信部により得られる動画像ならびにその縮小画像と関連する静止画像をそれぞれ復号化し、合成して表示する表示部とを具備することを特徴とする画像転送システム。
【請求項１６】 符号化された動画像に誤り訂正符号を付加して送信する誤り訂正符号化部と、受信された動画像に誤りがあった場合に誤り訂正を行うと共に、その誤りの程度を評価し、通信網を介して送信側に伝える誤り訂正復号化部と、誤り訂正復号化部での評価内容に従って上記動画像符号化部から出力される動画像を適当に縮小する画像縮小部とを具備することを特徴とする請求項１５記載の画像転送システム。
【請求項１７】 撮影装置により撮影された動画像を表示する表示モニタと、表示モニタに表示される動画像を目視することによって得られる画像品質に従い、その動画像の縮小の程度をシステムに指示する入力部とを更に具備することを特徴とする請求項１４もしくは１５記載の画像転送システム。
【請求項１８】 上記入力部は、表示モニタに表示された動画像を目視確認することにより得られる画像品質に従い、更に、あらかじめ蓄積された上記動画像と関連する画像の種類を指示するものであることを特徴とする請求項１７記載の画像転送システム。
【図２】
【図３】
【図４】
【図５】
【図６】
【図１】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図３】
【図４】
【図５】
【図６】
【図１】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０００−３２４４５９（Ｐ２０００−３２４４５９Ａ）
【公開日】平成１２年１１月２４日（２０００．１１．２４）
【国際特許分類】
【出願番号】特願平１１−１３１１７６
【出願日】平成１１年５月１２日（１９９９．５．１２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成１２年１１月２４日（２０００．１１．２４）
【国際特許分類】
【出願日】平成１１年５月１２日（１９９９．５．１２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]