WO1996027987A1 - Portable terminal for multimedia communication - Google Patents

Description

明細書 携帯用マルチメディァ通信端末装置 技術分

本発明は、 消費電力の異なる複数の符号化モードを有するマルチメデ ィァ通信端末装置に関するものである。 なお、 本発明では符号化モード の変化とは、 端末において同じ入力情報源 （例えば、 カメラに入力され る画像、 マイクに入力される音声等） が与えられた場合でも、 伝送され る符号化ビッ トストリームが変化するような端末の状態の変化のことを 指す。 また、 本発明では音声等の単独の情報の通信を行う端末もマルチ メディァ通信端末に含まれるものとする。 背景技術

ディジタル画像通信を行うことができるマルチメディア通信端末の普 及が本格化しつつある。 ディジタル画像通信の実用化をもたらした主な 要因としては、 電子デバイス技術の発展の他に画像情報圧縮技術 （画像 符号化技術） の進歩を挙げることができる。 画像符号化技術とは、 音声 の 1 0 0 0倍の情報量を持つと言われる画像情報を、 伝送 ·蓄積が可能 なレペルまで情報圧縮する技術である。 画像符号化技術を用いたディジ タル画像通信を行う場合には、 送信側の端末は入力画像情報を符号化 (圧縮） して符号化ビットストリームに変換して伝送し、 受信側の端末 は受信したビットストリームを復号化することによリ復号化画像を得る < このとき、 通信を正しく行うためには通信路の両端に位置する端末が共 通の画像符号化方式を採用する必要がある。 このため、 現在国際標準と して H . 2 6 1 , P E G 1 , P E G 2などの檫準画像符号化方式が 定められている。 今後無線画像通信等の新たなアプリケーシヨ ンに対し てさらに多くの標準符号化方式が定められることが予想される。

既に製品化されている画像通信端末はアナログ電話回線、 I S D N回 線等に接続される有線画像通信端末が中心となっている。 しかし、 将来 は無線回線においても同様の機能が提供できる無線画像通信端末も普及 することが予想されている。 無線通信端末の特徴はその携帯性にあるた め、 通常は電力源として蓄電池が使用される。 しかし、 携帯用端末で使 用される軽量の蓄電池 1個で供給できる電力量には限界があリ、 連続通 信時間を長くするためには端末の消费電力を抑える必要がある。 また、 監視システムなどでは多数の端末が使用されるため、 蓄電池を使用しな い場合でも消費電力を抑えることが重要となる。 このように省電力化は アプリケーションによっては重要な条件となるが、 一方で情報圧縮率の 高い画像符号化アルゴリズムは演算量が多く、 消費電力も大きくなる傾 向がある。 一般的にこれまでは画像符号化と言えば情報圧縮率を高める ことが第一の目的とされ、 消费電力は大きな問題とされていなかった。 しかし、 マルチメディア通信端末が広く普及し、 様々な用途に利用され るようになるであろう将来においては、 これまで見過ごされていた消費 電力の問題も装置の設計 · 開発において重要な位置を占めるようになる ことが予想される。

既に実用化されている携帯装置における省電力化の対策としては、 ノ 一卜型 （ラップトップ） コンピュータにおいていくつかの工夫が見られ る。 例えば、 米国 Apple社の Mac intosh PowerBooU80cでの主な節電機能 を以下に示す。

( a ) 電池残量が一定量よリ少なくなると液晶ディスプレイのバックラ ィ 卜が自動的に暗くなる。

( b ) 電池残量がある一定レベル以下になると、 ディスプレイに警告メ ッセージを表示する。

( C ) 電源を入れたまま一定時間放置しておくと自動的にスリープモー ド （R A Mの記憶内容の保持以外の機能をすベて停止した状態） に入る, ( d ) 利用者が C P Uのクロック周波数を切り換えられるようになって おり、 処理スピードを落とすことにより電力を節約することが可能とな つている。

( e ) 一定時間 C P Uへの処理要求が無い場合には、 自動的に C P Uの クロック周波数を下げる。 ラップトップコンピュータにおけるこのよう な消費電力対策は、 画面が見にく くなつたり、 処理速度が低下すること を引き起こす。 しかし、 一般的には処理内容そのものや、 提供される情 報そのもの （例えば画面に表示される情報自体） は変化しないのが特徴 である。

一般的に情報圧縮率の高い符号化アルゴリズムは複雑な処理を行うた めに、 処理量 （演算量） が多くなる傾向がある。 演算量が多くなること は消費電力を大きくする原因となり、 例えば電力源を蓄電池とするマル チメディア通信端末、 又は、 消費電力を少なく しなければならない通信 端末においては連続通信時間を短くする結果につながってしまう。

そこで、 本発明の目的は、 消費電力を節約し、 必要な連続通話時間を 確保することのできる通信端末を提供することにある。 特に符号化モー ドを変更して消费電力の減少を図る通信端末を提供することを目的とす る。 発明の開示

上記の目的を達成するために、 本発明の通信端末では、 異なる複数の 符号化モードの画像情報又は音声情報のうち、 システム又は外部から要 求されたモードに符号化モードを切り換えることにより、 消費電力を制 御する。

具体的な本発明の通信端末装置は、 入力された画像又は音声情報を符 号化して通信路へ出力し、 上記伝送路から得られる画像又は音声情報を 復号化する通信端末装置において、 画像又は音声等の入力情報を入力す る入力手段（101 , 102, 106, 107)と、 上記入力情報を通信路に出力し、 か つ上記通信路から情報を入力する通信路制御部（123， 124)と、 上記通信 路から得た情報を画像又は音声等により出力する出力手段（103 , 104, 108, 109， 105)と、 上記入力手段及び上記出力手段と上記通信路制御部との間 に設けられ、 実行時には消費電力の異なる複数の符号化モードのいずれ かの符号化モ一ドに従って上記入力情報を符号化し上記通信路から入力 された情報を復号化するコーデック手段と（1 10)、 上記符号化モードの 選択を制御する制御部（133)とから構成される。

より、 通信端末装置の消費電力を少なくするために、 例えば、 伝送さ れる情報の品質を制御する。 品質の制御については自動で切り換える手 段または手動で切り換える手段を備える。 通信を行なっている最中であ れ、 通信相手が符号化モードの切り換え操作を行うことも可能である。 電力源として用いられる蓄電池の電池残量を監視し、 符号化モードごと にそのモードを使用した場合の連続通話可能時間の目安を符号化モード 切り換えの実行者に提示する手段とを備え、 タイミング良く符号化モ一 ドを切り換えることも有効である。 また、 検出された電池残量が減少す るに従って消费電力の少ない符号化モードを選択する手段を具備する。 また、 符号化モードの切り換えによって不必要となった回路に提供する ク口ック信号を停止する手段を具備することも有効である。 クロック信 号に関しては、 稼働中の符号化モードの処理量が少ないほど符号化回路 に提供するクロック信号の周波数を低くする制御を行う手段を具備する ことも有効である。 画像伝送の際に解像度を制御する手段を具備して消 費電力の少ない解像度に制御することも有効である。

動画像符号化を例にすれば、 符号化モードは、 固定フレーム内符号化 とフレーム間 zフレーム内適応符号化のモードとを備え、 固定フレーム 内符号化モードの選択を行なう、 もしくは、 フレーム間 Zフレーム内適 応符号化のモードの中でも、 フレーム内適応符号化の頻度を増やすこと により、 消費電力を少なくする制御に有効である。

フレーム間符号化を行なう際にはプロックマッチングに基づく動き補 償を実行する手段とを具備し、 ブロックマッチングにおけるブロックご との探索動きベク トル数を少なくする、 又は、 動画像符号化に関して伝 送される画像のフレームレートを制御する手段とを具備し、 フレームレ —トを低くすることも消費電力を少なくするのに有効である。

画像と音声との両方の通信を行うことが可能な場合には、 音声のみに よる通信を優先的に行なうことによリ節電や、 突然のデータの消失を防 ぐことができる。

カラーの画像情報の送受信が可能な通信端末装置で、 白黒画像情報の 送受信を行なうことも消費電力を少なくするのに有効である。

符号化モ一ドの切り換え要求を受けた際には、 コーデック手段では、 符号化モードの切り換え要求の、 直後のフレーム分割点、 又は、 スライ ス分割点、 又は、 、 ブロックマッチングのためのブロックの分割点、 で 符号化モードを切り換えればよい。 電池残量が少なくなつたときに消费電力を少なくする制御を行えば、 利用者への警告となると同時に、 残りの通話時間を長くすることができ る。 また、 電池残量と希望する通話時間から最適な符号化方式を選択す ることにより、 通話時間が希望よリ短くならない範囲で最も画質の高い 符号化方式を使用することができる。 図面の簡単な説明

第 1図は、 マルチメディア通信端末の構成例を示した図、 第 2図は、 H . 2 6 1の画像符号化器の構成例を示した図、 第 3図は、 H . 2 6 1 の画像復号化器の構成例を示した図、 第 4図は、 ソフ 卜ウェア画像符号 化器の構成例を示した図、 第 5図は、 ソフ トウェア画像復号化器の構成 例を示した図、 第 6図は、 端末利用者が符号化モードを切り換えるマル チメディア通信端末の構成例を示した図、 第 7図は、 符号化モードを自 動的に切り換えるマルチメディア通信端末の構成例を示した図、 第 8図 は、 通信相手が符号化モードを切り換えるマルチメディァ通信端末の構 成例を示した図、 第 9図は、 電池残量に応じて符号化モードが変化する 様子の例を示した図、 第 1 0図は、 フレームレートを変化させたときの 画像符号化の動作状態を示した図、 第 1 1図は、 クロック信号の供給を 止めることによって、 フレーム間予測部を停止状態とする回路の構成例 を示した図、 第 1 2図は、 クロック周波数を変化させることによって消 费電力を制御するソフ トウエアコーデックの C P U周辺の回路の構成例 を示した図である。 発明を実施するための最良の形態

第 1図にマルチメディァ通信端末の基本的な構成例 1 0 0を示す。 こ の端末は、 動画像と音声とデータに関する双方向通信を行う機能を持ち， 蓄電池 1 2 7によリ本体の回路部 1 2 8に電力を供給している。 電池残 量検出器 1 3 1で検出された電池残量情報 1 3 2は符号化モード制御部 1 3 3に供給される。 この符号化モード制御部 1 3 3は、 電池残量の情 報等から適切な符号化モードを判断し、 画像 ·音声コ一デック 1 1 0に 符号化モード制御情報 1 3 4を供給する。 また、 同様にクロック発生回 路 1 2 9から、 クロック信号が本体の回路部全体に供給される。 画像信 号はカメラ 1 0 1から、 音声信号はマイク 1 0 2からそれぞれ入力され. アナログ Zディジタル変換器 1 0 6、 1 0 7によりディジタル化される < このディジタル化された信号は画像 ·音声コーデック回路 1 1 0に供給 され、 符号化部 1 1 1で符号化される。 画像符号化器 1 1 2で得られた 画像符号化ビッ トス卜リームは多重化回路 1 2 1に供給される。 同様に 音声信号は音声符号化器 1 1 5で符号化され、 音声符号化ビッ トストリ ームとして多重化回路 1 2 1に供給される。 多重化回路 1 2 1はさらに データ入出力器 1 0 5の出力信号を加えた 3個の信号を多重化する。 そ の多重信号出力 （多重化回路 1 2 1の出力） は通信路符号化器 1 2 3を 経て送信信号 1 2 5として通信路へ出力される。

一方通信路からの受信信号 1 2 6は通信路復号化器 1 2 4を経て分離 回路 1 2 2へ供給され、 画像符号化ビッ トストリ一ム、 音声符号化ビッ トストリーム、 データ信号に分離される。 音声と画像の符号化ビッ トス 卜リームは復号化部 1 1 6に供給される。 画像符号化ビットストリ一ム は画像復号化器 1 1 7において復号化される。 ここで復号化されたディ ジタル復号画像は、 ディジタル アナログ変換器 1 0 8を経てディスプ レイ 1 0 3で表示される。 同様に音声符号化ビットストリ一ムは音声復 号化器 1 2 0において復号化され、 ディジタル化された復号音声となつ た後にディジタル Zアナログ変換器 1 0 9を経てスピーカ 1 0 4から出 力される。 データ信号 1 3 0はデータ入出力器 1 0 5に加えられた後に パソコン等のデータ処理装置に出力される。

第 1図の画像符号化器 1 1 2の構成例として、 第 2図に通信用動画像 符号化方式の国際標準である H . 2 6 1の符号化器 2 0 0を示す。 H . 2 6 1は、 符号化方式として、 動き補儐予測と D C T (離散コサイン変 換） を組み合わせたハイプリッド符号化方式 （フレーム間 フレーム内 適応符号化方式） を採用している。

以下に、 第 2図を用いてこのハイプリッド符号化方式を説明する。 減 算器 2 0 2は入力画像 （現フレームの原画像） 2 0 1とフレーム間 Zフ レーム内符号化切り換えスィッチ 2 1 9の出力画像 2 1 3 (後述） との 差を計算し、 誤差画像 2 0 3を出力する。 この誤差画像は、 D C T変換 器 2 0 4で D C T係数に変換された後に量子化器 2 0 5で量子化され、 量子化 D C T係数 2 0 6となる。 この量子化 D C T係数 2 0 6は伝送情 報として通信路に出力されると同時に、 符号化器内でもフレーム間予測 処理部 2 0 7において予測画像を合成するために使用される。 次に予測 画像合成の手順を説明する。 上述の量子化 D C T係数 2 0 6は、 逆量子 化器 2 0 8と逆 D C T変換器 2 0 9を経て復号誤差画像 2 1 0 (受信側 で再生される誤差画像と同じ画像） となる。 これに、 加算器 2 1 1にお いてフレーム間 Zフレーム内符号化切り換えスィッチ 2 1 9の出力画像 2 1 3 (後述） が加えられ、 現フレームの復号画像 2 1 2 (受信側で再 生される現フレームの復号画像と同じ画像） を得る。 この画像は一旦フ レームメモリ 2 1 4に蓄えられ、 1フレーム分の時間だけ遅延される。 したがって、 現時点では、 フレームメモリ 2 1 4は前フレームの復号画 像 2 1 5を出力している。 この前フレームの復号画像と現フレームの入 力画像 2 0 1が動き補償処理部 2 1 6に入力され、 ブロックマッチング とよばれるフレーム間予測の処理が行われる。 プロックマッチングでは， 画像を複数のプロックに分割し、 各プロックごとに現フレームの原画像 に最も似た部分を前フレームの復号画像から取り出すことによリ、 現フ レームの予測画像 2 1 7が合成される。 このときに、 各ブロックが前フ レームと現フレームの間でどれだけ移動したかを検出する処理 （動き推 定処理） を行う必要がある。 動き推定処理によって検出された各ブロッ クごとの動きベク トル 2 2 0は、 受信側へ伝送される。 受信側は、 この 動きべク トルと前フレームの復号画像から、 独自に送信側で得られるも のと同じ予測画像を合成することができる。 予測画像 2 1 7は、 「 0」 信号 2 1 8と共にフレーム間 Zフレーム内符号化切り換えスィツチ 2 1 9に入力される。 このスィッチは、 両入力のいずれかを選択することに より、 フレーム間符号化とフレーム内符号化を切り換える。 予測画像 2 1 7が選択された場合 （第 2図はこの場合を表している） には、 フレー ム間符号化が行われる。 一方、 「 0」 信号が選択された場合には、 入力 画像がそのまま D C T符号化されて通信路に出力されるため、 フレーム 内符号化が行われることになる。 受信側が正しく復号化画像を得るため には、 送信側でフレーム間符号化が行われたかフレーム内符号化が行わ れたかを知る必要がある。 このため、 識別フラグ 2 2 1が通信路へ出力 される。 最終的な H . 2 6 1符号化ビッ トス卜リーム 2 3は多重化回 路 2 2 2で量子化 D C T係数、 動きべク トル、 フレーム内 Zフレーム間 識別フラグの情報を多重化することによって得られる。

H . 2 6 1ではプロックごとに独立にフレーム間 Zフレーム内符号化 の選択が行えるようになつている。 フレーム内 フレーム間符号化のい ずれを行うかの判断は符号化器に任されており、 入力画像の性質に応じ て符号効率が高くなると考えられる方を選ぶのが一般的である。 一般に シーンチェンジ等により、 連続するフレーム間の相関が低い場合には、 フレーム内符号化を選択した方が効率が高くなると言われている。

第 3図に第 2図の符号化器が出力した符号化ビットストリ一ムを受信 する復号化器 3 0 0 (第 1図の 1 1 7に対応） の構成例を示す。 受信し た H . 2 6 1 ビットストリーム 3 1 7は、 分離回路 3 1 6で量子化 D C T係数 3 0 1、 動きベク トル 3 0 2、 フレーム内ノフレーム間識別フラ グ 3 0 3に分離される。 量子化 D C T係数 3 0 1は逆量子化器 3 0 4と 逆 D C T変換器 3 0 5を経て復号化された誤差画像 3 0 6となる。 この 誤差画像は加算器 3 0 7でフレーム間 フレーム内符号化切り換えスィ ツチ 3 1 4の出力画像 3 1 5を加算され、 復号化画像 3 0 8として出力 される。 フレーム間 フレーム内符号化切り換えスィツチはフレーム間 Zフレーム内符号化識別フラグ 3 0 3に従って、 出力を切り換える。 フ レーム間符号化を行う場合に用いる予測画像 3 1 2は、 予測画像合成部 3 1 1において合成される。 ここでは、 フレームメモリ 3 0 9に蓄えら れている前フレームの復号画像 3 1 0に対して、 受信した動きぺク トル 3 0 2に従ってブロックごとに位置を移動させる処理が行われる。 一方 フレーム内符号化の場合、 フレーム間 Zフレーム内符号化切リ換えスィ ツチ 3 1 4は、 「 0」 信号 3 1 3をそのまま出力する。

現在第 2図および第 3図に示した画像符号化器および復号化器は、 各 部の処理を専用に行う回路を持つ専用チップを用いて実現されることが 多い。 一方、 従来の専用チップを用いた画像の符号化，復号化装置に代 わる新しい実装形態として、 最近汎用 C P Uを用いたソフ トウエアによ る符号化 ·復号化装置 （ソフ トウェアコーデック） が注目を集めている < ソフ トウエアコーデックは装置の開発にかかる労力が少ないことや、 機 能や性能の変更に柔軟に対応できること等の特徴を持つことから、 汎用 C P Uの高速化が進むにつれてその数が増えることが予想されている。 第 4図と第 5図に動画像用のソフ トウエア符号化器 4 0 0と復号化器 5 0 0の構成例をそれぞれ示す。 なお、 4 0 0と 5 0 0はそれぞれ第 1 図の 1 1 2と 1 1 7に対応している。 ソフ トウエア符号化器 4 0 0では， まず入力画像 4 0 1は入力フレームメモリ 4 0 2に蓄えられ、 C P U 4 0 3はここから情報を読み込んで符号化の処理を行う。 この C P Uを駆 動するためのプログラムはプログラム用メモリ 4 0 4に蓄えられる。 ま た、 C P Uは処理用メモリ 4 0 5を活用して符号化の処理を行う。 C P Uが出力する符号化情報は一旦出力バッファ 4 0 6に蓄えられた後に符 号化ビッ トス卜リーム 4 0 7として出力される。

一方、 ソフ 卜ウェア復号化器 5 0 0では、 入力された符号化ビッ 卜ス トリ一ム 5 0 1は一旦入力バッファ 5 0 2に蓄えられた後に C P U 5 0 3に読み込まれる。 C P Uはプログラム用メモリ 5 0 4と処理用メモリ 5 0 5を活用して復号化処理を行う。 この結果得られた復号化画像は一 旦出力フレームメモリ 5 0 6に蓄えられた後に出力画像 5 0 7として出 力される。

第 1図に示したマルチメディァ通信端末が電力の残量に応じて符号化 モードを制御する部分構成例を第 6図、 第 7図、 第 8図に示す。 以後、 図面中で同じ参照番号は同じものを指す。

第 6図に示す構成では、 蓄電池 1 2 7の残留電力量を電池残量検出部 1 3 1が検出し、 電池残量情報 1 3 2として符号化モ一ド制御部 1 3 3 に伝える。 この情報 1 3 2力、'、 電池 1 2 7の電池残量がある一定値を下 回る事を示す情報である場合には、 符号化モ一ド制御部 1 3 3を構成す る警告表示制御部 6 0 4は端末利用者 6 0 6に警告は発する。 警告を伝 える手段は、 例えば、 ディスプレイへの警告文、 警告記号等の視覚に訴 える表示、 ブザー音や合成音声の発生させる等の利用者の聴覚に訴える 警告が考えられる。 また、 第 1図の構成に更に警告ランプを設け点灯さ せることも有効である。 電池残量が少なくなつたことを知った端末利用 者は、 自らスィツチを切り換えるなどして符号化モードを変えることが 可能となっている。 この切り換え情報 6 0 7を受け取った符号化モード 切り換え部 6 0 5は、 端末利用者の指示にしたがって符号化モードを切 リ換える。 端末利用者が符号化モードを切り換える際には、 各符号化モ —ドについて、 そのモードで通信を続けた場合に予想される連続通信時 間などの補助情報を示すこともできる。 符号化モード切り換えの具体的 な方法については後述する。

第 6図の端末では利用者が符号化モードを切り換えていたのに対し、 第 7図に示す端末は電池残量情報に応じて符号化モード自動切り換え部 7 0 1が自動的に符号化モードを切り換えることを特徴としている。 こ のとき、 電池残量がどのレベルになったときにどの符号化モードを採用 するかについては、 端末利用者が自らプログラミングできるようにして も良い。 また、 あらかじめプログラムされた複数のパターンの中から利 用者が好みのものを選択できるようにしても良い。 一般的な自動制御方 法として、 電池残量が少なくなるに従って、 低消費電力 ·低品質モード へと移行する方式が考えられる。 こうすることによって、 通信時間の延 長、 電池切れによる突然の通信停止の防止等の効果が期待できる。

第 8図は、 情報を送信している端末の符号化モードを、 通信路 8 0 1 を介して通話相手の端末 8 0 2が制御する場合のシステム構成例である _t 例えば監視カメラを用いた監視システムなどにおいては、 遠隔操作によ リカメラの符号化モードを制御することが考えられる。 また、 監視カメ ラが多数ある場合には、 受信側の端末が符号化モ一ドを集中制御するこ とにより、 各々の監視カメラの構成を簡略化することができる。

第 6図、 第 7図、 第 8図に示した符号化モード切り換えによる消费電 力制御方式は、 特に電力源として蓄電池を利用していなくても有効とな る場合がある。 たとえば監視カメラが多数存在する監視システムでは、 全監視カメラの総消費電力を抑えるために、 特に重要な情報を伝送して いないと思われるカメラの符号化モードを低品質 ·低消费電力モードに することが考えられる。

次に、 符号化モードを切り換える具体的な方法に関して説明する。 第 1図のマルチメディア通信端末 1 0 0の画像符号化器 1 1 2および復号 化器 1 1 7として、 第 2図および第 3図に示した H . 2 6 1符号化器お よび復号化器を使用する。 例えば、 動画像の符号化モードとして、 以下 の 4モードを用意する。

( 1 ) フレーム内ノフレーム間適応符号化による送受信。

( 2 ) 受信は （ 1 ) と同じ。 送信はフレーム内符号化のみ。

( 3 ) 受信は （ 1 ) と同じ。 送信は無し。

( 4 ) 画像の送受信は無し。

この場合、 （ 1 ) の符号化モードを採用しているときは画像 ·音声コー デック回路内の全ての部分は稼働しでいる。 符号化モ一ドを （ 1 ) から ( 2 ) に切り換えたときには、 フレーム間予測処理部 2 0 7が非稼働状 態となる。 次に符号化モードが （ 3 ) となったときには、 さらに画像符 号化器 2 0 0の残りの部分が非稼働状態となる。 最後に符号化モードが ( 4 ) となったときには、 さらに画像復号化部 1 1 7が非稼働状態とな リ、 画像情報の送受信は全てストップする。 符号化モードの番号が大き くなるほど非稼働部分が大きくなるため、 結果的に消費電力は少なくな る。 しかし、 逆に消费電力の少ない符号化モードほど通信される情報の 品質は低くなつてしまう。 第 9図にこの方式における符号化モードと電 池残量の関係の一例を示す。 9 0 1は、 電池が十分に充電された状態の 電池残量 （電力 X時間） を 1 . 0、 電池が使用不可能となるときの電池 残量を 0 . 0としたときの電池残量を表すグラフである。 例えば、 電池 残量が 0 . 5を割ると、 符号化モードは （ 1 ) から （ 2 ) に変化する。 処理を簡単にするため、 符号化モードを切り換えるタイミングは電池残 量が規定値を割った瞬間以後の最初のフレーム分割点からとするのが適 当である。 さらに細かい制御を意図するのであれば、 この切り換え点は ブロックマッチングのためのブロックの分割点や、 スライス （画像の端 から端まで左右に広がるブロックマッチングのためのブロックの列） の 分割点とする方法もある。 これらの分割点では、 前後の処理単位 （フレ —ム、 スライス、 ブロック） で独立した処理を行うことができるため、 符号化モードの切り換えを行いやすい。 利用者が符号化モードを切リ換 える場合も、 同様に切り換えの要求が出た直後のフレーム、 ブロック、 スライスの分割点から符号化モ一ドを切り換えるのが適当である。 第 9図の例においては、 各々の符号化モードの中で符号化に関するパ ラメータを変化させることによってさらに細かく消費電力を制御するこ とができる。 例えば （ 1 ) の符号化モード内で、 送信する画像のフレー ムレー卜を下げる。 すると画像符号化部が動作している時間を相対的に 減少させることが可能となリ、 結果的に消費電力の減少させることがで きる。 第 1 0図にこの様子を示す。

1 0 0 1は nフレーム Z秒で符号化を行った場合の符号化部の動作状 態である。 斜線部分は符号化部が動作している時間である。 これに対し て、 1 0 0 2は 2フレーム/ /秒で符号化を行ったときの動作状態で ある。 フレームごとの処理は 1 Z n秒で終了するため、 画像符号化部は 1 Z n秒おきに 1 Z n秒間、 停止状態に入ることができる。 これと同様 の制御は、 画像の解像度 （画素数） を変化させることよって行うことも 可能である。

フレームレート、 解像度以外に、 フレーム内 フレーム間適応符号化 においてフレーム内符号化が選択される頻度も消費電力を制御するため のパラメータとして利用することができる。 フレーム内符号化が選択さ れる頻度を上げるとフレーム間予測部が稼働する時間を相対的に減少さ せることが可能となり、 消費電力を減らすことができる。 また、 フレー ム間符号化においてブロックマッチングを行う際の、 動きべク トルの探 索範囲を狭くすることも消費電力を減少させるためには有効である。 さ らに、 カラー画像の送信または受信を行うことができる端末が、 白黒画 像を送信または受信することによリ、 色差信号を扱う回路やメモリを非 稼働状態にすることもできる。 また、 たとえカラー画像を符号化したビ ットストリームを受信したとしても、 白黒情報だけを再生することによ つて同様の効果を得ることができる。 しかし、 フレームレート、 解像度 を下げること、 フレーム内符号化が選択される頻度を上げること、 プロ ックマッチングの探索範囲を狭くすること、 白黒画像を送受信 ·再生す ること等は、 すべて受信側で復号化される画像の品質を劣化させること につながる。

以下では、 非稼働状態となった回路の消費電力を減少させる際に回路 的にどのような制御が行われるかについて説明する。 非稼働状態となつ た回路が電力を消費しないようにする直接的な方法としては、 パワート ランジスタを用いて電力の供給を停止させる方法がある。 この方法は有 効であるが、 回路全体を集積化する場合にはパワートランジスタが大き な面積を占めてしまうために問題が発生する。 そこでクロック信号を停 止する方法が考えられる。 第 1 1図はクロック信号の供給を停止するこ とによってフレーム間予測部の稼働状態を切り換える回路の構成例であ る。 第 1図のマルチメディァ通信端末 1 0 0において、 画像符号化器 1 1 2として第 2図に示した H . 2 6 1符号化器 2 0 0を用いるとする。 この回路では、 クロック信号発生器 1 2 9で生成したクロック信号 1 1 0 1は A N D回路 1 1 0 3を経由してフレーム間予測処理部 2 0 7のク ロック入力 1 I 0 4に供給される。 符号化モード切り換え信号 1 1 0 2 は、 第 6図と第 8図の符号化モード切り換え部 6 0 5または第 7図の符 号化モ一ド自動切り換え部 7 0 1から供給される。 符号化モード切り換 え信号を 「 1」 としたときにはクロック信号がフレーム間予測部に達す るが、 「 0」 とした場合にはクロック信号は供給されない。 クロック信 号が供給されないことによってフレーム間予測部は停止状態となり、 結 果としてこの部分の電力消費量を抑えることが可能となる。 一方、 ソフ トウエアコーデックでは画像符号化 ·復号化の処理のほと んどを C P Uが行うために、 稼働していない回路を停止することによつ て消費電力を制御する方法を使うことは難しい。 そこで、 C P Uに供給 されるクロック信号の周波数を制御することが考えられる。 上で述べた フレームレー卜の低下、 フレーム内符号化を行う頻度の上昇、 画像送信 の停止、 画像受信の停止等の制御は、 ソフ トウェアコーデックでは C P Uの処理量の減少につながる。 したがって、 減少した処理量の分だけク 口ック周波数を低下させても処理のリアルタイム性は確保することがで きる。 一般的に汎用 C P Uは、 動作クロックの周波数が低くなるほど消 費電力が少なくなることが知られている。 したがって、 クロック周波数 を制御することは、 消費電力を制御することにつながる。 第 1 2図は符 号化モードに応じて C P Uクロックを切り換えるソフ トウエア符号化器 のク口ック制御回路の構成例である。 第 1図のマルチメディァ通信端末 1 0 0において、 画像符号化器 1 1 2として第 4図に示したソフ トウェ ァ符号化器 4 0 0を用いる。 符号化モード切り換え信号 1 1 0 2は、 符 号化モード指令レジスタ 1 2 0 9の状態を変化させる。 符号化モード指 令レジスタの内容 1 2 0 8は、 ある特定のメモリァドレスを読みに行く ことによって C P U 4 0 3が読み出すことができるようになつている。 上で述べた通り、 符号化モードの切り換えを行う切り換え点は限られて おり （上述のフレーム、. スライス、 ブロック分割点） 、 C P Uは切り換 え点の処理を行う直前にのみ、 符号化モ一ド指令レジスタの内容を読み 込めば良い。 この符号化モ一ド指令レジスタの内容を通じて C P Uは符 号化モ一ド切り換えの指令が発せられたことを検知し、 ソフ トウェア的 に符号化モードをある切り換え点で切り換える。 なお、 C P Uに符号化 モード切り換えの要求を行う処理は C P Uへの割リ込みを使うことによ つて達成することもできる。 符号化モードを切り換えた C P Uは、 C P u自身が現在どの符号化モードで処理を行っているかを外部の回路に知 らせるために C PU符号化モードレジスタ 1 2 0 5に C PU符号化モー ド 1 2 0 6を書き込む。 クロック分周部 1 20 3はこの C P U符号化モ 一ドレジスタの内容 1 20 2を読み込み、 現在の C P Uの符号化モ一ド に応じてクロック信号発生器 1 2 9で生成したクロック信号 1 1 0 1の 分周率 （周波数を落とす割合） を制御する。 こうすることによって C P Uに供給されるクロック信号 1 2 04の周波数が符号化モードに応じて 制御される。 なお、 この部分の処理は VCO (Voltage Controlled Osc illator) を用いるなどしてクロックの発信周波数自体を制御すること によっても実現できる。

このようにクロック信号を制御する方式は、 専用チップを用いた装置 に対しても応用できる。 たとえばフレームレ一トを下げる制御を行った 場合には、 第 1 0図に示した方式を用いずに符号化装置自体の動作クロ ックを落として消费電力を減らすことも可能である。

なお、 本明細書では符号化モードの変化として同一の符号化方式 （例 えば H. 26 1 ) の中における変化を扱ってきた。 しかし、 符号化方式 自体を変化させること （例えば、 MP E G 1から H. 2 6 1への変化） も、 同様に符号化モードの変化として、 本発明の枠組みに含まれること は明らかである。 産業上の利用可能性

本発明によリ、 端末が送信する符号化された情報の品質を意図的に低 下させることによって、 端末が消费する電力置を低減させることができ る。 本発明の通信端末装置は、 例えば、 蓄電池を使用する携帯用の通信 端末装置、 消费電力を抑えつつ画像の伝送継続時間を主体として考盧さ れるべき画像監視装置、 等に用いられて有用である。

Claims

請求の範囲

1 . 入力された画像又は音声情報を符号化して通信路へ出力し、 上記伝 送路から得られる画像又は音声情報を復号化する通信端末装置において, 画像又は音声等の入力情報を入力する入力手段と、 上記入力情報を通 信路に出力し、 かつ上記通信路から情報を入力する通信路制御部と、 上 記通信路から得た情報を画像又は音声等により出力する出力手段と、 上 記入力手段及び上記出力手段と上記通信路制御部との間に設けられ、 実 行時には消費電力の異なる複数の符号化モードのいずれかの符号化モー ドに従って上記入力情報を符号化し上記通信路から入力された情報を復 号化するコーデック手段と、 上記符号化モードの選択を制御する制御部 とからなることを特徴とする通信端末装置。

2 . 請求の範囲第 1項の通信端末装置は、 更に、 装置全体に電力を供給 する供給手段を有し、 上記制御部は該供給手段の電池残量に応じて上記 符号化モードの選択制御を行なうことを特徴とする通信端末装置。

3 . 請求の範囲第 2項の通信端末装置において、 上記供給手段の電池残 量に応じて上記制御部は上記出力手段を用いて画像又は音声メッセージ を出力し、 該メッセージに対して入力された制御信号に応じて、 上記符 号化モ一ドの選択制御を行なうことを特徴とする通信端末装置。

4 . 請求の範囲第 2項において上記供給手段は、 蓄電池と、 上記蓄電池 の電池残量を検出する手段とを有し、 上記制御部に予め定められた電池 残量よリ少ない電池残量を示す情報が与えられた場合には、 上記制御部 は、 現状の符号化モードによる消费電力に比較して低い消费電力に対応 する異なる符号化モードに切り換えるように制御することを特徴とする 通信端末装置。

5 . 請求の範囲第 3項において、 上記メッセージは上記符号化モードに おける連続通話可能時間をも含むことを特徴とする通信端末装置。

6 . 請求項第 1項において、 上記符号化モードの選択切り換えによって 符号化の際に不要な回路に、 装置全体のクロックの供給を停止するよう 制御することを特徴とする通信端末装置。

7 . 請求項第 1項において、 上記符号化モードの処理量に応じて、 装置 全体に供給されているクロックの周波数を変化させることを特徴とする 通信端末装置。

8 . 請求の範囲第 1項の通信端末装置は、 更に、 装置全体に電力を供給 する供給手段を有し、 上記制御部は該供給手段の電池残量が所定料より 少なくなった場合には、 上記入力情報の解像度を低くすることを特徴と する通信端末装置。

9 . 請求の範囲第 2項において、 上記複数の符号化モードには、 動画像 符号化に関して固定フレーム内符号化を行なうモ一ドと、 フレーム間 フレーム内適応符号化を行なうモ一ドが含まれることを特徴とする通信 端末装置。

1 0 . 請求の範囲第 9項において、 上記制御部は該供給手段の電池残量 の減少に応じて上記符号化モ一ドとして固定フレーム内符号化モ一ドを 選択するように制御を行なうことを特徴とする通信端末装置。

1 1 . 請求の範囲第 9項において、 現状の符号化モードとして上記フレ ーム間 フレーム内適応符号化を行なうモードが選択されている場合、 上記制御部は該供給手段の電池残量の減少に応じて、 上記フレーム間ノ フレーム内適応符号化の中のフレーム内符号化が選択される頻度を高く するように制御することを特徴とする通信端末装置。

1 2 . 請求範囲第 2項において、 上記コーデック手段は動画像符号化に 関してフレーム間符号化を実行する手段と、 プロックマッチングに基づ く勳き補償を実行する手段とを具備し、 上記制御部は該供給手段の電池 残量の減少に応じて、 上記プロックマッチングにおけるプロックごとの 探索動きべク トル数を少なくするように制御することを特徴とする通信 端末装置。

1 3 . 請求範囲第 2項において、 上記コーデック手段は動画像符号化に 関してフレーム間符号化を実行する手段と、 伝送される画像のフレーム レートを制御する手段とを具備し、 上記制御部は該供給手段の電池残量 の減少に応じて、 上記フレームレートを低くするように制御することを 特徴とする通信端末装置。

1 4 . 請求範囲第 2項において、 上記制御部は該供給手段の電池残量の 減少に応じて、 音声のみによる通信を行うように制御することを特徴と する通信端末装置。

1 5 . 請求範囲第 2項において、 上記制御部は該供給手段の電池残量の 減少に応じて、 上記入力手段から入力された画像情報を白黒画像として 送信するように制御することを特徴とする通信端末装置。

1 6 . 請求範囲第 2項において、 上記制御部は該供給手段の電池残量の 減少に応じて、 上記通信路から受信した画像情報を白黒画像情報として 復号処理を行なうよう制御することを特徴とする通信端末装置。

1 7 . 請求範囲第 1 6項において、 上記制御部は該供給手段の電池残量 の減少に応じて、 通信路から受信したカラ一画像を符号化したビットス トリ一ムの中からカラー情報を除いて白黒画像を再生するよう制御する ことを特徴とする通信端末装置。

1 8 . 請求範囲第 2項において、 上記コ一デック手段では、 上記制御部 から符号化モ一ドの切り換え要求信号を受けた直後のフレーム分割点か ら符号化モードが切り換わることを特徴とする通信端末装置。

1 9 . 請求範囲第 2項において、 上記コーデック手段では、 上記制御部 から符号化モードの切り換え要求信号を受けた直後のスライス分割点か ら符号化モードが切り換わることを特徴とする通信端末装置。

2 0 . 請求範囲第 2項において、 上記コーデック手段では、 上記制御部 から符号化モードの切り換え要求信号を受けた直後のプロックマツチン グのためのプロックの分割点から符号化モードが切り換わることを特徴 とする通信端末装置。