CN1132750C - 驾驶操作辅助器及记录媒体 - Google Patents

驾驶操作辅助器及记录媒体 Download PDF

Info

Publication number
CN1132750C
CN1132750C CN998017868A CN99801786A CN1132750C CN 1132750 C CN1132750 C CN 1132750C CN 998017868 A CN998017868 A CN 998017868A CN 99801786 A CN99801786 A CN 99801786A CN 1132750 C CN1132750 C CN 1132750C
Authority
CN
China
Prior art keywords
automobile
driving assisting
composograph
assisting device
mobile graphics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN998017868A
Other languages
English (en)
Other versions
CN1287532A (zh
Inventor
冈本修作
石井浩史
中川雅通
登一生
森村淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1287532A publication Critical patent/CN1287532A/zh
Application granted granted Critical
Publication of CN1132750C publication Critical patent/CN1132750C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/028—Guided parking by providing commands to the driver, e.g. acoustically or optically
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication

Abstract

本发明提供了一种驾驶操作辅助器，其特征在于包含：周围状况成像装置，用于通过摄像机对汽车的周围状况成像，并产生周围状况图像；合成图像产生装置，用于通过在周围状况图像上叠加假设移动图形产生合成图像，所述假设移动图形是视频数据，示出在执行预定的一系列汽车的驾驶操作情况下汽车的移动；和显示装置，用于显示合成图像；以及周围状况成像装置具有一个或更多摄像机；以及摄像机参数表，用于存储摄像机参数，该参数是摄像机或每一个摄像机的特性，并且根据来自摄像机或每一个摄像机输出的摄像机参数产生周围状况图像。

Description

驾驶操作辅助器及记录媒体
技术领域
本发明涉及一种用于辅助器汽车的驾驶操作的驾驶操作辅助器，以及用于存储使计算机执行驾驶操作辅助器的每一个装置的所有或一些功能的程序。
背景技术
一般传统的驾驶操作辅助器由检测方向盘的转向角度的转向传感器来估计对应于汽车的倒车的方向盘转向角度的汽车移动轨迹。当汽车倒车时，显示由摄像机拍摄到的后面或侧后面视野的图像，另外，当操作方向盘时，对应于方向盘的转向角度估算到的汽车移动轨迹叠加在后面或侧后面视野的图像上。根据这个辅助器，将如下所述执行司机的驾驶操作。即，司机在固定汽车方向盘时，将汽车移动到汽车可以适当停车的位置。然后，在该位置处，司机找出能够将汽车移动到停车的位置，而不进行任何方向盘的操作，却确定了由方向盘操作估计的汽车移动轨迹。然后，通过保持转向角度而使汽车倒车到停车位置，理论上完成了停车。
在第1-14700号日本专利公开公告中揭示了上述驾驶操作辅助器的传统例子。
但是，为了通过使用上述辅助器停车，必须找到能够使汽车移动到停车位的位置，然后确定方向盘所固定的转向角度。为了掌握这种操作，必须有技能。另外，当要驾驶的汽车的尺寸改变时，感觉改变。由此，在技能中积累的驾驶技巧不太有用。
附带地，为了停车，除非附近没有障碍物的情况，否则，从停车操作一开始即保持方向盘的转向角度恒定，非常难以完成停车操作。例如，为了执行平排停车，司机首先通过使方向盘转到适当的方向，倒车汽车，同时将汽车从停车操作开始的位置放置到停车的位置，然后通过在汽车恰当地倒车时，反向地转动方向盘，将汽车移动到目标位置。即，在进行平排停车作为一个例子的情况下，难以在保持方向盘的转向角度恒定的情况下停车。
另外，对于传统的辅助器，如果司机稍稍移动汽车的方向盘，则显示由一微小转向角变化重新估计的汽车移动路线。由此，可能使司机受扰乱。
即，对于传统的驾驶操作辅助器，在确定通过合成停车位、空间周围状态、以及将汽车引导到该停车位的路线而得到的图像时，司机无法一眼就直觉地发现汽车可以容易地移动到停车位的地方。
JP06-234341A的目的是在停车辅助装置给出根据停车位置与当前位置之间的位置关系把汽车引导到停车位置的语音指令中消除无用语音指令。
JP06-234341A的构造是这样的：停车ECU计算允许的停车位置和把汽车引导到该停车位置的路线，并根据当前位置与该路线之间的比较结果，从扬声器输出语音指令。根据驾驶员对语音指令的反应时间以及根据对停车位置距离的判定时间设定，该停车ECU判定是否输出同样语音消息以及只有在驾驶员在判定时间内没有操作的情况下才再次输出同样消息。
JP10-262240A的目的是提供一种结构简单的汽车使用周围视觉识别装置，用它可安全地获得在对应于接近角到道口的方向上在汽车一侧的视野内的图象。
JP10-262240A的装置设置有摄像机和视野设定装置，摄像机分别摄取汽车左右两侧的视野，视野设定装置设定摄像机左右两侧的视野内值得注目的视野方向。该装置以设定方向从每个视野图象部分地提取值得注目视野图象并排列这些值得注目视野图象，以形成一显示图象并将其显示在显示装置上。视野设定装置根据手控切换选择器的指令具体设定值得注目视野的方向或者根据汽车到导引信息所指示的道口的接近角度信息，根据汽车的方向盘角度信息，设定值得注目视野的方向。
本发明的揭示
本发明用于解决传统的驾驶操作辅助器的上述问题，并且其目的是提供一种驾驶操作辅助器，由这种辅助器，通过显示当司机执行预定的一系列驾驶操作时，汽车的移动以及周围状况，司机可以直接确定根据预定的一系列驾驶操作引起的汽车移动与周围状况之间的关系，并且可以减轻司机的负担。
另外，本发明的另一个目的是提供一种记录媒体，用于存储一程序，该程序用于使计算机执行上述每一个驾驶操作辅助器装置的所有或一些功能。
为了解决上述问题，本发明提供了一种驾驶操作辅助器，其特征是包含：
周围状况成像装置，用于由摄像机使汽车周围状况成像，并产生周围状况的图像和/或存储所产生的周围状况图像；
合成图像产生装置，用于在周围状况图像上叠加一假设移动图形(这是视频数据，示出在执行一系列预定驾驶操作的情况下，汽车的移动)，产生合成图像；以及
显示装置，用于显示合成图像。
本发明的第2个发明是记录媒体，其特征在于存储一程序，该程序用于使计算机执行每一个上述驾驶操作辅助器的装置的所有或一些功能。
附图概述：
图1是方框图，示出本发明的第一实施例的驾驶操作辅助器的配置；
图2示出配备有本发明的第一实施例的驾驶操作辅助器的程序部分101的摄像机的汽车的顶示图和正视图；
图3是示出本发明的第一实施例的驾驶操作辅助器的虚拟摄像机的观察区的正视图；
图4是示出从本发明的第一实施例的驾驶操作辅助器的虚拟摄像机看到的周围状况的图像的示图；
图5(a)和5(b)是示出本发明的第一实施例的驾驶操作辅助器的假设移动数据的示图；
图6(a)和6(b)是示出本发明的第一实施例的驾驶操作辅助器的假设移动数据的示图；
图7是示出本发明的第一实施例的驾驶操作辅助器的合成图像的示图；
图8是示出本发明的第一实施例的驾驶操作辅助器的合成图像的示图；
图9是示出执行平排停车至左侧时汽车的移动的示图；
图10(a)到10(c)是示出本发明的第一实施例的驾驶操作辅助器的合成图像的示图；
图11示出存储在本发明的第一实施例的驾驶操作辅助器的假设移动图形存储装置108中的假设移动图形的各种示图；
图12是示出本发明的第一实施例的驾驶操作辅助器的合成图像的修改的示图；
图13是示出本发明的第二实施例的驾驶操作辅助器的配置的方框图；
图14(a)到14(c)是示出本发明的第二实施例的驾驶操作辅助器的合成图像的示图；
图15是示出本发明的第三实施例的驾驶操作辅助器的配置的方框图；
图16(a)到16(c)是示出本发明的第三实施例的驾驶操作辅助器的合成图像的示图；
图17是示出本发明的第四实施例的驾驶操作辅助器的配置的方框图；
图18是示出本发明的第五实施例的驾驶操作辅助器的配置的方框图；
图19(a)到19(c)是本发明的第五实施例的驾驶操作辅助器的合成图像的示图；
图20是示出本发明的第六实施例的驾驶操作辅助器的配置的方框图；
图21(a)到21(c)是示出本发明的第六实施例的驾驶操作辅助器的合成图像的示图；
图22是本发明的第六实施例的驾驶操作辅助器的修改的配置的方框图；
图23是示出本发明的第七实施例的驾驶操作辅助器的配置的方框图；
图24是示出存储在本发明的第七实施例的驾驶操作辅助器的映象表2302中的映象表的概念图；
图25是示出本发明的第八实施例的驾驶操作辅助器的配置的方框图；
图26(a)到26(b)是示出本发明的第八实施例的驾驶操作辅助器的合成图像的示图；
图27是示出本发明的第九实施例的驾驶操作辅助器的配置的方框图；
图28(a)到28(c)是示出本发明的第九实施例的驾驶操作辅助器的合成图像的示图；
图29是示出本发明的第十实施例的驾驶操作辅助器的配置的方框图；
图30(a)和30(b)是示出本发明的第十实施例的驾驶操作辅助器的合成图像的示图；
图31是示出本发明的第十一实施例的驾驶操作辅助器的配置的方框图；
图32(a)和32(b)是示出本发明的第十一实施例的驾驶操作辅助器的合成图像的示图；
图33是示出本发明的第1十一实施例的驾驶操作辅助器的合成图像的示图；
图34是示出本发明的第十一实施例的驾驶操作辅助器的合成图像的示图；
图35是示出本发明的第十一实施例的驾驶操作辅助器的合成图像的示图；
图36是用于解释本发明的第十一实施例的驾驶操作辅助器的接触危险估计功能的示图；
图37是示出本发明的第十一实施例的驾驶操作辅助器的合成图像的示图；
图38是示出本发明的第十一实施例的驾驶操作辅助器的接触危险估计功能的示图(原文为表达式)；
图39示出本发明的第十一实施例的驾驶操作辅助器的假设移动数据的例子；
图40是示出本发明的第十一实施例的驾驶操作辅助器的合成图像的示图；
图41是示出本发明的第十一实施例的驾驶操作辅助器的合成图像的示图；
图42是示出本发明的第十二实施例的驾驶操作辅助器的配置的方框图；
图43是示出本发明的第十二实施例的驾驶操作辅助器的示图；
图44是示出第十二实施例的驾驶操作辅助器的配置的方框图；
图45是示出本发明的第十二实施例的驾驶操作辅助器的合成图像的示图；
图46是示出本发明的第十二实施例的驾驶操作辅助器的合成图像的示图；
符号说明：
101成像部分
102叠加部分
103摄像机参数表
104空间重新配置装置
105空间数据缓冲器
106视点转换装置
107显示装置
108假设移动图形存储装置
1301、1501开始检测装置
1302、1703积分装置
1303F、1503、1704空间转换装置
1502图像跟踪装置
1701开始输入装置
1702驾驶控制装置
1801轨迹校正装置
2001CG-图像合成装置
2201摄像机
2301映象装置
2302映射表
2501最后位置输入装置
2502开始位置确定装置
2503空间固定装置
实施本发明的最佳实施例
下面，将参照附图，描述本发明的实施例。
(第一实施例)
首先，将参照附图，描述本发明的第一实施例。
图1是示出本实施例的驾驶操作辅助器的配置的方框图。本实施例的驾驶操作辅助器主要用于进入车库或平排停车等的协助驾驶操作。
如图1所示，本实施例的驾驶操作辅助器由以下这些部分构成：包含N个摄像机(摄像机1到摄像机N)的成像部分101、用于存储摄像机参数(这是摄像机的特征)的摄像机参数表103、用于产生空间数据的空间配置装置104，其空间数据使每一个构成由摄像机摄出的图像的象素根据摄像机参数与三维空间中的一端相关；用于通过对照空间数据，产生从预定的视点观察的图像作为周围状况的图像的视点转换装置106，用于暂时存储空间数据的空间数据缓冲器105，用于存储包含假设移动图形的假设移动数据的假设移动图形存储装置108，用于将假设移动图形叠加在周围状况图像上，并产生合成图像的叠加装置102，以及用于显示合成图像的显示装置107。
包含成像部分101、摄像机参数表103、空间重新配置装置104和视点转换装置106的装配对应于本发明的周围状况成像装置，叠加装置102对应于本发明的合成图像产生装置。
首先，下面将描述成像部分101的详细配置，以及一过程，其中根据由成像部分101摄成图像的视频数据产生本发明的周围状况的图像。
图2示出设置有成像部分101的摄像机的汽车的顶示图和正视图。在这个例子中，将六个摄像机201到206安排在汽车的顶部，N＝6。这六个摄像机201到206如此设置，从而每一个摄像机的一部分与另一个摄像机的摄像范围的一部分叠加，从而水平地不产生死角。
摄像机参数表103存储上述每一个摄像机的摄像机参数(示出诸如设置位置、设置角度、透镜应变修正值、和摄像机的聚焦距离等摄像机特征的参数)。空间重新配置装置104产生空间数据，它根据摄像机参数，使构成由每一个摄像机摄出的图像的每一个象素与以汽车为基础的三维空间中的一点相关。空间数据缓冲器105暂时存储上述空间数据，并且视点转换装置106通过对照空间数据和由此合成象素，产生从随意的视点(诸如图3所示的虚拟摄像机301的视点)看到的图像，作为周围状况的图像。
图4示出从图3所示的虚拟摄像机301的视点看到的周围状况的图像。这个例子示出一种执行平排停车的情况，其中在周围状况的图像上显示两辆当前正在停车的汽车，作为障碍物401和障碍物402。
然后，将描述一过程，其中叠加装置102产生本发明的合成图像，最后，显示装置107显示合成图像。
假设移动图形存储装置108存储假设移动图形，它是视频数据，示出应用典型的汽车驾驶操作的汽车的移动，还存储了时序数据，它示出汽车移动距离(由于轮胎的旋转引起的移动距离)与方向盘的转向角度(方向盘的旋转角度)之间的关系，作为本发明的假设移动数据。
在存储的假设移动数据中，在图5中示出执行将汽车平行地停到左侧的驾驶操作的假设移动数据示出图5中，而用于执行将汽车停到车库中，置于右侧的驾驶操作的假设移动数据示于图6中。图5(a)和图6(a)分别示出假设移动图形，它是根据图5(b)和图6(b)的时序数据对应于驾驶操作的视频数据，并示出操作开始的位置501和601(对应于本发明的假设移动开始区)、操作终止的位置502和602(对应于本发明的假设移动终止区)，和轮胎的轨迹503和603(对应于示出本发明的汽车轮胎轨迹的视频数据)。
首先，司机由图形选择装置(这里未说明)选择一个存储在假设移动图形存储装置108中的假设移动图形。叠加装置1 02将所选出的假设移动图形(例如图5(a))叠加在由视点转换装置106(例如图4)产生的周围状况的图像上，以将它们合成，并产生本发明的合成图像，而显示装置107显示合成图像。假设这样的话，例如，通过将图5(a)中的操作开始的位置501调节到汽车当前的位置，操作终止的位置502成为当从当前位置开始对应于假设移动图形的驾驶操作时的操作终止时的位置，即停车位置。
图7示出通过合成图5所示的假设移动图形得到的合成图像，图8示出通过合成图6所示的假设移动图形得到的合成图像。
即，在图7(图8)中，通过将汽车移动到开始的位置701(801)(其中，障碍物401和402(803和804)不妨碍停车位置702(802)、轮胎的轨迹503(603)和开始的位置701(801))，司机可以平排停车至左侧(停入车库至右侧)，并根据时序数据从该位置开始一连串驾驶操作，以便将汽车停在停车位置702(802)。
下面，通过使用执行平排停车至左侧作为一个例子，并对照图9和图10a到10c，描述将汽车移动到开始的位置701(801)。
图9是示出当执行平排停车至左侧时，汽车的移动。如图9所示，为了将汽车停在目标停车位置902，汽车的司机必须将位于当前位置901处的汽车移动到目标开始的位置903，其方法是通过在调节假设移动图形的操作终止的位置502时，假设操作开始的位置501，以执行平排停车至左侧到达目标停车位置902作为目标开始位置903的目标停车位置902。
图5(a)中操作终止位置502和操作开始位置501之间的相对位置关系对应于根据图5(b)中的时序数据执行的驾驶操作的情况。对于实际的驾驶操作，可以根据当前操作的方向盘的精细调节进行精细的调节。
当不使用本实施例的驾驶操作辅助器时，司机必须将汽车移动到目标开始位置903，其方法是根据可以从汽车内通过直接观察或镜子确定的场景，假设障碍物401和402以及目标停车位置902。假设这样的话，有一个问题，即，司机的用于根据从汽车内通过直接观察或镜子确定的场景来确定障碍物401和402以及目标停车位置902需要司机的熟练的操作。另外，甚至当汽车的尺寸，或镜子的位置变化时，有一个问题，即，司机无法容易地适用于变化。
但是，当使用本实施例的驾驶操作辅助器时，将图5(a)所示的假设移动图形叠加到从虚拟摄像机的视点看到的周围状况的图像，就好象从如图4所示的汽车上面的位置拍摄的图像，由此，产生图7所示的合成图像，并且对司机显示。
由此，在执行将汽车移动到如图9所示的目标开始位置903的驾驶操作的时间上，对应于当前位置与轮胎的轨迹，通过显示将汽车的当前位置901的调节到如图5(a)所示的操作开始位置501，如图10(a)到10(c)所示，当假设当前位置901为操作开始位置501时，显示作为停车位置1001的操作结束位置502，作为停车位置1001。当汽车位于停车位置1001和目标停车位置902一致的当前位置901时，完成了移动到目标开始位置903的操作。
即，如果当显示装置107上显示图10(a)显示的合成图像时，从该位置上开始停车操作，则停车位置1001与障碍物402叠加。由此，可以一眼就确定停车操作必须从汽车进一步向前移动的位置(图10(a)中向前)开始。
另外，如果从在显示装置107上显示的图10(b)中的合成图像2的位置开始停车操作时，轮胎的轨迹与障碍物401叠加。由此，司机可以一眼就确定停车操作必须从汽车进一步倒车的位置开始(图10(a)中的朝下)。
另外，如果从在显示装置107上显示图10(c)中的合成图像3的位置开始停车操作，则轮胎的轨迹不与障碍物401或402叠加，并且司机可以一眼就确定停车位置1001是适合于停车的位置。由此，可以确定停车操作可以从该位置开始。
由此，通过虚拟地合成示出了从汽车上面看的汽车、周围的障碍物、停车终止位置和轮胎的轨迹之间位置上的关系的图像，并向司机显示合成图像显示给司机，司机可以一眼就直接确定它们之间的关系。结果，司机一眼就可以确定适合于停车操作开始的位置，容易地将汽车移动到一个地方，并开始停车操作。由此，可以更加安全和精确地将汽车停到希望的位置。
假设移动图形操作开始和终止位置以及轮胎轨迹对于每一辆汽车是固有的。例如，它们在小的汽车和大的汽车中相差很大。这可以通过将假设移动图形存储在图1所示的每一辆汽车的假设移动图形存储装置108中而设定。由此，即使汽车转换为另外一辆，司机仍然可以执行驾驶操作，同时确定对应于汽车的假设移动图形和周围障碍物之间的关系。
另外，当更换汽车时，认为按照到汽车上的摄像机的位置和数量也改变了。但是，这也可以通过图1中的摄像机参数表103存储每一辆汽车的每一个摄像机的摄像机参数的事实来解决，并且向司机示出的图像不直接受到影响。由此，即使更换汽车，由此摄像机的位置也改变，仍然可以执行驾驶操作，同时，确定对应于显示在合成图像(几乎类似于更换汽车之前显示的图像)中的汽车的假设移动图形和周围障碍物之间的关系，司机可以整形驾驶操作。
如上所述，根据该实施例，可在诸如停车等传统上需要对司机的相当技巧的驾驶操作中，一眼就直接确定驾驶汽车、障碍物和目的位置，执行更为安全和精确的驾驶操作，并大大减轻了司机的操作负担。
另外，当确定对应于汽车的假设移动图形和周围障碍物之间的关系时，司机可以执行驾驶操作，即使更换汽车而几乎类似于更换汽车改变之前的状态，由此可能大大减轻司机对于更换汽车的负担。
图11示出存储在图1中的假设移动图形存储装置108中的假设移动图形的变化。图案是右和左平排停车假设移动图形1101和1102以及右和左入车库假设移动图形1103和1104。如上所述，司机通过图案选择装置(未示出)选择这些图案中任何一个。也可以确定作为合成图像待显示的区，正如由对应于上述四幅假设移动图形的图11中假设移动图形的外框所表示的。即，假设操作开始位置假设为当前汽车位置和包括轮胎轨迹的矩形区；假设操作终止位置假设为合成图像区。
尽管从装在汽车上的摄像机通常不对汽车成象，但是在这种情况中允许维持汽车的CG数据和实际汽车数据，通过类似于对数据的跟踪将它们彼此叠加，将这些数据显示在合成图像中。
对于这个实施例，本发明的假设移动图形是作为表明操作开始位置(本发明的假设运动开始区)、操作终止位置(本发明的假设运动终止区)和轮胎轨迹(表明本发明的轮胎轨迹的图像数据)的视频数据描述的。然而，其它的图案也是允许的，例如，可以是包括汽车移动投影而不是或者与轮胎轨迹一起的轨迹(表明本发明的汽车移动区的视频数据)。简而言之，当以前将以前将假设预定序列的驾驶操作以前施加于汽车上时，本发明的假设移动图形仅需用作表明汽车移动的视频数据。
然而，如上所述，如果直接显示轮胎轨迹和/或汽车移动区，那么汽车与障碍物之间没有接触余量。因此，正如图12所示，也允许显示余量线1201，它是从轮胎轨迹或者汽车移动区的外缘起以预定值(例如50cm)向外设定的。
此外，对于本实施例，描述了本发明的周围状态图像是对由成象部分101成象的视频数据进行合成而实时地获得的。然而，在经常进行相同驾驶操作和周围状态很少起伏的地方，其它的图案也是允许的，例如，可以将按照已经成象的视频数据产生的数据存储在空间数据缓冲器105中并使用该数据。
(第二实施例)
然后，以下参考附图描述本发明的第二实施例。
图13是一方框图，表明本发明第二实施例的驾驶操作辅助器的配置。该实施例的驾驶操作辅助器主要也是用于帮助驾驶操作，如进入车库和平排停车。因此，在这个实施例中，假设没有作说明的元件与第一实施例的情况相同，提供与第一实施例情况相同符号的元件具有与第一实施例情况相同的功能，但另有说明除外。此外，假设通过应用相同的改进第一实施例所描述的每个改进例可以应用于本实施例，但另有说明者除外。
如图13所示，本实施例的驾驶操作辅助器的配置与第一实施例的驾驶操作辅助器的配置的不同之处在于包括了开始检测装置1301、积分装置1302和空间转换装置1303。
表明正向运动和向后移动的拍档信号和表明方向盘转向角度的方向盘转角信号输入到开始检测装置1301，后者判定当拍档信号表明向后移动状态时以及根据方向盘转角信号的方向盘转向角度达到一定值或更高时开始对应于存储在假设移动图形存储装置108中的假设移动图形的驾驶操作(停车操作)，它对应于本发明的操作开始检测装置。
积分装置1302对方向盘旋转角度和后轮的转动圈数相积分并计算开始驾驶操作(停车操作)后汽车到达当前时间点的空间运动变化，它对应于本发明的移动位置计算装置。
空间转换装置1303根据空间运动变化移动假设移动图形，叠加装置102和空间转换装置1303的组件对应于本发明的合成图像产生装置。
在本实施例中，直到按照由图像部分101成象的视频数据产生本发明的周围状态图像的过程与第一实施例所描述的过程相同。此外，叠加装置102产生本发明的合成图像以及显示装置107显示该合成图像，在此前的过程中开始对应于假设移动图形的实际驾驶操作，此前的过程与第一实施例所描述的过程相同。
以下将利用向左侧进行平排停车的情况作为一个例子，描述在开始对应于假设移动图形的实际驾驶操作后到叠加装置102产生本发明的合成图像以及显示装置107显示该合成图像前的过程。
当司机开始对应于向左侧平排停车的驾驶操作时，拍档信号表明向后移动状态以及根据方向盘转角信号的方向盘转向角度达到某一特定值或更高。因此，开始检测装置1301判定开始了对应于向左侧平排停车的驾驶操作(停车操作)，向积分装置1302传递驾驶操作(停车操作)的开始，而此后向积分装置1302输入方向盘旋转角度信号和后轮转数信号。
积分装置1302在开始驾驶操作后对输入的方向盘旋转角度信号与后轮转数信号积分，并计算当前汽车位置1402与停车操作开始位置1401之间的位置关系，如图14(a)所示。
按照算出的位置关系，空间转换装置1303移动，对应于向左侧平排停车的假设移动图形，使得操作开始位置(图5中501)与图14(b)所示的停车操作开始位置1401向重合。换句话说，空间转换装置1303从空间上将假设移动图形1403固定在开始驾驶操作后开始停车操作时的位置上。
在开始驾驶操作后，叠加装置102通过把图案1403和位置1402叠加在周围状态图像上，将从空间上固定在停车操作开始位置上的假设移动图形1403与当前汽车位置1402相合成，产生本发明的合成图像，如图14(c)所示。显示装置107显示该合成图像。由于诸如障碍物401和402的周围状态图像在空间上是自然固定的，周围状态图像与假设移动图形1403之间的位置关系在合成图像中是固定的。此外，由于合成图像是从汽车上固定点观看的，当汽车移动时，在屏幕上仅固定当前汽车位置1402，当周围状态图像和假设移动图形1403在图14(c)中相对移动时对它们进行显示。
即，根据这一实施例，从虚拟摄像机的视点观看的周围状态图像按照实际汽车的运动而移动，叠加并合成的假设移动图形1403也按照由积分装置1302算出的汽车的运动而移动。因此，周围状态图像和假设移动图形1403表明一致的运动。由于司机仅沿着每个时间点所显示的假设移动图形的轮胎轨迹操作方向盘，可实现更简单且更安全的汽车操作。
(第三实施例)
然后，以下参考附图描述本发明的第三实施例。
图15是一方框图，表明本发明第三实施例的驾驶操作辅助器的配置。该实施例的驾驶操作辅助器主要也是用于帮助驾驶操作，如进入车库和平排停车等。因此，在这个实施例中，假设没有作说明的元件与第一实施例的情况相同，提供与第一实施例情况相同符号的元件具有与第一实施例情况相同的功能，但另有说明者除外。此外，通过应用相同的改进第一实施例所描述的每个改进例可以应用于本实施例，但另有说明除外。
如图15所示，本实施例的驾驶操作辅助器的配置与第一实施例的驾驶操作辅助器的配置的不同之处在于包括了开始检测装置1501、图像跟踪装置1502和空间转换装置1503。
开始检测装置1501具有第二实施例所描述的图13中的开始检测装置1301相同的功能，所不同的是不将方向盘转角信号或后轮转数信号输出到任何其它单元。
当开始驾驶操作(停车操作)并相应于本发明的位置信息存储装置时，图像跟踪装置1502基于合成图像上周围状态图像的视频数据的全部或一部分(例如障碍物)存储假设移动图形的全部或一部分(例如操作终止位置)的位置信息。
空间转换装置1503根据位置信息移动假设移动图形，由叠加装置102和空间转换装置1503构成的组件相应于本发明的合成图像产生装置。
在本实施例中，本发明的周围状态图像是按照由成象部分101成象的视频数据产生的，此前的过程与第一实施例所描述的过程相同。此外，叠加装置102产生本发明的合成图像以及显示装置107显示该合成图像，在此前的过程中开始对应于假设移动图形的实际驾驶操作，此前的过程与第一实施例所描述的过程相同。
以下将利用向左侧进行平排停车的情况作为一个例子，描述在开始对应于假设移动图形的实际驾驶操作后到叠加装置102产生本发明的合成图像以及显示装置107显示该合成图像前的过程。
当司机开始对应于向左侧平排停车的驾驶操作时，拍档信号表明向后移动状态以及根据方向盘转角信号的方向盘转向角度达到某一特定值或更高。因此，开始检测装置1301判定开始了对应于向左侧平排停车的驾驶操作(停车操作)，并向图像跟踪装置1502传递驾驶操作(停车操作)的开始。
当图像跟踪装置1502接收表明开始了驾驶操作(停车操作)的信息时，通过空间数据缓冲器105获得包括一部分障碍物402的终止位置周围图像1603(这是周围状态图像的一部分视频数据)的视频数据和合成图案(图16(a))上停车操作终止位置1602，并将该视频数据存储起来。在开始驾驶操作后，装置1502在每个时间点上从周围状态图像(通过空间数据缓冲器105获得)寻找关于障碍物402的部分，将终止位置周围图像1603中关于障碍物402的部分调节为周围状态图像中关于障碍物402的部分，由此确定停车操作终止位置1602与该时刻周围状态图像之间的位置关系。即，图像跟踪装置1502跟踪每个时刻的停车操作终止位置1602与周围状态图像之间的位置关系。
根据该位置关系，空间转换装置1503移动对应于向左侧平排停车的假设移动图形，使得操作终止位置(图5中502)与停车操作终止位置1602相一致。换句话说，在开始驾驶操作后，空间转换装置1503在空间上将假设移动图形固定在开始停车操作的位置上。
如图16(c)所示，在开始驾驶操作后，叠加装置102将空间上固定于开始停车操作的位置上的假设移动图形1605和当前汽车位置1604叠加在周围状态图像上并将它们合成以产生本发明的合成图像。显示装置107显示该合成图像。由于障碍物401和402等的周围状态图像在空间上是自然固定的，周围状态图像与假设移动图形1403之间的位置关系在合成图像中是固定的。
此外，在图16(c)中，由于合成图像是从固定在汽车上的视点观看的，如果汽车移动，在屏幕上仅固定当前汽车位置，周围状态图像和假设移动图形1605随它们的相对移动而显示。即，对于本实施例的驾驶操作辅助器，如果一个过程是在与第二实施例驾驶操作辅助器情况相同的条件下进行的，那么，图16(c)所示的合成图像变为与图14(c)所示的合成图像相同。
根据本实施例，由于从虚拟摄像机的视点观看的周围状态图像按照实际汽车的移动而移动，以及叠加和合成的假设移动图形1605也按照汽车的移动而移动，因此二者均表明一致的移动。由于司机仅沿着每个时间点所显示的假设移动图形的轨迹数据操作方向盘，可实现更简单且更安全的汽车操作。
(第四实施例)
然后，以下参考附图描述本发明的第四实施例。
图17是一方框图，表明本发明第四实施例的驾驶操作辅助器的配置。该实施例的驾驶操作辅助器主要也是用于帮助驾驶操作，如进入车库和平排停车等。因此，在这个实施例中，假设没有作说明的元件与第一实施例的情况相同，提供与第一实施例情况相同符号的元件具有与第一实施例情况相同的功能，但另有说明者除外。此外，假设通过应用相同的改进第一实施例所描述的每个改进例可以应用于本实施例，但另有说明者除外。
如图17所示，本实施例的驾驶操作辅助器的配置与第一实施例的驾驶操作辅助器的配置的不同之处在于包括了开始输入装置1701、驾驶控制装置1702、积分装置1703和空间转换装置1704。
开始输入装置1701用于让司机输入并指定开始对应于假设移动图形的实际驾驶操作(停车操作)，它对应于本发明的操作开始检测装置。
驾驶控制装置1702根据输入驾驶操作开始指令时对应于假设移动图形的时序数据(例如图5(b))，通过控制方向盘旋转角度和后轮转数，自动地控制汽车的操作，它对应于本发明的操作控制装置。
积分装置1703对方向盘旋转角度与后轮转数积分并计算开始驾驶操作(停车操作)后到当前时间点的汽车的空间运动变化，它对应于本发明的移动位置计算装置。即，积分装置1703具有与第二实施例所描述的图13中积分装置1302相同的功能。
空间转换装置1704根据空间运动变化移动假设移动图形，由叠加装置102和控制转换装置1704配置的组件对应于本发明的合成图像产生装置。即，空间转换装置1704具有与第二实施例所描述的图13中空间转换装置1303相同的功能。
在本实施例中，本发明的周围状态图像是按照由图像部分101成象的视频数据产生的，此前的过程与第一实施例所描述的过程相同。此外，叠加装置102产生本发明的合成图像以及显示装置107显示该合成图像，在此前的过程中开始对应于假设移动图形的实际驾驶操作，此前的过程与第一实施例所描述的过程相同。
以下将利用向左侧进行平排停车的情况作为一个例子，描述在开始对应于假设移动图形的实际驾驶操作后到叠加装置102产生本发明的合成图像以及显示装置107显示该合成图像前的过程。
司机将汽车定位在适合于开始停车操作的位置上，同时观看开始停车操作前显示装置107上所显示的合成图像，然后向开始输入装置1701输入一个开始停车操作的指令。开始输入装置1701通过假设移动图形存储装置108传递驾驶操作开始指令输入到驾驶控制装置1702和积分装置1703。
在接收停车操作开始指令时，驾驶控制装置1702按照对应于假设移动图形的时序数据(图5(b))通过产生方向盘旋转角度控制信号和后轮转数控制信号，以及通过控制方向盘控制系统和后轮控制系统，自动地控制汽车的驾驶。
在接收停车操作开始指令的情况中，积分装置1703对方向盘旋转角度信号与后轮转数信号相积分，计算当前汽车位置1402与停车操作开始位置1401之间的位置关系，如图14(a)所示。
正如图14(b)所示，空间转换装置1704移动对应于向左侧平排停车的假设移动图形1403，使得操作开始位置(图5中的501)与停车操作开始位置1401按照算出的位置关系彼此相一致。换句话说，在开始驾驶操作后，空间转换装置1704从空间上将假设移动图形1403固定于停车操作开始位置。
接下来的过程与第二实施例所描述的过程相同，其中叠加装置102产生合成图像，显示装置107显示该合成图像。当汽车到达预定停车位置时，驾驶控制装置1702按照时序数据而停车，由此完成停车操作。
根据本实施例，在指定开始驾驶操作后，除了第二实施例所描述的优点外，还可以获得自动进行方向盘操作等的优点。由于司机仅需肯定方向盘操作是在每个时间点上按照所显示假设移动图形的轨迹数据自动地进行的以及监视出现新的障碍物，可实现更简单且更安全的汽车操作。
(第五实施例)
然后，以下参考附图描述本发明的第五实施例。
图18是一方框图，表明本发明第五实施例的驾驶操作辅助器的配置。该实施例的驾驶操作辅助器主要也是用于帮助驾驶操作，如进入车库和平排停车。因此，在这个实施例中，假设没有作说明的元件与第一实施例的情况相同，提供与第一实施例情况相同符号的元件具有与第一实施例情况相同的功能，但另有说明者除外。此外，假设通过应用相同的改进第一实施例所描述的每个改进例可以应用于本实施例，但另有说明者除外。
如图18所示，本实施例的驾驶操作辅助器的配置与第一实施例的驾驶操作辅助器的配置的不同之处在于包括了轨迹校正装置1801。
轨迹校正装置1801按照由司机输入的驾驶操作位置和操作终止位置对假设移动图形和时序数据进行校正，它对应于本发明的图案校正装置。
在本实施例中，本发明的周围状态图像是按照由图像部分101成象的视频数据产生的，此前的过程与第一实施例所描述的过程相同。此外，叠加装置102产生本发明的合成图像以及显示装置107显示该合成图像，在此前的过程中存储在假设移动图形存储装置108中的假设移动图形通过使该图案的操作开始位置与当前汽车位置相一致而显示在合成图像上，此前的过程与第一实施例所描述的过程相同。
以下将利用向左侧执行进入车库的情况作为一个例子，描述司机通过利用轨迹校正装置1801校正假设移动图形和时序数据并在假设移动图形显示在合成图像上之后将假设移动图形和时序数据显示在合成图像上的过程。
正如图19(a)所示，假设这样一种情况，由于汽车移动到当前位置1901的结果，这里假设移动图形操作终止位置与目标停车位置1902相一致，以便进行进入车库操作，通过假设目标停车位置1902为操作终止位置，以致于司机不与障碍物1904或1905相接触，发现假设移动图形的轮胎轨迹1903与障碍物1905相干扰。
当假设移动图形存储装置108存储了向另一左侧进入车库操作的假设移动图形时，可以研究通过由图案选择装置(未示出)选择存储在装置108中的假设移动图形是否平稳地进行进入车库操作。然而，当装置108并未存储假设移动图形时或者当另一个假设移动图形也与障碍物相干扰时，司机可校正该假设移动图形。
首先，司机通过输入一数值，指示针或如图19(b)所示的其它装置，将表明汽车处于显示装置107上所显示的合成图像(图19(a))当前位置1901上的图案移动到新的操作开始位置1906。
当确定新的操作开始位置1906时，轨迹校正装置1801获得汽车从新的操作开始位置1906移动到目标停车位置1902的新的轮胎轨迹1907(参考图19(c))并产生新的假设移动图形和对应于新的假设移动图形的时序数据。
叠加装置102将新的假设移动图形的操作开始位置调节为汽车的当前位置1901并产生合成图像，如图19(d)所示，显示装置107显示该合成图像。
因此，司机通过移动汽车可使车停在目标停车位置1902从而将新的假设移动图形的操作终止位置1908调节为目标停车位置1902，然后按照新的假设移动图形开始驾驶操作(停车操作)。
允许对原始假设移动图形进行更新后将产生的新的假设移动图形和时序数据存储在假设移动图形存储装置108中或者未对原始假设移动图形更新的话将新的假设移动图形和时序数据附加地存储到假设移动图形存储装置108中。此外，允许不把它们作为暂时假设移动图形和时序数据存储在装置108中。再有，允许司机每次选择更新存储、附加存储或不存储。
此外，对于本实施例，描述了更新存储或附加存储在假设移动图形存储装置108中的假设移动图形是按照司机输入的驾驶开始和终止时汽车的位置自动地获得的。然而，也允许进行实际驾驶操作，对于方向盘的转向角度、轮的转数等在该时间上对时序数据采样，以及按照时序数据产生并存储假设移动图形。
根据这个实施例，有可能实现比第一实施例的驾驶操作帮手更扩展的驾驶操作帮手。
(第六实施例)
然后，将参照附图描述本发明的第六实施例。
图20是方框图，示出本发明的第六实施例驾驶操作辅助器的配置。本实施例的驾驶操作辅助器也主要用于辅助将汽车开入车库、平排停车等等的驾驶操作。由此，在这个实施例中，假设未解释的元件和第一实施例中的相同，设置有和第一实施例中相同的标号的元件具有第一实施例中情况相同的功能，除非另外进行解释。另外，除非另外进行说明，通过应用修改，可以将每一个修改的例子应用于本实施例中。
如图20所示，本实施例的驾驶操作辅助器不同于第一实施例的驾驶操作辅助器的地方在于包含CG图像合成装置2001。
CG-图像合成装置2001存储对应于存储在假设移动图形存储装置108中的假设移动图形的三维空间数据，并产生三维空间(或二维空间)图像，该图像调整到周围状况图像的视点，它对应于本发明的假设移动图形存储装置的一部分功能和本发明的合成图像产生装置的一部分功能。
假设，视点转换装置106可以自动地或根据从司机的输入改变视点的位置。
另外，如图21(a)所示，假设移动图形存储装置108存储多个虚拟极点2101的位置(该位置设置在轮胎的轨迹503上)以及假设移动图形(操作开始的位置501、操作终止的位置502和轮胎的轨迹503)。CG-图像合成装置2001先前根据假设移动图形和虚拟极点2101，产生和存储对应于假设移动图形的三维空间数据(对照图21(b))。
在这个实施例中，直到根据由成像部分101摄像的视频数据产生本发明的周围状况图像为止的过程和第一实施例中的一样。另外，直到在叠加装置102产生本发明的合成图像，以及显示装置107显示合成图像为止的过程中的对应于假设移动图形的实际驾驶操作开始为止的过程和第一实施例中所述的相同。
下面，通过将汽车平行停到左边的情况为例，描述直到开始对应于假设移动图形的实际驾驶操作之后叠加装置102产生本发明的合成图像以及显示装置107显示该合成图像的过程。
在开始实际驾驶操作之前，司机将视点转换装置106使用的周围状况图像的视点改变至用于从有关的汽车上方的一个位置从有关的汽车背后观察后面的视点。或当视点转换装置106检测对应于假设移动图形的实际驾驶操作开始时，视点自动改变到后一个视点。用于检测实际驾驶操作开始的专用装置包含例如和第二实施例中所述的开始检测装置130相同的装置1。
由于视点改变，由视点转换装置106输出的周围状况的图像变成如图21(c)所示的图像。CG-图像合成装置2001根据操作开始的位置501，通过调节汽车的当前位置，产生从和视点转换装置106使用的相同的视点看的CG图像。假设这样的话，CG图像变成如图21(d)所示的图像。
叠加装置102将CG图像叠加到周围状况图像上，并合成它们，以产生如图21(e)所示的本发明的合成图像。显示装置107显示该合成图像。由于合成图像是从固定在汽车上的一个视点看的图像，故当汽车在如图21(e)所示的情况下移动时，整个图像在相对的移动中显示出来。
在这种实施例中，由于司机能够在看到显示的图像，并一眼确定虚拟极点或操作终止的位置与实际障碍物之间的关系时确定停车开始的位置，故司机可以执行安全而可靠的驾驶操作。
在上述解释中，CG-图像合成装置2001从和视点转换装置106所使用的相同的视点实时地产生CG图像。但是，还允许使用预先产生CG图像的配置(是从每一个假设移动图形的预定的视点位置看的CG图像)并存储这些CG图像。
另外，在本实施例中，描述了类似于第一实施例的情况，产生从虚拟摄像机看到的周围状况图像。但是，当只要一个从汽车的背后看后面的图像，不改变任何的视点时，还允许直接使用由设置到有关的视点位置上的摄像机拍摄的图像作为周围状况图像。图22中的方框图示出这种情况下的驾驶操作辅助器的配置。即，CG-图像合成装置2001通过从摄像机参数表103得到安装在汽车上的摄像机2201的视点的数据而产生CG图像。
(第七实施例)
然后，将对照附图，描述本发明的第七实施例。
图23是方框图，示出本发明的第七实施例的驾驶操作辅助器的配置。本实施例的驾驶操作辅助器还主要地用于进入车库、平排停车之类的辅助驾驶操作。因此，在本实施例中，假设未说明的元件是和第一实施例情况相同的元件，而除非另行说明，和第一实施例的情况有相同的符号的元件具有和第一实施例的情况相同的功能。另外，除非另行说明，假设通过应用相同的修改，每一个为第一实施例描述的修改的例子都可以应用于本实施例。
如图23所示，本实施例的驾驶操作辅助器的配置与第一实施例的驾驶操作辅助器的配置不同之处在于，包含映象装置2301和映象表2302。
映象装置2301快速地执行处理，以将从成像部分101的每一个摄像机输入的图像转换为从任意视点看到的图像。
映象表2302存储映象装置2301使用的数据，以执行转换。
图24是概念图，示出存储在映象器2302中的映象表的例子。映象表由单元配置，它们等于由显示装置107显示的屏幕(即由叠加装置102产生的合成图像)象素的数量。即，如此配置映象表，从而显示屏幕上水平象素的数量等于表的纵列数量，显示屏幕上竖直象素的数量等于等于表的行的数量。另外，每一个单元具有摄像机号码以及由每一个摄像机拍摄的图像的象素坐标作为数据。
例如，图24中左上角的单元(输入数据(1，10，10)的单元)示出左上角，即，显示屏幕上的(0，0)部分，并且映象装置2301根据存储在该单元中的数据内容(1，10，10)，在显示屏幕(0，0)″上显示由第一号摄像机拍摄的图像的象素(10，10)的数据。通过使用这种表，不必执行计算以决定用来替换显示器的屏幕上每一个要替换的象素的象素数据是否要替换被替换的象素数据。由此，可以达到加速处理。
当视点转换装置106通过改变多个视点而使用它们时，必须将如图24所示的表存储在每一个视点的映象表2302中。
(第八实施例)
然后，将参考附图说明本发明的第八实施例。
图25是方框图，示出第八实施例的驾驶操作辅助器的配置。本实施例的驾驶操作辅助器，还主要用于把车开入车库、平排停车及等等。因此，在本实施例中，假设未另行说明的元件是同第一实施例的情况相同的元件与第一实施例的情况具有相同符号的元件具有第一实施例的情况的元件相同的功能除非另行说明。此外，除非另行说明，假设可以把对于第一实施例所说明的每个修改例子应用于本实施例，只要将相同的修改施加于本实施例。
如图25所示，本实施例的驾驶操作辅助器的配置和第一实施例的驾驶操作辅助器的配置不同之处在于，包括最终位置输入装置2501、开始位置确定装置2502和空间固定装置2503。
最终位置输入装置2501通过指示针输入驾驶操作的目标终止位置。还允许通过输入数字值或通过其它装置输入目标终止位置。
根据相应于所考虑的驾驶操作的假设移动图形，开始位置确定装置2502得到相应于通过最终位置输入装置2501输入的目标终止位置的驾驶操作的开始位置。
空间固定装置2503使目标终止位置和操作终止位置一致，此后，在空间上固定相应于驾驶操作的假设移动图形，这具有图13(在图25中，没有说明后轮旋转信号输入和方向盘转向角信号输入)中的积分装置1302和空间转换装置1303的功能。
此外，允许装置2503具有图15中的图像跟踪装置1502和空间转换装置1503的功能。然而，假使这样的话，必须与图15中的图像跟踪装置1502的情况相似地接收来自空间数据缓冲器105的空间数据输入。由叠加装置102和空间固定装置2503配置的元件相应于本发明的合成图像产生装置。
在本实施例中，有一个过程和为第一实施例所说明的过程是相同，这个过程是直到根据通过图像部分101成像的视频数据产生本发明的周围状况图像的过程。此外，一直到102生成本发明的合成图像，和107显示这个合成图像为止的过程中，使其操作开始位置和汽车当前位置一致地在合成图像上显示108中存储的假设移动图像为止的过程与第一实施例中说明的过程相同。
将在下面通过用向左边完成把车开入车库的例子来说明一个过程，所述过程是通过使用最终位置输入装置2501和在合成图像上显示假设移动图形之后，在合成图像上显示假设移动图形(包括相应于目标终止位置的驾驶操作的开始位置)直到司机输入驾驶操作的目标终止位置的过程。
如图26(a)所示，假设一种情况，在该情况中，作为司机在显示装置107上显示本发明的合成图像，以在障碍物401和402之间停一辆车而不碰到障碍物的结果，停车位置1001与障碍物402叠加，其中所述停车位置是假设移动图形(它使用车的当前位置901作为操作开始位置)1403的操作终止位置。
司机通过使用显示在显示装置107的屏幕上的指示针2601，将停车位置1001移动到目标位置2602。假使这样的话，如图26(b)所示，假设移动图形1403与停车位置1001一起移动。因此，把假设移动图形1403的操作开始位置显示为用于开始停车操作的开始位置2603。
如图26(c)所示，即使在完成上述移动操作之后，汽车的当前位置901仍显示在显示装置107的屏幕上。司机只要观察屏幕而将汽车移动到开始位置2603。假使这样的话，因为空间固定装置2503把假设移动图形1403固定在一个空间，假设移动图形1403和障碍物401和402之间的相对位置关系不改变。
根据本实施例，因为除了第一实施例所述的优点之外，还可以有效地得到驾驶操作开始位置，所以有可能减少操作开始所需要的时间。
此外，允许对本实施例的驾驶操作辅助器增加开始位置引导装置，所述装置当确定开始位置2603时，计算与当前位置901的相对位置关系，得到引导汽车从当前位置901到开始位置2603所必需的方向盘旋转角的时序数据和后轮转数，根据时序数据产生方向盘旋转角控制信号和后轮转数控制信号，控制方向盘系统和后轮驾驶系统，从而自动地控制汽车的驾驶，并自动地引导汽车从当前位置901到开始位置2603。从而，因为不通过司机的操作而将汽车引导到开始位置，实现了更简单和更安全的汽车操作。
(第九实施例)
然后，下面将参考附图说明本发明的第九实施例。
图27是方框图，示出本发明的第九实施例的驾驶操作辅助器的配置。本实施例的驾驶操作辅助器与第二实施例的驾驶操作辅助器的不同之处仅在于将开始检测装置1301和积分装置1302的输出输入到视点转换装置106，并且视点转换装置106根据输出改变虚拟摄像机的视点。
因此，在本实施例中，假设未另行说明的元件同第二实施例的情况的元件相同，以及除非另行说明，与第二实施例的情况具有相同符号的元件具有和第二实施例的情况的元件相同的功能。此外，除非另行说明，假设可以把对于第二实施例所说明的每个修改例子应用于本实施例，只要将相同的修改施加于本实施例。
在本实施例中，所述过程是直到根据图像部分101成像的视频数据产生本发明的周围状况图像的过程与第一实施例所说明的过程相同。此外，在直到叠加装置102产生本发明的合成图像和显示装置107显示合成图像时的过程中，开始相应于假设移动图形的实际操作的过程和第一实施例所说明的过程相同。
将在下面通过用向左边完成平排停车情况的例子来说明直到在开始相应于假设移动图形的实际驾驶操作之后，叠加装置102产生本发明的合成图像和显示装置107显示合成图像时的过程。
如参考图10的第一实施例所述，在开始实际驾驶操作之前，将虚拟摄像机视点位置固定在一个刚好高于汽车的位置上，如图28(a)所示，使当前汽车位置901和使用位置901作为操作开始位置的假设移动图形1403固定在屏幕上，当根据汽车的移动在屏幕上相对地移动时，显示诸如障碍物401、402等等的周围状况图像。
如图28(b)所示，当前汽车位置来到相应于目标停车位置902的位置时，司机开始相应于向左边平排停车的驾驶操作。当开始驾驶操作时，一个排挡信号指示向后移动状态，并且根据方向盘转向角信号的前轮操纵角到达某值或更大的值。因此，开始检测装置1301判断开始了相应于向左边平排停车的驾驶操作(停车操作)，并将开始驾驶操作(停车操作)传递给积分装置1302和视点转换装置106。
在开始驾驶操作之后，积分装置1302对输入方向盘旋转角信号和后轮转数信号进行积分，以计算当前汽车位置1402和停车操作开始位置1401之间的位置关系，如图14(a)所示。
根据所计算的位置关系，空间转换装置1303移动相应于向左边平排停车的假设移动图形1403，以致如图14(b)所示，图形1403的操作开始位置(在图5中的501)与停车操作开始位置1401相一致。换言之，在开始驾驶操作之后，空间转换装置1303在空间上将假设移动图形1403固定到停车操作开始处的位置上。
当视点转换装置106接收到开始驾驶操作(停车操作)时，它即将虚拟摄像机的视点位置固定到一个空间(地)。即，在开始驾驶操作之后，将周围状况图像(障碍物401、402等等)固定在屏幕上。
开始驾驶操作后，叠加装置102在周围状况图像上叠加空间上固定到停车操作开始的位置上的假设移动图形1403和当前汽车位置1402，并将它们合成以产生如图28(c)所示的本发明的合成图像。因为通将虚拟摄像机在停车操作开始处在停车操作开始处的视点位置空间上固定到周围状态而得到合成图像的视点的视点。所以，通过由积分装置1302计算的相反于视点地计算位置关系，叠加装置102产生合成图像。即，在该合成图像(图28(c))中，当根据汽车的实际移动在屏幕上相对地移动时，将周围状况图像(障碍物401、402等等)和假设移动图形1403固定在屏幕上并显示当前汽车位置1402。
根据本实施例，因为使在开始停车操作之后的视点固定在一个空间，所以司机一看就可以确认一看就可以确认汽车相对于停车空间的周围状况的移动状态。
当驾驶操作开始后根据假设移动图形假设的移动包括较宽的范围或是较复杂并且产生大于图像部分101的摄像机的视野的范围时，还允许通过使用存储在空间数据缓冲器105中的数据来显示范围。
(第十实施例)
然后，下面将参考附图说明本发明的第十实施例。
图29是方框图，示出本发明的第十实施例的驾驶操作辅助器的配置。本实施例的驾驶操作辅助器和第一实施例的驾驶操作辅助器仅不同于假设了两种情况，其中如图30(b)所示，作为存储在假设移动图形存储装置108中的缺省驾驶图形，当将方向盘顺时针转到最大角度时使汽车向后退和反时针时使轮胎旋转，如图30(a)所示，同时通过叠加装置102合成两个限定区轨迹604，替代由两种情况的假设移动造成的轮胎轨迹603，并在显示装置107上显示合成的结果。
因此，在本实施例中，假设未另行说明的元件是同第一实施例的情况相同的元件，除非另行说明，与第一实施例的情况具有相同符号的元件具有第一实施例的情况的元件相同的功能。此外，除非另行说明，假设只要将相同的修改施加于本实施例可以把对于第一实施例所说明的每个修改例子应用于本实施例。
根据本实施例，如图30(b)所示，假设两种最简单的情况，其中当方向盘转到最大顺时针和反时针角度时汽车后退，作为假设移动图形存储图形108的缺省值。因此，当汽车可以根据假设移动图形存储图形108的缺省值停车时，可以获得有利之处，即变得不需要改变和选择多个假设移动存储图形和可以减轻司机的操作负担。
此外，通过由叠架手段102同时合成限定区轨迹(由于上述两种情况的假设移动而产生的限定区轨迹)604和通过在显示装置107上显示合成结果，不必改变和选择左和右两个假设移动存储图形，结果可以得到这种减轻司机操作负担的效果。
此外，如图30(a)所示，叠加装置102合成替代轮胎轨迹603的限定区轨迹60，它是该轨迹在整个汽车可以通过的空间中，并将合成结果显示在显示装置107上，从而可以获得一个有利之处，即司机能容易地和更正确地确认离轮胎之外的突出的一部分汽车(诸如汽车的右前部分)在向左后方转向而停车时是否会接触到障碍物。
(第十一实施例)
然后，下面将参考附图说明本发明的第十一实施例。
图31是方框图，示出本发明的第十一施例的驾驶操作辅助器的配置。本实施例的驾驶操作辅助器主要应用于使车进入车库和平排停车。因此，在本实施例中，假设未另行说明的元件是同第一和第五实施例的情况相同的元件，并且除非另行说明，与第一和第五实施例的情况具有相同符号的元件具有第一和第五实施例的情况的元件相同的功能。此外，除非另行说明，假设只要将相同的修改施加于本实施例可以把对于第一和第五实施例所说明的每个修改例子应用于本实施例。
本实施例的驾驶操作辅助器的配置和第一和第五实施例的驾驶操作辅助器的不同之处在于包括图31所示的障碍物输入装置3101和假设图形校正装置3102，以及假设移动图形存储装置108包括用于当汽车如图32(a)所示地移动时，改变汽车向后和向前移动的移动图形。
假使这样的话，将相应于轮胎旋转的方向盘角度存储在图31中的假设移动图形存储装置108中，作为用于如图32(b)所示的假设移动图形的时序数据。如图32(b)所示，0到0.8的轮胎旋转表示汽车在从倒车改变为向前移动处的倒车。假使这样的话，汽车的位置出现在如图32(a)所示的向后和向前移动改变位置3201处。然后，汽车向前移动到0.8到0.6的轮胎角。当汽车到达如图32(a)所示的向前和向后移动改变位置3202处时，诸如在0.6到1.4的轮胎角，使向前移动再次改变为倒车。
因此，通过包括用于在移动期间改变向后和向前移动的移动图形，有可能控制汽车的位置和方向，即使如图32(a)所示对于障碍物只有较小的空间余量。
在本实施例中，所述过程是直到根据通过图像部分101成像的视频数据产生本发明的周围状况图像为止的过程和第一实施例所说明的过程相同。在到叠加手段102产生合成图像，和显示手段107显示合成图像为止的过程中，通过将图形的开始位置调节到汽车的当前位置，在本发明的合成图像上显示存储在假设移动图像存储手段108中的假设移动图形的过程和第一实施例所示的一致。
将在下面通过用向右边完成把车开入车库的例子来说明一个过程，即在将假设移动图形显示在合成图像上和将校正假设移动图形和时序数据显示在合成图像上之后，直到司机使用轨迹校正装置1801和障碍物输入装置3101，校正假设移动图形和时序数据的过程。
如图33所示，假设一种情况，在该情况中，为了使用目标停车位置1902作为操作终止位置来完成使汽车进入车库的操作，司机将汽车移动到当前位置1901，在该位置处，假设移动图形的操作终止位置与目标停车位置1902相一致，以致汽车不碰到障碍物(a3204、b3205或c3206)，从而发现假设移动图形的限定区604可以和障碍物a、b或c接触。
当假设移动图形存储装置108存储用于另一个向右边的使车进入车库的操作时，允许通过图形选择装置(未示出)选择假设移动图形，并研究是否能顺利地进行停车操作。然而，当装置108不存储假设移动图形或另一个假设移动图形也和障碍物等相接时，司机校正假设移动图形。
首先，司机假设一个图形，该图形表示汽车出现在示于图31中的显示装置107上的合成图像(图33)的当前位置3200处，作为停车操作开始位置1901，假设在图像中的一个区，在该区出现障碍物a、b或c，通过使用在图31中的障碍物输入装置3101作为障碍物指定矩形：如图34所示的a3207，或通过使用障碍物指定圆：b3208，作为障碍物指定区：3201(参考图36)，并通过设置和输入障碍物指定矩形或障碍物指定区。此外，当必须校正目标停车位置时，司机通过数字值输入、指示针或其它装置完成移动输入。
当输入障碍物区时，轨迹校正装置1801在包括如图35所示的障碍物指定区：3210的具有60cm的圆形区中设置一个接触危险区3209。此外，对该区提供示于图36的接触危险估算函数H3210。通过合成三个二次函数来配置该函数，当离障碍物指定区：3210接近10cm或小于10cm时，这些二次函数快速地增加，当离开10cm或更多时，缓慢地减小，对于60cm或更大则变成0。
此外，如图37所示，将估算点3211(xi、yi)：(i＝1-6)设置到示于图37的围绕某区的6个点，并计算示于图32(b)的表中的有关N项(轮胎旋转tm和轮胎角km)：(m＝1-N)的轨迹估算点3212(xi、yi)n：(n＝1-N)。
如图38中的表达式所示，从在轨迹估算点3212的位置处的总接触危险估算函数H3210得到轨迹接触危险估算函数H”3213。
如图37所示，轨迹接触危险估算函数H”3213成为在图32(b)的表中的N项(轮胎旋转tm和轮胎角km)的函数。因此，通过偏微分方法对图(轮胎旋转tm和轮胎角km)连续地校正，有可能得到使轨迹接触危险估算函数H”3212最小的值(轮胎旋转tm和轮胎角km)。
从而，如图39所示，有可能从最先示于图32(b)中的(轮胎旋转tm和轮胎角km)将假设移动图形校正到使轨迹接触危险估算函数H”3212值最小的(轮胎旋转tm和轮胎角km)。
当在障碍物指定区：3210中即使发现10cm或更小的一个点，从使轨迹接触危险估算函数H”3212值最小的(轮胎旋转tm和轮胎角km)中的轨迹估算点3212(xi、yi)n的有关每个点的接触危险估算函数H，向司机发出一个警告C已满”(C areful”)。当在障碍物指定区：3210中即使发现0cm或更小的一个点，向司机发出一个警告不可能停车”。
因为校正假设移动图形是用于使轨迹接触危险估算函数H”3212最小的移动图形，所以假设移动图形产生离图40中所示的障碍物具有较大余量的轨迹，从而可以更安全地停车。
如图41所示，通过将校正假设移动图形3214的操作开始位置调节到当前汽车位置3200，叠加装置102产生合成图像，并且显示装置107显示合成图像。
因此，当司机根据新的校正假设移动图形3214开始汽车的驾驶操作(停车操作)时，根据对障碍物具有较大余量的移动图形，司机可以将车停在目标停车位置1902处。
通过更新原始假设移动图形或在108中另外存储新的假设移动图形，允许将所产生的新的假设移动图形和时序数据存储在假设移动图形存储装置108中而不改变原始假设移动图形。此外，允许临时性地使用它们而不存储它们。此外，允许司机每次选择重新开始的存储、另外的存储或不存储。
此外，通过假设说明上述本实施例，假设可以根据司机输入的移动的开始或终止处的汽车的位置，自动地得到待重新存储或另外存储在假设移动图形存储装置108中的假设移动图形。然而，还允许完成实际的驾驶操作，从而对然后的方向盘的操纵角和轮的转数的时序数据取样，产生根据时序数据的假设移动图形，并存储所述图形。
(第十二实施例)
下面将参考图42到46说明本发明的第十二实施例。
在第十一实施例中，假设根据司机输入的障碍物区来校正图32(a)所示的假设移动图形。然而，还允许校正两个假设移动图形或更多，并选择较佳的一个。图42不同于图31，其中使用移动图形选择轨迹校正装置3301来替代轨迹校正装置3101。
首先，说明第十二实施例的操作。如图43所示，通过假设当前汽车位置作为停车操作开始位置，在显示单元所显示的图像上，司机指定和输入目标停车位置1902。根据目标停车位置1902对出自多个存储在假设移动图形存储装置108中的多个假设移动图形的停车操作开始位置的粗略的位置关系，如图44所示，移动图形选择轨迹校正装置3301录取两个用于向右后方停车的假设移动图形。
此外，如图45和46所示，当司机在显示单元上显示的图像上输入障碍物区时，与第十一实施例情况相似地校正分别使轨迹接触危险估算函数H”3213最小的两个假设移动图形。假使这样的话，通过两个最小的轨迹接触危险估算函数H”3213的相互比较，有可能选择较安全的假设移动图形。此外，当两个轨迹接触危险估算函数H”3213具有相同值时，通过先前提升允许较简单驾驶操作的函数H”3213的优先级，选择较简单的假设移动图形。
因此，当离障碍物的空间余量较小时，如图45所示，自动地选择具有向后移动(cutback)的更安全的移动图形。然而，当离障碍物的空间余量较大时，如图46所示，自动地选择没有向后移动(cutback)的更简单的移动图形。
根据上述配置，司机可以仅通过输入目标停车位置和障碍物区自动地选择最佳假设移动图形，从而通过较安全和较简单的驾驶操作实现最佳停车。
根据本实施例，有可能实现比第一实施例的驾驶操作辅助器更可扩展的驾驶操作辅助器。
通过假设说明上述第一到第十二实施例，假设通过使用多个装在车上的摄像机，本发明的周围状况图像装置主要产生从虚拟摄像机的视点观察的图像。然而，还允许使用一个装置到有屋顶停车场的天花板上的摄像机。简言之，有可能使用任何类型的装置作为本发明的周围状况图像装置，只要通过用摄像机成像汽车的周围状况和/或存储所产生的周围状况图像使该装置产生周围状况图像。
此外，通过假设说明上述第一到第十二实施例，假设分别对各实施例的驾驶操作辅助器提供本发明的假设移动图形存储装置。然而，还允许使用任何类型的装置作为本发明的假设移动图形存储装置，只要每次都能将假设移动图形输入的各装置。简言之，允许使用任何类型的驾驶操作辅助器作为本发明的驾驶操作辅助器，只要驾驶操作辅助器包括：周围状况图像装置，用于以摄像机成像汽车的周围状况，从而产生周围状况图像和/或存储周围状况图像；合成图像产生装置，在完成汽车的预定驾驶操作序列的情况下，用于在周围状况图像上叠加表示汽车移动的视频数据的假设移动图形，并产生合成图像；以及显示装置，用于显示合成图像。从而，因为至少一个周围状况图像和一个假设移动图形彼此叠加并显示在合成屏幕上，司机只要一看就可以确认周围状况图像和假设移动图形之间的关系。
工业应用性
从上述说明可以明了，本发明提供驾驶操作辅助器，根据通过显示汽车移动的预定的驾驶操作序列和周围状况，当司机完成和周围状况一起的预定的驾驶操作序列时，司机可以通过所述驾驶操作辅助器直接地确认汽车移动之间的关系，因而减轻了司机的负担。
即，通过使用本发明的驾驶操作辅助器，看一眼显示图像，司机就可以确认一个位置，用于开始诸如使车进入车库或平排停车之类的驾驶操作；一个地方，用于最后停放汽车；以及一个位置关系，诸如与其它汽车之类的障碍物的位置关系。因此，预期减轻了司机的操作负担和提高了安全性。此外，通过引入自动驾驶技术，有可能自动地完成每个操作，包括当观察移动轨迹数据时，仅由司机将汽车移动到停车操作开始位置而使汽车进入车库。
此外，本发明提供用于存储程序的记录媒体，所述程序使计算机执行本发明的驾驶操作辅助器的各个装置的所有的或某些功能。

Claims (35)

1.一种驾驶操作辅助器，其特征在于包含：
周围状况成像装置(101，103，104，106)，用于使用摄像机对汽车的周围状况成像，并产生周围状况图像和/或存储产生的周围状况图像；
合成图像产生装置(102)，用于通过在所述周围状况图像上叠加一假设移动图形而产生合成图像，所述假设移动图形是在对汽车执行一系列预定的驾驶操作情况下示出汽车的移动的视频数据；和
显示装置(107)，用于显示所述合成图像。
2.如权利要求1所述的驾驶操作辅助器，其特征在于
周围状况成像装置具有一个或多个摄像机，以及摄像机参数表，用于存储摄像机参数，所述摄像机参数是所述摄像机或所述每一个摄像机的特性，并从所述摄像机或所述每一个摄像机输出的所述摄像机参数，产生周围状况图像。
3.如权利要求2所述的驾驶操作辅助器，其特征在于
周围状况成像装置具有空间重新配置装置，用于根据摄像机参数，使构成由摄像机或每一个摄像机输出的图像的每一个象素与三维空间中的一点相关，而产生空间数据；视点转换装置，用于对照空间数据，产生从预定的视点观察看见的图像作为周围状况图像，而合成图像产生装置通过对照所述空间数据产生合成图像。
4.如权利要求3所述的驾驶操作辅助器，其特征在于包含一空间数据缓冲器，用于暂时存储空间数据。
5.如权利要求3或4所述的驾驶操作辅助器，其特征在于
预定的视点是固定到三维空间或汽车的点，并且视点转换装置自动地或通过司机的输入改变预定的视点。
6.如权利要求1到5任一条所述的驾驶操作辅助器，其特征在于
假设移动图形包含视频数据，所述视频数据示出假设移动开始区和假设移动终止区之间的关系，所述假设移动开始区是执行上述预定的一系列驾驶操作时汽车的移动开始时汽车所在区，所述假设移动终止区是移动终止时汽车所在的位置。
7.如权利要求6所述的驾驶操作辅助器，其特征在于
假设移动图形包含示出汽车轮胎的轨迹的视频数据和/或示出汽车的移动区的视频数据。
8.如权利要求6或7所述的驾驶操作辅助器，其特征在于
假设移动图形包含示出设置在汽车移动区的外部边缘上的虚拟极的视频数据。
9.如权利要求6到8的任一条所述的驾驶操作辅助器，其特征在于合成图像产生装置将用作示出汽车所在区的视频数据的当前位置数据叠加在周围状况图像上，以产生合成图像。
10.如权利要求9所述的驾驶操作辅助器，其特征在于
合成图像产生装置将假设移动开始区叠加在和当前数据位置相同的位置上。
11.如权利要求6到10的任一条所述的驾驶操作辅助器，其特征在于
当开始对应于上述预定的一系列驾驶操作的实际驾驶操作时，
此后合成图像产生装置在开始所述实际驾驶操作时，固定假设移动图形和周围状况图像之间的位置关系，并产生合成图像。
12.如权利要求11所述的驾驶操作辅助器，其特征在于
包含位置信息存储装置，它根据当开始实际驾驶操作时合成图像上的周围状况图像的所有或一部分视频数据来存储假设移动图形的所有或一部分视频数据，
合成图像产生装置根据位置信息固定位置关系。
13.如权利要求11所述的驾驶操作辅助器，其特征在于
包含移动位置计算装置，它从开始实际驾驶操作起，根据实际驾驶操作相关的信号计算汽车的移动位置，并且
合成图像产生装置根据所述移动位置固定位置关系。
14.如权利要求6到13的任一条所述的驾驶操作辅助器，其特征在于
包含最后位置输入装置，用于输入最后的位置，所述最后的位置是汽车移动终止时的位置，和
开始位置确定装置，用于得到开始的位置，所述开始的位置是根据假设移动图形对应于输入的最后的位置，在移动开始时的位置；和
合成图像产生装置，它将输入的最后的位置和对应于所述输入的最后的位置的开始的位置叠加在周围状况图像上，以产生合成图像。
15.如权利要求14所述的驾驶操作辅助器，其特征在于
包含开始位置引导装置，它通过自动地控制汽车的驾驶，将汽车引导到开始的位置。
16.如权利要求1到15任一条所述的驾驶操作辅助器，其特征在于
包含假设移动图形存储装置，它保留与上述预定的一系列驾驶操作相关的数据，并保持至少包含假设移动图形的假设移动数据。
17.如权利要求16所述的驾驶操作辅助器，其特征在于
假设移动图形存储装置拥有多个假设移动图形，并且
包含图形选择装置，它通过来自司机的输入或预定的驾驶操作，自动地选择假设移动图形。
18.如权利要求16或17所述的驾驶操作辅助器，其特征在于包含图形校正装置，它能够更新和校正假设移动图形存储装置中拥有的假设移动图形的内容。
19.如权利要求18所述的驾驶操作辅助器，其特征在于图形校正装置根据从司机输入的校正的移动的开始和终止时汽车的位置，更新和校正假设移动图形和/或假设移动数据。
20.如权利要求18所述的驾驶操作辅助器，其特征在于图形校正装置根据实际驾驶操作更新和校正假设移动图形和/或假设移动数据。
21.如权利要求16到20的任一条所述的驾驶操作辅助器，其特征在于假设移动数据包含示出移动距离和汽车的方向盘的转向角度之间的关系的时序数据。
22.如权利要求21所述的驾驶操作辅助器，其特征在于包含驾驶控制装置，它在开始对应于上述预定的一系列驾驶操作的实际驾驶操作时，根据时序数据，自动地控制汽车的驾驶。
23.如权利要求11到13任一条所述的驾驶操作辅助器，其特征在于包含操作开始检测装置，它通过从司机的输入或预定的驾驶操作，自动检测对应于上述预定的一系列驾驶操作的实际驾驶操作的开始。
24.如权利要求5到23任一条所述的驾驶操作辅助器，其特征在于
当视点转换装置改变预定的视点时，视点转换装置在对应于预定的一系列驾驶操作的实际驾驶操作开始之前，将预定的视点固定到汽车，并在对应于预定的一系列驾驶操作的实际驾驶操作开始之后，将预定的视点改变为固定到三维空间中的一点。
25.如权利要求24所述的驾驶操作辅助器，其特征在于固定到三维空间的点是当实际驾驶操作开始时，由假设移动图形显示的汽车的移动终止时的位置上方的点。
26.如权利要求1到5所述的驾驶操作辅助器，其特征在于假设移动图形包含示出当执行预定的一系列驾驶操作时，汽车经过的空间上的限定区的视频数据。
27.如权利要求6所述的驾驶操作辅助器，其特征在于假设移动图形包含示出当汽车的轮胎顺时针或反时针转向角度最大时的轨迹示出的视频数据和/或示出汽车的移动区的视频数据。
28.如权利要求16所述的驾驶操作辅助器，其特征在于假设移动图形存储装置拥有假设移动图形，并设置有合成图像产生装置，用于通过同时将两个或更多的假设移动图形叠加在周围状况图像时产生合成图像，以及显示装置，用于显示合成图像。
29.如权利要求1到5的任一条所述的驾驶操作辅助器，其特征在于假设移动图形在预定的一系列驾驶操作中分别包含从倒车到向前移动以及从向前移动到倒车的变化。
30.如权利要求1到5的任一条所述的驾驶操作辅助器，其特征在于包含障碍物输入装置，它能够将图像中的障碍物区的位置输入到显示装置中，用于显示来自司机的图像。
31.如权利要求17所述的驾驶操作辅助器，其特征在于
图形选择装置根据司机输入的障碍物区位置，选择一个假设移动图形；并且
包含障碍物输入装置，它能够将图像中障碍物区的位置输入到显示装置中，显示来自司机的合成图像。
32.如权利要求18所述的驾驶操作辅助器，其特征在于
图形校正装置根据从司机输入的障碍区的位置，更新和校正假设移动图形和/或假设移动数据，并且
包含障碍物输入装置，它能够将图像中的障碍物的位置输入到显示装置，从司机显示合成图像。
33.一种记录媒体，其特征在于存储使计算机执行如权利要求1到32任一条所述的每一个装置的所有或一些功能的程序。
34.一种驾驶操作辅助器，其特征在于包含：
周围状况成像装置(101，103，104，106)，用于使用摄像机对汽车的周围状况成像，并产生周围状况图像；
合成图像产生装置(102)，用于通过在所述周围状况图像上叠加一假设移动图形而产生合成图像，所述假设移动图形是在对汽车执行一系列预定的驾驶操作情况下示出汽车的移动的视频数据，当前位置数据用作示出汽车所在区的视频数据；和
显示装置(107)，用于显示所述合成图像。
35.一种驾驶操作辅助器，其特征在于包含：
周围状况成像装置(101，103，104，106)，用于使用摄像机对汽车的周围状况成像，并产生周围状况图像；
合成图像产生装置(102)，用于通过在所述周围状况图像上叠加一假设移动图形而产生合成图像，所述假设移动图形是在对汽车执行一系列预定的驾驶操作情况下示出汽车的移动的视频数据，假设移动图形包括示出汽车操作起始位置与汽车操作终止位置之间关系的视频数据，当前位置数据用作示出汽车所在区的视频数据；和
显示装置(107)，用于显示所述合成图像。
CN998017868A 1998-10-08 1999-10-06 驾驶操作辅助器及记录媒体 Expired - Lifetime CN1132750C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP286246/1998 1998-10-08
JP28624698 1998-10-08
JP349107/1998 1998-12-08
JP34910798 1998-12-08

Publications (2)

Publication Number Publication Date
CN1287532A CN1287532A (zh) 2001-03-14
CN1132750C true CN1132750C (zh) 2003-12-31

Family

ID=26556225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN998017868A Expired - Lifetime CN1132750C (zh) 1998-10-08 1999-10-06 驾驶操作辅助器及记录媒体

Country Status (5)

Country Link
US (5) US7277123B1 (zh)
EP (1) EP1038734B1 (zh)
KR (1) KR100568396B1 (zh)
CN (1) CN1132750C (zh)
WO (1) WO2000020257A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7554461B2 (en) 2006-06-05 2009-06-30 Fujitsu Limited Recording medium, parking support apparatus and parking support screen

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7277123B1 (en) * 1998-10-08 2007-10-02 Matsushita Electric Industrial Co., Ltd. Driving-operation assist and recording medium
JP3297040B1 (ja) * 2001-04-24 2002-07-02 松下電器産業株式会社 車載カメラの画像合成表示方法及びその装置
JP3947375B2 (ja) 2001-08-24 2007-07-18 アイシン精機株式会社 駐車補助装置
DE10256770A1 (de) * 2002-12-05 2004-06-17 Bayerische Motoren Werke Ag Verfahren zum Lenken eines rückwärts in eine Parklücke einzuparkenden Fahrzeugs
JP4316960B2 (ja) * 2003-08-22 2009-08-19 株式会社半導体エネルギー研究所 装置
DE102004009924A1 (de) * 2004-02-23 2005-09-01 Valeo Schalter Und Sensoren Gmbh Verfahren und Warnvorrichtung zum grafischen Aufbereiten eines Bildes einer Kamera
US20060178787A1 (en) * 2005-02-09 2006-08-10 Mccall Clark E Rear obstacle avoidance system for vehicle
CN100566406C (zh) 2005-02-15 2009-12-02 松下电器产业株式会社 周边监视装置和周边监视方法
DE102005018408A1 (de) * 2005-04-20 2006-10-26 Valeo Schalter Und Sensoren Gmbh Verfahren und Vorrichtung zur Auswertung von Abstandsmessdaten eines Abstandsmesssystems eines Kraftfahrzeugs
JP4760831B2 (ja) * 2005-08-02 2011-08-31 日産自動車株式会社 車両周囲監視装置及び車両周囲監視方法
FR2891934B1 (fr) * 2005-10-12 2008-01-18 Valeo Electronique Sys Liaison Dispositif de traitement de donnees video pour un vehicule automobile
JP2007176324A (ja) * 2005-12-28 2007-07-12 Aisin Seiki Co Ltd 駐車支援装置
JP4812510B2 (ja) * 2006-05-17 2011-11-09 アルパイン株式会社 車両周辺画像生成装置および撮像装置の測光調整方法
US20090128630A1 (en) * 2006-07-06 2009-05-21 Nissan Motor Co., Ltd. Vehicle image display system and image display method
DE102007009745A1 (de) * 2007-02-28 2008-09-04 Continental Automotive Gmbh Einparkhalbautomat
JP4595976B2 (ja) * 2007-08-28 2010-12-08 株式会社デンソー 映像処理装置及びカメラ
JP5053776B2 (ja) * 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置
KR100871044B1 (ko) * 2007-09-28 2008-11-27 한국오므론전장주식회사 차량 후방안내 시스템의 온스크린 디스플레이 라인 사전생성 방법 및 이를 출력하는 차량 후방이동 궤적 안내방법
JP2009101718A (ja) * 2007-10-19 2009-05-14 Toyota Industries Corp 映像表示装置及び映像表示方法
JP5132249B2 (ja) * 2007-10-23 2013-01-30 アルパイン株式会社 車載用撮像装置
JP5090126B2 (ja) * 2007-10-23 2012-12-05 アルパイン株式会社 車載用撮像装置
JP5057936B2 (ja) * 2007-11-09 2012-10-24 アルパイン株式会社 鳥瞰画像生成装置および方法
JP4900232B2 (ja) 2007-12-26 2012-03-21 日産自動車株式会社 車両用駐車支援装置および映像表示方法
JP4902575B2 (ja) * 2008-02-27 2012-03-21 日立オートモティブシステムズ株式会社 道路標示認識装置、および道路標示認識方法
JP4900326B2 (ja) * 2008-06-10 2012-03-21 日産自動車株式会社 駐車支援装置及び駐車支援方法
DE102008027779A1 (de) * 2008-06-11 2009-12-17 Valeo Schalter Und Sensoren Gmbh Verfahren zur Unterstützung eines Fahrers eines Fahrzeugs beim Einparken in eine Parklücke
EP2230629A3 (en) * 2008-07-16 2012-11-21 Verint Systems Inc. A system and method for capturing, storing, analyzing and displaying data relating to the movements of objects
JP4661917B2 (ja) * 2008-07-25 2011-03-30 日産自動車株式会社 駐車支援装置および駐車支援方法
JP4840427B2 (ja) * 2008-07-29 2011-12-21 日産自動車株式会社 車両制御装置
JP2010128794A (ja) * 2008-11-27 2010-06-10 Aisin Seiki Co Ltd 車両周辺認知支援装置
DE102009024083A1 (de) * 2009-06-05 2010-12-09 Valeo Schalter Und Sensoren Gmbh Verfahren zum Durchführen eines zumindest semi-autonomen Parkvorgangs eines Fahrzeugs und Parkassistenzsystem für ein Fahrzeug
US8174375B2 (en) 2009-06-30 2012-05-08 The Hong Kong Polytechnic University Detection system for assisting a driver when driving a vehicle using a plurality of image capturing devices
CN102055956B (zh) 2009-11-02 2017-05-10 通用汽车环球科技运作公司 车载三维视频系统及用其监测车辆周围环境的方法
US9204108B2 (en) * 2009-12-07 2015-12-01 Clarion Co., Ltd. Vehicle periphery monitoring system
JP5418673B2 (ja) * 2010-06-09 2014-02-19 日産自動車株式会社 駐車モード選択装置及び方法
DE102010023162A1 (de) * 2010-06-09 2011-12-15 Valeo Schalter Und Sensoren Gmbh Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Einparken in eine Parklücke, Fahrerassistenzeinrichtung und Kraftfahrzeug
EP2583868B1 (en) * 2010-06-15 2018-06-20 Aisin Seiki Kabushiki Kaisha Drive assist device
JP5444139B2 (ja) * 2010-06-29 2014-03-19 クラリオン株式会社 画像のキャリブレーション方法および装置
DE102010034127A1 (de) 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung in einem Kraftfahrzeug, Fahrerassistenzsystem und Kraftfahrzeug
DE102010034142A1 (de) 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Unterstützen eines Fahrers beim Führen eines Kraftfahrzeugs und Fahrerassistenzsystem
DE102010034139A1 (de) * 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zur Unterstützung eines Parkvorgangs eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
JP5454934B2 (ja) * 2010-09-21 2014-03-26 アイシン精機株式会社 運転支援装置
DE102010048185B4 (de) * 2010-10-13 2021-10-28 Wirtgen Gmbh Selbstfahrende Baumaschine
CN102463989A (zh) * 2010-11-18 2012-05-23 江彦宏 视频雷达辅助驾驶系统
US20120249342A1 (en) * 2011-03-31 2012-10-04 Koehrsen Craig L Machine display system
TWI421624B (zh) * 2011-04-01 2014-01-01 Ind Tech Res Inst 環場監控裝置及其方法
JP2012253543A (ja) * 2011-06-02 2012-12-20 Seiko Epson Corp 表示装置、表示装置の制御方法、及び、プログラム
DE102011080930A1 (de) * 2011-08-12 2013-02-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Unterstützung eines Fahrers eines Kraftfahrzeugs bei einem Fahrmanöver
KR20130021988A (ko) * 2011-08-24 2013-03-06 현대모비스 주식회사 차량용 카메라를 통해 획득한 영상의 오버레이 처리 장치 및 그 방법
EP2581268B2 (en) * 2011-10-13 2019-09-11 Harman Becker Automotive Systems GmbH Method of controlling an optical output device for displaying a vehicle surround view and vehicle surround view system
EP2792553A4 (en) * 2011-12-15 2015-09-09 Panasonic Ip Man Co Ltd DRIVING ASSISTANCE DEVICE
JP5941292B2 (ja) * 2012-02-10 2016-06-29 矢崎総業株式会社 車両用表示装置
JP5888087B2 (ja) * 2012-04-25 2016-03-16 ソニー株式会社 走行支援画像生成装置、走行支援画像生成方法、車載用カメラおよび機器操縦支援画像生成装置
DE102012008858A1 (de) * 2012-04-28 2012-11-08 Daimler Ag Verfahren zum autonomen Parken eines Kraftfahrzeugs, Fahrerassistenzvorrichtung zur Durchführung des Verfahrens, sowie Kraftfahrzeug mit der Fahrerassistenzvorrichtung
JP5814187B2 (ja) * 2012-06-07 2015-11-17 日立建機株式会社 自走式産業機械の表示装置
US20140057237A1 (en) * 2012-08-27 2014-02-27 Stephen Chen Method for parking a vehicle by using a parking assistant system
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9167214B2 (en) * 2013-01-18 2015-10-20 Caterpillar Inc. Image processing system using unified images
DE112013007418B4 (de) * 2013-09-09 2017-10-12 Mitsubishi Electric Corporation Fahrunterstützungssystem und Fahrunterstützungsverfahren
TWI552907B (zh) * 2013-10-30 2016-10-11 緯創資通股份有限公司 行車安全輔助系統和方法
US20160110650A1 (en) * 2013-11-29 2016-04-21 Ims Solutions, Inc. Advanced context-based driver scoring
US20150156391A1 (en) * 2013-12-04 2015-06-04 Chung-Shan Institute Of Science And Technology, Armaments Bureau, M.N.D Vehicle image correction system and method thereof
US9598012B2 (en) * 2014-03-11 2017-03-21 Toyota Motor Engineering & Manufacturing North America, Inc. Surroundings monitoring system for a vehicle
JP6274936B2 (ja) * 2014-03-25 2018-02-07 ダイハツ工業株式会社 運転支援装置
US9592826B2 (en) * 2015-02-13 2017-03-14 Ford Global Technologies, Llc System and method for parallel parking a vehicle
KR101860610B1 (ko) * 2015-08-20 2018-07-02 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
CN105824592A (zh) * 2016-03-07 2016-08-03 乐卡汽车智能科技（北京）有限公司 倒车轨迹的显示方法及装置
JP6723820B2 (ja) * 2016-05-18 2020-07-15 株式会社デンソーテン 画像生成装置、画像表示システムおよび画像表示方法
CN105799596A (zh) * 2016-05-20 2016-07-27 广州市晶华精密光学股份有限公司 一种汽车智能后视系统及图像显示方法
CN105933680A (zh) * 2016-07-07 2016-09-07 广州勘帝德电子科技有限公司 无can_bus智能车辆动态轨迹线后视影像系统
CN107776489B (zh) * 2016-08-26 2020-07-10 比亚迪股份有限公司 车辆及其全景影像的显示方法和显示系统
KR101949438B1 (ko) * 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
US10162360B2 (en) * 2016-12-01 2018-12-25 GM Global Technology Operations LLC Vehicle environment imaging systems and methods
DE102017218921A1 (de) 2017-10-24 2019-04-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zum Betreiben einer Displayeinheit eines Fahrzeugs
JP6984373B2 (ja) * 2017-12-07 2021-12-17 トヨタ自動車株式会社 駐車支援装置
CN108332716A (zh) * 2018-02-07 2018-07-27 徐州艾特卡电子科技有限公司 一种自动驾驶汽车环境感知系统
CN110211256A (zh) * 2018-02-28 2019-09-06 上海博泰悦臻电子设备制造有限公司 车辆及其车辆行驶实况复显装置和车辆行驶实况复显方法
DE102018208513A1 (de) * 2018-05-29 2019-12-05 Continental Automotive Gmbh Kamera-Monitor-System für ein Kraftfahrzeug und Verwendung eines Spiegelersatzsystems für ein Kraftfahrzeug
US10497232B1 (en) * 2019-03-01 2019-12-03 Motorola Solutions, Inc. System and method for dynamic vehicular threat detection perimeter modification for an exited vehicular occupant
CN113496626B (zh) * 2020-03-19 2023-06-02 广州汽车集团股份有限公司 一种车辆碰撞预警方法、装置及汽车

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5257867A (en) 1975-11-06 1977-05-12 Nippon Soken Inspecting and indicating device
US4214266A (en) * 1978-06-19 1980-07-22 Myers Charles H Rear viewing system for vehicles
FR2542540B1 (fr) * 1983-03-08 1989-02-10 Canon Kk Systeme de traitement d'images
JPS61113532A (ja) 1985-09-05 1986-05-31 Nippon Denso Co Ltd メンテナンス表示装置
JPS62155140A (ja) 1985-12-27 1987-07-10 Aisin Warner Ltd 車両制御用道路画像入力方式
JPS6414700A (en) 1987-07-08 1989-01-18 Aisin Aw Co Device for displaying prospective track of vehicle
JPH0441117Y2 (zh) 1987-07-18 1992-09-28
US4931930A (en) * 1988-04-19 1990-06-05 Industrial Technology Research Institute Automatic parking device for automobile
US5172315A (en) * 1988-08-10 1992-12-15 Honda Giken Kogyo Kabushiki Kaisha Automatic travelling apparatus and method
JP2792566B2 (ja) 1989-05-24 1998-09-03 マツダ株式会社 移動車の走行制御装置
JPH0399952A (ja) 1989-09-12 1991-04-25 Nissan Motor Co Ltd 車両用周囲状況モニタ
JPH03166534A (ja) 1989-11-25 1991-07-18 Seikosha Co Ltd カメラ用測距装置
JPH05265547A (ja) 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
EP0567059B1 (en) * 1992-04-24 1998-12-02 Hitachi, Ltd. Object recognition system using image processing
JPH05310078A (ja) 1992-05-07 1993-11-22 Clarion Co Ltd 車両安全確認装置及びその装置に使用するカメラ
JP3391405B2 (ja) 1992-05-29 2003-03-31 株式会社エフ・エフ・シー カメラ映像内の物体同定方法
DE69333543T2 (de) * 1992-09-30 2005-06-02 Hitachi, Ltd. Unterstützungssystem für den Fahrer eines Fahrzeugs und damit ausgerüstetes Fahrzeug
JP2943552B2 (ja) * 1993-02-12 1999-08-30 トヨタ自動車株式会社 駐車補助装置
US5670935A (en) 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
JP3468428B2 (ja) 1993-03-24 2003-11-17 富士重工業株式会社 車輌用距離検出装置
JP2887039B2 (ja) 1993-03-26 1999-04-26 三菱電機株式会社 車両周辺監視装置
US5638116A (en) 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
JP3431962B2 (ja) 1993-09-17 2003-07-28 本田技研工業株式会社 走行区分線認識装置を備えた自動走行車両
DE4333112A1 (de) 1993-09-29 1995-03-30 Bosch Gmbh Robert Verfahren und Vorrichtung zum Ausparken eines Fahrzeugs
US5883739A (en) * 1993-10-04 1999-03-16 Honda Giken Kogyo Kabushiki Kaisha Information display device for vehicle
JP3381351B2 (ja) 1993-12-24 2003-02-24 日産自動車株式会社 車両用周囲状況表示装置
JP3522317B2 (ja) 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
JP3205477B2 (ja) 1994-02-17 2001-09-04 富士フイルムマイクロデバイス株式会社 車間距離検出装置
JP2919284B2 (ja) 1994-02-23 1999-07-12 松下電工株式会社 物体認識方法
JPH07311857A (ja) * 1994-05-16 1995-11-28 Fujitsu Ltd 画像合成表示装置およびシミュレーションシステム
JP3475507B2 (ja) 1994-08-08 2003-12-08 日産自動車株式会社 車両用周囲モニタ装置
JPH0896118A (ja) 1994-09-28 1996-04-12 Nissan Motor Co Ltd 車両用周囲状況表示装置
JP3478432B2 (ja) 1995-03-02 2003-12-15 矢崎総業株式会社 車両周辺監視装置
JP3503840B2 (ja) 1995-04-06 2004-03-08 矢崎総業株式会社 車両周辺監視装置
JPH09305796A (ja) 1996-05-16 1997-11-28 Canon Inc 画像情報処理装置
JP3328478B2 (ja) 1995-10-18 2002-09-24 日本電信電話株式会社 カメラシステム
JP3293441B2 (ja) 1996-01-09 2002-06-17 トヨタ自動車株式会社 撮像装置
US6192145B1 (en) * 1996-02-12 2001-02-20 Sarnoff Corporation Method and apparatus for three-dimensional scene processing using parallax geometry of pairs of points
DE19611718A1 (de) * 1996-03-25 1997-10-02 Trw Repa Gmbh Verfahren zur Steuerung der Aktivierung eines Fahrzeuginsassen-Rückhaltesystems, Steuersystem und Fahrzeuginsassen-Rückhaltesystem
JP3866328B2 (ja) 1996-06-06 2007-01-10 富士重工業株式会社 車両周辺立体物認識装置
JP3600378B2 (ja) 1996-07-24 2004-12-15 本田技研工業株式会社 車両の外界認識装置
JP3625622B2 (ja) 1996-08-30 2005-03-02 三洋電機株式会社 立体モデル作成装置、立体モデル作成方法および立体モデル作成プログラムを記録した媒体
JP3147002B2 (ja) 1996-09-26 2001-03-19 富士電機株式会社 距離検出値の補正方法
US5994701A (en) 1996-10-15 1999-11-30 Nippon Avonics Co., Ltd. Infrared sensor device with temperature correction function
JPH10164566A (ja) 1996-11-28 1998-06-19 Aiphone Co Ltd マルチ天井カメラ装置
US6119068A (en) * 1996-12-27 2000-09-12 Kannonji; Michihiro Rear-end collision alarming device and method linked to speed control device of a vehicle
JPH10244891A (ja) 1997-03-07 1998-09-14 Nissan Motor Co Ltd 駐車補助装置
JPH10257482A (ja) * 1997-03-13 1998-09-25 Nissan Motor Co Ltd 車両周辺状況表示装置
JP3284917B2 (ja) * 1997-03-17 2002-05-27 三菱自動車工業株式会社 車両用周辺視認装置
JPH10264841A (ja) 1997-03-25 1998-10-06 Nissan Motor Co Ltd 駐車誘導装置
JP3571893B2 (ja) * 1997-12-03 2004-09-29 キヤノン株式会社 画像記録装置及び画像記録方法、画像データベース生成装置及び画像データベース生成方法
JP3511892B2 (ja) * 1998-05-25 2004-03-29 日産自動車株式会社 車両用周囲モニタ装置
US7277123B1 (en) * 1998-10-08 2007-10-02 Matsushita Electric Industrial Co., Ltd. Driving-operation assist and recording medium
US6396535B1 (en) * 1999-02-16 2002-05-28 Mitsubishi Electric Research Laboratories, Inc. Situation awareness system
CA2369648A1 (en) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Limited Image processing device and monitoring system
JP3966673B2 (ja) * 1999-10-26 2007-08-29 本田技研工業株式会社 物体検知装置および車両の走行安全装置
GB2364192A (en) * 2000-06-26 2002-01-16 Inview Systems Ltd Creation of a panoramic rear-view image for display in a vehicle
JP4760831B2 (ja) * 2005-08-02 2011-08-31 日産自動車株式会社 車両周囲監視装置及び車両周囲監視方法
JP4812510B2 (ja) * 2006-05-17 2011-11-09 アルパイン株式会社 車両周辺画像生成装置および撮像装置の測光調整方法
JP5053776B2 (ja) * 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置
JP5090126B2 (ja) * 2007-10-23 2012-12-05 アルパイン株式会社 車載用撮像装置
JP5132249B2 (ja) * 2007-10-23 2013-01-30 アルパイン株式会社 車載用撮像装置
JP4900326B2 (ja) * 2008-06-10 2012-03-21 日産自動車株式会社 駐車支援装置及び駐車支援方法
JP4840427B2 (ja) * 2008-07-29 2011-12-21 日産自動車株式会社 車両制御装置
US8174375B2 (en) * 2009-06-30 2012-05-08 The Hong Kong Polytechnic University Detection system for assisting a driver when driving a vehicle using a plurality of image capturing devices

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7554461B2 (en) 2006-06-05 2009-06-30 Fujitsu Limited Recording medium, parking support apparatus and parking support screen
CN101085608B (zh) * 2006-06-05 2011-05-04 富士通株式会社 停车辅助装置和停车辅助画面

Also Published As

Publication number Publication date
US20080033606A1 (en) 2008-02-07
WO2000020257A1 (fr) 2000-04-13
CN1287532A (zh) 2001-03-14
US9272731B2 (en) 2016-03-01
US20130231863A1 (en) 2013-09-05
US20070299572A1 (en) 2007-12-27
EP1038734B1 (en) 2019-05-15
EP1038734A1 (en) 2000-09-27
KR100568396B1 (ko) 2006-04-05
US8111287B2 (en) 2012-02-07
EP1038734A4 (en) 2005-10-12
US7277123B1 (en) 2007-10-02
US20070299584A1 (en) 2007-12-27
KR20010032902A (ko) 2001-04-25
US8077202B2 (en) 2011-12-13

Similar Documents

Publication Publication Date Title
CN1132750C (zh) 驾驶操作辅助器及记录媒体
CN1344470A (zh) 图象处理装置及监视系统
CN1323865C (zh) 停车辅助装置
CN1659418A (zh) 摄像机校正装置
CN1210543C (zh) 传感器校准装置及方法、程序、信息处理方法及装置
CN1306452C (zh) 监视装置和监视方法
CN1102316C (zh) 图像处理装置
CN1296680C (zh) 测量装置和方法
CN1212724C (zh) 图像合成装置和方法
CN1707346A (zh) 防震装置
CN1220161C (zh) 图像取入装置和方法
CN1629930A (zh) 机动车信息显示系统
CN101064777A (zh) 命令系统及设备、成像设备及方法、命令处理方法及程序
CN1173295C (zh) 运动方向测量设备和跟踪设备
CN1412047A (zh) 车辆周围监视装置及其调整方法
CN1738441A (zh) 使用屏幕的一部分的边的梯形失真校正
CN1607452A (zh) 用于监控车辆周围的摄像单元和装置
CN1943236A (zh) 周边监视装置和周边监视方法
CN1829321A (zh) 信息处理的方法和装置
CN1931410A (zh) 信息处理程序
CN1922652A (zh) 信息显示方法以及信息显示装置
CN1577051A (zh) 图像处理系统、投影机以及图像处理方法
CN1707347A (zh) 防震装置
CN1691744A (zh) 图像处理系统、投影机及图像处理方法
CN1892293A (zh) 带相机抖动校正功能的照相机系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20140718

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140718

Address after: California, USA

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Japan's Osaka kamato City

Patentee before: Matsushita Electric Industrial Co.,Ltd.

CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20031231