CN1391676A - 视频流中运动对象的标记 - Google Patents

视频流中运动对象的标记 Download PDF

Info

Publication number
CN1391676A
CN1391676A CN00812075A CN00812075A CN1391676A CN 1391676 A CN1391676 A CN 1391676A CN 00812075 A CN00812075 A CN 00812075A CN 00812075 A CN00812075 A CN 00812075A CN 1391676 A CN1391676 A CN 1391676A
Authority
CN
China
Prior art keywords
frame
active region
video
frames
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN00812075A
Other languages
English (en)
Inventor
亚科夫·卡门
利昂·舍曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ISURF TV
Original Assignee
ISURF TV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/390,047 external-priority patent/US6570586B1/en
Application filed by ISURF TV filed Critical ISURF TV
Publication of CN1391676A publication Critical patent/CN1391676A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8583—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by creating hot-spots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/748—Hypervideo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/93—Document management systems
    • G06F16/94—Hypermedia
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9558—Details of hyperlinks; Management of linked annotations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/165—Centralised control of user terminal ; Registering at central

Abstract

一种标识视频图象以含有交互式链接的方法，包括下列步骤：在视频图象的帧的一个子组中，人工建立激活区(114)，和利用内插法为其余帧建立激活区。所述激活区是在屏幕(514)上的、观众可以把光标放在上面并进行点击、从而激活链接的区域。这个链接可以是到URL、或一些其它类型链接的链接。内插法可以是线性内插法或样条内插技术。视频图象可以与对应于视频帧的一些帧、但不是视频帧的其它帧的标识一起传送到显示系统。接收系统可以通过内插法，为所述帧的其它帧确定激活区。

Description

视频流中运动对象的标记
发明领域
本发明涉及视频流中对象的标记。
背景技术
在现有技术中，众所周知，用交互式链接标识或“标记”视频流中的对象。例如，假设我们正在观看汽车比赛的视频节目，并且在跑道上行驶着许多赛车。并且还假设用交互式链接标记这些汽车。这意味着，我们可以把光标放在这些汽车之一的图象上并在该图象上点击。这将使系统控制视频屏幕以显示与那个图象相链接的信息。这种链接可以是URL(统一资源定位器)的形式，并且系统将会显示描绘与已经受点击的汽车或驾驶员有关的信息的网页。
当我们“标记”一个对象时，他就把那个对象周围(或那个对象附近)的视频屏幕区建成“激活区”。如果观众随后点击这个激活区，那么将调用一个链接。回来参照上例，如果赛车之一被标记，那么，那个赛车的图象的周围或附近将是激活区。如果观众把光标移动到那个“激活区”，并在那个激活区上点击一下，那么将会调用上述链接。
在赛车的视频中，汽车不断地运动着，并且它在视频屏幕上的位置也在不断地发生变化。这样，与汽车相对应的激活区也必然不断地变化，以“跟上”汽车。因此，必须用与那辆汽车相适应的激活区标记视频的每一帧。这往往通过图象识别来完成。换句话来说，在编辑处理期间，视频编辑设备识别汽车是否已经从视频屏幕的右侧移动到视频屏幕的左侧。如果这种情况已经发生了，该编辑设备将为汽车在屏幕左侧的那些视频帧建立在屏幕左侧的那辆汽车的新激活区。不幸的是，这种图象识别存在着几个问题。例如，图象识别系统通常利用对象的颜色来示踪它的位置。如果对象移动到照明发生变化的区域，例如，由于阴影投射到对象上，那就会妨碍精确的图象识别。另外，图象识别还存在着能够把误差引入到标记对象的处理中的其它问题。
图象识别在现有技术中是众所周知的，J.P.Lewis在“快速归一化交叉相关”(“Fast Normalized Cross-Correlation”，http：//www.idiom.com/～zilla/Papers/nvisionInterface/nip.htm)中；颁发给Walch等人的美国专利5,267,332；颁发给Netravali等人的美国专利4,611,347；颁发给Watson，III的美国专利4,868,871；R.O.Duda等人在由John Wiley和Sons于1973年出版的“模式分类和场景分析”(“Pattern Classfication and Scene Analysis”)中；和R.C.Gonzalez等人在由Addison-Wesley于1992出版的“数字图象处理”(“DigitalImage Processing”)第3版中对图象识别作了讨论。把Lewis、Walch、Netravali、Watson、Duda和Gonzalez等人的著作或专利列在这里，以供参考。
我们可以不利用图象识别设备，而是人工地标记视频的每一帧。但是，标记视频的每一帧是非常乏味和耗时的。需要的是能降低所需的人机交互量的、对运动对象进行标记的新方法。
概述
根据本发明的方法包括用链接标识视频片段的步骤。(视频片段可以是动画，和正如在这里所使用的，“视频”包括动画)。这种链接可以是与网页或与其它信息源的链接，或与应用软件的链接。在一个实施例中，例如，利用视频编辑设备标识视频片段内的第一组帧。在这个标识步骤中，每个标识帧的一部分被指定为“激活区”。这意味着，如果我们把光标移动到激活区，并在激活区内点击，那么将执行与激活区相关联的链接。
激活区通常与一个对象的图象，例如，沿着跑道竞赛的汽车、场景中的演员、显示在商业广告节目中的产品、卡通角色、或一些其它人物或物体的图象相关联。这样，在对帧进行标识时，标识视频片段的人员将建立与那个对象相关联的激活区的位置。(激活区通常是所考虑的对象周围的长方形或圆形区域。)
按照这种方式标识视频片段中的每一帧是极为繁重的。因此，按照本发明，只标识帧的一个子组(例如，每隔9帧)。在其它帧中的激活区的位置通过内插方法建立。位置可以通过线性内插技术建立。或者，位置可以通过诸如样条内插技术的生成曲线的内插技术建立。
在按照本发明的方法的另一个实施例中，人工标识帧的一个子组，例如，像帧序列的第一帧和最后一帧这样的两帧。接着，视频编辑系统根据内插算法，计算在序列中的这些人工标识帧之间的每一帧的激活区的位置。然后，系统为每一帧确定激活区的内插位置与相关于激活区的对象的位置之间的差异。这个计算是基于图象识别的。图象识别可以通过图象识别软件来实现。或者，图象识别可以通过硬件和软件的组合体来实现(图象识别也可以通过硬件来实现。硬件和软件之间的分配可以用不同方式进行)。此后，系统高亮显示已经由系统确定其呈现最大误差的那些帧。即，系统高亮显示激活区与相关于该激活区的对象之间的距离最大的那些帧。本领域的普通技术人员可以根据所选区域和对象内各点之间的最大、最小或平均距离，定义激活区和对象之间的距离。
在一个实施例中，系统用最大误差来标志(flag)帧。在另一个实施例中，系统用n个最大误差来标志n个帧，此处n是整数。在另一个实施例中，系统标志误差在某一阈值以上的所有帧。
此后，标识视频片段的那个人可以观察受标志的帧，并决定他或她是否需要去人工标识那些帧。标识视频片段的那个人还拥有重新计算内插值的选项。在重新计算内插值之后，用户可以看一下可能需要人工标识的其它帧是否都得到标志。
标志可以通过在显示器上高亮显示标志帧来实现，也可以通过提供一些其它形式的输出指示符来实现。
根据本发明的另一个方面，把视频信号发送到一个或多个视频观看系统，以便一个或多个观众可以观看视频信号。视频信号可以向许多观众广播。相关于视频信号的一些帧、但不是视频信号的其它帧的视频信号的一个或多个激活区的位置也被传送到一个或多个视频观看系统。一个或多个视频观看系统通过内插法确定一个或多个其它帧的激活区的位置。这样，无需把与每一帧的激活区位置有关的数据提供给视频观看系统，而只为所选帧提供这样的数据，并且视频观看系统通过利用例如线性内插技术或样条内插技术等内插法，计算其它帧的激活区应该在什么地方。由于视频信号源不需要为信号的每一帧提供激活区信息，因此降低了传送这个信息的带宽要求。
在一个实施例中，不仅激活区的位置以这种方式传送，而且激活区的尺寸也以这种方式传送的。
根据本发明的另一个方面，包括一组帧的视频信号与一些帧、但不是其它帧的激活区的位置一起被传送。激活区对应于在那些帧中所描绘的对象。该对象可以是产品、人物、卡通角色、或可以在视频中描绘的其它任何东西。如上所述，尽管在其它帧中也描绘了对象，但并不传送其它帧的激活区。接收系统根据所述一些帧的激活区的位置，通过内插法计算激活区的位置。这样，降低了用于传送激活区位置的带宽要求。
附图简述
图1显示了用于根据本发明标识视频片段的视频编辑器/播放器的显示屏；
图2显示了对象在视频屏幕上沿y方向的位置与视频片段中帧序列的帧号之间的关系；
图3是显示根据本发明第一实施例的方法的流程图；
图4显示了用于根据本发明标记视频片段的视频编辑器/播放器的数据结构；
图5是根据本发明另一个实施例的信号发送系统以及接收和显示系统的方框图；以及
图6显示了对象沿y轴的位置与视频片段的帧号之间的关系。
详细描述
图1显示了描绘标记编辑器的典型图形用户界面(“GUI”)的显示屏100。这样的界面可以用在根据本发明的方法中。屏幕100在编辑区中显示了一列所谓关键帧100a至101p。正如在现有技术中所知的，视频图象包括一列帧。对于数字视频，每一帧对应于一个像素阵列。每个像素是与帧的一个小区的颜色、亮度和饱和度相对应的数据值。在某些视频压缩或加密方案中，不是存储每一帧的每个像素阵列，而只存储某些“关键帧”的整个像素阵列。对其它帧，仅存储代表那些其它帧中的图象与前面关键帧中的图象之间的差异的数据。使用这种方案的压缩技术的例子是MPEG-2(运动图象专家组标准2)。
对于未经压缩或加密的线性数字化模拟视频的情况，可以每隔n-1个帧(例如，每隔9个帧)选择一帧作为关键帧(与场景变化相对应的帧)。如上所述，屏幕100描绘了一列关键帧101a至101p。
在屏幕100上没有描绘出箭头104a至104d。把箭头箭头104a至104d包括在图1中仅仅是为了用符号表示帧的时间顺序。
屏幕100包括描绘关键帧101a至101p之一的区域106。与在屏幕上其它地方描绘的关键帧101a至101p相比，区域106中的图象被放大了，并且，它还代表当前正在编辑的帧。在图1的例子中，正在编辑关键帧101g。这通过在帧101g中呈现的图标或标记101g′来表示。
通常，屏幕100还描绘诸如快进、快退、新文件等功能的导航栏和工具栏。驱动显示器100的系统包括用于支持导航栏和工具栏的软件驱动程序。为了简洁起见，在图1未示出这些导航栏和工具栏。
在屏幕100上显示的还有使用户能够选择相关于观众能够点击的对象的激活区的形状的菜单框100。方框100使编辑者能够在可用于激活区的许多不同形状中只选择在图1中描绘的一些形状。如上所述，激活区是在屏幕上显示的感兴趣的对象(例如，汽车或人物)的位置。通过在与那个对象或人物相关联的激活区内点击，我们就可以有效地点击在那个对象或人物上。
(当观众最后观看视频片段时，可以显示、也可以不显示激活区。例如，显示视频的系统可以高亮显示激活区。或者，显示视频的其它系统也可以不高亮显示激活区。在另一些系统中，观众可以拥有决定是否高亮显示激活区的选项。)
回来参照图1，方框110是让编辑者把链接引入图象的菜单框，它通常是URL。但是，可以提供其它类型的链接，包括启用所需应用软件的专门链接。
如图1所示，区域106描绘了一个人112，他的头部113已经用正方形114标记上，并且链接到链接L1(正方形形状是从菜单框108中选择出来的，并且链接L1是从菜单框110中选择出来的)。正方形114代表激活区。在播放视频中场景时，对象(例如，人物的头部)通常以有限、非跳动的方式移动(在电影、电视节目或其它视频的拍摄过程中的良好镜头控制，通常涉及到使屏幕上感兴趣对象的任何跳动达到最小的问题。此外，当观众观看经标识的视频时，即使密切注视着以跳动方式移动的小对象，也难以盯住目标)。
正方形114代表当观众想要访问与人物112相链接的信息时、他将点击的视频屏幕的激活区。例如，如果视频是肥皂剧，并且观众想要获取有关由人物112扮演的角色的更多信息，那么，他将点击在人物112上，具体地说，他将把光标定位在正方形114所代表的那个激活区内。
在视频播放时，人物112通常相对于布景移动。于是，有必要让激活区114相对于屏幕移动。这是必要的，因为如果人物112从视频屏幕的左侧行走到视频屏幕的右侧，并且观众想要弄清楚有关人物112的更多情况，那么，他就要点击在人物112的当前位置上。
从原理上，我们能够标识视频的每一帧，以确定应该把激活区114定位在什么地方，但是，这样做将是非常单调乏味的费时工作。于是，需要简化这种工作。根据本发明，通过把激活区114定位在适当的位置上来标识一些帧(这可以人工地或通过其它技术来完成)。其它帧则通过如下所述的内插方法来标识。
图2显示了对于从起始帧A到结束帧D的一系列帧的每帧视频中头部113沿着y方向的位置。点203代表在场景的开始处头部113的起始位置，和点204代表在场景的结尾处头部113的结束位置。线206随着场景演化而示踪头部113在点203和204之间的位置(例如，在视频播放时，随着人物112相对于布景的移动，头部113改变着它的位置)。
直线208示出了通过在两个位置203和204之间连成一条直线得出的直接线性内插。即，不是人工地标识每一帧、而是通过在位置203和204之间进行线性内插，自动地把激活区114的位置插入到每一帧中。可以看出，这决不是标识帧的最精确方式。我们可以通过人工地标识更多的帧、并在已经进行了人工标识的帧与帧之间进行线性内插，来改善线性内插的精度。
图2还显示了中间点216和218，它们分别表示帧B和C中头部113的位置。在一个实施例中，对于一组帧，例如，帧A、B、C和D，人工地(例如，可视地)插入激活区114的位置。激活区114的位置通过在已经人工地标识了激活区114的位置的点与点之间进行线性内插来建立。因此，在图2中，直线224、226和228是分别在点203和216之间、点216和218之间以及点218和204之间进行线性内插的结果。
内插法的更精确方式是使用可以生成代表对象从一帧到另一帧的位置的曲线的内插技术。这样的技术的例子有样条内插法。当执行样条内插时，我们通常只需要端点和一二个中间点，并且样条内插技术将精确地计算出对象的轨迹。样条技术将使运动平滑化并消除经过图象识别常看到的那种跳动。
应该明白，我们不仅必须沿着y方向建立对象的位置，而且必须沿着x方向建立对象的位置。因此，在使用根据本发明的方法的过程中，将通过内插法在y和x方向上建立激活区的位置。另外，在视频场景的演化过程中，能够放大或缩小与激活区相关联的对象，例如，因为它离摄像机更近了或离摄像机更远了。于是，在一个实施例中，在一个场景期间中，还要为几个帧人工标识激活区114的尺寸，并在此后，使用与用于对象位置相同的方式，内插激活区的尺寸。
图3是显示根据本发明第一实施例的方法的方框图。参照图3，该方法开始于把一块视频帧装载到存储器中(步骤301)。存储器可以是磁性存储器(例如，磁盘、磁带或磁光盘)。存储器也可以是光盘或半导体存储器，诸如DRAM(动态随机读写存储器)、SRAM(静态随机读写存储器)、EPROM(可擦除可编程只读存储器)或其它类型的存储器。视频信息可以是模拟形式，也可以是数字形式。
此后，我们人工地标识那些帧的一个子组(步骤302)。在这个人工标识步骤中，通常在屏幕100的部分101a至101p上显示一组帧，并且每次可以选择那些帧之一进行标识。所选帧显示在屏幕100的部分106上。在正在标识的那些帧内建立激活区的位置、尺寸和形状，并且建立与那个激活区相关联的链接。人工标识可以利用鼠标、触板、操纵杆、跟踪球、光标控制键之类的输入设备或视频编辑系统的其它输入设备进行。在这个步骤中，例如，按如下所述，把标识信息存储在存储器中。
对于不人工标识的帧，通过内插法进行标识(步骤303)。这可以通过如下任何步骤来执行：
a)线性内插激活区的位置、和线性内插激活区的尺寸；
b)线性内插激活区的位置、和激活区尺寸不变；
c)样条内插激活区的位置、和样条内插激活区的尺寸；或
d)样条内插激活区的位置、和激活区尺寸不变。
可以用其它内插技术代替线性或样条内插法。举例来说，内插可以是：
a)在视频片段中的起始帧和结束帧之间；或
b)从每个人工标识帧到下一人工标识帧的内插(通常，片段的起始帧和结束帧都在人工标识的那些帧之内)。
参照方块304，内插可能对激活区的位置造成误差。即，在对象的位置和与那个对象相关联的激活区的位置之间将存在着差异。在内插之后，标识视频片段的人员可以观看屏幕100的部分101a至101p上各个帧的激活区的位置。如果这些帧之一显示出在对象113和激活区114的位置之间存在巨大差异，那么，标识视频片段的人员可以人工标识那个帧，并让编码系统重新计算(例如，通过内插法)所有还没有经过人工标识的那些帧的激活区位置。
在建立了激活区114的位置之后，标识视频片段的人员为用户选择所表示的链接的形式。除了使用方框、圆形、椭圆形或其它形状之外，还可以把激活区描绘成标志图(例如，GIF文件)、一段动画(例如，画成动画的GIF文件)或其它视频流片段(GIF是图形交换格式的缩写)。如上所述，可选地，当以后观看经标识的视频片段时，可以可视地指示激活区。
参照方块306，在进行内插之前或之后，可以将到URL的链接与每个激活区相关联。因此，当观众点击在那个激活区上时，将调用该URL。如上所述，该链接不一定是到URL的。它也可以是到应用软件、或到存储在特定地址上的信息源的链接。
图4显示了用于标记视频片段的视频编辑器/播放器的实施例的数据结构。这样的视频编辑器/播放器包括可以含有许多视频片段的大型数据存储设备406。大型数据存储设备可以是磁盘、磁光盘、光盘、半导体存储器、或其它类型存储器的存储设备。
尽管在存储设备406中可能存储着多于一个的视频片段和标识文件，但为了简洁起见，图4只显示了一个视频片段420a，以及一个匹配的标识文件421a。每个视频片段可以存在多于一个的标识文件。标识文件包含如样条(作为公式或作为一组预定样条类型的参考)及其相关参数、它本身的链接、以及激活区的标记的颜色和尺寸那样的东西。单元450是表格或数据库，包含帧的每个视频序列的所有相关标号，以此作为视频播放的目录。当然，可以存在可能以分层结构组织的节目和标识文件的几个数据库，它们根据所作的编辑，可以共享文件420或421的一些文件。
在一个实施例中，在标识过程中，把数据装载到与帧号、激活区的位置、它的形状、它的尺寸、以及与相关于那个激活区的URL或其它链接相对应的存储器中。那个数据与通常在一个独立文件中的视频信号将一起提供给观众。可以把这个信息作为独立数据流提供给观众。观众的视频显示系统跟踪帧号，并对于每一帧，确定光标是否定位在为那一帧建立的激活区之一内。
在另一个实施例中，与激活区的位置、它的形状、它的尺寸、和链接有关的信息是作为视频信号的一部分传送和嵌入的。这个信息可以在信号的消隐间隔之一期间或在通常不使用的信号的一些其它部分期间提供。使内插误差达到最小或纠正内插误差的实施例
从图2可以看出，当利用内插法在视频屏幕上建立激活区时，在标记对象的位置和激活区的位置之间可能存在误差。根据本发明另一个实施例，通过如下技术可以降低这些误差或使这些误差达到最小。
1.把一块视频帧装载到存储器中(图3的步骤301)。
2.人工标识n个帧的第一组，此处，n大于或等于2(图2的步骤302)。n个帧可以是视频序列中的第一帧和最后一帧。
3.执行内插，为视频序列内那些没有被人工标识的帧建立激活区的估计位置(图3的步骤303)。内插可以通过线性内插来执行。或者，内插可以通过形成曲线的技术，例如样条技术来执行。如上所述，几种内插技术可以用于生成直线或曲线，并且标识视频片段的人员可以从中选择。
4.对于没有被人工标识的每一帧，视频系统计算激活区和与激活区相关联的对象之间的距离(激活区的位置通过内插法建立。对象的位置是通过，例如，如上所述的自动图象识别技术建立的。正如前面所指出的，图象识别可能精确，也可能不精确)。
5.系统对具有在激活区114和与激活区114相关联的对象113之间的距离最大的那些帧进行标识。系统可以高亮显示呈现出这些距离的那些帧(例如，一个或多个帧101a至101p)，并把图标或其它标记定位在那些帧上，或者，它可以把一些其它技术用于为用户标识这些帧。用户可以查看这些帧，并核实激活区和与之相关联的对象之间的距离，在事实上是否是不能接受的。
6.如果用户认为这个距离是不能接受的，他或她就可以人工地标识呈现出不可接受误差的帧(图3的步骤304)。
7.在人工标识呈现不可接受的帧之后，用户可以让系统根据包括新的人工标识的数据重新计算(例如，再次通过内插法)激活区的位置。
8.可选地，用户可以让系统采用新的内插的激活区位置，并建立具有最大误差的帧的另一个列表。如果用户发现这些误差是可以接受的，或发现只是与图象识别误差相关的假像，他或她就可以忽略它们。
9.然后，我们可以把激活区形状(和可选地，可视指示符)及链接与激活区相关联。
如上所述，在图3的步骤304中，我们可以让系统计算激活区和与那个激活区相关联的对象之间的距离，并标志具有不能接受误差的、如屏幕100的部分101a至101p所示的那些帧。用户可以人工标识呈现如上所述的不能接受误差的那些帧(这种处理可以用来调整激活区的位置(沿着x和y轴)和尺寸)。把与激活区相关的信息传送给电视观众
用与激活区相关的信息标记视频帧之后，有必要把该信息传送到观众的视频系统。图5显示了包括大型数据存储设备506的视频发送系统500，大型数据存储设备506包含存储要发送的视频节目的部分520。视频节目可以是任何类型的节目-体育赛事、肥皂剧、教育节目、卡通和其它动画等。此外，包含在大型数据存储设备506中的还有含有标识信息的部分521。这个标识信息包括：a)与视频节目的各个帧相关联的几个激活区的位置；b)那些激活区的尺寸；和c)那些与激活区相关联的链接(链接可以是URL的形式)。即，标识信息可以指示，在视频节目的特定帧中，存在着位于视频帧左上角的第一激活区，并且激活区具有一定的尺寸。如果观众点击在那个激活区上，那就应该激活到特定网页的链接。
大型存储设备506可以是任何类型的大型存储设备，例如，磁盘、磁带、光或磁光介质、或其它数据存储结构。
把来自大型存储设备506的信息提供给数据分离电路505，该数据分离电路505分离出视频信号并把该视频信号提供给传统发送器504(数据分离电路505通常是服务器)。电视系统501包括用于接收视频信号的接收器511。虽然图5包括指示如传统电视无线电信号那样发送和接收视频信号的符号，但是视频信号也可以通过其它手段传送，例如，电缆、光缆、微波、卫星通信、电话线、因特网、或其它信号通信技术。
标识信息(例如，激活区的位置和尺寸，以及与激活区相关联的URL信息)通过通信媒体503传送到电视系统501，通信媒体503可以与传送视频信号的媒体相同，也可以与之不同。因此，通信媒体503可以是传统无线电信号、电缆、光缆、微波、卫星通信、电话线、因特网、或其它信号通信技术。
标识信息由预处理单元512接收。预处理单元512通过内插技术，为其中的数据不是由发送系统500提供的那些帧计算每一帧的每个激活区的位置。在一个实施例中，内插技术是例如，如参照图2所述的线性内插技术。例如，假设发送系统500每隔九个帧提供激活区的位置。图6显示了分别由点600、601、602和603指示的、帧0、10、20和30的激活区的y坐标值。如果使用了线性内插技术，那么，应该认为激活区的y坐标值将通过直线604、605和606建立。可以使用其它内插技术，例如，在特定点之间形成曲线而不是直线的技术。例如，可以使用样条内插技术。如果使用了样条内插技术，则根据样条计算参数，应该认为激活区的y坐标将沿着曲线607。
图6显示了激活区的y坐标与帧号之间的关系。对于激活区的x坐标和激活区的尺寸，进行类似的计算(例如，根据与激活区相关联的对象是靠近摄像机，还是远离摄像机，激活区的尺寸可以扩大或缩小)。
再参照图5，可以看出，预处理单元512向视频显示单元514提供视频信号。预处理单元512与用户接口513耦合。用户接口513允许用户控制显示在显示单元514上的图象的某些特征，例如，屏幕上是否将显示指示激活区位置的标记。用户接口513也允许用户点击在各种激活区上，激活与之相关联的链接。
用户接口513通常拥有诸如跟踪球、鼠标、触板或操纵杆之类的适当控制机械装置。这种接口用于在视频显示单元514上定位可视光标，以便观众知道他正在点击什么对象。预处理单元512确定是否已经把光标定位在激活区上。在一个实施例中，预处理单元512包括微处理器系统。
如上所述，在本发明的一个实施例中，所选帧的激活区是例如利用人工标识系统建立的。激活区与描绘在视频帧中的对象相关联。在这种方法中，为视频片段的一些(不是全部)帧建立每个激活区的位置、尺寸和形状。对于视频片段的其它帧，通过在帧之间进行内插建立激活区的位置和尺寸。在一个实施例中，把人工标识的那些帧的激活区的位置和尺寸传送到视频系统501。在其它实施例中，根据其它理由选择传送激活区位置和尺寸的帧。例如，可以每隔九个帧把激活区的位置和尺寸传送给视频接收系统501。或者，可以只传送视频片段的所谓“关键帧”的激活区的位置和尺寸(如上所述，某些视频压缩算法只传送某些关键帧的整个像素阵列。对于其它帧，只传送与一个帧和下一帧之间的改变相对应的信息。关键帧是传送整个像素阵列的那些帧)。
再参照图5，在一个实施例中，工作站550可以与视频发送系统500耦合。工作站550包括个人计算机(“PC”)551和本地存储器存储设备552(例如，磁盘)或包含编辑软件553的非本地存储设备(例如，服务器)。工作站550用于标识视频片段。在这个例子中，工作站通过通信线路554与服务器505耦合，但是，可以使用许多其它方式联网工作站550和服务器505。在一些实施例中，编辑软件553可以在服务器505上运行。在其它实施例中，各种文件(视频文件和标识文件两者)可以驻留在本地存储器552上。
虽然参照特定实施例已经对本发明作了描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的实质和范围。例如，可以以RGB值的形式存储视频帧的像素(RGB指的是与像素相关联的红色、蓝色和绿色分量)。或者，可以以颜色、饱和度和亮度的形式存储像素值。屏幕100和/或视频显示单元514可以是CRT(阴极射线管)、LCD(液晶显示器)、投影显示器、或其它合适的显示技术。不同类型的视频编辑/标识系统可以用于实现本发明的方法。内插法可以由系统内的微处理器或其它计算设备执行。
本发明的方法可以用于提供或接收视频片段中多于一个的激活区。
可以用不同方式选择用于人工内插的帧。例如，在一个实施例中，每隔n-1个帧人工内插一次，此处，n是整数(例如，10)。
为执行内插和编辑而选择的设备可以是具有执行视频编辑的显示屏幕和/或图象识别软件程序的基于微处理器的系统。
在一个实施例中，不人工标识第一帧和最后一帧。因此，在这样的实施例中，外插激活区的位置和尺寸。
当把视频信号发送给观众时，可以把视频信息和标识信息作为独立信号发送给接收系统501，或可以把它们作为组合信号的组成部分来传送。组合信息可以由发送器504通过广播媒体502来提供。或者，组合信息可以通过上述通信媒体的任何一种，例如，光、缆线、微波传输、卫星传输等提供。
本发明的各个方面可以彼此独立地实现。例如，可以使用图1的标识设备，而不使用图5的信号通信设备。同样，可以利用图4的通信设备传送利用除了参照图1至4所述的方法之外的方法标识的视频片段。因此，所有这样的改变均在本发明的范围之内。

Claims (44)

1.一种在视频片段中建立激活区的位置的方法，所述视频片段包括一组帧，所述方法包括下列步骤：
(a)为所述一组帧内的第一数个帧建立所述激活区的位置；
(b)根据在上面步骤(a)中建立的位置，通过内插法为所述一组帧内的第二数个帧建立所述激活区的位置。
2.根据权利要求1所述的方法，其中，在步骤(a)和(b)中建立的位置存储在存储设备中。
3.根据权利要求1所述的方法，其中，步骤(a)包括：
在显示设备上显示所述第一数个帧；和
通过把与所述第一数个帧内所述激活区的位置相关的信息存储在存储器内，人工标识所述帧。
4.根据权利要求1所述的方法，其中，所述内插法是线性内插法。
5.根据权利要求1所述的方法，其中，所述内插法是样条内插法。
6.根据权利要求1所述的方法，其中，所述第一数个帧是关键帧。
7.根据权利要求1所述的方法，其中，所述内插法是由编辑系统内的计算设备执行的。
8.根据权利要求1所述的方法，还包括下列步骤：
(c)显示所述一组帧内第三数个帧的激活区；
(d)标识所述第二数个帧内的所述帧的至少一些帧；和
(e)在执行步骤(d)之后，通过内插法建立在所述第二数个帧内、但不在所述帧的所述一些帧内的所述激活区的位置。
9.一种包括下列单元的设备：
存储设备，用于存储视频片段，所述视频片段包括数个视频帧；
输入设备，用于把指示所述视频帧的一些帧内激活区的位置的信息输入到所述设备；
在所述设备内的计算设备，用于为所述数个视频帧内的其它帧建立所述激活区的位置。
10.根据权利要求9所述的设备，其中，所述计算设备为所述数个内插帧内的所述其它帧建立所述激活区的位置。
11.一种包括下列步骤的方法：
提供包括一组帧的视频片段，所述一组帧内的第一数个帧用指示激活区的位置的信息标识，所述激活区与出现在所述视频片段内的对象相关联；
通过内插法，为不是在所述第一数个帧内的那些帧建立所述激活区的位置数据；
利用自动图象识别，确定与不是在所述第一数个帧内的所述帧的其它帧相比、其所述激活区和所述对象之间的距离较大的、不在所述第一数个帧内的所述帧的一个或多个帧。
12.根据权利要求11所述的方法，其中，所述自动图象识别确定所述激活区和所述对象之间的距离超过阈值的帧。
13.根据权利要求11所述的方法，其中，所述自动图象识别确定所述激活区和所述对象之间的距离最大的n个帧，此处，n是整数。
14.根据权利要求11所述的方法，还包括下列步骤：在显示器上显示所述一个或多个帧，以便观众能够看见在一个或多个帧中所述激活区和所述对象之间的距离。
15.根据权利要求11所述的方法，还包括下列步骤：在所述利用步骤之后，标识所述一个或多个帧的至少一个帧。
16.根据权利要求15所述的方法，还包括下列步骤：通过内插法，为不在所述第一数个帧内和不在所述至少一个帧内的那些帧建立所述激活区的位置数据。
17.根据权利要求16所述的方法，还包括下列步骤：显示通过内插法已经建立了位置数据的帧，以便用户可以看见激活区离对象有多远。
18.根据权利要求11所述的方法，其中，操作人员在所述建立步骤之前，用所述信息标识所述第一数个帧。
19.根据权利要求18所述的方法，其中，通过把指示所述第一数个帧的所述激活区的位置的数据存储在存储器中，进行所述标识。
20.根据权利要求11所述的方法，其中，所述视频片段存储在存储设备中。
21.根据权利要求20所述的方法，其中，指示激活区的位置的所述信息存储在与所述视频片段相同的存储设备中。
22.根据权利要求21所述的方法，其中，所述视频片段和指示激活区的位置的所述信息位于所述存储设备内的不同文件中。
23.根据权利要求21所述的方法，其中，指示所述激活区的位置的所述信息嵌在所述视频片段中。
24.一种包括下列步骤的方法：
提供视频片段，所述视频片段包括一组帧，所述视频片段描绘一个对象；
通过把与所述对象相关联的所述帧的一些帧内激活区的位置存储在存储器中，标识所述一组帧内所述帧的一些帧，但不标识所述一组内所述帧的其它帧；
通过内插法，为所述帧的所述其它帧建立所述激活区的位置；
利用自动图象识别，确定与不在所述第一数个帧内的所述帧的其它帧相比、其所述激活区和所述对象之间的距离较大的、在所述帧的所述其它帧内的那些帧。
25.一种包括下列单元的设备：
用于存储视频片段的存储结构，所述视频片段包括一组帧，所述一组帧内的第一数个帧用指示激活区的位置信息标识，所述激活区与出现在所述视频片段中的对象相关联；
通过内插法，为不在所述第一数个帧内的那些帧建立所述激活区的位置的装置；
利用自动图象识别、确定与不在所述第一数个帧内的所述帧的其它帧相比、其所述激活区和所述对象之间的距离较大的所述帧的一个或多个帧的装置。
26.一种包括下列步骤的方法：
接收视频图象；
把所述视频图象显示成一列帧；
接收与所述帧的一些帧、但不是所述帧的其它帧的至少一个激活区的位置相对应的信息；和
根据所述接收信息，为所述帧的其它帧确定所述激活区的位置。
27.根据权利要求26所述的方法，其中，所述确定步骤是通过线性内插法执行的。
28.根据权利要求26所述的方法，其中，所述确定步骤是通过样条内插法执行的。
29.根据权利要求26所述的方法，其中，与所述激活区的尺寸相对应的信息是为所述帧的所述一些帧、但不是所述帧的所述其它帧而接收的，所述方法还包括下列步骤：通过内插法，为所述帧的所述其它帧确定所述激活区的尺寸。
30.根据权利要求26所述的方法，其中，所述激活区与一个链接相关联，所述方法还包括激活所述链接的步骤。
31.根据权利要求26所述的方法，其中，所述链接是到因特网页的链接。
32.根据权利要求26所述的方法，还包括激活所述链接。
33.根据权利要求32所述的方法，其中，所述显示包括在显示屏幕上显示所述视频，和所述激活包括在所述显示屏幕上点击激活区。
34.一种包括下列步骤的方法：
传送视频片段，所述视频片段包括一组视频帧，所述一组视频帧内的一些视频帧被标识，以便为所述视频帧的所述一些视频帧建立激活区；
传送所述一组视频帧内的所述一些视频帧的、但不是所述一组视频帧内的所述视频帧的其它视频帧的所述激活区的位置。
35.根据权利要求34所述的方法，其中，所述视频片段是通过第一通信媒体传送的，并且所述激活区的所述位置是通过与所述第一通信媒体不同的第二通信媒体传送的。
36.根据权利要求34所述的方法，还包括下列步骤：
接收所述视频片段和所述一组视频帧内的所述一些视频帧的、但不是所述视频帧的其它视频帧的所述激活区的位置；和
通过内插法，为所述视频帧的其它视频帧建立所述激活区的位置。
37.根据权利要求36所述的方法，其中，所述激活区与一个对象相关联，所述对象出现在所述一组视频帧内所述视频帧的每个帧中。
38.一种包括下列单元的系统：
接收器，用于接收视频信号；
显示器，与所述接收器耦合，用于显示与所述视频信号相对应的视频图象，所述视频图象包括一组帧；
接收指示所述帧的一些帧的、但不是所述帧的其它帧的至少一个激活区的位置的信息的电路，所述电路根据所述帧的所述一些帧的所述激活区的位置，通过内插法确定所述帧的所述其它帧的所述激活区的位置。
39.根据权利要求38所述的系统，还包括发送系统，用于发送所述视频信号和与所述帧的所述一个帧、但不是所述帧的所述其它帧的至少一个激活区的位置相对应的所述信息。
40.一种包括下列单元的设备：
第一存储器存储设备，用于存储视频信号，所述视频信号包括一组帧；
第二存储器存储设备，用于存储所述帧的一些帧的激活区的位置；
发送器，用于发送所述视频信号和所述帧的所述一些帧、但不是所述帧的所述其它帧的所述激活区的所述位置，从而，接收所述视频信号和所述帧的所述一些帧的所述激活区的所述位置的系统可以通过内插法，为所述帧的所述其它帧建立所述激活区的位置。
41.一种包括下列单元的设备：
存储器，用于存储视频片段；
为视频片段的一些帧、但不是视频片段的其它帧建立激活区的位置的结构；以及
发送系统，用于发送视频片段和视频片段的所述帧的所述一些帧、但不是视频片段的其它帧的所述激活区的位置。
42.根据权利要求41所述的设备，还包括接收单元，用于接收和显示视频片段，和通过内插法，为所述其它帧建立所述激活区的位置。
43.一种在图象的一系列帧内建立激活区的位置的方法，所述方法包括下列步骤：
(a)为所述一系列帧内第一数个帧建立所述激活区的位置和/或尺寸；
(b)根据在上述步骤(a)中建立的位置，通过计算，为所述一系列帧内所述帧的第二数个帧建立所述激活区的位置和/或尺寸。
44.根据权利要求40所述的设备，其中，所述存储器存储设备存储所述帧的一些帧、但不是所述帧的其它帧的所述激活区的位置。
CN00812075A 1999-09-03 2000-09-02 视频流中运动对象的标记 Pending CN1391676A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US38991699A 1999-09-03 1999-09-03
US39004499A 1999-09-03 1999-09-03
US09/390,047 US6570586B1 (en) 1999-09-03 1999-09-03 Bandwidth effective method for communicating interactive links
US09/390,044 1999-09-03
US09/389,916 1999-09-03
US09/390,047 1999-09-03

Publications (1)

Publication Number Publication Date
CN1391676A true CN1391676A (zh) 2003-01-15

Family

ID=27409917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN00812075A Pending CN1391676A (zh) 1999-09-03 2000-09-02 视频流中运动对象的标记

Country Status (7)

Country Link
US (1) US6229541B1 (zh)
EP (2) EP2287754A3 (zh)
JP (1) JP4901040B2 (zh)
CN (1) CN1391676A (zh)
AU (1) AU7110700A (zh)
HK (1) HK1052772A1 (zh)
WO (1) WO2001018676A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100562841C (zh) * 2005-06-22 2009-11-25 索尼株式会社 信息处理方法和信息处理装置
CN101950578A (zh) * 2010-09-21 2011-01-19 北京奇艺世纪科技有限公司 一种视频信息添加方法及装置、视频信息显示方法及装置
CN102163212A (zh) * 2010-02-16 2011-08-24 微软公司 视频片段识别
CN103188573A (zh) * 2012-04-01 2013-07-03 上海锐开信息科技有限公司 具有购物链接功能的显示系统
CN103402130A (zh) * 2013-07-24 2013-11-20 Tcl集团股份有限公司 一种在视频中显示广告的方法及系统
CN103702222A (zh) * 2013-12-20 2014-04-02 惠州Tcl移动通信有限公司 移动终端的互动信息生成方法及其视频文件播放方法
WO2019080726A1 (en) * 2017-10-26 2019-05-02 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR MONITORING AND PRESENTING DATA

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6928652B1 (en) * 1998-05-29 2005-08-09 Webtv Networks, Inc. Method and apparatus for displaying HTML and video simultaneously
US6215483B1 (en) 1998-06-17 2001-04-10 Webtv Networks, Inc. Combining real-time and batch mode logical address links
US6938270B2 (en) * 1999-04-07 2005-08-30 Microsoft Corporation Communicating scripts in a data service channel of a video signal
US7103904B1 (en) * 1999-06-30 2006-09-05 Microsoft Corporation Methods and apparatus for broadcasting interactive advertising using remote advertising templates
US6396523B1 (en) 1999-07-29 2002-05-28 Interlink Electronics, Inc. Home entertainment device remote control
US6229541B1 (en) 1999-09-03 2001-05-08 Isurftv Use of templates for cost-effective secure linking of video stream objects
US7174562B1 (en) * 1999-12-20 2007-02-06 Microsoft Corporation Interactive television triggers having connected content/disconnected content attribute
US7343617B1 (en) 2000-02-29 2008-03-11 Goldpocket Interactive, Inc. Method and apparatus for interaction with hyperlinks in a television broadcast
US7367042B1 (en) * 2000-02-29 2008-04-29 Goldpocket Interactive, Inc. Method and apparatus for hyperlinking in a television broadcast
US6642940B1 (en) * 2000-03-03 2003-11-04 Massachusetts Institute Of Technology Management of properties for hyperlinked video
WO2001071477A1 (en) * 2000-03-23 2001-09-27 Ir Vision Ab An apparatus and method for providing information in a graphical user interface comprising a touch screen
US6765557B1 (en) * 2000-04-10 2004-07-20 Interlink Electronics, Inc. Remote control having touch pad to screen mapping
US6766524B1 (en) * 2000-05-08 2004-07-20 Webtv Networks, Inc. System and method for encouraging viewers to watch television programs
US6714215B1 (en) * 2000-05-19 2004-03-30 Microsoft Corporation System and method for displaying media interactively on a video display device
EP1290539A1 (en) * 2000-05-24 2003-03-12 Koninklijke Philips Electronics N.V. A method and apparatus for shorthand processing of medical images
US7000242B1 (en) * 2000-07-31 2006-02-14 Jeff Haber Directing internet shopping traffic and tracking revenues generated as a result thereof
EP1317857A1 (en) * 2000-08-30 2003-06-11 Watchpoint Media Inc. A method and apparatus for hyperlinking in a television broadcast
US6873344B2 (en) * 2001-02-22 2005-03-29 Sony Corporation Media production system using flowgraph representation of operations
KR100400002B1 (ko) * 2001-03-09 2003-09-29 삼성전자주식회사 데이터 방송 시스템의 부가 정보 처리 장치 및 방법
US8374540B2 (en) * 2002-03-15 2013-02-12 Educational Testing Service Consolidated on-line assessment system
JP3971346B2 (ja) * 2002-06-24 2007-09-05 株式会社東芝 動画像再生装置、スケジュール・データ、動画像再生方法、及びプログラム
US8065614B2 (en) * 2003-04-09 2011-11-22 Ati Technologies, Inc. System for displaying video and method thereof
US7418656B1 (en) 2003-10-03 2008-08-26 Adobe Systems Incorporated Dynamic annotations for electronics documents
US20050276514A1 (en) * 2004-06-14 2005-12-15 Fisher Paul A Image monitoring method and system
US9021529B2 (en) * 2004-07-15 2015-04-28 Microsoft Technology Licensing, Llc Content recordation techniques
US8667540B2 (en) * 2006-07-07 2014-03-04 Apple Partners, Lp Web-based video broadcasting system having multiple channels
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US20100275120A1 (en) * 2009-04-22 2010-10-28 Nicholas Pappas Processing of fields in motion picture videos or still photos
US20110310010A1 (en) * 2010-06-17 2011-12-22 Primesense Ltd. Gesture based user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
GB2497071A (en) * 2011-11-21 2013-06-05 Martin Wright A method of positioning active zones over media
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
US20140089813A1 (en) * 2012-09-21 2014-03-27 Darius Vahdat Pajouh Ranking of user feedback based on user input device tracking
US9898451B2 (en) 2013-11-26 2018-02-20 Adobe Systems Incorporated Content adaptation based on selected reviewer comment
JP6114345B2 (ja) * 2015-08-07 2017-04-12 日本電信電話株式会社 出現位置補間装置、出現位置補間方法及び出現位置補間プログラム
JP6389996B1 (ja) * 2017-06-30 2018-09-19 Ｍｉｌ株式会社 広告表示方法、広告表示サーバ及び広告表示プログラム
CN109979362A (zh) * 2017-12-27 2019-07-05 苏州锐创广告有限公司 一种电梯广告系统
JP2020077942A (ja) * 2018-11-06 2020-05-21 パロニム株式会社 領域設定装置、領域設定方法、及びプログラム
US11449664B1 (en) * 2019-07-01 2022-09-20 Instasize, Inc. Template for creating content item
US11676316B1 (en) 2019-07-01 2023-06-13 Instasize, Inc. Shareable settings for modifying images
US11263385B1 (en) * 2021-03-24 2022-03-01 Ebay Inc. Web browser extension for linking images to webpages

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4611347A (en) 1984-09-24 1986-09-09 At&T Bell Laboratories Video recognition system
US4868871A (en) 1987-08-13 1989-09-19 Texas Instruments Incorporated Nonparametric imaging tracker
US5339392A (en) * 1989-07-27 1994-08-16 Risberg Jeffrey S Apparatus and method for creation of a user definable video displayed document showing changes in real time data
US5267332A (en) 1991-06-19 1993-11-30 Technibuild Inc. Image recognition system
US5675752A (en) * 1994-09-15 1997-10-07 Sony Corporation Interactive applications generator for an interactive presentation environment
US5627915A (en) * 1995-01-31 1997-05-06 Princeton Video Image, Inc. Pattern recognition system employing unlike templates to detect objects having distinctive features in a video field
US5721851A (en) * 1995-07-31 1998-02-24 International Business Machines Corporation Transient link indicators in image maps
US5970504A (en) 1996-01-31 1999-10-19 Mitsubishi Denki Kabushiki Kaisha Moving image anchoring apparatus and hypermedia apparatus which estimate the movement of an anchor based on the movement of the object with which the anchor is associated
US5929849A (en) * 1996-05-02 1999-07-27 Phoenix Technologies, Ltd. Integration of dynamic universal resource locators with television presentations
US5931908A (en) 1996-12-23 1999-08-03 The Walt Disney Corporation Visual object present within live programming as an actionable event for user selection of alternate programming wherein the actionable event is selected by human operator at a head end for distributed data and programming
US6006241A (en) * 1997-03-14 1999-12-21 Microsoft Corporation Production of a video stream with synchronized annotations over a computer network
EP1456780A4 (en) * 1997-04-01 2007-04-25 Medic Interactive Inc SYSTEM FOR THE AUTOMATIC GENERATION OF MEDIA PROGRAMS FROM A MEDIA ELEMENTS DATABASE
KR100321839B1 (ko) * 1997-04-02 2002-03-08 포만 제프리 엘 비디오내로하이퍼링크를통합하는방법및장치
US6028600A (en) * 1997-06-02 2000-02-22 Sony Corporation Rotary menu wheel interface
US6229541B1 (en) 1999-09-03 2001-05-08 Isurftv Use of templates for cost-effective secure linking of video stream objects

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100562841C (zh) * 2005-06-22 2009-11-25 索尼株式会社 信息处理方法和信息处理装置
CN102163212A (zh) * 2010-02-16 2011-08-24 微软公司 视频片段识别
CN102163212B (zh) * 2010-02-16 2016-01-27 Nbc环宇媒体有限责任公司 视频片段识别
CN101950578A (zh) * 2010-09-21 2011-01-19 北京奇艺世纪科技有限公司 一种视频信息添加方法及装置、视频信息显示方法及装置
CN103188573A (zh) * 2012-04-01 2013-07-03 上海锐开信息科技有限公司 具有购物链接功能的显示系统
CN103402130A (zh) * 2013-07-24 2013-11-20 Tcl集团股份有限公司 一种在视频中显示广告的方法及系统
CN103702222A (zh) * 2013-12-20 2014-04-02 惠州Tcl移动通信有限公司 移动终端的互动信息生成方法及其视频文件播放方法
WO2019080726A1 (en) * 2017-10-26 2019-05-02 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR MONITORING AND PRESENTING DATA
US10757483B2 (en) 2017-10-26 2020-08-25 Futurewei Technologies, Inc. Method and apparatus for data tracking and presenting

Also Published As

Publication number Publication date
AU7110700A (en) 2001-04-10
EP1222564A4 (en) 2006-07-12
EP2287754A2 (en) 2011-02-23
JP4901040B2 (ja) 2012-03-21
HK1052772A1 (zh) 2003-09-26
EP2287754A3 (en) 2011-05-04
US6229541B1 (en) 2001-05-08
WO2001018676A1 (en) 2001-03-15
EP1222564A1 (en) 2002-07-17
JP2003509880A (ja) 2003-03-11

Similar Documents

Publication Publication Date Title
CN1391676A (zh) 视频流中运动对象的标记
JP5405553B2 (ja) メディアｉｄ整合に基づいた放送ａｒ広告サービスシステム及びその方法
CA2466924C (en) Real time interactive video system
CN1222897C (zh) 视频序列中产生标记对象图像的设备和方法
CN1451124A (zh) 链接到视频信息
US6104425A (en) Method and apparatus for transmitting television signals, method and apparatus for receiving television signals, and method and apparatus for transmitting/receiving television signals
CN1173565C (zh) 选择,接入和观看信息流段的电视伴随设备
US7401351B2 (en) System and method for video navigation and client side indexing
KR101334699B1 (ko) 비디오 콘텐츠 내의 관심 영역을 생성하기 위한 방법, 장치 및 시스템
US20120206318A1 (en) Locating and displaying method upon a specific video region of a computer screen
CN108293140B (zh) 公共媒体段的检测
CN1461484A (zh) 选择图像序列中的位置的方法和装置
CN1742254A (zh) 通过使用电子节目向导界面为当前播送的节目做广告的系统和方法
JP2012070400A (ja) ハイパーリンクによってリンクされた注釈データ受信システム、放送システム及び注釈データを含む放送情報を利用する方法
US6570586B1 (en) Bandwidth effective method for communicating interactive links
US20040250296A1 (en) Method, apparatus and system for providing access to product data
CN1432254A (zh) 用视频内容提供广告信息
KR100420633B1 (ko) 데이터방송방법
KR20010102760A (ko) 인터넷 데이터 방송 시스템 및 방법과 그 프로그램 소스를저장한 저장매체
JP4616153B2 (ja) データ通信装置、データ通信方法およびデータ通信プログラム
KR20140075130A (ko) 대상물 인식을 이용한 스마트 ｔｖ 기반의 감성광고 방법
JP2001331246A (ja) 画像関連データ表示装置
WO2001015454A1 (en) Method and apparatus for providing supplemental information regarding objects in a video stream
JP2005151101A (ja) 情報表示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1052772

Country of ref document: HK