WO2004062293A1 - Synchronization methods for digital multi-projection systems - Google Patents

Synchronization methods for digital multi-projection systems Download PDF

Info

Publication number
WO2004062293A1
WO2004062293A1 PCT/DE2003/004078 DE0304078W WO2004062293A1 WO 2004062293 A1 WO2004062293 A1 WO 2004062293A1 DE 0304078 W DE0304078 W DE 0304078W WO 2004062293 A1 WO2004062293 A1 WO 2004062293A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
image
clock
system clock
time
Prior art date
Application number
PCT/DE2003/004078
Other languages
German (de)
French (fr)
Inventor
Joachim Schüssler
Ulrich Höfker
Original Assignee
Fraunhofer Ges Forschung
Schuessler Joachim
Hoefker Ulrich
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE10308138A external-priority patent/DE10308138B4/en
Application filed by Fraunhofer Ges Forschung, Schuessler Joachim, Hoefker Ulrich filed Critical Fraunhofer Ges Forschung
Priority to AU2003296527A priority Critical patent/AU2003296527A1/en
Publication of WO2004062293A1 publication Critical patent/WO2004062293A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/007—Transform coding, e.g. discrete cosine transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]

Definitions

  • the invention relates to a method for the synchronization of two or more MPEG-2-coded video sequences (MPEG: Moving Picture Experts Group) for digital multi-projection systems which can be regulated with regard to the picture clock and picture phase.
  • MPEG Moving Picture Experts Group
  • Digital large-screen, stereo and parallax projections in cinemas for film screenings, for the transmission of major sporting and cultural events or on projection screens for advertising or information purposes in public, at trade fairs or congresses can be carried out at increasingly high resolution images, high definition ( HD) or above, can only be achieved by overlaying several individual projections.
  • HD high definition
  • Such multiple projections are already used today, but in insufficient quality, since a seamless transition and, in particular, exact temporal synchronicity of the partial images is not achieved.
  • PCM pulse code modulation
  • the object of the present invention is therefore to provide a method by means of which the synchronization of two or more MPEG-2-coded, sequentially or in parallel transmitted video sequences, which can be regulated with respect to the picture clock and picture phase, is possible correctly, reliably and satisfactorily even for large amounts of data to be transmitted is.
  • This should also be possible in particular if the video sequences are started from different storage media and, moreover, also at different start times.
  • the process according to the invention should be simple to implement and therefore inexpensive to implement.
  • TS-SV transport stream synchronization method
  • ES-SV secondary claim 7
  • Advantageous developments of the alternative methods according to the invention for synchronizing video sequences can be found in the associated subclaims and are explained in more detail below in connection with the invention.
  • the two synchronization methods TS-SV and ES-SV which are given as alternative solutions, implement a common basic idea for solving the task specifically for the MPEG-2 standard, which achieves a data reduction by a factor of 40, in which an MPEG is received at the receiving end in a three-stage procedure -2-generated data stream is defined as a reference stream and reconstructed at the data clock rate, to which all other data streams are then synchronized first in the image cycle and then in the image phase.
  • the reference stream For synchronized synchronization of two data streams, the reference stream must have a constant data rate and the local slave stream to be synchronized must be variable.
  • the system clock can come from a common, central clock (27 MHz according to MPEG-2 standard) or can be recovered from the reference current in a one-stage (TS-SV) or two-stage (ES-SV) process.
  • TS-SV one-stage
  • ES-SV two-stage
  • This ensures the required synchronicity between the video streams to be displayed in the data-reduced MPEG-2 standard. It is irrelevant when the individual video streams are read from the storage media and which storage media and how many video streams of any complexity are involved.
  • different standards can also be taken into account in image recording (camera systems, video standard) and image display (playback systems), which lead, for example, to a different image duration in the individual video sequences.
  • the two alternative solutions TS-SV and ES-SV according to the invention differ in the definition of the reference current and in the choice of the synchronization parameters.
  • this is defined on the basis of the transport stream
  • the second alternative ES-SV on the basis of the elementary stream.
  • the MPEG-2 standard basically encodes and compresses video data in elementary stream mode.
  • the coded and compressed data can be sent directly in the elementary stream, if there is an error Data transmission (terrestrial or via satellite, non-wired), the data is still packaged in a transport stream.
  • the choice of the alternative of the invention therefore also depends on the type of data transmission.
  • the TS-SV will usually have to be selected, in which the receiving data is saved according to the transport stream protocol.
  • the simpler ES-SV in terms of its process and implementation due to the dispensability of the multiplexer and demultiplexer can be used, in which the reception-side or media-based storage can only take place according to the elementary stream protocol.
  • the transport stream and also the program stream contain the elementary stream data, the ES-SV can also be used for stored transport streams or program streams (MPEG-2 protocol).
  • MPEG-2 protocol stored transport streams or program streams
  • the output data of the MPEG-2 encoders can also be used directly without conversion, so that overall there is greater application flexibility with the ES-SV.
  • the invention can be seen in particular in the fact that it is possible for the first time to synchronize the various elementary or transport streams required for large amounts of data from several cameras in such a way that they are precise as a prerequisite for a large image projection or the like, ie without a drift between the images. ie without image skip (occasionally skipping an image for shortening) and without image dubbing (occasionally doubling an image for stretching), and image phase accurate, i.e. without offset by one or more images or parts thereof or with a predetermined offset due to artistic aspects can. It is a particular advantage of the invention that all synchronization information required for carrying out the method comes from the elementary streams or transport streams themselves, that is to say is already defined directly in the MPEG-2 standard, and therefore no additional information source is required.
  • a side effect of the method according to the invention is the arbitrary adjustability of the image phase, which are used as a targeted display element can.
  • the information required to carry out the synchronization is contained in every transport or elementary stream (program time stamp or time stamp or decoding delay time). This information is used to synchronize the reference current on the receiving side with a local clock as a reference-forming system clock.
  • one of the data-carrying transport or elementary streams or a separate transport or elementary stream containing only the synchronous information is defined as a reference stream with continuous data flow at the receiving end and its information is used to convert all other data streams to the data rate of the To synchronize reference current.
  • phase-locked signal processing routine phase-locked loop PLL
  • the local system clocks on the receiving end are readjusted by comparison with the parameters mentioned until their difference is zero.
  • the local system clocks set up in this way are now used directly to clock the output side of a FIFO buffer (first in first out) that receives the data stream coming from the data memory to the reference data rate.
  • the recovery at the receiving end of the data rate of the system clock predetermined by the transmitter, that is to say the reconstruction of the defined reference current at the receiving end, is essential for the perfect synchronization of the images on the receiving end in the invention. Slight differences that occur between this local, reference-forming system clock and the original, central studio clock (deviation from the specified MPEG-2 27 MHz clock) are tolerable and therefore acceptable.
  • the images of all the video sequences are then coupled in a frame-locked manner. In this way, their identical running speed is achieved. However, there may still be a constant offset between the images.
  • the clock synchronization is carried out by regulating the clock of the local system clocks of the transport stream demultiplexers at the TS-SV or directly at ES-SV to the clock of the reference system clock restored from the reference current.
  • the image phase synchronization is then carried out.
  • no offset occurs with the ES-SV.
  • MPEG-2 multiplexer on the transmitter side can be taken into account by appropriate data processing. For an informative image reproduction, there must be an offset between the images of the individual video sequences. The deviations are fully compensated accordingly.
  • any MPEG-2 decoder can be used on the receiving side.
  • an offset may well be desired, so that the runtime differences and the offset can be set accordingly by the synchronization method according to the invention.
  • the two alternative methods of the invention TS-SV and ES-SV are based on the following considerations derived from the special MPEG-2 standard.
  • the pictures become picture groups (GOP, Group of pictures) summarized and coded (to avoid repetition, please refer to the introduction in the special description section regarding the known working method of the MPEG-2 process).
  • the image coding takes place immediately for each I- and P-Picture, but for the B-Pictures only after the recording of the following I- or P-Picture.
  • the B-Pictures are only transmitted after the following P-Picture.
  • the images are then decoded in the receiving MPEG-2 decoder and put in the correct order.
  • the I- and P-Pictures are decoded and buffered for delayed output, and the B-Pictures are decoded according to VBVd and output immediately (this is the decoding time stamp (Decoding Time Stamp DTS) and the presentation time stamp (Presentation Time Stamp PTS) identical).
  • the decoding time stamp (Decoding Time Stamp DTS) and the presentation time stamp (Presentation Time Stamp PTS) identical.
  • the DTS of this picture corresponds to the PTS of the previous I or P pictures. This is used by the TS-SV.
  • the DTS of a picture in a GOP is composed of the system time clock (STC) at the time of the beginning of the picture and the associated decoding delay time VBVd.
  • STC system time clock
  • the decoding time of an I or P picture is the output time of the previous I or P picture.
  • the decoding time of the first P-picture - after the decoding delay time specified by the encoder has elapsed - is the time of output of the I-picture and thus the time of validity of the time stamp TC stamped during the recording, which in the picture group only has the I-picture , This is used by the ES-SV.
  • the impressed timestamp TC when multiplied by the duration of the picture determined by the selected video standard, gives the exact time of the original, central studio clock when the picture was taken. However, this is identical in the case of images recorded at the same time and is therefore a precise measure of the reception-side synchronization of the images of different video sequences with one another.
  • the system time STC which is the program time Stamp (Clock Reference PCR program) is stamped into the transport stream at least ten times per second, the time stamp TC belonging to the I-Picture, the picture duration (frame period FP) and the decoding delay time PIVBVd of the first P-Picture are used, whereas the ES-SV only the time stamp TC and the decoding time VBVd are required as parameters.
  • the program time Stamp Chip Reference PCR program
  • the information belonging to each picture and output by the encoder is assigned to the decoding delay time.
  • both decoding delay times are equal (constant delay). However, if less data has been transmitted for this picture, the information about the decoding delay time of the following picture arrives earlier. Since it then has to be waited longer before decoding, the delay time must be set accordingly higher. This is the basis of the ES-SV.
  • the data rate of the elementary stream can thus be calculated from the picture length (FP) plus the difference between the delay times VBVd n - VBVd n + ⁇ divided by the number of data bytes within the limits of the two decoding delay times of successive pictures n, n + 1.
  • the ES-SV according to the invention may have a synchronization inaccuracy, but this is in a range of only ⁇ 64 ⁇ s.
  • the synchronized decoders can have a corresponding time offset from the decoder of the reference elementary stream. However, this offset is only approx.
  • FIG. 1 for TS-SV a flow diagram of the non-divisional phase-locked loop
  • Figure 2 for ES-SV a flow diagram of the non-divisional phase-locked loop
  • Figure 3 for TS-SV and ES-SV a flow diagram of the cascaded synchronization
  • Figure 4 for TS-SV and ES-SV a flow diagram of the parallel
  • FIG. 5 for ES-SV a flow diagram for synchronized picture clock
  • FIG. 6 for ES-SV a flow diagram for synchronized picture phase
  • FIG. 7 for ES-SV a flow diagram for combined synchronized picture clock and picture phase
  • FIG. 8 for TS- SV a flowchart of the synchronization with offset consideration
  • FIG. 9 for TS-SV a flowchart of the combined picture clock and picture phase correct synchronization with optimized offset consideration.
  • the two or more cameras provided for a corresponding large image projection are supplied with a common clock from a central studio clock and a time stamp (time code TC, h: m: s: image no.) Is stamped on each image. Images from all cameras taken at the same time are given the same time stamp.
  • the video sequences recorded by the two or more cameras are either a) buffered (cached) in a single MPEG-2 encoder and serially encoded, i.e. compressed according to the MPEG-2 method, or b) buffered in several MPEG-2 encoders and coded in parallel and serially (e.g.
  • encoder 1 serially encodes video sequences from cameras 1, 2, 3, encoder 2 serially encodes video sequences from cameras 4 , 5, 6 and encoder 3 serially encode video sequences from cameras 7, 8, 9, etc., all three encoders run in parallel) or c) buffered in an MPEG-2 encoder corresponding to the number of cameras and encoded in parallel.
  • Each encoder encodes the images of each of its feeding cameras in groups of about 12 pictures into groups of pictures (Groups Of Pictures GOP). The result is the elementary streams (ES) of the encoders involved.
  • ES elementary streams
  • the first picture is called "I-Picture” (intra-picture, intra-frame coded image). Although it is compressed, it still represents the complete picture.
  • the I-Picture retains its own Time stamp (TC), for all other pictures in a picture group (GOP) the time stamp (TC) is suppressed, however the order of the pictures in the picture group (GOP) does not correspond to the natural order, but is nested according to the MPEG-2 coding algorithm.
  • TC Time stamp
  • B-Pictures (Bidirecti- onally Predictive Picture, inter-frame bidirectionally predictive coded image) and P-Pictures (Predictive Picture, inter-frame predictive coded image).
  • Each picture is given a decoding delay stamp (Video Buffer Verifier Delay VBVd), which later specifies the delay time in the receiving MPEG-2 decoder from the arrival of the picture to its decoding.
  • VBV delay (specification of a time) multiplied by 90kHz (specification of clocks per time) gives the number of 90kHz clocks to be waited, which can be measured in a simple counter.
  • the 90 kHz frequency corresponds to the 300th part of the specified 27 MHz MPEG-2 system clock.
  • the value of the divider is a standard part of the MPEG-2 coding process.
  • the elementary streams (ES) are routed into the transport stream multiplexer (s) and there packaged or divided into packets with header data (header H) to form packetized elementary streams (PES).
  • a decoding time stamp (DTS) and / or a presentation time stamp (PTS) is included in the header data (header H) for each packet with an image start.
  • Each transport stream multiplexer has its own 24-hour system clock (System Time Clock STC).
  • the decoding time stamp (DTS) is formed by adding the system clock and the VBV delay.
  • each transport stream multiplexer provides its transport stream (TS) with a real-time program time stamp (Program Clock Reference PCR) from its system clock (STC) as synchronized information about every 0.1 s.
  • PCR program time stamps
  • H header data
  • G picture groups
  • the data clock reconstruction at the receiving end of the respectively selected reference current on the local, reference-forming system clock In order to avoid the divergence of reference current and slave currents in the long term, the local clocks (System Time Clock STC) must be adjusted with an accuracy of plus / minus half of the 27 MHz system clock specified by the MPEG-2 standard.
  • the data stream frequency is determined as the division of the time difference between two successive real-time data stream parameters (TS-SV: PCR; ES-SV: VBVd) and the number of data bytes between these times.
  • TS-SV PCR
  • ES-SV VBVd
  • the division result cannot be processed with infinite accuracy, so that the deviation between the calculation accuracy and the real value leads to a long-term drift.
  • the solution to this problem is a further development of the phase-locked routine (Phased Locked Loop PLL) used for synchronization to a division-free PLL. More details can be found in the following explanations on FIGS. 1 and 2.
  • FIG. 1 shows a flow diagram for the TS-SV of the division-free, phase-locked signal processing routine (phase-locked loop PLL) for restoring (clock recovery CR) the data rate of the reference transport stream (TSref) and thus that represented by the program time stamps (PCRref) System clock (STCref).
  • a first subtractor (S1) the time is determined in 27 MHz cycles between two successive program time stamps (PCR n and PCR n + ⁇ ) of the reference transport stream (Tsref).
  • a possibly existing offset is taken into account in a second subtractor (S2) (T).
  • S2 second subtractor
  • the number of data bytes (D) is counted in a counter (C1) in the same time window.
  • This number of bytes (D) is added to the content (A) of an accumulator (AC) which is loaded at the beginning of the interval with (-T) (see below) in an adder (A1) (A + D).
  • a comparator (V1) gives a result when the addition result (A + D)> 0
  • VI represents the clock (TS-Clock) of the reference transport stream (TSref).
  • This TS-Clock signal controls the output side (TSref-MPEG-2) of the FIFO buffer that receives the data stream (TSref-Data) in turn, its input side is supplied via a data request signal.
  • phase-locked signal processing routine PLL which is advantageously used in the alternative elementary current synchronization method ES-SV for receiving the system clock at the receiving end, is shown in the flow diagram according to FIG.
  • a clock is operated with the 27 MHz system clock as a reference-forming system clock STCref.
  • This system clock STCref is initially with the time that is formed from the product of time stamp TC and frame duration FP (frame period) at the time of validity of the output of the first I-picture (after the decoding delay time of the first arriving P-picture PIVBVd) Elementary current ES).
  • the decoding delay time can advantageously also be subtracted, as a result of which "idle", unused processing time can be saved. It is therefore possible either to wait for the decoding delay time to elapse or to deduct this time from the product
  • the time of validity for the output of the first I-picture is then the time of arrival of the decoding delay time PIVBVd of the P- following the I-picture Pictures (first P-Picture P1).
  • the system clock STCref is then compared (or brought forward to idle) for each subsequent I-picture with the calculated time TC * FP or with the anticipated time TC * FP-P1VBVd of the recovered data stream at the time of validity after the expiration of the decoding delay time PIVBVd avoid). If there are any deviations, the clock frequency of the digital PLL is then regulated. The reference elementary current ESref recovered with the regulated clock then fulfills the required maximum clock deviation without long-term drift.
  • the CR on the receiving side of the data rate DR of the reference elementary stream ESref takes place in a central PLL with a parallel distribution or locally in multisynchronization modules MSM with a respective integrated PLL and a reference elementary stream passed through all cascaded multisync modules MSM Esref.
  • STCref The original system clock
  • the reference current as a whole can be passed through the synchronization modules of all slave currents one after the other (cascaded synchronization).
  • PLL phase-locked routine
  • STC local system clock
  • FIG. 3 shows the basic flow chart for cascaded processing of the transport or elementary flows (TS, ES).
  • the reference transport or element type stream (TSref, ESref) is passed in succession through identical computing steps, referred to here as multisynchronization modules (MSM).
  • MSM multisynchronization module
  • Each multisynchronization module (MSM) restores the reference system clock (STCref) from the reference stream (TSref, ESref) and synchronizes its slave stream (TSsl, ESsl) based on this information.
  • the slave current (TSsl, ESsl) is taken from a storage location for the video data referred to as a sequence buffer (Sequence Buffer SB).
  • the system clock (STCref) and the synchronized slave stream (TSsl, ESsl) are fed to the decoder for producing the actual video picture stream, referred to here as the main stream (HS).
  • the main stream (HS) After running through the cascade, all main streams (HS) required for presentation are available synchronously at the decoder outputs.
  • FIG. 4 shows the basic flow diagram for parallel processing of the elementary streams (ES) or transport streams (TS).
  • the reference system clock (STCref) is restored from the reference elementary stream (ESref) or the reference transport stream (TSref) and all steps, now referred to here as phase recovery PR, are made available.
  • phase recovery PR only the slave elementary stream (ESsl) or the slave transport stream (TSsl) is thus removed from the sequence buffer (SB), the phase synchronization is carried out and the synchronized slave elementary stream (ESsl) or the slave Transport stream (TSsl) fed to the decoder for the production of the main stream (HS).
  • STCref the reference system clock
  • the explanation of the image clock-rigid and image phase-correct coupling between reference and slave current follows. Since the clock-free coupling of the TS-SV according to the MPEG-2 standard has one stage by simply adjusting the system clocks (STC) of the transport stream demultiplexer to the recovered system clock (STCref) represented by the program time stamp (PCRref) in the cascaded procedure or If the recovered system clock (STCref) is distributed to the transport stream demultiplexers in a parallel process, no further explanations are required.
  • the image-clock-rigid coupling takes place in two stages, which is explained first. Then the image phase coupling for both methods TS-SV and ES-SV is explained.
  • the reference elementary current ESref in order to synchronize two elementary currents with a fixed clock, the reference elementary current ESref must be constant and the data rate of the local slave elementary current ESsl must be variable.
  • the system clock can come from a common, central clock (27 MHz) or in a two-stage process with the time stamp TC, the frame duration FP (or 1 / FR) and the decoding delay time PIVBVd of the first P-Pictures from the reference Elementary electricity ESref can be obtained. Compare Figure 5 with the flow diagram for the realization of the image-clock-rigid coupling with local system clock supply in the ES-SV.
  • the clock of the local system clock is first checked against the time sequence of the time stamp TCref and corrected in the event of a deviation.
  • a clock with the time stamps TC (second stage) runs with the local system clock.
  • the difference between the local time stamps TC and the time stamps TCref in the reference elementary flow ESref (possibly reduced by the decoding delay time PIVBVd of the first P-Pictures for efficient computing time utilization) is used by the timer as a correction variable to compensate for the long-term drift and any errors subtract the calculations of decoding delay times in the MPEG-2 decoder. This ensures that the elementary streams ES are equally fast, ie are phase-locked, since a central clock supply was also used in the studio for coding the individual data streams to impress the time stamp TC in all video sequences.
  • FIG. 6 shows a flow diagram for the ES-SV for coupling in the correct image phase as a second part in the actual synchronization after the data rate recovery of the reference elementary current ESref at the receiving end with a decentralized system clock supply. Since the stamped time stamps TC are used directly, there is no offset to be compensated. Since the same time stamp TC was imprinted on the images belonging together when the various video streams were recorded, the playback times must be the same. This ensures synchronization in the correct image phase. Again, the decoding delay time can be subtracted to avoid pure waiting times.
  • FIG. 7 shows for the ES-SV a combination of the three processing blocks required for the synchronization of video streams (recovery of the data rate with PLL; image clock-rigid and image phase-correct synchronization, as they are to be implemented in a multi-synchronization module MSM.
  • a decentralized structure with one Local clock recovery from the performed reference elementary stream ESref is particularly suitable in a cascaded arrangement for high-precision synchronization of any number of video streams that come from different storage media and can be read out at different starting times.
  • each recording-side multiplexer has its own system clock (STC). Although these run at the same speed, they may have a fixed time difference (offset).
  • the offset is basically defined by the difference between the program time stamp of the respective slave transport stream (PCRsI) and the reference system clock STCref on the transmission side.
  • PCsI program time stamp of the respective slave transport stream
  • STCref reference system clock
  • the difference between the presentation time stamp (PTS) of the reference current (index ref) and the respective slave current (index sl) is then the offset sought.
  • Figure 8 shows for the TS-SV the processing of the information contained in the transport streams (TS) that can be used for synchronization according to Formula 3).
  • the time stamp (TC) and the image length (FP) are multiplied for the reference transport stream (Tsref) and the respective slave transport stream (TSsl) and subtracted from the presentation time stamp (PTS).
  • the difference between the two results is then formed and this correction element is based on the result of the comparison of the restored system clock (STCref) from the reference transport stream (Tsref) with the Program time stamp (PCR) subtracted from the slave transport stream (TSsl).
  • STCref restored system clock
  • Tsref Program time stamp
  • the presentation time stamp (PTS) of the I-Picture consists of program time stamp (PCR) or system clock (STC), decoding time delay (PIVBVd) of the first P-pictures and picture length (FP) were put together by not directly on the presentation time stamp (PTS) but again directly on the program time stamp (PCR) or system clock (STC), decoding time delay (PIVBVd) of the first P-picture Image group (GOP) and image length (FP) from the transport stream (TS) to be synchronized is used.
  • PTS transport stream
  • Offset (4) ((STCsl + P BVdsl) -TCsl * FPsl) - ((STCref + PIVBVdref) -TCref * FPref)
  • FIG 9 shows for the TS-SV the processing of the information contained in the transport streams (TS) that can be used for synchronization according to Formula 4).
  • the use of the presentation time stamp (PTS) is now avoided here by using its production information program time stamp (PCR) and decoding delay time of the first P-pictures of the image group (PIVBVd, GOP) which are also contained in the transport stream become.
  • PCR production information program time stamp
  • STCref and STCsl is added to the respective decoding delay time (PIVBVd, IVBVd) and from this and from the respective multiplication of time stamps (TC ) and image length (FP) formed the difference.
  • This correction term is represented by the result of the comparison of the recovered system clock (STCref) from the reference transport stream (TSref) with the program time stamp (PCR) from the slave transport stream (TssL) (subtracted.
  • STCref recovered system clock
  • PCR program time stamp
  • TssL slave transport stream

Abstract

Prior art synchronization methods of MPEG 2-coded video sequences for digital large screen, (multiple), stereo, and parallax projections do not achieve exact temporal synchronization of the partial image sequences. The unsatisfactory overall impression of a mosaic image or phase-offset motions thus remain. The alternative inventive synchronization methods are specially designed for the MPEG 2-Standard and do not require any additional synchronization information since they use the items of information of the elementary stream or of the transport stream, said items of information being defined in the standard, particularly the regularly recorded time stamp or program time stamp, in order to precisely synchronize as many video sequences as desired even when the individual video sequences are started from different storage media and are not started in a precisely simultaneous manner. For synchronizing, a reference stream (ESref, TSref) is determined, which can be formed from one of the data streams. All other data streams (ESsl, TSsl) are then, on the receive-side, cascaded onto this reference stream (ESref, TSref) or parallelly synchronized. After a residual error-free recovery of the system clock (STCref), which is represented by the time stamps (TCref) or program time stamps (PCRref), the local system clocks are synchronized in a first synchronization step in order to link the images in a manner that is fixed with regard to the image time. In a second synchronization step, an image phase-correct linking is then, as a rule, locally set to the phase zero.

Description

Anmelderinapplicant
Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.Fraunhofer Society for the Promotion of Applied Research
SYNCHRONISATIONSVERFAHREN FÜR DIGITALE UTI-PROJEKTIONSSYSTEME SYN CH RONIS ATI ON PROCEDURE FOR DIGITAL UTI PROJECTION SYSTEMS
Beschreibungdescription
Die Erfindung bezieht sich auf ein Verfahren zur bezüglich Bildtakt und Bildphase regelbaren Synchronisation von zwei oder mehr MPEG-2-kodierten Videosequenzen (MPEG : Moving Picture Experts Group) für digitale Multi- Projektionssysteme. Digitale Großbild-, Stereo- und Parallaxprojektionen in Kinos für Filmvorführungen, zur Übertragung von sportlichen und kulturellen Großveranstaltungen oder auf Projektionswänden zu Werbe- oder Informa- tionszwecken in der Öffentlichkeit, auf Messen oder Kongressen können bei zunehmend geforderter hoher Auflösung der Bilder, High Definition (HD) oder darüber, nur durch Überlagerung von mehreren Einzelprojektionen erreicht werden. Solche Mehrfachprojektionen werden heute bereits eingesetzt, allerdings in nicht ausreichender Qualität, da ein nahtloser Übergang und insbesondere eine genaue zeitliche Synchronität der Teilbilder nicht erreicht wird. Der Gesamteindruck eines Mosaikbildes bleibt daher erhalten und ist für den Betrachter unbefriedigend. Insbesondere der für die Filmindustrie anstehende nächste größere Entwicklungsschritt, der vollständig digitale Produktzyklus aus Herstellung, Verleih und Vorführung hochaufgelöster Kinoproduktionen, erfordert aber zur Vermeidung dieser Nachteile unter anderem ein zuverlässiges Synchronisationsverfahren der bei dem derzeitigen Stand der Übertragungs- und Verarbeitungstechnik benötigten mehrfachen Datenströme.The invention relates to a method for the synchronization of two or more MPEG-2-coded video sequences (MPEG: Moving Picture Experts Group) for digital multi-projection systems which can be regulated with regard to the picture clock and picture phase. Digital large-screen, stereo and parallax projections in cinemas for film screenings, for the transmission of major sporting and cultural events or on projection screens for advertising or information purposes in public, at trade fairs or congresses can be carried out at increasingly high resolution images, high definition ( HD) or above, can only be achieved by overlaying several individual projections. Such multiple projections are already used today, but in insufficient quality, since a seamless transition and, in particular, exact temporal synchronicity of the partial images is not achieved. The overall impression of a mosaic picture is therefore preserved and is unsatisfactory for the viewer. In particular, the next major development step for the film industry, the completely digital product cycle from the production, distribution and screening of high-resolution cinema productions, requires, among other things, a reliable synchronization method to avoid these disadvantages State of the art transmission and processing technology required multiple data streams.
Bisher bekannte Lösungsansätze analoger Systeme zur Synchronisation gehen überwiegend von Pulse Code Modulation (PCM) kodierten Bildsequenzen aus. Hierbei werden die Bilder aller Kameras durch einen gemeinsamen Studiotakt phasenstarr synchronisiert. Eine Wiedergabe ohne Phasenversatz ist allerdings nur möglich, wenn das Auslesen aller Einzelsequenzen exakt zeitsynchron gestartet werden kann oder zusätzlich Referenzmarken gespeichert wurden. Der Nachteil PCM-kodierter Sequenzen liegt wegen der fehlenden Komprimierung in dem enorm hohen Bedarf an Speicherplatz und der Bandbreite für die Datenübertragung. Einzelne digitale Systeme arbeiten bereits auch mit MPEG-2 kodierten und komprimierten Sequenzen im Programm-Strom (PS)-Modus. In diesem Modus ist eine Synchronisation mehrerer Teilsequenzen jedoch nur zu erreichen, wenn diese in einem einzigen Programm-Strom verpackt werden. Dabei ist dann allerdings die von der MPEG spezifizierte Datenratenobergrenze sehr schnell erreicht. Auch in diesem Fall existiert keine Information über den absoluten Phasenversatz zwischen den Video-Teilsequenzen, sodass durchaus ein Versatz von einem bis zwei Vollbildern auftreten kann. Zum Thema „Synchronisation" ist aus der US 6.091.769 („Video decoder having an interfacing function for picture synchronization") eine Methode bekannt, wie die Systemuhr (vergleiche weiter unten) wiederhergestellt werden kann. Der Begriff „Synchronisation" bezieht sich hier jedoch nur auf die Ausnutzung der eingeprägten Stempel- Information, um die Bilder wieder in der richtigen Reihenfolge zeigen zu können. In der US 5.832.256 („System dock recovery apparatus for MPEG decoding System") wird ebenfalls eine Clock-Wiederherstellungsroutine vorgestellt. Es handelt sich dabei um eine phasengelockte Routine (PLL), die ausgewiesenermaßen entsprechend „MPEG-2 system CD in ISO/IEC 1 -13818, vom 08.11.1993, pp 89-93" arbeitet und nicht divisions- und daher nicht restfehlerfrei ist. Das Ergebnis ist damit nicht driftfrei, die Synchronisation nicht befriedigend. Gegenstand der zitierten Druckschriften sind regelmäßig Verfahren, nach denen die im MPEG-Standard vorgesehenen Datenarten (Video, Audio, sonstige Daten) eines einzelnen Transportstroms voneinander separiert und mit Hilfe der Stempel-Informationen zeitrichtig im Rahmen der erzielbaren Genauigkeit präsentiert werden sollen, oder Teilverfahren einzelner Aspekte des o.a. Verfahrens. In keiner der genannten Druckschriften wird eine Synchronisation von Informationen aus mehreren Transportströmen oder Elementarströmen vorgestellt. Die ausgewählten Druckschriften zeigen allesamt Verfahren zur Wiedergewinnung der Systemuhr aus den im Transport- oder Programmstrom enthaltenen Zeitinformationen. Bei diesen Systemen wird davon ausgegangen, dass die vom MPEG vorgegebene Datenrate eines einzelnen Transport- oder Programmstroms nicht überschritten wird und daher nur dieser betrachtet werden muss.Previously known approaches to solutions for analog systems for synchronization are mainly based on pulse code modulation (PCM) coded image sequences. The images from all cameras are synchronized phase locked by a common studio clock. However, playback without phase offset is only possible if the reading out of all individual sequences can be started exactly synchronously or if additional reference marks have been saved. The disadvantage of PCM-encoded sequences lies in the enormous amount of space and bandwidth required for data transmission due to the lack of compression. Individual digital systems already work with MPEG-2 encoded and compressed sequences in program stream (PS) mode. In this mode, however, multiple partial sequences can only be synchronized if they are packaged in a single program stream. However, the data rate upper limit specified by the MPEG is then reached very quickly. In this case, too, there is no information about the absolute phase offset between the video partial sequences, so that an offset of one to two frames can certainly occur. On the subject of "synchronization", a method is known from US Pat. No. 6,091,769 ("Video decoder having an interfacing function for picture synchronization") of how the system clock (see below) can be restored. However, the term “synchronization” here only refers to the use of the stamp information stamped in order to be able to show the images again in the correct order. US Pat. No. 5,832,256 (“System dock recovery apparatus for MPEG decoding system”) also presented a clock recovery routine. It is a phase-locked routine (PLL), which has been proven to work in accordance with "MPEG-2 system CD in ISO / IEC 1 -13818, from November 8, 1993, pp 89-93" and is not free of divisions and therefore not residual. The result is therefore not drift-free, the synchronization is unsatisfactory. The cited documents are regular Processes according to which the data types (video, audio, other data) of a single transport stream provided in the MPEG standard are to be separated from one another and presented in a timely manner within the achievable accuracy with the aid of the stamp information, or partial processes of individual aspects of the above process. In none of the publications mentioned is synchronization of information from multiple transport streams or elementary streams presented. The selected publications all show methods for recovering the system clock from the time information contained in the transport or program stream. With these systems it is assumed that the data rate of an individual transport or program stream specified by the MPEG is not exceeded and therefore only this has to be considered.
Die Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren anzugeben, mit dessen Hilfe die bezüglich Bildtakt und Bildphase regelbare Synchronisation von zwei oder mehr MPEG-2-kodierten, sequenziell oder parallel übertragenen Videosequenzen korrekt, zuverlässig und zufriedenstellend auch für große zu übertragende Datenmengen möglich ist. Dies soll insbesondere auch dann möglich sein, wenn die Videosequenzen aus unterschiedlichen Speichermedien und darüber hinaus auch zu unterschiedlichen Startzeitpunkten gestartet werden. Das erfindungsgemäße Verfahren soll einfach in seinem Ablauf und damit kostengünstig umzusetzen sein. Als Lösung für die Aufgabe sind erfindungsgemäß zwei alternative Verfahren gemäß dem nebengeordneten Anspruch 1 (Transportstrom-Synchronisations- verfahren, im Folgenden kurz mit TS-SV bezeichnet) und dem nebengeordneten Anspruch 7 (Elementarstrom-Synchronisationsverfahren, im Folgenden kurz mit ES-SV bezeichnet) vorgesehen. Vorteilhafte Weiterbildungen der erfindungsgemäßen alternativen Verfahren zur Synchronisation von Videosequenzen sind den zugeordneten Unteransprüchen zu entnehmen und werden im Folgenden im Zusammenhang mit der Erfindung näher erläutert. Die beiden als alternative Lösungen angegebenen Synchronisationsverfahren TS-SV und ES-SV setzen speziell für den eine Datenreduzierung um den Faktor 40 erreichenden MPEG-2-Standard eine gemeinsame prinzipielle Idee zur Lösung der gestellten Aufgabe um, bei der in einem dreistufigen Verfahrensablauf empfangsseitig ein MPEG-2-erzeugter Datenstrom als Referenzstrom definiert und in der Datentaktrate rekonstruiert wird, auf den dann alle anderen Datenströme zunächst im Bildtakt und dann in der Bildphase synchronisiert werden. Zur bildtaktstarren Synchronisation von zwei Datenströmen muss der Referenzstrom in der Datenrate konstant und der zu synchronisierende lokale Slavestrom veränderlich sein. Der Systemtakt kann dabei von einem gemeinsamen, zentralen Taktgeber (27 MHz nach MPEG-2- Standard) stammen oder in einem einstufigen (TS-SV) oder zweistufigen (ES- SV) Verfahren jeweils aus dem Referenzstrom rückgewonnen werden. Dadurch ist die geforderte Synchronität zwischen den darzustellenden Video- strömen im datenreduzierten MPEG-2-Standard sicher gewährleistet. Dabei ist es unerheblich, wann die einzelnen Videoströme aus den Speichermedien ausgelesen werden und um welche Speichermedien und wie viele Videoströme beliebiger Komplexität es sich handelt. Des Weiteren können auch unterschiedliche Normen bei der Bildaufnahme (Kamerasysteme, Videonorm) und der Bildwiedergabe (Wiedergabesysteme) berücksichtigt werden, die beispielsweise zu einer unterschiedlichen Bilddauer in den einzelnen Videosequenzen führen.The object of the present invention is therefore to provide a method by means of which the synchronization of two or more MPEG-2-coded, sequentially or in parallel transmitted video sequences, which can be regulated with respect to the picture clock and picture phase, is possible correctly, reliably and satisfactorily even for large amounts of data to be transmitted is. This should also be possible in particular if the video sequences are started from different storage media and, moreover, also at different start times. The process according to the invention should be simple to implement and therefore inexpensive to implement. According to the invention, two alternative methods as a solution to the problem are according to the independent claim 1 (transport stream synchronization method, hereinafter briefly referred to as TS-SV) and the secondary claim 7 (elementary stream synchronization method, hereinafter briefly referred to as ES-SV). intended. Advantageous developments of the alternative methods according to the invention for synchronizing video sequences can be found in the associated subclaims and are explained in more detail below in connection with the invention. The two synchronization methods TS-SV and ES-SV, which are given as alternative solutions, implement a common basic idea for solving the task specifically for the MPEG-2 standard, which achieves a data reduction by a factor of 40, in which an MPEG is received at the receiving end in a three-stage procedure -2-generated data stream is defined as a reference stream and reconstructed at the data clock rate, to which all other data streams are then synchronized first in the image cycle and then in the image phase. For synchronized synchronization of two data streams, the reference stream must have a constant data rate and the local slave stream to be synchronized must be variable. The system clock can come from a common, central clock (27 MHz according to MPEG-2 standard) or can be recovered from the reference current in a one-stage (TS-SV) or two-stage (ES-SV) process. This ensures the required synchronicity between the video streams to be displayed in the data-reduced MPEG-2 standard. It is irrelevant when the individual video streams are read from the storage media and which storage media and how many video streams of any complexity are involved. Furthermore, different standards can also be taken into account in image recording (camera systems, video standard) and image display (playback systems), which lead, for example, to a different image duration in the individual video sequences.
Die beiden erfindungsgemäßen Alternativlösungen TS-SV und ES-SV unter- scheiden sich in der Definition des Referenzstromes und in der Wahl der Synchronisationsparameter. In der ersten Alternative TS-SV wird dieser auf der Basis des Transportstromes, in der zweiten Alternative ES-SV auf der Basis des Elementarstromes definiert. Der MPEG-2-Standard sieht grundsätzlich eine Kodierung und Komprimierung von Videodaten im Elementarstrommodus vor. Bei einer fehlerfreien Datenübertragung (von Speichermedien oder per Glasfaser, leitungsgebunden) können die kodierten und komprimierten Daten direkt im Elementarstrom gesendet werden, bei einer fehlerbehafteten Datenübertragung (terrestrisch oder via Satellit, leitungsungebunden) erfolgt noch eine Verpackung der Daten in einen Transportstrom. Die Wahl der Erfindungsalternative hängt also auch von der Art der Datenübertragung ab. Bei einer fehlerbehafteten Übertragung wird in der Regel das TS-SV zu wählen sein, bei dem die empfangsseitige Speicherung der Daten nach dem Transportstromprotokoll erfolgt. Bei einer fehlerfreien Übertragung kann hingegen das in seinem Ablauf und in seiner Umsetzung aufgrund der Entbehrlichkeit von Multiplexer und Demultiplexer einfachere ES-SV angewendet werden, bei dem die empfangsseitige oder mediengebundene Speicherung nur nach dem Elementarstromprotokoll erfolgen kann. Da aber der Transportstrom und auch der Programmstrom die Elementarstromdaten enthalten, kann auch eine Anwendung des ES-SV auf gespeicherte Transportströme oder Programmströme (MPEG-2-Protokoll) erfolgen. Daneben können aber auch die Ausgangsdaten der MPEG-2-Enkoder direkt ohne eine Umwandlung verwendet werden, sodass insgesamt gesehen eine größere Anwendungsflexibilität bei dem ES-SV gegeben ist.The two alternative solutions TS-SV and ES-SV according to the invention differ in the definition of the reference current and in the choice of the synchronization parameters. In the first alternative TS-SV this is defined on the basis of the transport stream, in the second alternative ES-SV on the basis of the elementary stream. The MPEG-2 standard basically encodes and compresses video data in elementary stream mode. In the case of error-free data transmission (from storage media or via fiber optic, wired), the coded and compressed data can be sent directly in the elementary stream, if there is an error Data transmission (terrestrial or via satellite, non-wired), the data is still packaged in a transport stream. The choice of the alternative of the invention therefore also depends on the type of data transmission. In the event of a faulty transmission, the TS-SV will usually have to be selected, in which the receiving data is saved according to the transport stream protocol. In the case of an error-free transmission, however, the simpler ES-SV in terms of its process and implementation due to the dispensability of the multiplexer and demultiplexer can be used, in which the reception-side or media-based storage can only take place according to the elementary stream protocol. However, since the transport stream and also the program stream contain the elementary stream data, the ES-SV can also be used for stored transport streams or program streams (MPEG-2 protocol). In addition, the output data of the MPEG-2 encoders can also be used directly without conversion, so that overall there is greater application flexibility with the ES-SV.
Die Erfindung ist insbesondere darin zu sehen, dass es erstmals gelingt, die für große Datenmengen von mehreren Kameras erforderlichen diversen Elemen- tar- oder Transportströme so zu synchronisieren, dass sie als Voraussetzung für eine Großbildprojektion o.a. bildtaktgenau, d.h. ohne eine Drift zwischen den Bildern, d.h. ohne Bildskip (gelegentliches Überspringen eines Bildes zur Verkürzung) und ohne Bilddubbing (gelegentliche Verdoppelung eines Bildes zur Dehnung), und bildphasengenau, d.h. ohne Versatz um ein oder mehrere Bilder oder Teilen davon oder mit einem fest vorgegebenen Versatz aus künstlerischen Aspekten heraus, präsentiert werden können. Dabei ist ein besonderer Vorteil der Erfindung, dass alle zur Verfahrensdurchführung erforderlichen Synchronisationsinformationen aus den Elementarströmen oder Transportströmen selbst kommen, d.h. schon direkt im MPEG-2-Standard definiert sind, und also keine zusätzliche Informationsquelle erforderlich ist. Ein Nebeneffekt des erfindungsgemäßen Verfahrens ist die beliebige Einstellbarkeit der Bildphase, die als gezieltes Darstellungselement eingesetzt werden kann. Die zur Durchführung der Synchronisation erforderliche Information steckt in jedem Transport- oder Elementarstrom (Programmzeit-Stempel oder Zeitstempel bzw. Dekodierungs-Verzögerungszeit). Diese Information wird genutzt, um empfangsseitig den Referenzstrom auf eine lokale Uhr als referenzbildende Systemuhr zu synchronisieren. Dazu wird empfangsseitig einer der datentragenden Transport- oder Elementarströme oder auch ein eigener, nur die Synchron-Informationen enthaltender Transport- oder Elementarstrom als Referenzstrom mit kontinuierlichem Datenfluss definiert und seine Informationen dazu benutzt, alle anderen Datenströme durch Verän- derung ihrer Datenrate auf die Datenrate des Referenzstroms zu synchronisieren. Nach der Festlegung des Referenzstromes und der empfangsseitigen Wiedergewinnung seiner Datenrate wird dann eine zuerst bildtaktstarre und dann bildphasenrichtige Kopplung der zusammengehörigen Bilder aus den einzelnen Videosequenzen durchgeführt. Die empfangsseitige Wieder- gewinnung der Taktrate des Referenz-Transportstromes ist erforderlich, um alle digitalen Datenströme mit einem gemeinsamen Takt zu dekodieren, da sonst relevante Abweichungen auftreten können, die eine Langzeitdrift zur Folge haben. Für die empfangsseitige Wiedergewinnung der Datenrate (Clock Recovery CR) und damit der durch die Programmzeit-Stempel (Program Clock Reference PCRref) im Referenz-Transportstrom oder durch die Zeitstempel (Time Clock TC) im Referenz-Elementarstrom repräsentierten referenzgebenden Systemuhr (System Time Clock STCref) werden in einer phasengelockten Signalverarbeitungsroutine (Phase-Locked Loop PLL) die empfangsseitigen lokalen Systemuhren durch Vergleich mit den genannten Parametern so lange nachgeregelt, bis ihre Differenz Null ergibt. Die so eingeregelten lokalen Systemuhren werden nun unmittelbar dazu benutzt, die Ausgabeseite eines den vom Datenspeicher kommenden Datenstrom aufnehmenden FIFO- Puffers (First In First Out) auf die referenzgebende Datenrate zu takten. Diese stellt die wiedergewonnene, das heißt die auf den Referenz-Transportstrom synchronisierte Datenrate dar, mit der der nachgeschaltete MPEG-2-Dekoder die eigentliche Videosequenz aufbereitet. Die empfangsseitige Wiedergewinnung der Datenrate des senderseitig vorgegebenen Systemtaktes, das heißt die empfangsseitige Rekonstruktion des definierten Referenzstromes, ist essenziell für die perfekte Synchronisation der Bilder auf der Empfangsseite bei der Erfindung. Auftretende geringfügige Unterschiede zwischen dieser lokalen, referenzbildenden Systemuhr und der ursprünglichen, zentralen Studiouhr (Abweichung vom vorgegebenen MPEG-2 27 MHz-Takt) sind dabei tolerierbar und damit akzeptabel. In einem weiteren Verfahrensschritt erfolgt dann zunächst eine bildtaktstarre Kopplung der Bilder aller Videosequenzen. Damit wird deren identische Fortlaufgeschwindigkeit erreicht. Allerdings kann hier noch ein konstanter Versatz zwischen den Bildern vorhanden sein. Die bildtaktstarre Synchronisation erfolgt durch Einregelung des Takts der lokalen Systemuhren der empfängerseitigen Transportstrom- Demultiplexer beim TS-SV oder direkt bei ES-SV auf den Takt der aus dem Referenzstrom wiederhergestellten Referenz-Systemuhr. In einem letzten Verfahrensschritt wird dann die bildphasenrichtige Synchronisation durchgeführt. Dabei tritt beim ES-SV prinzipiell kein Offset auf. Beim TS-SV können auftretende Laufzeitunterschiede der Systemuhren der einzelnen Transport- strom-Demultiplexer in Bezug auf die Referenz-Systemuhr und der Offset der dynamisch arbeitenden, senderseitigen MPEG-2-Multiplexer durch ent- sprechende Datenverarbeitung berücksichtigt werden. Für eine informative Bildwiedergabe ist eine Versatzfreiheit zwischen den Bildern der einzelnen Videosequenzen erforderlich. Die Abweichungen werden entsprechend vollständig kompensiert. Durch die vollständig synchrone MPEG-2-konforme Ausgabe der Datenströme können empfangsseitig beliebige MPEG-2-Dekoder verwendet werden. Für künstlerische Darbietungen kann aber ein Versatz durchaus gewollt sein, sodass die Laufzeitunterschiede und der Offset durch das Synchronisationsverfahren nach der Erfindung entsprechend eingestellt werden können.The invention can be seen in particular in the fact that it is possible for the first time to synchronize the various elementary or transport streams required for large amounts of data from several cameras in such a way that they are precise as a prerequisite for a large image projection or the like, ie without a drift between the images. ie without image skip (occasionally skipping an image for shortening) and without image dubbing (occasionally doubling an image for stretching), and image phase accurate, i.e. without offset by one or more images or parts thereof or with a predetermined offset due to artistic aspects can. It is a particular advantage of the invention that all synchronization information required for carrying out the method comes from the elementary streams or transport streams themselves, that is to say is already defined directly in the MPEG-2 standard, and therefore no additional information source is required. A side effect of the method according to the invention is the arbitrary adjustability of the image phase, which are used as a targeted display element can. The information required to carry out the synchronization is contained in every transport or elementary stream (program time stamp or time stamp or decoding delay time). This information is used to synchronize the reference current on the receiving side with a local clock as a reference-forming system clock. For this purpose, one of the data-carrying transport or elementary streams or a separate transport or elementary stream containing only the synchronous information is defined as a reference stream with continuous data flow at the receiving end and its information is used to convert all other data streams to the data rate of the To synchronize reference current. After the determination of the reference current and the recovery of its data rate at the receiving end, a coupling of the associated images from the individual video sequences, which is first rigid in the image clock and then in the correct image phase, is then carried out. The recovery of the clock rate of the reference transport stream at the receiving end is necessary in order to decode all digital data streams with a common clock, since otherwise relevant deviations can occur which result in a long-term drift. For the recovery of the data rate at the receiving end (clock recovery CR) and thus the reference system clock (system time clock STCref) represented by the program time stamp (Program Clock Reference PCRref) in the reference transport stream or by the time stamp (Time Clock TC) in the reference elementary stream ) in a phase-locked signal processing routine (phase-locked loop PLL), the local system clocks on the receiving end are readjusted by comparison with the parameters mentioned until their difference is zero. The local system clocks set up in this way are now used directly to clock the output side of a FIFO buffer (first in first out) that receives the data stream coming from the data memory to the reference data rate. This represents the recovered, that is, the data rate synchronized with the reference transport stream, with which the downstream MPEG-2 decoder processes the actual video sequence. The recovery at the receiving end of the data rate of the system clock predetermined by the transmitter, that is to say the reconstruction of the defined reference current at the receiving end, is essential for the perfect synchronization of the images on the receiving end in the invention. Slight differences that occur between this local, reference-forming system clock and the original, central studio clock (deviation from the specified MPEG-2 27 MHz clock) are tolerable and therefore acceptable. In a further method step, the images of all the video sequences are then coupled in a frame-locked manner. In this way, their identical running speed is achieved. However, there may still be a constant offset between the images. The clock synchronization is carried out by regulating the clock of the local system clocks of the transport stream demultiplexers at the TS-SV or directly at ES-SV to the clock of the reference system clock restored from the reference current. In a last method step, the image phase synchronization is then carried out. In principle, no offset occurs with the ES-SV. With the TS-SV, occurring runtime differences of the system clocks of the individual transport stream demultiplexers with respect to the reference system clock and the offset of the dynamically operating, MPEG-2 multiplexer on the transmitter side can be taken into account by appropriate data processing. For an informative image reproduction, there must be an offset between the images of the individual video sequences. The deviations are fully compensated accordingly. Due to the completely synchronous MPEG-2-compliant output of the data streams, any MPEG-2 decoder can be used on the receiving side. For artistic performances, however, an offset may well be desired, so that the runtime differences and the offset can be set accordingly by the synchronization method according to the invention.
Die beiden alternativen Verfahren der Erfindung TS-SV und ES-SV basieren auf folgenden, aus dem speziellen MPEG-2-Standard abgeleiteten Überlegungen. Im MPEG-2-Enkoder werden die Bilder zu Bildgruppen (GOP, Group of pictures) zusammengefasst und kodiert (zur Vermeidung von Wiederholungen wird bezüglich der bekannten Arbeitsweise des MPEG-2-Verfahrens auf die Einleitung im speziellen Beschreibungsteil verwiesen). Die Bildkodierung erfolgt für jedes I- und P-Picture sofort, für die B-Pictures aber erst nach der Aufnahme des folgenden I- oder P-Pictures. Um den Aufwand im Dekoder zu reduzieren, werden die B-Pictures erst nach dem folgenden P- Picture übertragen. Im empfangsseitigen MPEG-2-Dekoder werden die Bilder dann wieder dekodiert und in die richtige Reihenfolge gebracht. Dabei werden die I- und P-Picture nach Ablauf der Dekodierungs-Verzögerungszeit (Video Buffer Verifier Delay VBVd) dekodiert und zur verzögerten Ausgabe zwischengespeichert und die B-Pictures nach VBVd dekodiert und sofort ausgegeben (damit sind hier der Dekodierungszeit-Stempel (Decoding Time Stamp DTS) und der Präsentationszeit-Stempel (Presentation Time Stamp PTS) identisch). Zum Zeitpunkt der Dekodierung eines I- oder P-Pictures muss aber auch ein Bild ausgegeben werden. Dabei entspricht der DTS dieses Bildes dem PTS des vorangegangenen I- oder P-Pictures. Dieser Sachverhalt wird beim TS-SV genutzt. Der DTS eines Bildes in einem GOP setzt sich aus der Systemuhrzeit (System Time Clock STC) zum Zeitpunkt des Anfangs des Bildes und der zugehörigen Dekodierungs-Verzögerungszeit VBVd zusammen. Weiterhin ist der Dekodierungszeitpunkt eines I- oder P-Pictures der Ausgabezeitpunkt des vorangegangenen I- oder P-Pictures. Der Dekodierungszeitpunkt des ersten P- Pictures - nach dem Ablauf der vom Enkoder vorgegebenen Dekodierungs- Verzögerungszeit - ist damit der Ausgabezeitpunkt des I-Pictures und damit der Gültigkeitszeitpunkt des bei der Aufnahme eingeprägten Zeitstempels TC, den in der Bildgruppe nur noch das I-Picture trägt. Dieser Sachverhalt wird beim ES-SV genutzt. Der eingeprägte Zeitstempel TC ergibt durch die Multiplikation mit der durch die gewählte Videonorm bedingten Bilddauer genau die Uhrzeit der ursprünglichen, zentralen Studiouhr bei der Bildaufnahme. Diese ist aber bei gleichzeitig aufgenommenen Bildern identisch und somit ein genaues Maß zur empfangsseitigen Synchronisation der Bilder unterschiedlicher Videosequenzen zueinander. Zusammenfassend werden somit zur Synchronisation als Parameter beim TS-SV die Systemuhrzeit STC, die als Programmzeit- Stempel (Programm Clock Reference PCR) mindestens zehnmal in der Sekunde in den Transportstrom eingestempelt wird, der zum I-Picture gehörende Zeitstempel TC, die Bilddauer (Frameperiod FP) und die Dekodierungs-Verzögerungszeit PIVBVd des ersten P-Pictures genutzt, wohin- gegen beim ES-SV nur der Zeitstempel TC und die Dekodierungszeit VBVd als Parameter erforderlich sind.The two alternative methods of the invention TS-SV and ES-SV are based on the following considerations derived from the special MPEG-2 standard. In the MPEG-2 encoder, the pictures become picture groups (GOP, Group of pictures) summarized and coded (to avoid repetition, please refer to the introduction in the special description section regarding the known working method of the MPEG-2 process). The image coding takes place immediately for each I- and P-Picture, but for the B-Pictures only after the recording of the following I- or P-Picture. In order to reduce the effort in the decoder, the B-Pictures are only transmitted after the following P-Picture. The images are then decoded in the receiving MPEG-2 decoder and put in the correct order. After the decoding delay time (Video Buffer Verifier Delay VBVd) has elapsed, the I- and P-Pictures are decoded and buffered for delayed output, and the B-Pictures are decoded according to VBVd and output immediately (this is the decoding time stamp (Decoding Time Stamp DTS) and the presentation time stamp (Presentation Time Stamp PTS) identical). At the time of decoding an I or P picture, an image must also be output. The DTS of this picture corresponds to the PTS of the previous I or P pictures. This is used by the TS-SV. The DTS of a picture in a GOP is composed of the system time clock (STC) at the time of the beginning of the picture and the associated decoding delay time VBVd. Furthermore, the decoding time of an I or P picture is the output time of the previous I or P picture. The decoding time of the first P-picture - after the decoding delay time specified by the encoder has elapsed - is the time of output of the I-picture and thus the time of validity of the time stamp TC stamped during the recording, which in the picture group only has the I-picture , This is used by the ES-SV. The impressed timestamp TC, when multiplied by the duration of the picture determined by the selected video standard, gives the exact time of the original, central studio clock when the picture was taken. However, this is identical in the case of images recorded at the same time and is therefore a precise measure of the reception-side synchronization of the images of different video sequences with one another. In summary, the system time STC, which is the program time Stamp (Clock Reference PCR program) is stamped into the transport stream at least ten times per second, the time stamp TC belonging to the I-Picture, the picture duration (frame period FP) and the decoding delay time PIVBVd of the first P-Picture are used, whereas the ES-SV only the time stamp TC and the decoding time VBVd are required as parameters.
Im MPEG-2-Standard wird die zu jedem Bild gehörende, vom Enkoder ausgegebene Information der Dekodierungs-Verzögerungszeit zugeordnet. Diese startet jeden Dekoder so, dass er im Intervall einer Bilddauer (Framerate-Intervall) immer ein neues Bild dekodiert, also bildsynchron zum Enkoder arbeitet. Durch diese Tatsache ist somit allgemein nach Ablauf der Dekodierungs-Verzögerungszeit (VBVdn) eines Bildes n bis zum Ablauf der Dekodierungs-Verzögerungszeit (VBVdn+ι) des nächsten Bildes n+1 genau eine Bildperiode (= Bilddauer FP = Kehrwert der Bildfrequenz = 1 /FR) verstrichen. Dies gilt somit auch für die Übertragung aller Bilder. Wenn die Übertragungszeit der Daten für dieses Bild genau der Bildlänge entspricht, sind beide Dekodierungs-Verzögerungszeiten gleich groß (konstantes Delay). Sind aber weniger Daten für dieses Bild übertragen worden, so trifft die Information über die Dekodierungs-Verzögerungszeit des folgende Bildes früher ein. Da dann länger bis zur Dekodierung gewartet werden muss, muss die Verzögerungszeit entsprechend höher vorgegeben sein. Dies ist die Grundlage des ES-SV. Die Datenrate des Elementarstromes kann somit aus der Bildlänge (FP) plus der Differenz der Verzögerungszeiten VBVdn - VBVdn+ι geteilt durch die Anzahl der Datenbytes in den Grenzen der beiden Dekodierungs- Verzögerungszeiten aufeinander folgender Bilder n, n+1 berechnet werden. Eine Division einer Zeit durch eine Zahl hat jedoch aufgrund der Rechenungenauigkeit immer einen Restfehler, der zu einer Langzeitdrift führen kann. Durch Anwendung einer divisionsfreien phasengelockten Verarbeitungsroutine (PLL) kann jedoch ein dauerhafter Restfehler vermieden werden. Vielmehr erfolgt hier eine stufenweise Restfehlerakkumulation und Kompensation. Aufgrund der geringen 90 kHz-Auflösung der Dekodierungs-Verzögerungs- zeiten und den großen Intervallen des Zeitstempels von ca. 480 ms kann zwar beim dem ES-SV nach der Erfindung eine Synchronungenauigkeit auftreten, diese liegt aber in einem Bereich von nur ± 64 μs. Dadurch können die synchronisierten Dekoder einen entsprechenden Zeitversatz zum Dekoder des Referenz-Elementarstromes aufweisen. Dieser Versatz beträgt aber im Vergleich zu einer HDTV-Halbbilddauer von 20 ms nur ca. 0,3 %. Ein derartig geringer Synchronfehler bewirkt daher höchstens eine ± 64 μs verschobene Startzeit der Bilder und nicht einen Versatz um zwei Zeilen. Außerdem kann der auftretende Synchronisationsfehler durch eine Korrektur mit der Dekodierungs-Verzögerungszeiten noch bis auf unter 5 μs verkleinert werden.In the MPEG-2 standard, the information belonging to each picture and output by the encoder is assigned to the decoding delay time. This starts each decoder in such a way that it always decodes a new picture in the interval of a picture period (frame rate interval), i.e. works picture synchronously with the encoder. As a result of this fact, after the decoding delay time (VBVd n ) of one picture n has expired, until the decoding delay time (VBVd n + ι) of the next picture n + 1 has expired, exactly one picture period (= picture duration FP = reciprocal of the picture frequency = 1 / FR) has passed. This also applies to the transmission of all images. If the transmission time of the data for this picture corresponds exactly to the picture length, both decoding delay times are equal (constant delay). However, if less data has been transmitted for this picture, the information about the decoding delay time of the following picture arrives earlier. Since it then has to be waited longer before decoding, the delay time must be set accordingly higher. This is the basis of the ES-SV. The data rate of the elementary stream can thus be calculated from the picture length (FP) plus the difference between the delay times VBVd n - VBVd n + ι divided by the number of data bytes within the limits of the two decoding delay times of successive pictures n, n + 1. However, dividing a time by a number always has a residual error due to the inaccuracy of the calculation, which can lead to a long-term drift. However, a permanent residual error can be avoided by using a division-free phase locked processing routine (PLL). Rather, a gradual residual error accumulation and compensation takes place here. Due to the low 90 kHz resolution of the decoding delay times and the large intervals of the time stamp of approx. 480 ms, the ES-SV according to the invention may have a synchronization inaccuracy, but this is in a range of only ± 64 μs. As a result, the synchronized decoders can have a corresponding time offset from the decoder of the reference elementary stream. However, this offset is only approx. 0.3% compared to an HDTV field duration of 20 ms. Such a small synchronous error therefore causes at most a delayed start time of the images of ± 64 μs and not an offset by two lines. In addition, the synchronization error that occurs can be reduced to less than 5 μs by a correction with the decoding delay times.
Ausbildungsformen der Erfindung in ihren Alternativen TS-SV und ES-SV werden zu deren weiterem Verständnis nachfolgend anhand der schematischen Figuren näher erläutert. Dabei zeigtForms of embodiment of the invention in their alternatives TS-SV and ES-SV are explained in more detail below with the aid of the schematic figures. It shows
Figur 1 für TS-SV: ein Flussbild der divisionslosen Phase-Locked Loop,FIG. 1 for TS-SV: a flow diagram of the non-divisional phase-locked loop,
Figur 2 für ES-SV: ein Flussbild der divisionslosen Phase-Locked Loop, Figur 3 für TS-SV und ES-SV: ein Flussbild der kaskadierten Synchronisation, Figur 4 für TS-SV und ES-SV: ein Flussbild der parallelenFigure 2 for ES-SV: a flow diagram of the non-divisional phase-locked loop, Figure 3 for TS-SV and ES-SV: a flow diagram of the cascaded synchronization, Figure 4 for TS-SV and ES-SV: a flow diagram of the parallel
Synchronisation, Figur 5 für ES-SV: ein Flussbild zur bildtaktstarren Synchronisation, Figur 6 für ES-SV: ein Flussbild zur bildphasenrichtigen Synchronisation, Figur 7 für ES-SV: ein Flussbild zur kombinierten bildtakt- und bildphasenrichtigen Synchronisation, Figur 8 für TS-SV: ein Flussbild der Synchronisation mit Offset- Berücksichtigung und Figur 9 für TS-SV: ein Flussbild der kombinierten bildtakt- und bildphasenrichtigen Synchronisation mit optimierter Offset-Berücksichtigung. Zum näheren Verständnis der Erfindung in beiden Alternativen und der verwendeten Fachbegriffe wird im Folgenden zunächst die zum Stand der Technik gehörende Aufbereitung der Videosequenzen zu im MPEG-2- Verfahren standardisierten Transportströmen (TS) beschrieben.Synchronization, FIG. 5 for ES-SV: a flow diagram for synchronized picture clock, FIG. 6 for ES-SV: a flow diagram for synchronized picture phase, FIG. 7 for ES-SV: a flow diagram for combined synchronized picture clock and picture phase, FIG. 8 for TS- SV: a flowchart of the synchronization with offset consideration and FIG. 9 for TS-SV: a flowchart of the combined picture clock and picture phase correct synchronization with optimized offset consideration. For a better understanding of the invention in both alternatives and the technical terms used, the preparation of the video sequences for transport streams (TS) standardized in the MPEG-2 process is first described below.
Die für eine entsprechende Großbildprojektion vorgesehenen zwei oder mehr Kameras werden mit einem gemeinsamen Takt aus einer zentralen Studiouhr versorgt und jedem Bild ein Zeitstempel (Time Code TC, h:m:s:BildNr) aufgeprägt. Gleichzeitig aufgenommene Bilder aller Kameras erhalten damit denselben Zeitstempel. Die von den zwei oder mehr Kameras aufgenommenen Videosequenzen werden entweder a) in einem einzigen MPEG-2- Enkoder gepuffert (zwischengespeichert) und seriell kodiert, d.h. nach dem MPEG-2-Verfahren komprimiert, oder b) in mehreren MPEG-2-Enkodem gepuffert und parallel und seriell kodiert (z.B. Enkoder 1 kodiert seriell Videosequenzen von den Kameras 1 ,2,3, Enkoder 2 kodiert seriell Videosequenzen von den Kameras 4,5,6 und Enkoder 3 kodiert seriell Videosequenzen der Kameras 7,8,9 usw., alle drei Enkoder laufen parallel) oder c) in einer der Anzahl Kameras entsprechenden MPEG-2-Enkodem gepuffert und parallel kodiert.The two or more cameras provided for a corresponding large image projection are supplied with a common clock from a central studio clock and a time stamp (time code TC, h: m: s: image no.) Is stamped on each image. Images from all cameras taken at the same time are given the same time stamp. The video sequences recorded by the two or more cameras are either a) buffered (cached) in a single MPEG-2 encoder and serially encoded, i.e. compressed according to the MPEG-2 method, or b) buffered in several MPEG-2 encoders and coded in parallel and serially (e.g. encoder 1 serially encodes video sequences from cameras 1, 2, 3, encoder 2 serially encodes video sequences from cameras 4 , 5, 6 and encoder 3 serially encode video sequences from cameras 7, 8, 9, etc., all three encoders run in parallel) or c) buffered in an MPEG-2 encoder corresponding to the number of cameras and encoded in parallel.
Jeder Enkoder fasst bei der Kodierung die Bilder jeder seiner speisenden Kameras jeweils in Gruppen von etwa 12 Bildern zu Bildgruppen (Groups Of Pictures GOP) zusammen. Das Ergebnis sind die Elementarströme (Elemen- tary Stream, ES) der beteiligten Enkoder. Bei der Zusammenfassung in Bildgruppen (GOP) wird das erste Bild mit „I-Picture" bezeichnet (Intra-Picture, intra-frame coded image). Es wird zwar auch komprimiert, repräsentiert aber trotzdem das komplette Bild. Das I-Picture behält seinen Zeitstempel (TC), bei allen anderen Bildern einer Bildgruppe (GOP) wird der Zeitstempel (TC) unterdrückt. Die Reihenfolge der Bilder in der Bildgruppe (GOP) entspricht jedoch nicht der natürlichen Reihenfolge, sondern wird entsprechend dem MPEG-2-Kodierungsalgorithmus verschachtelt. Es folgen B-Pictures (Bidirecti- onally Predictive Picture, inter-frame bidirectionally predictive coded image) und P-Pictures (Predictive Picture, inter-frame predictive coded image). Jedem Bild wird ein Dekodierungs-Verzögerungs-Stempel (Video Buffer Verifier Delay VBVd) mitgegeben, der später im empfangsseitigen MPEG-2-Dekoder die Verzögerungszeit vom Eintreffen des Bildes bis zu seiner Dekodierung angibt. Der VBV-Delay (Angabe einer Zeit) multipliziert mit 90kHz (Angabe von Takten pro Zeit) ergibt die Anzahl der abzuwartenden 90kHz-Takte, die in einem einfachen Zähler abgemessen werden können. Die 90kHz-Frequenz entspricht dem 300sten Teil des vorgegebenen 27 MHz-MPEG-2-Systemtakts. Der Wert des Teilers ist Standard-Bestandteil des MPEG-2-Kodierungsverfahrens.Each encoder encodes the images of each of its feeding cameras in groups of about 12 pictures into groups of pictures (Groups Of Pictures GOP). The result is the elementary streams (ES) of the encoders involved. When grouping into picture groups (GOP), the first picture is called "I-Picture" (intra-picture, intra-frame coded image). Although it is compressed, it still represents the complete picture. The I-Picture retains its own Time stamp (TC), for all other pictures in a picture group (GOP) the time stamp (TC) is suppressed, however the order of the pictures in the picture group (GOP) does not correspond to the natural order, but is nested according to the MPEG-2 coding algorithm. B-Pictures (Bidirecti- onally Predictive Picture, inter-frame bidirectionally predictive coded image) and P-Pictures (Predictive Picture, inter-frame predictive coded image). Each picture is given a decoding delay stamp (Video Buffer Verifier Delay VBVd), which later specifies the delay time in the receiving MPEG-2 decoder from the arrival of the picture to its decoding. The VBV delay (specification of a time) multiplied by 90kHz (specification of clocks per time) gives the number of 90kHz clocks to be waited, which can be measured in a simple counter. The 90 kHz frequency corresponds to the 300th part of the specified 27 MHz MPEG-2 system clock. The value of the divider is a standard part of the MPEG-2 coding process.
Nach der Kodierung durch den oder die MPEG-2-Enkoder werden die Elementarströme (ES) in den oder die Transportstrom - Multiplexer geleitet und dort in Pakete mit Kopfdaten (Header H) zu paketisierten Elementarströmen (Packetised Elementary Streams PES) verpackt bzw. unterteilt. Jedem Paket mit einem Bildanfang wird ein Dekodierungszeit-Stempel (Decoding Time Stamp DTS) und/oder ein Präsentationszeit-Stempel (Presentation Time Stamp PTS) in den Kopfdaten (Header H) mitgegeben. Jeder Transportstrom- Multiplexer hat seine eigene 24-h-Systemuhr (System Time Clock STC). Der Dekodierungszeit-Stempel (DTS) wird aus einer Addition von Systemuhr und VBV-Delay gebildet. Da die Pakete des paketisierten Elementarstroms (PES) nicht bildsynchron sind, muss zur Bildung der Präsentationszeit-Stempels (PTS), der ebenfalls in die Kopfdaten (H) gestempelt wird, in der Regel die nächste VBV-Delay-Information vom ersten P-Picture abgewartet werden. Die Stempel (DTS, PTS) zeigen also immer in die Zukunft. Wegen des 90kHz- Takts der VBV-Delay-Information sind die Stempel (DTS, PTS) nur bis auf ca. ±5,56 μs genau. Jeder Transportstrom-Multiplexer versieht seinen Transportstrom (TS) etwa alle 0,1 s mit einem echtzeitigen Programmzeit-Stempel (Program Clock Reference PCR) aus seiner Systemuhr (STC) als Synchron- information. Die Programmzeit-Stempel (PCR) werden in die Kopfdaten (H) der Pakete des Transportstroms (TS) eingestempelt, stehen aber weder mit Bildern noch mit Bildgruppen (GOP) im Zusammenhang. Ab hier stehen die Transportströme (TS) dann zur Speicherung, Übertragung, erneuter Speicherung und anschließend von den Speichermedien zur Aufbereitung und Präsentation zur Verfügung.After coding by the MPEG-2 encoder (s), the elementary streams (ES) are routed into the transport stream multiplexer (s) and there packaged or divided into packets with header data (header H) to form packetized elementary streams (PES). A decoding time stamp (DTS) and / or a presentation time stamp (PTS) is included in the header data (header H) for each packet with an image start. Each transport stream multiplexer has its own 24-hour system clock (System Time Clock STC). The decoding time stamp (DTS) is formed by adding the system clock and the VBV delay. Since the packets of the packetized elementary stream (PES) are not image-synchronous, the next VBV delay information from the first P-Picture must usually be used to form the presentation time stamp (PTS), which is also stamped in the header data (H) be waited for. The stamps (DTS, PTS) always point to the future. Due to the 90 kHz clock of the VBV delay information, the stamps (DTS, PTS) are only accurate to approx. ± 5.56 μs. Each transport stream multiplexer provides its transport stream (TS) with a real-time program time stamp (Program Clock Reference PCR) from its system clock (STC) as synchronized information about every 0.1 s. The program time stamps (PCR) are stamped into the header data (H) of the packets of the transport stream (TS), but are neither related to pictures nor to picture groups (GOP). From here they are Transport streams (TS) are then available for storage, transmission, re-storage and then from the storage media for preparation and presentation.
Wesentlich für die vorliegende Erfindung ist zunächst die empfangsseitige Datentaktrekonstruktion des jeweilig gewählten Referenzstromes auf der lokalen, referenzbildenden Systemuhr. Damit langfristig das Auseinanderlaufen von Referenzstrom und Slaveströmen vermieden wird, müssen die lokalen Uhren (System Time Clock STC) mit einer Genauigkeit von plus/minus der Hälfte des durch den MPEG-2-Standard vorgegebenen 27 MHz-Systemtakts eingeregelt werden. Die Datenstrom-Frequenz wird als Division der Zeitdifferenz zwischen zwei aufeinanderfolgenden echtzeitigen Datenstrom- parametern (TS-SV : PCR; ES-SV : VBVd) und der Anzahl der zwischen diesen Zeitpunkten liegenden Datenbytes ermittelt. Das Divisionsergebnis ist aber nicht mit unendlicher Genauigkeit weiterverarbeitbar, so dass die Abweichung zwischen Rechengenauigkeit und realem Wert zu einer Langzeitdrift führt. Die Lösung zu diesem Problem stellt eine Weiterentwicklung der zur Synchronisation eingesetzten phasengelockten Routine (Phased Locked Loop PLL) zu einer divisionsfreien PLL dar. Näheres dazu ist den folgenden Erläuterungen zu den Figuren 1 und 2 zu entnehmen.First of all, it is essential for the present invention that the data clock reconstruction at the receiving end of the respectively selected reference current on the local, reference-forming system clock. In order to avoid the divergence of reference current and slave currents in the long term, the local clocks (System Time Clock STC) must be adjusted with an accuracy of plus / minus half of the 27 MHz system clock specified by the MPEG-2 standard. The data stream frequency is determined as the division of the time difference between two successive real-time data stream parameters (TS-SV: PCR; ES-SV: VBVd) and the number of data bytes between these times. However, the division result cannot be processed with infinite accuracy, so that the deviation between the calculation accuracy and the real value leads to a long-term drift. The solution to this problem is a further development of the phase-locked routine (Phased Locked Loop PLL) used for synchronization to a division-free PLL. More details can be found in the following explanations on FIGS. 1 and 2.
Figur 1 zeigt für das TS-SV ein Flussbild der divisionslosen, phasengelockten Signalverarbeitungsroutine (Phase-Locked Loop PLL) zur Wiederherstellung (Clock Recovery CR) der Datenrate des Referenz-Transportstroms (TSref) und damit der von den Programmzeit-Stempeln (PCRref) repräsentierten Systemuhr (STCref). In einem ersten Subtrahierer (S1) wird die Zeit in 27 MHz- Takten zwischen zwei aufeinanderfolgenden Programmzeitstempeln (PCRn und PCRn+ι) des Referenz-Transportstroms (Tsref) ermittelt. In einem zweiten Subtrahierer (S2) wird ein evtl. vorhandener Offset berücksichtigt (T). In einem Zähler (C1) wird im selben Zeitfenster die Anzahl Datenbytes (D) gezählt. In einem Addierer (A1) wird dem Inhalt (A) eines Akkumulators (AC), der am Intervallanfang mit (-T) (s.u.) geladen wird, diese Anzahl Bytes (D) addiert (A+D). Ein Vergleicher (V1) gibt bei Additionsergebnis (A+D) > 0 ein ErgebnisFIG. 1 shows a flow diagram for the TS-SV of the division-free, phase-locked signal processing routine (phase-locked loop PLL) for restoring (clock recovery CR) the data rate of the reference transport stream (TSref) and thus that represented by the program time stamps (PCRref) System clock (STCref). In a first subtractor (S1), the time is determined in 27 MHz cycles between two successive program time stamps (PCR n and PCR n + ι) of the reference transport stream (Tsref). A possibly existing offset is taken into account in a second subtractor (S2) (T). The number of data bytes (D) is counted in a counter (C1) in the same time window. This number of bytes (D) is added to the content (A) of an accumulator (AC) which is loaded at the beginning of the interval with (-T) (see below) in an adder (A1) (A + D). A comparator (V1) gives a result when the addition result (A + D)> 0
(V) = 1 und bei Additionsergebnis (A+D) < 0 ein Ergebnis (V) = 0 aus (Schwellwertvergleich). Das Ergebnis (V) wird in einem Multiplizierer (M1) mit der oben ermittelten Zeit in Anzahl 27-MHz-Takten (T) multipliziert, woraus folgt, dass (VT) also nur die Zeit in Anzahl 27-MHz-Takten (T) oder Null sein kann. Dieses Ergebnis (VT) wird in einem dritten Subtrahierer (S3) wiederum von dem Additionsergebnis (A+D) subtrahiert. Der gegebenenfalls auftretende Rest (A+D-VT) geht nun nicht mehr verloren, sondern wird in den Akkumulator (AC) geschrieben und sein Inhalt (A) im folgenden Umlauf der Rechnung mitverarbeitet. Das Ausgangssignal mit dem Ergebnis (V) = 1 des Vergleichers(V) = 1 and if the addition result (A + D) <0, a result (V) = 0 off (threshold value comparison). The result (V) is multiplied in a multiplier (M1) by the time determined above in number of 27 MHz clocks (T), from which it follows that (VT) therefore only the time in number of 27 MHz clocks (T) or can be zero. This result (VT) is in turn subtracted from the addition result (A + D) in a third subtractor (S3). The possibly occurring remainder (A + D-VT) is no longer lost, but is written into the accumulator (AC) and its content (A) is processed in the following circulation of the invoice. The output signal with the result (V) = 1 of the comparator
(VI ) stellt den Takt (TS-Clock) des Referenz-Transportstroms (TSref) dar. Dieses TS-Clock-Signal steuert die Ausgabeseite (TSref-MPEG-2) des den Datenstrom (TSref-Data) aufnehmenden FIFO-Puffers, der seinerseits seine Eingangsseite über ein Data-Request-Signal versorgt.(VI) represents the clock (TS-Clock) of the reference transport stream (TSref). This TS-Clock signal controls the output side (TSref-MPEG-2) of the FIFO buffer that receives the data stream (TSref-Data) in turn, its input side is supplied via a data request signal.
Die beim alternativen Elementarstrom-Synchonisationsverfahren ES-SV zur empfangsseitigen Rückgewinnung des Systemtaktes vorteilhaft verwendete phasengelockte Signalverarbeitungsroutine PLL ist im Flussbild gemäß Figur 2 dargestellt. Zur Kompensation der bereits weiter oben beschriebenen Lang- zeitdrift (90 kHz / 27 MHz) wird mit dem 27 MHz-Systemtakt eine Uhr als referenzbildende Systemuhr STCref betrieben. Diese Systemuhr STCref wird anfänglich mit der Zeit, die aus dem Produkt von Zeitstempel TC und Bilddauer FP (Frameperiod) gebildet wird, zum Gültigkeitszeitpunkt der Ausgabe des ersten I-Pictures (nach Ablauf der Dekodierungs-Verzögerungszeit des ersten eingetroffenen P-Pictures PIVBVd) des Elementarstroms ES) geladen. Dabei - und generell in anderen Fällen ebenso - kann vorteilhaft auch die Dekodierungs-Verzögerungszeit subtrahiert werden, wodurch „leerlaufende", ungenutzte Verarbeitungszeit eingespart werden kann. Es kann also entweder das Verstreichen der Dekodierungs-Verzögerungszeit abgewartet werden oder diese Zeit von dem Produkt abgezogen werden. Der Gültigkeitszeitpunkt für die Ausgabe des ersten I-Pictures ist dann der Zeitpunkt des Eintreffens der Dekodierungs-Verzögerungszeit PIVBVd des auf das I-Picture folgenden P- Pictures (erstes P-Picture P1). Anschließend wird die Systemuhr STCref bei jedem folgenden I-Picture mit der errechneten Zeit TC*FP bzw. mit der vorgezogenen Zeit TC*FP-P1VBVd des wiedergewonnenen Datenstromes zum Gültigkeitszeitpunkt nach dem Ablauf der Dekodierungs-Verzögerungszeit PIVBVd verglichen (oder vorgezogen, um Leerlauf zu vermeiden). Mit auftretenden Abweichungen wird dann die Taktfrequenz der digitalen PLL geregelt. Der mit dem ausgeregelten Takt wiedergewonnene Referenz- Elementarstrom ESref erfüllt dann die geforderte maximale Taktabweichung ohne Langzeitdrift. Je nach Verfahrensmodus - parallel oder kaskadiert - erfolgt die empfangsseitige Rückgewinnung CR der Datenrate DR des Referenz-Elementarstromes ESref in einer zentralen PLL mit einer parallelen Verteilung oder lokal in Multisynchronisationsmodulen MSM mit einer jeweils integrierten PLL und einem durch alle kaskadierten Multisyncmodule MSM durchgeleiteten Referenz-Elementarstrom ESref.The phase-locked signal processing routine PLL, which is advantageously used in the alternative elementary current synchronization method ES-SV for receiving the system clock at the receiving end, is shown in the flow diagram according to FIG. To compensate for the long-term drift (90 kHz / 27 MHz) already described above, a clock is operated with the 27 MHz system clock as a reference-forming system clock STCref. This system clock STCref is initially with the time that is formed from the product of time stamp TC and frame duration FP (frame period) at the time of validity of the output of the first I-picture (after the decoding delay time of the first arriving P-picture PIVBVd) Elementary current ES). In this case - and in general in other cases as well - the decoding delay time can advantageously also be subtracted, as a result of which "idle", unused processing time can be saved. It is therefore possible either to wait for the decoding delay time to elapse or to deduct this time from the product The time of validity for the output of the first I-picture is then the time of arrival of the decoding delay time PIVBVd of the P- following the I-picture Pictures (first P-Picture P1). The system clock STCref is then compared (or brought forward to idle) for each subsequent I-picture with the calculated time TC * FP or with the anticipated time TC * FP-P1VBVd of the recovered data stream at the time of validity after the expiration of the decoding delay time PIVBVd avoid). If there are any deviations, the clock frequency of the digital PLL is then regulated. The reference elementary current ESref recovered with the regulated clock then fulfills the required maximum clock deviation without long-term drift. Depending on the process mode - parallel or cascaded - the CR on the receiving side of the data rate DR of the reference elementary stream ESref takes place in a central PLL with a parallel distribution or locally in multisynchronization modules MSM with a respective integrated PLL and a reference elementary stream passed through all cascaded multisync modules MSM Esref.
Die aus dem Referenzstrom wiederhergestellte ursprüngliche Systemuhr (STCref) wird nun als Taktgeber in beiden Verfahrensalternativen TS-SV und ES-SV dazu verwendet, alle anderen Datenströme als Slaveströme zu synchronisieren. Dafür existieren zwei grundlegende Ansätze. Zum einen kann der Referenzstrom als Ganzes nacheinander durch die Synchronisationsmodule aller Slaveströme geleitet werden (kaskadierte Synchronisation). Dort werden jedes Mal die Synchronisationsinformationen mit der modifizierten, phasengelockten Routine (PLL) aus dem Referenzstrom gewonnen und eine lokale Systemuhr (STC) für den jeweils angeschlossenen Dekoder hergestellt. Näheres dazu ist den folgenden Erläuterungen zu Figur 3 zu entnehmen. Andererseits ist es auch möglich, die Synchroninformation zur bildtaktstarren Kopplung nur einmal aus dem Referenzstrom zu gewinnen und sie parallel an alle Dekoder zu verteilen (parallele Synchronisation). In den Synchronisationsmodulen muss dann jeweils nur noch die richtige Phasen- synchronität wiederhergestellt werden. Näheres dazu ist den folgenden Erläuterungen zu Figur 4 zu entnehmen. Beide Anordnungen sind zur Synchronisation beliebig vieler Videosequenzen nach beiden Erfindungsalternativen TS-SV und ES-SV geeignet.The original system clock (STCref), which was restored from the reference stream, is now used as a clock generator in both alternative methods TS-SV and ES-SV to synchronize all other data streams as slave streams. There are two basic approaches to this. On the one hand, the reference current as a whole can be passed through the synchronization modules of all slave currents one after the other (cascaded synchronization). Each time, the synchronization information is obtained from the reference stream using the modified, phase-locked routine (PLL) and a local system clock (STC) is produced for the decoder connected in each case. Further details can be found in the following explanations relating to FIG. 3. On the other hand, it is also possible to obtain the synchronous information for the picture-clock-rigid coupling only once from the reference current and to distribute it in parallel to all decoders (parallel synchronization). The correct phase synchronism then only has to be restored in the synchronization modules. Further details can be found in the following explanations relating to FIG. 4. Both arrangements are for Synchronization of any number of video sequences suitable for both invention alternatives TS-SV and ES-SV.
Figur 3 zeigt den prinzipiellen Flussplan für eine kaskadierte Verarbeitung der Transport- bzw. Elementarströme (TS, ES). Dabei wird der Referenz-Transport- bzw. Elementartstrom (TSref, ESref) nacheinander durch identische, hier als Multisynchronisationsmodule (MSM) bezeichnete Rechenschritte geleitet. Jedes Multisynchronisationsmodul (MSM) stellt die Referenz-Systemuhr (STCref) aus dem Referenzstrom (TSref, ESref) wieder her und führt die Synchronisation seines Slavestroms (TSsl, ESsl) anhand dieser Information durch. In der Figur 3 wird der Slavestrom (TSsl, ESsl) einem als Sequenzpuffer (Sequence Buffer SB) bezeichneten Speicherort für die Videodaten entnommen. Die Systemuhr (STCref) und der synchronisierte Slavestrom (TSsl, ESsl) werden dem Dekoder zur Herstellung des eigentlichen, hier als Hauptstrom (HS) bezeichneten Videobildstroms zugeleitet. Nach Durchlaufen der Kaskade stehen alle zur Präsentation erforderlichen Hauptströme (HS) an den Dekoderausgängen synchron zur Verfügung.Figure 3 shows the basic flow chart for cascaded processing of the transport or elementary flows (TS, ES). The reference transport or element type stream (TSref, ESref) is passed in succession through identical computing steps, referred to here as multisynchronization modules (MSM). Each multisynchronization module (MSM) restores the reference system clock (STCref) from the reference stream (TSref, ESref) and synchronizes its slave stream (TSsl, ESsl) based on this information. In FIG. 3, the slave current (TSsl, ESsl) is taken from a storage location for the video data referred to as a sequence buffer (Sequence Buffer SB). The system clock (STCref) and the synchronized slave stream (TSsl, ESsl) are fed to the decoder for producing the actual video picture stream, referred to here as the main stream (HS). After running through the cascade, all main streams (HS) required for presentation are available synchronously at the decoder outputs.
Figur 4 zeigt den prinzipiellen Flussplan für eine parallele Verarbeitung der Elementarströme (ES) oder Transportströme (TS). Dabei wird in einem ersten Schritt die Referenz-Systemuhr (STCref) aus dem Referenz-Elementarstrom (ESref) oder dem Referenz-Transportstrom (TSref) wiederhergestellt und allen, hier nun nur noch als Phasenwiederherstellung (Phase Recovery PR) bezeichneten Schritte zur Verfügung gestellt. In allen Schritten der Phasenwiederherstellung (PR) wird damit nur noch der Slave-Elementarstrom (ESsl) oder der Slave-Transportstrom (TSsl) dem Sequenzpuffer (SB) entnommen, die Phasensynchronisation vorgenommen und der synchronisierte Slave-Elementarstrom (ESsl) oder der Slave-Transportstrom (TSsl) dem Dekoder zur Herstellung des Hauptstroms (HS) zugeleitet. Nach Durchlaufen der parallelen Verarbeitung stehen wiederum alle zur Präsentation erforderlichen Videodaten (Video) an den Dekodierungsausgängen synchron zur Verfügung In dieser Variante entfällt das mehrfache, gleichartige Wiederherstellen der Systemuhr (STCref).FIG. 4 shows the basic flow diagram for parallel processing of the elementary streams (ES) or transport streams (TS). In a first step, the reference system clock (STCref) is restored from the reference elementary stream (ESref) or the reference transport stream (TSref) and all steps, now referred to here as phase recovery PR, are made available. In all steps of the phase recovery (PR), only the slave elementary stream (ESsl) or the slave transport stream (TSsl) is thus removed from the sequence buffer (SB), the phase synchronization is carried out and the synchronized slave elementary stream (ESsl) or the slave Transport stream (TSsl) fed to the decoder for the production of the main stream (HS). After the parallel processing has been run through, all the video data (video) required for presentation are in sync at the decoding outputs In this variant, the multiple, identical restoration of the system clock (STCref) is not necessary.
Nach der Erläuterung der empfangsseitigen Rückgewinnung des gewählten Referenzstromes folgt nun die Erläuterung der bildtaktstarren und bildphasenrichtigen Kopplung zwischen Referenz- und Slavestrom. Da die bildtaktstarre Kopplung beim TS-SV nach dem MPEG-2-Standard einstufig durch die einfache Einregelung der Systemuhren (STC) der Transportstrom- Demultiplexer auf die wiedergewonnene, durch die Programmzeit-Stempel (PCRref) repräsentierte Systemuhr (STCref) im kaskadierten Verfahrensablauf oder Verteilung der wiedergewonnenen Systemuhr (STCref) auf die Trans- portstrom-Demultiplexer im parallelen Verfahrensablauf erfolgt, sind hierfür keine weiteren Erläuterungen erforderlich. Beim ES-SV erfolgt die bildtaktstarre Kopplung jedoch zweistufig, was zunächst erläutert wird. Danach wird dann die bildphasenrichtige Kopplung für beide Verfahren TS-SV und ES-SV erläutert.After the explanation of the recovery of the selected reference current on the receiving side, the explanation of the image clock-rigid and image phase-correct coupling between reference and slave current follows. Since the clock-free coupling of the TS-SV according to the MPEG-2 standard has one stage by simply adjusting the system clocks (STC) of the transport stream demultiplexer to the recovered system clock (STCref) represented by the program time stamp (PCRref) in the cascaded procedure or If the recovered system clock (STCref) is distributed to the transport stream demultiplexers in a parallel process, no further explanations are required. In the case of the ES-SV, the image-clock-rigid coupling takes place in two stages, which is explained first. Then the image phase coupling for both methods TS-SV and ES-SV is explained.
Auch beim ES-SV muss, wie bereits weiter oben ausgeführt wurde, zur bildtaktstarren Synchronisation von zwei Elementarströmen der Referenz- Elementarstrom ESref konstant und der lokale Slave-Elementarstrom ESsl in der Datenrate veränderlich sein. Der Systemtakt kann dabei von einem gemeinsamen, zentralen Taktgeber (27 MHz) stammen oder in einem zweistufigen Verfahren mit dem Zeitstempel TC, der Bilddauer FP (bzw. 1/FR) und der Dekodierungs-Verzögerungszeit PIVBVd des ersten P-Pictures aus dem Referenz-Elementarstrom ESref gewonnen werden. Vergleiche hierzu Figur 5 mit dem Flussbild zur Realisation der bildtaktstarren Kopplung mit lokaler Systemtaktversorgung beim ES-SV. Dazu kann ein als rückwärts laufende Kurzzeituhr (Timer) zu verstehender Zähler initial mit der Summe aus der Dekodierungs-Verzögerungszeit VBVdo (Bild'O") des ersten, überhaupt eintreffenden Bildes und der Bildlänge FP (VBVd0+ 1/FR) geladen werden. Dieser Wert wird dann mit jedem lokalen Systemtakt verringert. Mit dem Eintreffen des nächsten Wertes einer Dekodierungs-Verzögerungszeit wird dann ein zweistufiges Verfahren durchgeführt. In der ersten Stufe wird zunächst von dem aktuellen Timerwert, beispielsweise 40 ms, der neue Wert der Dekodierungs-Verzögerungszeit subtrahiert und das Ergebnis (im Synchronfall gleich Null, wenn keine Abweichung auftritt) dem lokalen 27 MHz-Generator als Regelgröße zugeführt. Dann wird der Timer wird wieder um eine Bilddauer FP =1/FR erhöht. Dabei wird zusätzlich der Takt der lokalen Systemuhr zunächst an der zeitlichen Abfolge der Zeitstempel TCref überprüft und bei einer Abweichung ausgeregelt. Außerdem läuft mit dem lokalen Systemtakt eine Uhr mit den Zeitstempeln TC (zweite Stufe). Die Differenz zwischen den lokalen Zeitstempeln TC und den Zeitstempeln TCref im Referenz-Elementar- ström ESref (ggfs. verringert um die Dekodierungs-Verzögerungszeit PIVBVd des ersten P-Pictures zur effizienten Rechenzeitausnutzung) wird von dem Timer als Korrekturgröße zum Ausgleich der Langzeitdrift und etwaigen Fehlern der Berechnungen der Dekodierungs-Verzögerungszeiten im MPEG-2- Dekoder subtrahiert. Dadurch wird erreicht, dass die Elementarströme ES gleich schnell, also phasenstarr sind, da auch im Studio bei der Kodierung der einzelnen Datenströme eine zentrale Taktversorgung zur Einprägung der Zeitstempel TC in alle Videosequenzen verwendet wurde.In the case of the ES-SV as well, as already explained above, in order to synchronize two elementary currents with a fixed clock, the reference elementary current ESref must be constant and the data rate of the local slave elementary current ESsl must be variable. The system clock can come from a common, central clock (27 MHz) or in a two-stage process with the time stamp TC, the frame duration FP (or 1 / FR) and the decoding delay time PIVBVd of the first P-Pictures from the reference Elementary electricity ESref can be obtained. Compare Figure 5 with the flow diagram for the realization of the image-clock-rigid coupling with local system clock supply in the ES-SV. For this purpose, a counter to be understood as a backward-running short-term clock (timer) can initially be loaded with the sum of the decoding delay time VBVdo (picture'O ") of the first picture ever arriving and the picture length FP (VBVd 0 + 1 / FR). This value is then reduced with each local system clock, and when the next value of a decoding delay time arrives, a two-stage process is carried out the current timer value, for example 40 ms, the new value of the decoding delay time is subtracted and the result (zero in the synchronous case if there is no deviation) is fed to the local 27 MHz generator as a controlled variable. Then the timer is increased again by one frame duration FP = 1 / FR. In addition, the clock of the local system clock is first checked against the time sequence of the time stamp TCref and corrected in the event of a deviation. In addition, a clock with the time stamps TC (second stage) runs with the local system clock. The difference between the local time stamps TC and the time stamps TCref in the reference elementary flow ESref (possibly reduced by the decoding delay time PIVBVd of the first P-Pictures for efficient computing time utilization) is used by the timer as a correction variable to compensate for the long-term drift and any errors subtract the calculations of decoding delay times in the MPEG-2 decoder. This ensures that the elementary streams ES are equally fast, ie are phase-locked, since a central clock supply was also used in the studio for coding the individual data streams to impress the time stamp TC in all video sequences.
Die Figur 6 zeigt für das ES-SV ein Flussbild zur bildphasenrichtigen Kopplung als zweiten Anteil bei der eigentlichen Synchronisation nach der empfangsseitigen Datenratenrückgewinnung des Referenz-Elementarstromes ESref mit dezentraler Systemtaktversorgung. Da die eingeprägten Zeitstempel TC direkt verwendet werden, entsteht kein zu kompensierender Offset. Da bei der Aufnahme der verschiedenen Videoströme den zusammengehörenden Bildern der gleiche Zeitstempel TC eingeprägt wurde, müssen die Wiedergabezeitpunkte gleich sein. Somit ist eine bildphasenrichtige Synchronisation erreicht. Auch hier kann wieder die Dekodierungs-Verzögerungszeit zur Vermeidung von reinen Wartezeiten subtrahiert werden. Es gilt dann für den versatzfreien Fall (für künstlerische Darstellungen kann auch ein konstanter Versatz ungleich Null durch Integration entsprechender Verzögerungszeiten realisiert werden) : (TCsl * FPsl - (P1 VBVdsl) - (TCref * FPref - (PlVBVdref) = 0FIG. 6 shows a flow diagram for the ES-SV for coupling in the correct image phase as a second part in the actual synchronization after the data rate recovery of the reference elementary current ESref at the receiving end with a decentralized system clock supply. Since the stamped time stamps TC are used directly, there is no offset to be compensated. Since the same time stamp TC was imprinted on the images belonging together when the various video streams were recorded, the playback times must be the same. This ensures synchronization in the correct image phase. Again, the decoding delay time can be subtracted to avoid pure waiting times. It then applies to the non-offset case (for artistic representations, a constant non-zero offset can also be achieved by integrating appropriate delay times): (TCsl * FPsl - (P1 VBVdsl) - (TCref * FPref - (PlVBVdref) = 0
Die Figur 7 zeigt für das ES-SV eine Kombination der drei für die Synchronisation von Videoströmen erforderlichen Verarbeitungsblöcke (Wiederge- winnung der Datenrate mit PLL; bildtaktstarre und bildphasenrichtige Synchronisation, wie sie in einem Multisynchronisationsmodul MSM umzusetzen sind. Dabei wird ein dezentraler Aufbau mit einer lokalen Taktrückgewinnung aus dem durchgeführten Referenz-Elementarstrom ESref gezeigt. Ein derartiges Multisynchronisationsmodul MSM ist in einer kaskadierten Anordnung zur hochgenauen Synchronisation von beliebig vielen Videoströmen, die von unterschiedlichen Speichermedien kommen und zu unterschiedlichen Startzeitpunkten ausgelesen werden können, besonders geeignet.FIG. 7 shows for the ES-SV a combination of the three processing blocks required for the synchronization of video streams (recovery of the data rate with PLL; image clock-rigid and image phase-correct synchronization, as they are to be implemented in a multi-synchronization module MSM. A decentralized structure with one Local clock recovery from the performed reference elementary stream ESref is particularly suitable in a cascaded arrangement for high-precision synchronization of any number of video streams that come from different storage media and can be read out at different starting times.
Beim TS-SV hat jeder aufnahmeseitige Multiplexer hat seine eigene Systemuhr (STC). Diese laufen zwar gleichschnell, haben aber ggf. einen festen Zeitunterschied (Offset). Der Offset definiert sich grundsätzlich aus der Differenz von Programmzeitstempel des jeweiligen Slave-Transportstromes (PCRsI) und der referenzgebenden Systemuhr STCref auf der Sendeseite. Hierbei handelt es sich aber nur um einen theoretischen Wert, da in der Praxis die sendeseitigen Systemuhren (STC) der Transportstrom-Multiplexeruhren nicht absolut synchron arbeiten. Damit gleichzeitig aufgenommene Bilder auch gleichzeitig wiedergegeben werden, muss der konkrete Offset bei der späteren Synchronisation eliminiert werden. Gleiche Aufnahmezeit bedeutet auch gleiche Präsentationszeit-Stempel (PTS) bei gleichem, zentral eingeprägtem Zeitstempel (TC), d.h zusammengehörigen Bildern verschiedener Kameras. Die Differenz der Präsentationszeit-Stempel (PTS) von Referenzstrom (Index ref) und jeweiligem Slavestrom (Index sl) ist dann der gesuchte Offset. Außerdem arbeiten die aufnahmeseitigen Enkoder dynamisch, d.h. die Bildgruppen-Struktur (GOP) der diversen Transportströme (TS) ist nicht synchron, sodass die Differenz der Präsentationszeit-Stempel (PTS) noch um das Produkt aus Zeitstempel-Differenz TC (Differenz der Bildnummern = Zahl) und Bildlänge (Frame Period FP, Zeit) im Referenz-Transportstrom (Index ref) korrigiert werden muss. Es gilt :With the TS-SV, each recording-side multiplexer has its own system clock (STC). Although these run at the same speed, they may have a fixed time difference (offset). The offset is basically defined by the difference between the program time stamp of the respective slave transport stream (PCRsI) and the reference system clock STCref on the transmission side. However, this is only a theoretical value, since in practice the transmission-side system clocks (STC) of the transport stream multiplexer clocks do not work absolutely synchronously. In order for images recorded at the same time to be displayed at the same time, the specific offset must be eliminated during the later synchronization. The same recording time also means the same presentation time stamp (PTS) with the same, centrally stamped time stamp (TC), ie related images from different cameras. The difference between the presentation time stamp (PTS) of the reference current (index ref) and the respective slave current (index sl) is then the offset sought. In addition, the encoders on the recording side work dynamically, ie the picture group structure (GOP) of the various transport streams (TS) is not synchronized, so that the difference between the presentation time stamp (PTS) is still the product of the time stamp difference TC (difference between picture numbers = number ) and Image length (frame period FP, time) in the reference transport stream (index ref) must be corrected. The following applies:
1 ) Offsθt-d) = (PTSsl - PTSref) - (TCsl - TCref) • FPref1) Offsθt-d ) = (PTSsl - PTSref) - (TCsl - TCref) • FPref
Unter Berücksichtigung der Möglichkeit, dass alle Transportströme (TS) aufgrund unterschiedlicher angewandter Videonormen (z.B. PAL, Secam) noch verschiedene Bildlängen (FP) haben können, ergibt sich der modifizierte Zusammenhang :Taking into account the possibility that all transport streams (TS) may still have different image lengths (FP) due to different video standards used (e.g. PAL, Secam), the modified relationship results:
2) Offset(2) = (PTSsl - PTSref) - (TCsl • FPsl - TCref • FPref)2) Offset (2 ) = (PTSsl - PTSref) - (TCsl • FPsl - TCref • FPref)
und ein optimierter Flussplan. Für diese Art der Zusammenfassung müssen die Parameter PTS, TC und FP der beiden zu synchronisierenden Transportströme zwischengespeichert werden. Zur Vermeidung dieses Nachteils folgt aber auch aus Gleichung 2) :and an optimized flow plan. For this type of combination, the parameters PTS, TC and FP of the two transport streams to be synchronized must be buffered. To avoid this disadvantage, it also follows from equation 2):
3) Offsetp) = (PTSsl - TCsl • FPsl) - (PTSref - TCref • FPref)3) Offsetp) = (PTSsl - TCsl • FPsl) - (PTSref - TCref • FPref)
Diese Umstellung führt zu einer Aufteilung, die weniger Zwischenspeicherung erfordert. Näheres dazu ist den folgenden Erläuterungen zu Figur 8 zu entnehmen.This change leads to a split that requires less caching. Further details can be found in the following explanations relating to FIG. 8.
Figur 8 zeigt für das TS-SV die Verarbeitung der in den Transportströmen (TS) enthaltenen, zur Synchronisation heranziehbaren Informationen gemäß Formel 3). Hier werden jeweils für den Referenz-Transportstrom (Tsref) und den jeweiligen Slave-Transportstrom (TSsl) die Zeitstempel (TC) und die Bildlänge (FP) multipliziert und von dem Präsentationszeit-Stempel (PTS) subtrahiert. Anschließend wird die Differenz beider Ergebnisse gebildet und dieses Korrekturglied von dem Ergebnis des Vergleichs der wiederhergestellten Systemuhr (STCref) aus dem Referenz-Transportstrom (Tsref) mit dem Programmzeit-Stempel (PCR) aus dem Slave-Transportstrom (TSsl) subtrahiert. Das Resultat ist der tatsächliche Offset, dessen Ansatz die exakte Synchronisation ermöglicht.Figure 8 shows for the TS-SV the processing of the information contained in the transport streams (TS) that can be used for synchronization according to Formula 3). Here, the time stamp (TC) and the image length (FP) are multiplied for the reference transport stream (Tsref) and the respective slave transport stream (TSsl) and subtracted from the presentation time stamp (PTS). The difference between the two results is then formed and this correction element is based on the result of the comparison of the restored system clock (STCref) from the reference transport stream (Tsref) with the Program time stamp (PCR) subtracted from the slave transport stream (TSsl). The result is the actual offset, the approach of which enables exact synchronization.
Schließlich kann man die Offset-Berechnung noch vereinfachen, wenn man berücksichtigt, dass die Präsentations-Zeitstempel (PTS) des I-Pictures aus Programmzeit-Stempel (PCR) bzw. Systemuhr (STC), Dekodierungs-Zeitver- zögerung (PIVBVd) des ersten P-Pictures und Bildlänge (FP) zusammengesetzt wurden, indem nicht auf die Präsentations-Zeitstempel (PTS) sondern wieder direkt auf Programmzeit-Stempel (PCR) bzw. Systemuhr (STC), Dekodierungs-Zeitverzögerung (PIVBVd) des ersten P-Pictures der Bildgruppe (GOP) und Bildlänge (FP) aus dem zu synchronisierenden Transportstrom (TS) zurückgegriffen wird. Damit ergibt sich die Formel für den Offset zuFinally, one can simplify the offset calculation even more if one takes into account that the presentation time stamp (PTS) of the I-Picture consists of program time stamp (PCR) or system clock (STC), decoding time delay (PIVBVd) of the first P-pictures and picture length (FP) were put together by not directly on the presentation time stamp (PTS) but again directly on the program time stamp (PCR) or system clock (STC), decoding time delay (PIVBVd) of the first P-picture Image group (GOP) and image length (FP) from the transport stream (TS) to be synchronized is used. This gives the formula for the offset
4) Offset(4) = ((STCsl + P BVdsl) -TCsl * FPsl) - ((STCref + PIVBVdref) -TCref * FPref)4) Offset (4) = ((STCsl + P BVdsl) -TCsl * FPsl) - ((STCref + PIVBVdref) -TCref * FPref)
und ein noch mal verbesserter Flussplan. Daraus ergibt sich, dass zur Synchronisation nur noch die Informationen TC, FP und VBVd aus dem Elementarstrom und die Systemuhr (STC) des jeweiligen Transportstrom- Multiplexers benötigt werden. Da jedoch die Differenz von (TC*FP) - PTS (=STC+P1VBVd) eine Konstante zur Generierung des jeweiligen Transportstromes (TS) ist, wird sogar die Drift der unterschiedlichen Systemuhren (STC) im Transportstrom-Multiplexer erkannt und kompensiert. Näheres dazu ist den folgenden Erläuterungen zu Figur 9 zu entnehmen.and a further improved flow plan. This means that only the information TC, FP and VBVd from the elementary stream and the system clock (STC) of the respective transport stream multiplexer are required for synchronization. However, since the difference between (TC * FP) - PTS (= STC + P1VBVd) is a constant for generating the respective transport stream (TS), even the drift of the different system clocks (STC) in the transport stream multiplexer is recognized and compensated for. Further details can be found in the following explanations relating to FIG. 9.
Figur 9 zeigt für das TS-SV die Verarbeitung der in den Transportströmen (TS) enthaltenen, zur Synchronisation heranziehbaren Informationen gemäß Formel 4). Hier wird nun die Verwendung des Präsentationszeit-Stempels (PTS) vermieden, indem seine ebenfalls im Transportstrom enthaltenen Herstellungsinformationen Programmzeit-Stempel (PCR) und Dekodierungs-Verzögerungszeit des ersten P-Pictures der Bildgruppe (PIVBVd, GOP) herangezogen werden. Es werden jeweils für den Referenz-Transportstrom (Tsref) und den jeweiligen Slave-Transportstrom (TSsl) die Systemuhrinformationen (STCref und STCsl) zu der jeweiligen Dekodierungs-Verzögerungszeit (PIVBVd, IVBVd) addiert und daraus und aus der jeweiligen Multiplikation von Zeitstempel (TC) und Bildlänge (FP) die Differenz gebildet. Dieses Korrekturglied wird wieder von dem Ergebnis des Vergleichs der wiederhergestellten Systemuhr (STCref) aus dem Referenz-Transportstrom (TSref) mit dem Programmzeit-Stempel (PCR) aus dem Slave-Transportstrom (TSsl) ( subtrahiert. Das Resultat ist auch hier der tatsächliche Offset, dessen Ansatz die exakte Synchronisation ermöglicht.Figure 9 shows for the TS-SV the processing of the information contained in the transport streams (TS) that can be used for synchronization according to Formula 4). The use of the presentation time stamp (PTS) is now avoided here by using its production information program time stamp (PCR) and decoding delay time of the first P-pictures of the image group (PIVBVd, GOP) which are also contained in the transport stream become. For the reference transport stream (Tsref) and the respective slave transport stream (TSsl), the system clock information (STCref and STCsl) is added to the respective decoding delay time (PIVBVd, IVBVd) and from this and from the respective multiplication of time stamps (TC ) and image length (FP) formed the difference. This correction term is represented by the result of the comparison of the recovered system clock (STCref) from the reference transport stream (TSref) with the program time stamp (PCR) from the slave transport stream (TssL) (subtracted. The result here too the actual offset whose approach enables exact synchronization.
BezugszeichenlisteLIST OF REFERENCE NUMBERS
A AddiererA adder
AC AkkumulatorAC accumulator
C ZählerC counter
CR Wiedergewinnung der UhrCR recovery of the watch
D ByteanzahlD number of bytes
DEC MPEG-2-DekoderDEC MPEG-2 decoder
DR Daten rateDR data rate
DTS Dekodierungszeit-StempelDTS decoding time stamp
ES ElementarstromES elementary stream
ES-SV Elementarstrom-SynchronisationsverfahrenES-SV elementary stream synchronization method
FP Bildlänge / BildtaktFP frame length / frame rate
FR BildperiodeFR image period
FIFO First In First Out DatenpufferFIFO First In First Out data buffer
GOP BildgruppeGOP image group
H KopfdatenH header data
HD hohe Auflösung I I-Picture (erstes Bild im GOP)HD high resolution I I-Picture (first picture in GOP)
IVBVd VBVd des I-Picture im GOPIVBVd VBVd of the I-Picture in the GOP
M MultipliziererM multiplier
MPEG Standardverfahren MSM Multisynchronisationsmodul n Index Bild oder BildgruppeMPEG standard procedure MSM multi-synchronization module n Index picture or picture group
P P-PictureP P-Picture
PCM Puls-Code-ModulationPCM pulse code modulation
PCR Programmzeit-Stempel PES paketisierter ESPCR program time stamp PES packetized ES
PLL phasengelockte RoutinePLL phase locked routine
PR PhasenwiederherstellungPR phase recovery
PS Programm StromPS program electricity
PTS Präsentationszeit-Stempel PIVBVd VBVd des ersten P-Picture im GOPPTS presentation time stamp PIVBVd VBVd of the first P-Picture in the GOP
SB Sequenzpuffer (Video)SB sequence buffer (video)
STC System uhrzeitSTC system time
T TaktanzahlT number of cycles
TC Zeitstempel TS TransportstromTC time stamp TS transport stream
TS-SV Transportstrom-Synchronisationsverfahren ref Index ReferenzTS-SV transport stream synchronization procedure ref index reference
S Subtrahierer sl Index Slave V Vergleicher, VergleichsergebnisS subtractor sl index slave V comparator, comparison result
Video Video-DatenstromVideo video data stream
VBVd Dekodierungs-Verzögerungszeit VBVd decoding delay time

Claims

Patentansprüche Patent claims
1. Verfahren zur bezüglich Bildtakt und Bildphase regelbaren Synchronisation von zwei oder mehr MPEG-2-kodierten Videosequenzen für digitale Multi- Projektionssysteme mit den entsprechend der Anzahl der zu synchronisierenden Videosequenzen parallel oder kaskadiert zu wiederholenden Verfahrensschritten :1. Method for the synchronization of two or more MPEG-2-encoded video sequences for digital multi-projection systems, which can be controlled in terms of image clock and image phase, with the process steps to be repeated in parallel or cascaded according to the number of video sequences to be synchronized:
1. sendeseitige Einprägung eines bei der Bildaufnahme von einer zentralen Studiouhr ausgegebenen Zeitstempels (TC) in jedes Bild der einzelnen1. On the transmitter side, a time stamp (TC) issued by a central studio clock during image capture is stamped into each individual image
VideosequenzenVideo sequences
2. Kodierung und Bildgruppierung (GOP) der Videosequenzen in zumindest einem MPEG-2-Enkoder nach dem angewendeten MPEG-2-Systemtakt zu Elementarströmen (ES) mit gleichen oder unterschiedlichen Datenraten und Einstempeln einer Dekodierungs-Verzögerungszeit2. Encoding and image grouping (GOP) of the video sequences in at least one MPEG-2 encoder according to the applied MPEG-2 system clock to form elementary streams (ES) with the same or different data rates and stamping in a decoding delay time
(VBVd) in jedes Bild der einzelnen Videosequenzen(VBVd) into each image of the individual video sequences
3. Unterteilung der Elementarströme (ES) in zumindest einem Transportstrom-Multiplexer, der eine Systemuhr (STC) aufweist, in Pakete mit Kopfdaten (H) zu paketisierten Elementarströmen (PES) mit einer Einprägung in die Kopfdaten (H)3. Subdivision of the elementary streams (ES) in at least one transport stream multiplexer, which has a system clock (STC), into packets with header data (H) into packetized elementary streams (PES) with an imprint in the header data (H)
3.1 eines Dekodierungszeit-Stempels (DTS), der aus der Systemuhr (STC) und der jeweils aktuellen Dekodierungs-Verzögerungszeit (VBVd) gebildet wird, und/oder3.1 a decoding time stamp (DTS), which is formed from the system clock (STC) and the current decoding delay time (VBVd), and / or
3.2 eines Präsentationszeit-Stempels (PTS), der aus der Systemuhr (STC), der jeweils aktuellen Dekodierungs-Verzögerungszeit (VBVd) und aus der Bildlänge (FP) unter Berücksichtigung des vorgegebenen MPEG-2-Kodierungsschemas gebildet wird,3.2 a presentation time stamp (PTS), which is formed from the system clock (STC), the current decoding delay time (VBVd) and the picture length (FP) taking into account the specified MPEG-2 coding scheme,
4. Komplettierung der paketisierten Elementarströme (PES) zu Transportströmen (TS) durch ein wiederholtes Einprägen im Transportstrom-Multi- plexer eines Programmzeit-Stempels (PCR) in kurzen Zeitabständen als4. Completion of the packetized elementary streams (PES) into transport streams (TS) by repeatedly imprinting a program time stamp (PCR) in the transport stream multiplexer at short time intervals
Synchroninformation an beliebige Stellen in die Kopfdaten (H) der Transportströme (TS) Synchronous information at any point in the header data (H) of the transport streams (TS)
5. parallele oder sequenzielle Übertragung, Speicherung und Auslesen aller Transportströme (TS) nach dem vorgegebenen MPEG-2-Transportstrom- protokoll5. Parallel or sequential transmission, storage and reading of all transport streams (TS) according to the specified MPEG-2 transport stream protocol
6. Festlegung eines der Transportströme (TS) oder eines sendeseitig zusätzlich generierten, keine Bilddaten der Videosequenzen enthaltenden6. Determination of one of the transport streams (TS) or one additionally generated on the transmission side that does not contain any image data from the video sequences
Transportstromes (TS) als Referenz-Transportstrom (TSref)Transport stream (TS) as reference transport stream (TSref)
7. empfangsseitige Wiedergewinnung (CR) der Datenrate des Referenz- Transportstromes (TSref) und damit der von den Programmzeit-Stempeln (PCRref) repräsentierten Systemuhr (STCref) in zumindest einem Multi- Synchronisationsmodul (MSM) mittels Anwendung einer restfehlerfreien, phasengelockten Signalverarbeitungsroutine (PLL) auf aufeinanderfolgende Programmzeit-Stempel (PCRrefn, PCRrefn+1) und der dazwischen liegenden Anzahl von Datenbytes im Referenz- Transportstrom (TSref) 8. Synchronisation der anderen Transportströme (TS) als Slave-Transport- ströme (TSsl) auf den Referenz-Transportstrom (TSref) durch7. Receiving-side recovery (CR) of the data rate of the reference transport stream (TSref) and thus of the system clock (STCref) represented by the program time stamps (PCRref) in at least one multi-synchronization module (MSM) by using a residual error-free, phase-locked signal processing routine (PLL ) to successive program time stamps (PCRrefn, PCRrefn+1) and the number of data bytes in between in the reference transport stream (TSref) 8. Synchronization of the other transport streams (TS) as slave transport streams (TSsl) to the reference transport stream (TSref) through
8.1 eine bildtaktstarre Kopplung der Bilder mittels einer Einregelung der Systemuhren (STC) der Transportstrom-Demultiplexer auf die wiedergewonnene, durch die Programmzeit-Stempel (PCRref) repräsentierte Systemuhr (STCref) im kaskadierten8.1 a picture clock-rigid coupling of the images by adjusting the system clocks (STC) of the transport stream demultiplexers to the recovered system clock (STCref) represented by the program time stamp (PCRref) in the cascaded
Verfahrensablauf oder Verteilung der wiedergewonnenen Systemuhr (STCref) auf die Transportstrom-Demultiplexer im parallelen Verfahrensablauf und anschließend durchProcess flow or distribution of the recovered system clock (STCref) to the transport stream demultiplexers in parallel process flow and then through
8.2 eine bildphasenrichtige Kopplung der Bilder durch eine signalverar- beitende Berücksichtigung der Laufzeitunterschiede der Systemuhren (STCref, STCsl) der Transportstrom-Demultiplexer sowie des Offsets, der sich als Differenz zwischen zumindest den Päsentationszeit-Stempeln (PTS), den zentral ausgegebenen Zeitstempeln (TC) und den zugehörigen Bildlängen (FP) von Referenz-Transportstrom (TSref) und dem jeweils zu synchronisierenden Transportstrom (TSsl) ergibt. 8.2 a picture phase-correct coupling of the pictures through signal processing taking into account the runtime differences of the system clocks (STCref, STCsl) of the transport stream demultiplexers as well as the offset, which is the difference between at least the presentation time stamps (PTS) and the centrally issued time stamps (TC). and the associated image lengths (FP) of the reference transport stream (TSref) and the transport stream (TSsl) to be synchronized.
2. Verfahren nach Anspruch 1 mit einer divisionslosen phasengelockten Signalverarbeitungsroutine (PLL), die im vorgegebenen MPEG-2-Systemtakt mit den in den Referenz-Transportstrom (TSref) von zwei aufeinander folgenden eingestempelten, referenzgebenden Programmzeit-Stempeln (PCRrefn, PCRrefn+ι) eine fortlaufende Addition und Subtraktion mit Restfehlerakkumulation durchführt und jeweils bei Erreichen eines vorgegebenen Schwellwertes ein Datenbyte ausgibt.2. The method according to claim 1 with a divisionless phase-locked signal processing routine (PLL), which in the predetermined MPEG-2 system clock with the in the reference transport stream (TSref) of two consecutive, reference-providing program time stamps (PCRref n , PCRref n+ ι ) carries out a continuous addition and subtraction with residual error accumulation and outputs a data byte each time a predetermined threshold value is reached.
3. Verfahren nach Anspruch 1 oder 2 mit einer Verwendung der Dekodierungszeit-Stempel (DTS) zur Offsetermittlung, wenn das Bildfolgeschema in den Bildgruppierungen (GOP) der Videosequenzen konstant ist.3. The method according to claim 1 or 2 with use of the decoding time stamp (DTS) for offset determination if the image sequence scheme in the image groupings (GOP) of the video sequences is constant.
4. Verfahren nach einem der Ansprüche 1 bis 3 mit direkt aus den den Deko- dierungs- oder Präsentationszeitstempeln (DTS, PTS) zugrunde liegenden Komponenten der Systemuhr (STC), der jeweils aktuellen Dekodierungs- Verzögerungszeit (VBVd), der Bildlänge (FP) und des zentral ausgegebenen Zeitstempels (TC).4. The method according to one of claims 1 to 3 with directly from the components of the system clock (STC) on which the decoding or presentation time stamps (DTS, PTS) are based, the current decoding delay time (VBVd), the image length (FP) and the centrally issued timestamp (TC).
5. Verfahren nach einem der Ansprüche 1 bis 4 einer Ermittlung des Offsets unter Verwendung einer Konstanten zur Generierung des jeweiligen Transportstromes, die sich aus den Informationen (TC, FP und VBVd) des Elementarstroms (ES) und der Systemuhr (STC) des jeweiligen Transport- strom-Multiplexers berechnet.5. Method according to one of claims 1 to 4, determining the offset using a constant for generating the respective transport stream, which is derived from the information (TC, FP and VBVd) of the elementary stream (ES) and the system clock (STC) of the respective transport - current multiplexer calculated.
6. Verfahren nach einem der Ansprüche 1 bis 5 mit der Vorgabe einer versatzfreien Bildphase.6. Method according to one of claims 1 to 5 with the specification of an offset-free image phase.
7. Verfahren zur bezüglich Bildtakt und Bildphase regelbaren Synchronisation von zwei oder mehr MPEG-2-kodierten Videosequenzen für digitale Multi- Projektionssysteme mit den entsprechend der Anzahl der zu synchronisie- renden Videosequenzen parallel oder kaskadiert zu wiederholenden Verfahrensschritten :7. Method for the controllable synchronization of two or more MPEG-2-encoded video sequences for digital multi-projection systems with the number of images to be synchronized. Rendering video sequences in parallel or cascaded to repeating process steps:
1. sendeseitige Einprägung eines bei der Bildaufnahme von einer zentralen Studiouhr ausgegebenen Zeitstempels (TC) in jedes Bild der einzelnen1. On the transmitter side, a time stamp (TC) issued by a central studio clock during image capture is stamped into each individual image
VideosequenzenVideo sequences
2. Kodierung und Bildgruppierung der Videosequenzen in ein I-Picture, einige P-Pictures und mehrere B-Pictures pro Bildgruppe (GOP) in zumindest einem MPEG-2-Enkoder nach dem angewendeten MPEG-2- Systemtakt zu Elementarströmen (ES) mit gleichen oder unterschiedlichen Datenraten und Einstempeln einer Dekodierungs-Verzögerungszeit (VBVd) in jedes Bild der einzelnen Videosequenzen2. Encoding and image grouping of the video sequences into an I-Picture, some P-Pictures and several B-Pictures per image group (GOP) in at least one MPEG-2 encoder according to the applied MPEG-2 system clock to elementary streams (ES) with the same or different data rates and stamping a decoding delay time (VBVd) into each frame of the individual video sequences
3. parallele oder sequenzielle Übertragung, Speicherung und Auslesen aller Elementarströme (ES) nach einem vorgegebenen MPEG-2-Protokoll 4. Festlegung eines der Elementarströme (ES) als Referenz-Elementarstrom (ESref)3. parallel or sequential transmission, storage and reading of all elementary streams (ES) according to a specified MPEG-2 protocol 4. Determination of one of the elementary streams (ES) as a reference elementary stream (ESref)
5. empfangsseitige Wiedergewinnung (CR) der Datenrate des Referenz- Elementarstromes (ESref) und damit der referenzbildenden Systemuhr (STCref) in zumindest einem Multisynchronisationsmodul (MSM) mittels Anwendung einer divisionslosen, phasengelockten Signalverarbeitungsroutine (PLL) auf die Dekodierungs-Verzögerungszeiten (VBVdn, VBVdn+ι aufeinanderfolgender Bilder (n, n+1), dividiert durch die Anzahl der dazwischen liegenden Datenbytes5. Receiving-side recovery (CR) of the data rate of the reference elementary stream (ESref) and thus of the reference-forming system clock (STCref) in at least one multi-synchronization module (MSM) by applying a divisionless, phase-locked signal processing routine (PLL) to the decoding delay times (VBVd n , VBVd n+ ι of consecutive images (n, n+1), divided by the number of data bytes in between
6. Synchronisation der anderen Elementarströme (ES) als Slave-Elementar- ströme (ESsl) auf den Referenz-Elementarstrom (ESref) durch6. Synchronization of the other elementary currents (ES) as slave elementary currents (ESsl) to the reference elementary current (ESref).
6.1 eine bildtaktstarre Kopplung der Bilder mittels einer Einregelung der lokalen Systemuhren (STCsl) auf die wiedergewonnene Systemuhr (STCref) im kaskadierten Verfahrenslauf oder Verteilung der wiedergewonnenen Systemuhr (STCref) auf die lokalen Systemuhren (STCsl) im parallelen Verfahrenslauf und anschließend durch6.1 a picture-clock-rigid coupling of the images by adjusting the local system clocks (STCsl) to the recovered system clock (STCref) in the cascaded process run or distribution of the recovered system clock (STCref) to the local system clocks (STCsl) in the parallel process run and then through
6.2 eine bildphasenrichtige Kopplung der Bilder mittels einer Einregelung der Differenz der einander entsprechenden Wieder- gabezeitpunkte der I-Picture zwischen Slave- und Referenz- Elementarstrom (ESsl, ESref) auf einen vorgegebenen Wert, wobei die Wiedergabezeitpunkte durch das Produkt aus dem Zeitstempel (TC) eines I-Pictures und der Bilddauer (FP) definiert sind.6.2 a picture phase-correct coupling of the images by adjusting the difference between the corresponding repetitions delivery times of the I-Picture between slave and reference elementary current (ESsl, ESref) to a predetermined value, whereby the playback times are defined by the product of the timestamp (TC) of an I-Picture and the picture duration (FP).
8. Verfahren nach Anspruch 7 mit einer Einregelung der bildphasenrichtigen Kopplung der Bilder auf einen Wert ungleich Null.8. The method according to claim 7 with an adjustment of the image phase-correct coupling of the images to a value other than zero.
9. Verfahren nach Anspruch 7 oder 8 mit einer Speicherung der Elementarströme (ES) im MPEG-2-Elementarstrom-Speicherprotokoll.9. The method according to claim 7 or 8 with storage of the elementary streams (ES) in the MPEG-2 elementary stream storage protocol.
10. Verfahren nach Anspruch 7 bis 9 mit einer divisionslosen, phasengelockten Signalverarbeitungsroutine (PLL) mit den Verfahrensschritten :10. The method according to claims 7 to 9 with a divisionless, phase-locked signal processing routine (PLL) with the method steps:
1. Initialisieren der Systemuhr (STCref) nach dem Ablauf der Dekodierungs- Verzögerungszeit (PI VBVd) des ersten P-Pictures mit dem Wiedergabezeitpunkt des ersten ausgelesenen I-Pictures, der durch das Produkt des Zeitstempels (TC) des I-Pictures mit der Bilddauer (FP) definiert ist, fortlaufender Vergleich mit den entsprechend gebildeten Zeitpunkten der folgenden I-Picture und Regelung des Systemtaktes der Signalverarbei- tungsroutine (PLL) in Abhängigkeit von auftretenden Abweichungen, und1. Initialize the system clock (STCref) after the decoding delay time (PI VBVd) of the first P-Picture has elapsed with the playback time of the first I-Picture read, which is determined by the product of the timestamp (TC) of the I-Picture with the image duration (FP) is defined, continuous comparison with the correspondingly formed times of the following I-Picture and regulation of the system clock of the signal processing routine (PLL) depending on deviations that occur, and
2. systemtaktrichtige Ermittlung der Datenrate des Referenz-Elementarstromes (ESref) aus der Bilddauer (FP) zuzüglich der Differenz der Dekodierungs-Verzögerungszeiten (VBVdn, VBVdn+ι) aufeinanderfolgender Bilder (n, n+1 ), dividiert durch die Anzahl der dazwischen liegenden Datenbytes2. System clock-correct determination of the data rate of the reference elementary stream (ESref) from the image duration (FP) plus the difference in the decoding delay times (VBVd n , VBVd n+ ι) of successive images (n, n+1), divided by the number of images in between lying data bytes
11. Verfahren nach einem der Ansprüche 7 bis 10 mit einer Einregelung der lokalen Systemuhren (STCsl) auf die wiedergewonnene Systemuhr (STCref) im kaskadierten Verfahrenslauf mit den Verfahrensschritten : 1. Initialisierung einer rückwärts laufenden Kurzzeituhr als Zähler mit dem Wert der Dekodierungs-Verzögerungszeit (VBVd0) des ersten ausge- lesenen Bildes plus der Bilddauer (FP), wobei der Zählerstand mit dem lokalen Systemtakt verringert wird, und zyklisch durch 2. Subtraktion der nächsten Dekodierungs-Verzögerungszeit (VBVdn), Regelung der lokalen Systemtaktuhr (STCsl) mit auftretenden Abweichungen und erneute Erhöhung der Kurzzeituhr um die Bilddauer (FP), wobei ein zum wiedergewonnenen Systemtakt auftretender Offset der Kurzzeituhr mit der Differenz des mit der lokalen Systemuhr (STCsl) erzeugten Zeitstempels (TC) zum Ausgabezeitpunkt (PIVBVd) des ersten I-Pictures in einer Bildgruppe (GOP) ausregelt wird.11. The method according to one of claims 7 to 10 with an adjustment of the local system clocks (STCsl) to the recovered system clock (STCref) in a cascaded process run with the process steps: 1. Initialization of a backwards running short-term clock as a counter with the value of the decoding delay time ( VBVd 0 ) of the first selected read image plus the image duration (FP), whereby the counter reading is reduced with the local system clock, and cyclically by 2nd subtraction of the next decoding delay time (VBVd n ), regulation of the local system clock clock (STCsl) with any deviations that occur and the short-term clock increased again by the image duration (FP), whereby an offset of the short-time clock that occurs in relation to the recovered system clock is adjusted with the difference between the time stamp (TC) generated with the local system clock (STCsl) and the output time (PIVBVd) of the first I-Picture in a picture group (GOP). .
12. Verfahren nach einem der Ansprüche 7 bis 11 mit einer Subtraktion der Dekodierungsverzögerungszeit (PIVBVd) des in einer Bildgruppe (GOP) jeweils ersten P-Pictures von der durch das Produkt aus dem Zeitstempel (TC) und der Bilddauer (FP) gebildeten Uhrzeit der zentralen Studiouhr in den jeweiligen Verfahrensschritten. 12. The method according to one of claims 7 to 11 with a subtraction of the decoding delay time (PIVBVd) of the first P-picture in a picture group (GOP) from the time formed by the product of the timestamp (TC) and the picture duration (FP). central studio clock in the respective process steps.
PCT/DE2003/004078 2002-12-30 2003-12-11 Synchronization methods for digital multi-projection systems WO2004062293A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
AU2003296527A AU2003296527A1 (en) 2002-12-30 2003-12-11 Synchronization methods for digital multi-projection systems

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE10261912.3 2002-12-30
DE10261912 2002-12-30
DE10308138A DE10308138B4 (en) 2002-12-30 2003-02-26 Method for synchronizing picture and video phase of two or more MPEG-2 encoded video sequences for digital multi-projection systems
DE10308138.0 2003-02-26

Publications (1)

Publication Number Publication Date
WO2004062293A1 true WO2004062293A1 (en) 2004-07-22

Family

ID=32714766

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2003/004078 WO2004062293A1 (en) 2002-12-30 2003-12-11 Synchronization methods for digital multi-projection systems

Country Status (2)

Country Link
AU (1) AU2003296527A1 (en)
WO (1) WO2004062293A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2962872A1 (en) * 2010-07-13 2012-01-20 Assistance Tech Et Etude De Materiels Electroniques Method for processing data i.e. video data, issued from camera, involves decoding secondary stream of temporal data by decoding modules, and synchronizing secondary stream of temporal data with primary stream of temporal data
US8311366B2 (en) 2006-01-13 2012-11-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System and method for calibrating and adjusting a projected image of a projection apparatus

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5832256A (en) * 1995-10-30 1998-11-03 Samsung Electronics Co., Ltd. System clock recovery apparatus for MPEG decoding system
EP0924935A2 (en) * 1997-12-19 1999-06-23 Kabushiki Kaisha Toshiba Video image decoding method and apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5832256A (en) * 1995-10-30 1998-11-03 Samsung Electronics Co., Ltd. System clock recovery apparatus for MPEG decoding system
EP0924935A2 (en) * 1997-12-19 1999-06-23 Kabushiki Kaisha Toshiba Video image decoding method and apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8311366B2 (en) 2006-01-13 2012-11-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System and method for calibrating and adjusting a projected image of a projection apparatus
FR2962872A1 (en) * 2010-07-13 2012-01-20 Assistance Tech Et Etude De Materiels Electroniques Method for processing data i.e. video data, issued from camera, involves decoding secondary stream of temporal data by decoding modules, and synchronizing secondary stream of temporal data with primary stream of temporal data

Also Published As

Publication number Publication date
AU2003296527A1 (en) 2004-07-29

Similar Documents

Publication Publication Date Title
DE60038533T2 (en) STROKE RECOVERY
DE69738035T2 (en) Method for display time stamping and synchronization of multiple video object levels
DE69434075T2 (en) Synchronization device for a compressed video signal
DE69825526T2 (en) Correction of the given time
DE69929989T2 (en) VIDEO COMPONENT BINDING METHOD FOR TWO DIGITAL PICTURE SOUND PROGRAMS WITH DUAL PICTURE DUPLICATION
DE60106286T2 (en) TIME BASIC REFERENCE DATE REGENERATION FOR MPEG TRANSPORT TREES
DE2320376C2 (en) Circuit arrangement for synchronizing a video signal with a reference signal
DE69722556T2 (en) Synchronization of a stereoscopic video sequence
DE69535553T2 (en) VIDEO COMPRESSION
DE69736706T2 (en) METHOD AND DEVICE FOR SPLITTING COMPRESSED DATA FLOWS
DE69633838T2 (en) Encoding and decoding of moving pictures
DE102004007098A1 (en) Video device and method for synchronizing time bases of video devices
EP0843486B1 (en) Time-stamp updating method in a digital data stream and remultiplexing
DE19860507A1 (en) Video coding method, video decoder and digital television system using such a method and such a decoder
EP2346261A1 (en) Method and apparatus for multiplexing H.264 elementary streams without timing information coded
EP2425627B1 (en) Method for the time synchronization of the intra coding of a plurality of sub images during the generation of a mixed image video sequence
CN108769600B (en) Desktop sharing system based on video stream frame rate adjustment and desktop sharing method thereof
DE10308138B4 (en) Method for synchronizing picture and video phase of two or more MPEG-2 encoded video sequences for digital multi-projection systems
WO2004062293A1 (en) Synchronization methods for digital multi-projection systems
DE69635177T2 (en) Isochronous high-speed data transmission in MPEG-2 data streams
EP1516495B1 (en) Method for creating a system clock in a receiver device and corresponding receiver device
DE112011101955B4 (en) Video display device
DE3202328A1 (en) &#34;MULTIPLEX SYSTEM FOR DIGITAL VIDEO SIGNAL PROCESSING&#34;
DE112013001880T5 (en) Apparatus and method for distributing digital data, apparatus and method for reproducing digital data, synchronized reproduction system, program and recording medium
DE102006036562B4 (en) Method and system for transmitting data streams related to one another and / or for synchronizing data streams related to one another

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ OM PH PL PT RO RU SC SD SE SG SK SL TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase
NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP