Parole chiave: Decoder asincrono per codificatore audio e video MPEG-2 PCR DTS PTS
Con il rapido sviluppo della televisione digitale nel mio paese e l'avanzamento della trasformazione digitale delle reti radiofoniche e televisive urbane, sempre più persone hanno iniziato a utilizzare i set-top box per guardare i programmi televisivi digitali. Ma mentre guardano i programmi TV attraverso un set-top box, gli spettatori a volte scoprono che alcuni audio e video non sono sincronizzati. Anche questo ha attirato la nostra attenzione.
Fenomeno e prova
La città di Guiyang ha sostanzialmente completato la trasformazione digitale della sua rete radiofonica e televisiva alla fine del 2007, e anche i programmi della stazione televisiva di Guizhou sono entrati nella trasmissione della rete digitale. Dopo essere entrati nella rete digitale, abbiamo riscontrato che diversi programmi della nostra emittente avevano il fenomeno della mancata sincronizzazione di audio e video in alcune zone, soprattutto quando la notizia veniva trasmessa sul canale video satellitare e sul canale people. Per scoprire dov'è il problema, abbiamo deciso di condurre un test di sincronizzazione labiale sull'intero percorso di trasmissione del nostro programma. L'apparecchiatura utilizzata per il test è Tektronix WFM7120. Quando si esegue la misurazione del ritardo audio / video, è anche necessario generare una serie di brevi segnali video con barre di colore attraverso TG700 DVG7 e la sequenza audio è incorporata in questo gruppo di segnali video con un intervallo di 5s, inviare tale segnale a il sistema in prova e infine inviare il segnale a WFM7120 per misurare la differenza di temporizzazione tra audio e video.
Test interno del centro di controllo delle trasmissioni
Come mostrato nella Figura 1, per misurare se c'è una differenza di ritardo audio / video nel sistema della stazione TV, usiamo il tempo di ispezione per registrare il segnale di prova generato dal TG700 nel disco rigido della trasmissione, riprodurlo attraverso il disco rigido, e immettere il segnale di test al delayer. Dopo il modulo di sincronizzazione del frame, viene trasmesso su un canale, quindi misuriamo questi tre segnali prima che il reparto di trasmissione trasmetta il segnale all'encoder della società di rete. I risultati della misurazione mostrano che la differenza di ritardo audio / video di questi tre segnali non supera i 12 ms, ovvero un campo non è sufficiente, indicando che il segnale non ha il problema della sincronizzazione audio e video nel centro di controllo della trasmissione.
Test di diversi set-top box
Per il secondo punto di misurazione, abbiamo scelto la sala computer front-end dell'azienda di rete. Come mostrato nella Figura 2, qui abbiamo selezionato le principali marche di set-top box attualmente utilizzati in Cina per i test. Dopo aver codificato il segnale di prova del TG700 tramite l'encoder originale che stiamo utilizzando, inseriscilo nel canale che stiamo trasmettendo. Quindi utilizzare un set-top box nella sala computer front-end per demodulare il segnale TV. Il segnale audio / video decodificato viene quindi inviato a WFM7120 per la misurazione dopo A / D e l'incorporamento del segnale analogico tramite un videoregistratore Panasonic D950. I risultati della misurazione mostrano che la differenza di ritardo audio / video di questi tipi di set-top box è diversa, alcuni sono in anticipo di 150 ms e alcuni sono in ritardo di 300 ms. Ciò mostra che diversi set-top box hanno capacità diverse per mantenere la relazione di sincronizzazione tra i segnali audio / video dopo la demodulazione e la decodifica dello stesso segnale TV digitale.
Test di diversi encoder
Come mostrato nella Figura 3, utilizziamo ancora il generatore di segnali TG700 per testare diversi encoder e abilitare l'encoder, il modulatore e il set-top box per creare un ambiente di trasmissione / visualizzazione simulato. Qui utilizziamo diversi codificatori di marche diverse. Dopo aver codificato il segnale di test del TG700, viene modulato dallo stesso modulatore, quindi il segnale viene decodificato dallo stesso set-top box. Viene anche elaborato da D950 e inviato a WFM7120 per la misurazione. Il risultato finale della misurazione è che alcune delle loro differenze di ritardo audio / video sono di 30 ms e alcune raggiungono i 300 ms, indicando che encoder diversi hanno un impatto maggiore sulla sincronizzazione audio / video del segnale di visualizzazione finale del set-top box.
Analisi della causa
Il principio di temporizzazione del sistema MPEG-2
Al momento, nel sistema di trasmissione della TV digitale del mio paese, lo standard MPEG-2 è un importante standard di compressione audio e video. Comprime, codifica e multiplexa i segnali del programma all'estremità sorgente e demultipla e decodifica i segnali all'estremità ricevente. È stato ampiamente utilizzato. Il sistema di trasmissione digitale che stiamo utilizzando è basato sullo standard MPEG-2. Diamo un'occhiata alla struttura del sistema di MPEG-2, come mostrato nella Figura 4.
Si può vedere dalla Figura 4 che i segnali audio e video formano un flusso di base dopo che le informazioni ridondanti vengono rimosse dal codificatore di compressione. Questo flusso di codice elementare non può essere memorizzato o trasmesso direttamente. Deve essere inviato a un imballatore specifico. Il flusso di codice elementare è suddiviso in paragrafi secondo un certo formato e vengono aggiunti caratteri di identificazione specifici per formare il cosiddetto flusso di codice elementare impacchettato (PES). I pacchetti PES sono pacchetti di dati audio e video con lunghezze variabili. Quindi i pacchetti PES audio e video e i dati ausiliari vengono inviati al sottosistema di trasmissione, che viene suddiviso in piccoli pacchetti di dati con una lunghezza fissa di 188b e multiplexati mediante multiplexing a divisione di tempo. Viene formato un singolo flusso TS e il flusso TS raggiunge l'estremità ricevente dopo la trasmissione attraverso il canale.
Come tutti sappiamo, la sincronizzazione è una condizione necessaria per una corretta visualizzazione della TV. Per la TV digitale, poiché il buffer viene utilizzato per memorizzare il segnale durante il processo di compressione e codifica, l'asse del tempo del segnale nel multiplexer viene modificato, più la quantità di ridondanza dei dati è diversa, anche il rapporto di compressione è diverso, quindi il asse del tempo Grandi cambiamenti, specialmente nell'elaborazione del livello del gruppo di frame, è cambiato anche l'ordine dei frame B e dei frame P. Tutto ciò fa sì che la sincronizzazione dei segnali TV digitali perda completamente il concetto della sequenza originale. Un modo efficace per ottenere la sincronizzazione consiste nell'aggiungere un'etichetta temporale al flusso di codice del segnale ogni volta che è trascorso un intervallo specificato. Con questo tag, l'estremità ricevente può essere riordinata in base a questo tag temporale durante il processo di decodifica prima della visualizzazione, ricostruire l'ordine dell'immagine prima della compressione e della codifica e la relazione temporale tra suono e immagine, ottenendo così la sincronizzazione dell'immagine e il il suono è sincronizzato con l'immagine.
Si può anche vedere dalla Figura 4 che c'è un singolo clock di sistema comune STC (27MHz) nell'encoder MPEG-2. Questo orologio viene utilizzato per generare un timestamp che indica la decodifica corretta e la tempistica di visualizzazione dell'audio / video. Allo stesso tempo, può essere utilizzato per indicare il campionamento Il valore istantaneo dell'orologio di sistema istantaneo. L'orologio è bloccato in fase dalla sincronizzazione di linea del video in ingresso. Quando l'ingresso è un segnale SDI, il clock di sistema dell'encoder è generato dal clock diviso per 10. È l'emergere di un clock di sistema comune nell'encoder, così come la rigenerazione dell'orologio nel decoder e il corretto utilizzo di timestamp, che costituiscono la base per la corretta sincronizzazione delle operazioni nel decoder. Per realizzare la sincronizzazione dell'orologio del codec, l'orologio del sistema STC viene conteggiato nell'encoder e il valore di campionamento del contatore viene trasmesso al ricevitore nell'intestazione di adattamento del pacchetto TS selezionato ogni determinato tempo di trasmissione, come decodifica Il segnale di riferimento del clock del programma del processore, che è PCR. Il bit valido per PCR è 42b, tra cui l'alto 33b è PCR_Base, che è il valore di conteggio nell'unità del clock a 27MHz e il clock diviso per 300, e il basso 9b è PCR_Extension, che è il valore di conteggio nel clock a 27MHz come unità. Oltre alla PCR, anche l'etichetta del tempo di decodifica DTS e l'etichetta del tempo di visualizzazione PTS sono molto importanti. Sono simili a PCR_Base. Vengono anche creati con il clock di sistema a 27 MHz dell'encoder, diviso per 300 come valore di conteggio delle unità. Tra questi, DTS viene utilizzato per indicare al decodificatore quando decodificare l'immagine ricevuta e il frame audio e PTS viene utilizzato per notificare quando visualizzare il frame dell'immagine decodificato.
Quando si utilizza la codifica a due vie, la decodifica di una determinata immagine deve essere eseguita entro un periodo di tempo prima che venga visualizzata, in modo che possa essere utilizzata come dati sorgente per la decodifica dell'immagine B-frame. Ad esempio, l'ordine di visualizzazione delle immagini è IBBP, ma l'ordine di trasmissione delle immagini è IPBB. Il modello di riferimento MPEG ritiene che la decodifica avvenga istantaneamente, ovvero che la decodifica e la visualizzazione vengano eseguite contemporaneamente. Per i fotogrammi audio e per i fotogrammi B dell'immagine, il tempo di decodifica e il tempo di visualizzazione sono gli stessi e PTS è lo stesso di DTS, quindi deve essere trasmesso solo PTS. Per i fotogrammi I video e i fotogrammi P, a causa del riordino dei fotogrammi, il tempo di decodifica e il tempo di visualizzazione sono diversi e PTS e DTS devono essere trasmessi contemporaneamente. Quando il decodificatore riceve la sequenza di immagini IPBB, deve decodificare le immagini fotogramma I e fotogramma P prima di decodificare la prima immagine fotogramma B. Il decodificatore può decodificare solo un fotogramma dell'immagine alla volta, quindi prima decodifica l'immagine I fotogramma e la memorizza. Quando l'immagine del fotogramma P viene decodificata, emette e visualizza l'immagine del fotogramma I decodificato, quindi decodifica e visualizza l'immagine del fotogramma B. Le tabelle 1, 2, 3 e 4 mostrano la sequenza delle immagini in ingresso e in uscita dell'encoder, i valori PTS e DTS di ogni frame e la sequenza di decodifica e visualizzazione di ogni frame dell'immagine da parte del decoder.
Nella tabella 1, 13 fotogrammi di immagini costituiscono un gruppo di immagini, il primo fotogramma I fotogramma utilizza la codifica intra-fotogramma, il secondo e il terzo fotogramma B sono ottenuti mediante predizione bidirezionale dal primo e quarto fotogramma e il quarto fotogramma P fotogramma è passato dal primo fotogramma. Derivato dalla previsione in avanti. Dopo aver codificato il primo fotogramma, il codificatore prima memorizza nel buffer il secondo e il terzo fotogramma, codifica il quarto fotogramma, quindi codifica il secondo e il terzo fotogramma e così via, e la sequenza di output codificata finale è mostrata nella tabella 2 mostrata.
Si può vedere dalla Tabella 3 e dalla Tabella 4 che quando il decodificatore riceve una certa unità di accesso contenente un'immagine I frame, il pacchetto di dati del file dovrebbe contenere DTS e PTS, il tempo tra i valori di questi due tag L'intervallo è uno periodo dell'immagine. Dopo che l'immagine I frame è il frame P, dovrebbero esserci anche un DTS e un PTS nel pacchetto di dati del file e l'intervallo di tempo tra i valori dei due tag è di tre periodi di immagine. Poi ci sono due B-frame, i cui pacchetti di dati di file contengono solo PTS. Vale a dire, l'immagine I frame verrà riprodotta e visualizzata dopo un ritardo di un frame dopo la decodifica. Quando viene visualizzato il fotogramma I, il fotogramma P del quarto fotogramma viene decodificato, ma non viene riprodotto e visualizzato. Viene prima memorizzato nella cache e, dopo che il frame 1I è stato riprodotto e visualizzato, decodifica e visualizza immediatamente i frame 2B, quindi i frame 3B, quindi visualizza i frame 4P bufferizzati, decodifica e bufferizza i frame 7P allo stesso tempo, e così via. Si può vedere che la sequenza di immagini decodificate e visualizzate è coerente con la sequenza di input dell'immagine nella Tabella 1.
Principio di temporizzazione del decoder (set-top box)
PTS e DTS sono solo valori 33b. Se non vi è alcun riferimento all'asse del tempo rappresentato dalla PCR, questo valore è privo di significato. Per mantenere una decodifica corretta, gli orologi di sistema dell'encoder e del decoder (set-top box) devono essere mantenuti bloccati, ovvero le loro frequenze sono mantenute uguali ei valori iniziali dei rispettivi contatori sono gli stessi.
C'è un oscillatore controllato in tensione (VCO) con una frequenza di circa 27 MHz nel decoder (set-top box). Il segnale di uscita viene inviato al contatore come orologio di sistema per generare il valore del campione STC corrente, che è un valore di 42b come PCR. Tra questi, il 33b alto è il valore di conteggio nell'unità di clock a 27MHz dopo una frequenza rosa 300 e il valore di conteggio basso nell'unità di clock a 9MHz. Quando un nuovo programma arriva al decodificatore (set-top box), il decodificatore (set-top box) ottiene il valore PCR dal flusso di codice, confronta il suo valore PCR_Extention con i bit 27b inferiori dell'attuale STC e ottiene l'errore segnale, e quindi passa attraverso il circuito ad anello ad aggancio di fase. Regolare l'oscillatore controllato in tensione in modo che la frequenza di clock di sistema del decoder (set-top box) sia coerente con la frequenza di clock di sistema dell'encoder. Ottieni i valori PTS e DTS di ogni frame in sequenza dal flusso di codice e confrontali con i bit alti 9b del valore STC corrente. Se il valore DTS è maggiore del valore STC, il flusso di codice viene bufferizzato e la modifica del valore STC viene monitorata allo stesso tempo. Quando il valore STC aumenta per essere uguale al valore DTS, il flusso di codice del frame viene decodificato. Quando il valore STC è uguale al valore PTS, Riproduci il fotogramma. Se a causa del jitter del ritardo del buffer della rete di trasmissione, quando il flusso di codice raggiunge il decoder (set-top box), il suo valore PTS è già inferiore al valore STC, allora il decoder (set-top box) salta questo frame e scarta i dati del frame. Poiché PTS e DTS vengono generati in base al valore PCR, il primo valore PCR ottenuto deve essere utilizzato come valore iniziale per impostare il contatore STC del decoder (set-top box) in modo che i loro valori siano uguali, altrimenti il la base dei tempi sarà diversa. , Quindi errore di decodifica. L'elaborazione di audio e video è simile, ma non ci sono problemi di riorganizzazione temporale. La Figura 33 mostra il diagramma del principio di funzionamento della PCR del decoder (set-top box).
Motivi per audio e video non sincronizzati
Nelle applicazioni pratiche, alcuni codificatori causano jitter nel loro clock di uscita a causa della base dei tempi instabile del segnale video in ingresso e l'intervallo di sincronizzazione del frame non è di 40 ms. Per questi encoder, dopo aver impostato il valore DTS iniziale in base alla PCR e al ritardo di buffering, il valore DTS di ogni frame si ottiene sommando un valore fisso al DTS precedente (questo valore può essere calcolato come segue: 27MHz è diviso 300 È 90kHz e PAL TV è di 25 fotogrammi al secondo, quindi il valore è 90000/25 = 3600) e il valore PTS viene calcolato in base al tipo di frame e al tipo di GOP. Tuttavia, il valore della PCR non è aumentato di 3600 durante questo periodo, il che ha causato l'aumento o la diminuzione di DTS e PTS rispetto alla PCR. Alcuni decoder (set-top box) non utilizzano un oscillatore controllato in tensione e il loro clock di sistema è un 27MHz fisso, ma utilizza il valore PCR ricevuto per inizializzare il valore del contatore di clock del sistema locale. Il codificatore e il decodificatore (set-top box) non possono mantenere un blocco rigoroso, il che potrebbe causare la perdita di frame da parte del decoder (set-top box). Tuttavia, alcuni decoder (set-top box) non decodificano e visualizzano più rigorosamente in base a DTS e PTS dopo la perdita di frame, ma decodificano in base alla situazione del buffer, poiché il ritardo della codifica video e audio è diverso, potrebbe causare audio Il dipinto non è sincronizzato.
Inoltre, nel processo di trasmissione dall'encoder al decoder (set-top box), a causa dell'esistenza di collegamenti buffer a ritardo variabile come multiplexer e modulatori, il ritardo di trasmissione dei pacchetti PCR potrebbe non essere costante, variando da grande a piccolo. Se la PCR non viene corretta, possono verificarsi anche i problemi di cui sopra.
per riassumere
Dall'analisi di cui sopra, si può vedere che sia l'encoder che il decoder (set-top box) possono causare l'asincronizzazione di audio e video. Dopo aver testato gli encoder di varie marche, la nostra stazione ha scelto un encoder con indicatori di test migliori e ha sostituito l'encoder originale, il che ha notevolmente migliorato il fenomeno che l'audio e l'immagine della TV non sono sincronizzati. Nella fase successiva dell'introduzione dei set-top box, le società di rete rafforzeranno anche la verifica degli indicatori pertinenti per migliorare la qualità delle valutazioni del pubblico. Naturalmente, nel processo di avanzamento della digitalizzazione della radio e della televisione del mio paese, abbiamo ancora bisogno degli sforzi congiunti dei nostri lavoratori televisivi e dei produttori di apparecchiature per raggiungere finalmente un completo successo.
Il nostro altro prodotto:
