記者 | 崔鵬
4月1日晚間,騰訊將在視頻號和騰訊視頻共同播出張國榮2000年《熱.情》演唱會的超清修復版,這是張國榮生前舉辦的最后一場演唱會。
環球音樂旗下的寶麗金唱片公司為騰訊提供了原版演唱會母帶,騰訊云、微信、視頻號和騰訊視頻參與了本次修復和播出工作,其中為視頻做修復的是騰訊多媒體實驗室,隸屬于CSIG(云與智慧產業事業群)。
1號當天,騰訊多媒體實驗室相關負責人接受了界面新聞等媒體的采訪,介紹本次修復工作背后的技術和故事。
多媒體實驗室總監李松南介紹稱,團隊日常的工作內容主要有兩方面:參與國際國內多媒體(音視頻)相關的標準制定;把平時積累的技術提供給其它部門,比如騰訊云音視頻、媒體AI中臺和數據萬象都會用到它們的技術。
今年初,在一個偶然機會下,多媒體實驗室與環球音樂旗下的寶麗金唱片進行接觸,了解到對方擁有張國榮一場演唱會的母帶,而每年4月1日文化娛樂業內都會有紀念張國榮的活動,雙方都覺得這里有合作機會,就達成了相關意向。
3月初多媒體實驗室團隊拿到母帶,開始正式做修復工作。其中純算法跑通大概只用了2天,所以在修復工作中,單純的算法修復環節耗時并不長。
但實驗室希望盡量保留演唱會的藝術風格,所以嘗試了不同算法和效果,希望能取得比較好的平衡。
目前,對于膠片產品的修復主要有物理修復和數字修復兩種,而數字修復也有人工修復和全自動修復兩種方式。騰訊多媒體實驗室做的是全自動的基于機器學習和深度學習的修復,通過比較少的人力介入,減少后續人工修復的成本。
李松南告訴界面新聞等媒體,“我們的目標是做自動化的修復,算法比較通用,不需要針對性的去做優化”,讓這套修復算法能夠適配更多類似場景。

李松南向界面新聞等媒體介紹稱,修復流程從算法角度來說主要分為四步:
首先是智能分析模塊。主要用來分析視頻的質量,包括失幀的類型和程度,人臉的位置等。
其次是修復模塊。主要用于修復視頻中的各種失幀,比如老片中常出現的噪聲、隔行失幀,然后對清晰度低的片段進行超分。
第三是增強模塊。主要是讓圖像本身的內容更清晰,更豐富。
第四是編碼模塊。在盡量低碼率的情況下還原視頻內容,因為在直播和點播過程中,對碼率有一定要求。
張國榮這場演唱會的時長是兩小時,傳統人工修復大概需要一兩個月時間,但是用純算法修復大概兩天就能跑出結果。剩下的時間,團隊都在盡量還原演唱會的藝術表達效果。
在這方面,演唱會視頻的修復與傳統電影電視劇作品的修復有很大區別。
多媒體實驗室此前為騰訊視頻的《康熙王朝》等電視劇做過修復,影視劇作品的場景比較固定,人物運動和畫面色彩風格都比較統一。
演唱會涉及不同色彩的燈光切換,畫面鏡頭多角度切換,針對同一個人物的遠近景和大小臉切換。實驗室在此前的修復工作中很少遇到這種復雜的場景,其中尤以動態的人臉修復問題比較棘手。
現在行業內主流的人臉修復大部分是基于單張照片進行,在視頻修復上會遇到很多問題,比如臉的角度和姿態不一樣,在算法里的解決方式也不同。
另一個干擾項來自于燈光因素,演唱會現場的燈光顏色多變,打到人臉上就會出現很多算法難以處理的問題。
“我們做人臉修復時有個很大的臉特寫,那會正好燈光是紅色,打到張國榮臉上的時候,臉的顏色就跟正常不同,所以修復的時候人臉模型和修復結果需要專門做優化。”
多媒體實驗室2013年剛開始做視頻處理時,主要基于傳統算法做一些視頻降噪和背景增強,后來團隊的很多模型依靠AI和深度學習方式在騰訊云上進行,最開始基于卷積神經網絡,現在擴展至使用生成網絡來進行。
從視頻修復對比來看,寶麗金給的母帶分辨率非常低,大概只有720×480分辨率,做完修復以后騰訊將其做到了接近4K的分辨率,分辨率大概提升了6倍。
目前,對于老舊影視劇和演唱會作品的修復,業內并沒有統一的標準。也就是說,具體修復到什么程度,舞臺氛圍修復到什么樣子才算還原,有沒有達到“舊”的效果,比較依賴主觀判斷,每個人的看法都會不同。
從結果來看,寶麗金公司對修復的效果滿意,也表達了后續針對別的IP進行合作的訴求。