集微網2月19日消息(文/數碼控),今天小米相機軟件算法研發負責人汪軒然發文詳解小米AI相機技術。
汪軒然認為AI相機作為一個概念并不新鮮,早在小米8的時代他們就推出了第一代小米AI相機。傳統的AI相機的做法,通常分成兩個部分,一是識別,二是后處理。前者通過神經網絡來“認知”當前拍攝的場景,后者根據不同的場景,使用一些傳統的方式來針對特定場景做一些優化。所謂“AI“,其實只有前面的識別部分跟AI掛鉤。這種方式最大的問題是只能針對特定的幾個預設好的場景來做優化,并且針對同一個場景,只能采用一樣的模板來處理,而沒有針對當前的色彩,光影等做一些更有針對性的局部優化,效果會大打折扣。
為了解決這一問題,小米團隊開創性的將傳統的場景感知拓展成為全方位的色彩、對比度、光影等內容感知,使用深度神經網絡對整個畫面進行全局和局部的分析,獲取到最優的畫面效果,并且實時地對畫質進行增強。所以AI大片是覆蓋所有場景的優化。可以說,新的AI相機,對于同樣的一片草地,在不同的光照,角度,甚至背景下,都會有不一樣的優化效果。并且他們的技術把識別+處理合二為一,一站式的實現了AI修圖師的效果。
這個技術最大的挑戰在于計算量。眾所周知,針對圖像像素處理的深度神經網絡的計算量極高,對手機的計算能力是一個很大的考驗,而他們除了要實現預覽實時處理,所見即所得的效果之外,更“變態“的要求能針對一億像素的原片進行處理。為了實現這兩個看似不可能的任務,團隊的攻城獅們對于神經網絡的優化達到了每個四則運算都去細摳的程度。除了使用常見的網絡減枝,網絡壓縮的技術,他們還創造性地提出了一種新的基于導向圖的開關網絡結構,這個網絡不僅僅可以使得網絡參數和計算量大幅下降,也可以滿足優化的多樣性要求(噪聲,亮度,顏色,對比度,高動態等等),最終得以將全新的AI相機展現給用戶。
除了攻城獅哥哥們的辛勤努力,新的AI相機也包含了團隊中很多設計師妹子們的心血。為了讓深度神經網絡能完美的復現出修圖師的美化效果,他們給網絡“喂“了數十萬張訓練數據,并同時做了多套效果,最終通過盲評,選擇了一個認可度最高的模型效果。
汪軒然表示發布會的幾頁ppt,背后隱藏的是團隊每個成員日日夜夜的辛苦付出。小米影像技術起步的確有點晚,但他們一直都在很努力的往前跑著。在他們的眼中,沒有什么友商,沒有什么銷量,他們只想著怎么用最新的技術來讓拍照變得更加有趣,讓每個人都能拍出一張好照片,借此讓大家的生活能變得美好一點點,僅此而已。他們會繼續努力。(校對/葉子)


