您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识
yanni(你站在街上歪头瞅摄像机,我在 100 年后隔着屏幕瞅你)
物体,视频,照片yanni(你站在街上歪头瞅摄像机,我在 100 年后隔着屏幕瞅你)
发布时间:2016-12-08加入收藏来源:互联网点击:
深度图中,不同颜色代表不同深度值
(二)糊糊糊糊糊对于视频来说,画面流畅远远不够,清晰也很重要。
如果画面很朦胧,你连主演的表情都看不真切,就不能揪着 Ta 的演技口吐芬芳,从而失去一个闲谈时的八卦谈资,进而你会质疑当下的视频制作水平,你的不信任就会阻碍视频行业的健康发展,为了这一切不会发生,画面必须要清楚。
提到清晰度,你肯定会想到 480P、720P、1080P、2K、4K,那么问题来了,怎么才能把 480P 的视频提升到 720P 呢?重拍。
除了重拍呢?那就是超分辨率重建。
超分辨率,意思是用硬件或软件提高原图的分辨率,这个处理过程,就叫做超分辨率重建。
超分辨率重建技术可以分为两种,一种是多合一,多张低分辨率图片合成一张高分辨率图片,另一种是单重建,用单张低分辨率图片恢复一张高分辨率图片。大谷在修复 100 年前的“老北京 Vlog” 时,用的扩增分辨率工具 ESRGAN,就属于后者。
ESRGAN 全称叫做「增强型超分辨率生成对抗网络」,是由 SRGAN (超分辨率生成对抗网络) 升级而来,它们都是基于生成对抗网络的超分辨率方案。
生成对抗网络 (Gan) 可以看做是两个小人在博弈,一个小人叫做生成模型,另一个小人叫做判别模型,生成模型小人的任务是以假乱真,用超分辨率技术造出可媲美原图的照片,而判别模型小人的任务则是明辨真假,判断眼前的照片究竟是原图还是对手生成的,两个小人在长期的斗智斗勇中,水平越来越高,基于这个模型训练出来的 AI,就能够越来越精确的重建出高分辨率图片。
ESRGAN 不仅继承了前身 SRGAN 优良的全局把控力,而且通过调整算法,弥补了之前的短板:容易丢失细节。如此重建出来的图片,与原图相差无几。
从下图中可以明显看出,用 ESRGAN 重建的照片,细节 (胡须) 呈现的更好。
SRGAN、ESRGAN 还原效果与实际画面的对比
但不得不说,有时候,“画至清、则有瑕”,画质太过清晰,也难免会把“瑕疵”推到观众眼前,这一点在老电影修复的过程中,就常常会发生。比如在《亮剑》修复版中,就出现了无比醒目的穿帮镜头:
截图来源于《亮剑》修复版
所以,在此友情提示:观影重在沉浸感,你可以专注于看剧情、看演员、看特效,别的就算了,能过就过,千万别较真,比如我就根本没有注意到某部电影中精良的化妆技术。
截图来自于某部忘了名字的电影
(三)给黑白加彩1839 年,法国画家达盖尔成功做出了世界上第一台照相机,人们惊奇的看着这个奇怪的木匣子,兴奋又忐忑地围观着这门独一无二的“新艺术”。然而,当照片呈现在眼前,人们的兴奋却变成了失望。
照片,记录下了每一个精致的细节,可是颜色去哪儿了呢?
本着“顾客就是上帝,上帝不能失望”的商业准则,一场声势浩大的色彩捕捉行动开始了。科学家、摄影师、艺术家都参与其中,拼命想找出能让照片显示出色彩的办法,然而一圈下来,毫无进展。
情急之下,一个替代方案诞生了:上色。
值得一提的是,绝大多数情况下,摄影师和上色技师并不是同一个人,最后的呈现效果,极大依赖于技师的理解和审美。所以你瞧,照片上色这个事儿,从一开始就属于二次主观创作。
照片上色主要经历了三个阶段,首先是彩色胶卷问世之前,当时的照片上色纯靠手工,也就是画。鸦片战争打开了中国国门,让摄影技术进入了人们的视线,也催熟了国内的照片上色行业,甚至在新中国成立之后,还专门举办了上色技师评比大赛,大家说好,才是真的好。
上世纪30年代,明星周璇17岁时的手工上色照片
手工上色从工艺上来看,分为水色和油色两种,水色就是水彩类颜料,优点是画面通透,油色则是油性颜料,优点是保存持久。相比之下,油色更受欢迎。
上色不是直接用笔在照片上画,需要先给照片褪色:先用铁氰化钾,把照片上的黑色变成白色;再用硫化钠,把照片整体调成棕色;接下来,就可以在这张棕色的“画布”上进行填色了。
1935 年,柯达克罗姆彩色胶卷问世,彩色摄影成了主旋律,照片上色也走进了第二个阶段:数码调色。工具就是各位熟知的 Photoshop (PS),可谓是“PS 在手,万物皆可彩色”,不变的,依然是二次主观创作的属性。
时间再往后走,照片上色来到了第三个阶段:AI 填色。
人工智能本不认识颜色,看的多了,也就会猜了。修复 100 年前的“老北京 Vlog”时,大谷用的 AI 上色工具叫做 DeOldify,是由一位美国小哥首发在 Twitter 上的开源软件,我们先来看几个它过往的作品。
DeOldify 的工作步骤大概是这样:对照片进行图像分割,识别出图像中的所有元素,接下来,学习大量包含这些元素的数据集,填鸭式记忆物体的常规颜色,比如海洋蓝、树木绿,最后,学以致用,给黑白照片填充上合理的颜色。
如果给人工智能一个完美的数据集,它恐怕能给灵魂涂上颜色。
起初,DeOldify 只被用来做照片上色,鉴于它出色的表现,才开始让它为老电影上色,从效果来看,依然惊艳,正如在“老北京 Vlog”中的表现一样,DeOldify 带我们穿越历史,跳出曾经无数次背诵过的历史考点,隔着百年时光,感受属于小人物的平凡和精彩。
Jason Antic借助DeOldify 为1936年的老电影上色
而在第二弹视频中,大谷使用了 AI 新技术 DeepRemaster,在全局表现效果来看,更加优于 DeOldify,这就是 AI 后浪的力量。
不过,从实际效果来看,惊艳中仍有遗憾,比如视频中的上色不是 100% 精确的,因为人工智能学习使用的数据集,还不能涵盖这一历史时期的所有色彩样本,所以只能说,这种上色效果是合乎常理的,是人工智能基于现实所带来的浪漫复现:给不了你真实,只能给你一种真实的可能性。
突然想起一句话:我们所谓的故乡,不过是祖先流浪的最后一站。
回望视频中的这些人,他们一生经历了些什么,我们不得而知,但在 AI 的修复下,时光突然被折叠,我们有幸得以瞥见他们人生中的一瞬真实,已经是科技最好的馈赠了。
是路人,也该好好路过。
本文到此结束,希望对大家有所帮助呢。
下一篇:返回列表
相关链接 |
||
网友回复(共有 0 条回复) |