作者丨临风
编辑丨海腰
图源丨Topaz Photo AI
知名创作人Dave Clark的人工智能作品获得数百万次观看。他表示,图像放大的秘密武器除了黑马工具Magnific AI(详见:《2个人的AI公司,1个半月吸引用户40万,马斯克都来点赞》),还有Topaz这一功能强大的老牌软件。
2005年,Topaz Labs由Albert Yang(杨峰)在美国德克萨斯州成立,其子Eric Yang(杨伟雄)于2008年作为联合创始人负责网络与营销,父子共同运营公司。Tracxn显示其投资者包括Shinhan Venture Investment,未透露时间与金额。
图源:tracxn
据悉,杨峰经年潜心研究图像处理。他曾是哈尔滨工业大学图像处理和模式识别讲师,随后前往加拿大滑铁卢大学修完博士学位。他自1991年从事DSP工程工作,在ArrayComputing、Nortel、Opti等公司担任工程师或架构师,并于1997年开始创业。杨峰联合创立了Techwell(被Intersil收购)、Fortemedia,开发低成本IC和其他产品,并普及了小型麦克风阵列。他在2005年创立Topaz Labs后,直至2021年退居幕后担任顾问。
Topaz Labs的官网宣传语是:“利用AI最大限度地提高视觉质量。”它专注于视频和图像增强,以其图片、视频后期处理的降噪和锐化功能强大闻名。当前,Topaz Labs的工具包含Photo AI、Video AI两类。
官网显示,Topaz Labs工具组处理了超10亿张图像,全球有包括亚马逊、Apple、微软、迪士尼等超100万用户。
降噪、锐化不输PS
近年,AIGC应用日益增多,在网页和云端“卷”了起来。Topaz Labs没走这条热门路径,它与Adobe类似,面向图像和视频专业人士提供系列PC端AI产品。
在专业领域中,摄影师处理相机照片便会采用Adobe Photoshop和Lightroom、Camera Raw、DxO Optics Pro、Capture One、Topaz等本地软件,根据喜好进行细节调整Jpeg或RAW格式照片的细节。其中,Topaz产品中去噪和锐化功能广受好评。有用户评论:“即使是裁剪严重的废片,Topaz也可能将无用变为可用。”
从产品介绍来看,Topaz的软件有3种架构。
其一是独立的应用程序,每一款软件专注一个功能,安装电脑本地后使用。至今,Topaz Labs推出的产品包括Topaz Studio(专业图像编辑器)、Topaz Adjust AI(HDR渲染)、Topaz Sharpen AI(智能锐化)、Topaz Gigapixel AI(图片无损放大)、Topaz Enhance AI(视频无损放大)、Topaz DeNoise AI(图片降噪)、Topaz Mask AI(抠图)以及JPEG转RAW等。
其二是在Adobe Photoshop、Lightroom种作为滤镜插件合作使用。通过打开PS或LR的编辑方式来使用插件。
其三是集成上述产品功能后的编辑器,如Photo AI、Video AI。photo AI的套组工具能实现AI无损放大、图像高清,降噪、抠图、调色、转格式等。Video AI则能放大增强、去除隔行、运动插值补帧和抖动稳定。其新产品Gigapixel7专注于利用AI无损放大图像。
2022年9月,Topaz Labs整合了DeNoise AI、Gigapixel AI和Sharpen AI三种功能推出Topaz Photo AI,主打放大、降噪和锐化,并能添加真实细节,帮助提高RAW文件的基本质量。据称,已购买这三种功能产品的用户可自行领取安装包。
放大功能,图源Topaz Labs
降噪功能,图源Topaz Labs
锐化功能,图源Topaz Labs
据介绍,该工具软件摒弃了Photoshop界面的繁琐应用,独立程序中留下三个功能按钮和图片预览界面,也可以作为Photoshop的插件运行。使用者上传图片后,Topaz Photo AI将自主扫描照片主体和人脸,并用黄色框与红色遮罩标记,其Autopilot分析图像的噪点、失焦、模糊、低分辨率和镜头畸变等缺陷后进行自动校正。
自动处理后,用户可以继续编辑,如其可在锐化中自由选择5种AI模型,进行参数调试。
再来看实际使用效果。以一张街边流浪猫的图像为例,选用放大至2倍、降噪功能后,能明显看到图像分辨率提升,猫的毛发线条清晰。美中不足的是,若全图选用智能放大,地面也呈现了与毛发类似的纹理。
图:图为Photo AI2.3.1版本界面,设备为英特尔i7,8GB RAM。(注:图片处理效果因设备而异,样图仅作参考,原图来源作者自摄。)
在锐化方面,与Photoshop2024智能锐化对比,Topaz Photo AI的成像结果自然一些,没有过度曝光。
图:左原图,中Photoshop2024智能锐化,右Topaz Photo AI锐化
在降噪方面,摄影师Mike Tomkins在Dpreview中评测对比了摄影界推荐的RAW处理器DxO PhotoLab的DeepPRIME与第一版Topaz Photo AI的降噪效果。
原图
左:DxO-DeepPRIME,右:DeepPRIME-XD
左:topaz-remove-noise-normal,右:topaz-remove-noise-strong
对比两者降噪效果可以看出,DeepPRIME-XD图片效果最好,其色调较原图更加明亮,纹理图样清晰。但不可否认Topaz Photo AI增强版保留的木质实感更强,在噪点嘈杂的图像中留下了干净可用的结果,但色调昏暗。
Mike对比后指出,Topaz Photo AI图像修复与Photoshop相比,在纠正曝光和白平衡方面存在缺陷,即对曝光严重不足、过度曝光、动态范围极端、色偏过大的图像无法自动修设备要求复。
Topaz Photo AI定价为199美元一套,2023年9月更新至Photo AI 2。官网显示,第二版修复了第一版的照明问题,能提升弱光、非典型环境、快速移动中的拍摄对象的视觉质量,这一版也推出了模糊人脸细节增强功能,并表示将很快推出消除干扰功能。
色彩平衡功能,图源:Topaz Labs
人像增强功能,图源:Topaz Labs
然而,Photo AI 2在“调整照明”和“平衡颜色”方面做的升级没能全然赢得好评。尽管摄影爱好者Parker推荐Photo AI 2,他也同样赞同,“我在将照片导入Photoshop的过程中已经矫正镜头、调好了曝光和色彩平衡,Topaz应该专注于他们擅长的降噪和锐化。”
对其主打的降噪功能,有摄影师评价,希望能使用完全手动的Photo AI遮罩笔刷来实现微调,实现更多的用户控制。如果照片的噪点修复完全由算法控制,将会出现过于平滑的处理,反而“牺牲”了一些重要细节。
对此,其另一主要技术Topaz Gigapixel AI专注图像放大增强,目前独立产品已更新至 Gigapixel7。产品描述表示其能增强毛皮和羽毛的细节、改善边缘锐度和清晰度、平滑边缘及添加真实、自然的细节。据用户评测,独立产品细节处理较Topaz Photo AI出色。
此外,2023年11月,Topaz Video AI 4.0最新版本发布,定价为299美元一套。它集成了修复、插帧、降噪等多种功能。据官网介绍,Video AI界面与Photo AI类似,由2个预览UI并排组成,其对视频增强提供了6种模型,能做到将360p视频提质至4K,16倍慢动作镜头转换,进行120FPS插帧,稳定比赛运动镜头,去除快速移动场景模糊,增强面部修复,以及基本的画面降噪等。
图源:Topaz Labs
需要注意的是,Topaz系列产品对电脑设备有处理器和显卡要求,如Photo AI需要NVIDIA GTX 980 Ti或更高版本,Video AI需要NVIDIA GTX 900或更高版本。
设备:Photo AI,图源:Topaz Labs
设备:Video AI,图源:Topaz Labs
10年研究,24年创业
对DSP和图像处理,Albert Yang(杨峰)在学界和业界已深耕多年。他从1997年开始创业,2021年退居幕后,在音频、图像领域留下优质产品。
领英,色彩为原图效果,图源:Albert Yang
1982年,哈尔滨工业大学文字研究室成立,研究汉字、图形、语音、计算机控制研究。彼时,杨峰从哈尔滨工业大学本硕毕业,在组内做中文语音识别研究,并开始在校担任多年DSP、模式识别和图像处理的课程讲师。之后,他前往加拿大滑铁卢大学进修计算机视觉博士学位。
毕业后,杨峰的就业经历不是非常顺利。
1991年,杨峰在加拿大的第一份全职工作,是在Array Computing做卫星成像、声呐和基于DSP的雷达扫描转换器。他在通电缆时从办公室的天花板上摔了下来。工作一年多,杨峰身体状况不算太好,很快失业了。
幸好朋友Yalin雪中送炭,介绍杨峰到Nortel担任托管安全服务软件架构师。杨峰进入的是Nortel重要部门DMS,后来辗转调换部门,工作4年。杨峰在领英描述:“到最后,我发现我并不适合大公司的环境。”
辞去工作,杨峰去一家专研芯片初创公司Opti当高级DSP工程师。当时,英特尔CPU称霸市场,Opti也转向笔记本芯片组,但失败了。杨峰知道公司正在走下坡路,一眼望得到头。
当机立断,1997年的夏天,杨峰开始自己的连续创业之路,这一次他亲手打开有声有色的新篇章。
他来到加州,联合创立半导体公司Techwell,担任了4年CTO,在模拟IC年代开发混合信号视频处理IC,用于处理录像机、汽车仪表盘和后座LCD视频芯片。2006年Techwell在纳斯达克IPO,2010年被Intersil以3.9亿美元收购。
2000年,他在硅谷联合创立Fortemedia,担任CTO,研究小型麦克风阵列在语音识别早期阶段集成入计算机和免提电话中,接收清晰的信号,让其专业语音消噪芯片具有性价比。“现在我看到许多产品配备了两个或多个麦克风,都不免微笑。”
图源:Fortemedia
因为家庭原因,2005年,他回到达拉斯,摄影这项业余爱好也被捡了起来。杨峰从音频领域走向图像处理领域。
他在播客中表示:“音频信号处理和语音降噪和图像处理各有特点,而总体上非常相似。”
因不满意现有图像后期工具,杨峰动手做了插件并发布至互联网,得到了其他人的关注,Topaz Labs由此而来。
杨峰表示:“在过去,去噪是一种艺术,也是一种技能。有效去噪并保留细节,对摄影师来说非常有价值。”据透露,“Topaz”名字来自《暗黑破坏神2》中的黄宝石,主要用于给装备镶嵌提升战力,因此Topaz创立初衷是缩小新技术与摄影师有效工具的差距。
图片去噪成为Topaz Labs的招牌功能,2008年,杨峰首次演示了Topaz DeNoise,自此,它已成为部分专业人士图像恢复和编辑的主要工具。
他称,Topaz Labs是第一个将深度学习用以超分辨率产品化的公司。
20世纪90年代,超分辨率这个术语在研究领域开始流行,通常指运用多个图像的信息在一个更大的图像中恢复细节。
然而,早期算力无法实现超分辨率。早在杨峰博士论文期间,他就发现使用属性图描述场景完成物体识别非常艰难,杨峰开始做深度学习项目,尝试用神经网络做基本特征检测。杨峰回忆,“人类深层神经网络通常上百层,当时我尝试以两层神经网络在一台大型计算机上训练了几个月,也难以让机器人完成计算机视觉任务。”
2012年,AlexNet使用两块英伟达的GPU来为模型提供算力,打响深度学习在计算机视觉领域研究热潮“第一枪”。GPU也让Topaz Labs有了真正的改变。“我对一个游戏级别的GPU的处理能力都感到惊讶,更不用说计算机专用的GPU了。”
Topaz Labs和英特尔合作开发了Gigapixel AI发行版,使用人工智能和深度学习方法放大和深度学习来放大图像。据称,Topaz Labs为主要产品DeNoise、InFocus 等提供价值超800万美元的免费升级,更新为DeNoise AI、Sharpen AI等(2020年转向付费)。
“从理论上来讲,信息无法逆转,图片损坏不可逆,AI和深度学习完全改变了这一点”,杨峰说。
2019年1月,杨峰发文表示Topaz Labs结合AI已成功做出“JPEG到RAW”这一不可能的逆转。他在文中写道,人们使用相机拍出的图片转为人类眼睛色彩50%的sRGB,在经过JPEG压缩后数据量再减少。而AI经过人工神经网络学习大量原始图像后增补细节。Topaz Labs在增强(Gigapixel)和降噪(Clear)的研究基础上加上了经验整的网络架构,实现了让成图“看起来”和RAW图像一样好。
图源:petapixel
杨峰指出其深度学习研究能在图像和音频信号处理领域成功的原因,是因为有大量可用的数据训练,以及GPU带来的根本性改变。
值得注意的是,尽管已有更便捷的云端技术,在应用端口上Topaz Labs依然选择开发PC端软件,如近年的Video AI。2020年,英伟达播客主持人Noah评价:基于计算机本地的深度学习应用非常少见,因为难以开发,并涉及许多兼容性问题,所以很多开发者选择云端解决方案。杨峰对此表示,在PC端图片和视频的后期处理有更大的空间。
子承父业,收入增长
2018年,Eric Yang(杨伟雄)接替父亲杨峰处理Topaz Labs业务。杨伟雄毕业于德克萨斯州麦库姆斯商学院,相较图像处理“科班出身”的父亲,他更多地偏向营销与市场。
Eric Yang,图源:foxbusiness
父子联合创立Topaz Labs的时间正好处于杨伟雄大学毕业前后。杨峰做研发,杨伟雄帮着搭建网络,做营销宣传。他曾与朋友创立摄影网站PhotoWhoa,也曾在YC、红杉支持的初创公司Snapdocs担任工程师,在积累经验后回到Topaz Labs。
正是在杨伟雄接替后,Topaz Labs的系列AI产品问世。
回看父子轮换CEO前的Topaz产品可以发现,杨峰一个工具一个定价。他是“技术者”思维,结合深度学习模型开发软件,给予专业用户在编辑器上兼具灵活性与创造性的调整,如图像后期处理 DeNoise附带调整颗粒、颜色矫正、阴影和高光控制滑块,满足专业人士对后期的细调需求与控制度。
杨伟雄是生意人,他转变了产品思路,转向付费升级。他去掉或整合了之前的微调组件,形成套件Photo AI、Video AI,打包售出。杨伟峰认为应该将更多的修复工作交给AI。在他看来,人工智能软件与传统编辑器有关键的不同——人工智能软件是“描述性”的,人们制定期望结果,软件将自主实现过程,人类负责掌控大局,即享受“一键修复/增强”的便利。
杨伟雄在Foxbusiness的采访中表示,“2018年,用于图像增强的深度学习模型首次被证明具有商业可行性。自此,人工智能工具将稳步取代从前的工具。”
2020年,Topaz Labs决定专注图像质量类应用,并停止开发Adjust AI、Mask AI、Jpeg to Raw AI与更新Clean、DeNoise等经典插件,宣布对DeNoise AI、Sharpen AI、Gigapixel AI和Mask AI的产品升级收取费用。
图源:Topaz Labs
有老用户评价:“这是Topaz将所有鸡蛋放在Topaz Photo AI的篮子里。”
工具使用门槛“变低”有效扩大了使用人群。Topaz Labs在招聘细则中称,在过去4年内其收入实现了1000%的增长,并拥有包括Apple、NASA、Netflix等超100万用户。
Topaz Labs的AI产品研发,还在继续。杨伟雄推测,这类“描述性”人工智能编辑软件的“真正价值”将使人类摆脱先前“粗糙工具”的技术限制。