影眸科技

公司简介

       影眸科技（上海）有限公司于2020年在上海正式成立，孵化于上海科技⼤学最⼤⼈⼯智能视觉实验室——Mars实验室。影眸科技专注于三维生成领域的探索，基于产学研深度融合模式，积极推动尖端实验室科研成果的民用化、商业化，探索前沿人工智能、计算机视觉技术在大众娱乐市场的推广应用。

       影眸科技致力于研发三维原生的3D生成大模型并将之与文娱行业、 3D打印、XR行业等深度融合，并致力于让每一个人都能以最简单的方式生成高质量三维创作内容。

       2022年，影眸科技研发完成世界最高精度的动态光场三维采集系统——穹顶光场，可以以亚微米级的精度采集人物、物品的高精度几何和PBR材质数据，技术运用于众多影视、游戏数字形象制作流程中。

       2023年10月，基于穹顶光场采集的高精度数据，全球首个Production-ready的三维角色生成工具ChatAvatar问世，目前仍是市场上唯⼀的带⾼精度⼏何+PBR材质、可接⼊现有引擎管线的角色生成工具。

       2024年2月，影眸科技完成三维原生大模型Rodin的研发，是目前全球最接近后期制作标准的泛三维资产生成工具。未来将会为影视、游戏工作者、3D打印爱好者、XR开发者以及更多个人三维创作用户提供更多可能性。

产品/服务介绍

1、穹顶光场系列技术

       穹顶光场是世界唯二、亚洲唯一的亚微米级面部扫描系统，可以以超高速度和精度动态扫描面部材质、捕捉表情变化的肌肉运动，输出精细到皮肤微结构的逐帧面部几何与PBR材质；实现对于人脸面部表情的高精度数据采集。高精度数字人脸模型生成系统将人工智能、计算摄影学、图形学等技术相结合，可以基于扫描得到的数据全流程自动化输出高精度可驱动的超写实数字人脸模型。相⽐传统相机阵列解决方案，穹顶光场拥有更高的精度（高两个数量级）与更快的速度（将3-5个⽉缩短⾄3-5天）。

       基于穹顶光场扫描生成超写实孪生数字人是目前市面上最成熟且先进的数字人扫描方案，为影视游戏行业提供了高精度、快速三维角色资产生成与制作的技术服务，实现了影视游戏产业流程的降本增效。

2、音频/视频等多模态数据驱动数字⼈方案

       影眸科技推出的视频驱动方案通过对PFA数据库中大量4D数据进⾏学习，能够做到微表情级表情捕捉，⽬前被认为是最先进的⾯部驱动方案之⼀。

       通过视频驱动方案，结合2D视频素材，影眸团队进⼀步构建了“4D序列-音频”数据对，拥有⽬前公开的最大的多场景多语言4D训练数据。在此基础上通过⾃研算法能够完成音频驱动口型、音频控制⾯部情绪等，同时能够实现多场景表演风格切换。相⽐市⾯上其他技术⽅案，影眸团队的技术在保证质量的同时，对驱动设备没有过⾼要求（不需要⾯捕头盔等等），具备C端使⽤的潜质。目前视频驱动方案已经成熟，开始对外提供商业服务，音频等模态驱动方案技术层面接近成熟，相关产品正在开发当中。

3、三维人脸生成模型ChatAvatar

       影眸科技凭借在生成式AI领域多年技术积累开发的ChatAvatar是全球首个Production-ready的三维角色生成工具，主要包括Text to 3D、Image to 3D两个模块，基于穹顶光场自采的高精度三维人脸数据的大量训练，ChatAvatar实现了高精度、高效率和良好兼容性的3D人脸生成。用户可以和智能AI助手对话，描述所需要的人物形象或提供人物图片，即可快速生成高精度3D人脸模型与PBR材质，生成的超写实3D数字人资产符合人物特征、自带面部绑定、易于驱动，符合CG等行业制作标准，可以直接应用于影视制作、游戏开发等相关行业中。目前ChatAvatar已经正式上线并提供图片、文字生成人脸资产服务，后续将上线风格化等更多功能。

4、泛3D资产生成大模型Rodin

       影眸科技基于领先的预训练3D生成算法开发的Rodin是目前全球最接近后期制作标准的泛三维资产生成工具，可以基于文本、图片、点云等多模态输入快速生成高精度三维数字资产，⽀持3D ControlNet、3D LoRA等结构，具有很强的拓展性，并带有匹配物品表面特征的高质量材质贴图。Rodin主要针对国内三维资产生成模型核心算法缺失，面向自动化三维设计任务需求，实现了从文本、图片等介质到三维模型的大规模快速高效重建，未来将与文娱行业、 3D打印、XR行业等深度融合，让每一个人都能以最简单的方式生成高质量三维创作内容。目前Rodin已上线Gen-1版本，用户可以通过图片或者文本生成高质量三维资产，后续将继续投入数据训练、优化生成结果，同时为专业用户开发更多功能。Rodin背后的论文Clay被国际图形学顶刊SIGGRAPH接收，获SIGGRAPH 2024最佳论文提名(全球共12篇)。