aoi学院

Aisaka's Blog, School of Aoi, Aisaka University

SFFAI 86 | 学术人生专栏《高林:循序渐进:从经典几何变形到智能几何建模》

关注公众号:【人工智能前沿讲习】,回复【SFFAI86】获取讲者PPT资料,入交流群,推荐论文下载。

报告题目:循序渐进:从经典几何变形到智能几何建模

报告摘要:随着深度学习技术的进展,如何通过深度学习对三维数据进行学习并提高几何数理算法的智能性成为近期研究工作的热点。为了对三维数据进行分析和表示,我们研究了一套基于变形的三维数据表示方法(ACAP),并以此研究如何在变形模型序列上定义卷积。基于此研究了如何使用自编码器对模型序列进行全局和局部的分析(MeshVAE)并进行全自动的变形传播(VC-GAN)。基于上述深度变形表示方法,我们进一步研发了可以生成精细几何模型的深度生成网络SDM-NET。同时,我们还将SDM-NET的研究思路推广到了人脸合成的研究方面,研发了智能人脸画板的工作DeepFaceDrawing。


论文推荐

  1. ACAP Sparse Data Driven Mesh Deformation

    推荐理由:提供了可以处理大尺度模型变形的表示方法,可以对具有复杂变形的非刚性物体进行实时建模。

  2. Automatic Unpaired Shape Deformation Transfer

    推荐理由:基于ACAP变形特征,提出了一种几何的模型的编码方法MeshVAE,并基于该编码方法研究了图形学领域内首个全自动的变形传播方法。

  3. SDM-NET Deep Generative Network for Structured Deformable Mesh

    推荐理由:基于ACAP和MeshVAE本工作提出了一种新的三维模型编码方式,同时深度生成网络(SDM-NET)的设计也与这种编码方式耦合在一起,可以生成具有复杂结构和精细几何的三维模型,较已有最好的工作重建的精度提高了10倍,并且生成的三维模型可以直接进行编辑。

  4. DeepFaceDrawing Deep Generation of Face Images from Sketches

    推荐理由:基于草图的高真实感图像合成研究工作致力于解决稀疏草图到真实感人脸图像的生成问题。受前沿工作SDM-NET的局部变形和全局分析建模方法的启发,考虑到人脸的结构约束以及强大的人脸数据支撑,研发设计出智能人脸画板DeepFaceDrawing。该工作已被计算机图形学顶会SIGGRAPH 2020接收,并被遴选进入SIGGRAPH 2020亮点宣传视频中(全球仅有20个工作入选)。目前,该系统已经上线(http://www.geometrylearning.com/DeepFaceDrawing/),自上线以来项目网站日均访问量达一万次以上,已被全球160个国家人员测试使用。


参考资料

https://www.bilibili.com/video/BV12h411p7CR/