电话:01063958082
手机:13910055896
 
3DFLOW公司受邀TheVirtualAssist.net采访
 
3DFLOW公司受邀TheVirtualAssist.net采访
来源:北京天弘基业技术中心   加入时间:2018-01-08    作者:天弘基业技术工程部    阅读:1421

全球领先的动画和视觉特效博客“TheVirtualAssist.net”,最近发表了关于3DFLOW公司及3DF Zephyr软件技术的完整采访。下面让我们深度了解一下该公司及产品技术实力。

采访原文链接:

https://thevirtualassist.net/3d-model-from-photos-3df-zephyr-reconstruction-technology/

采访原文如下:

3DFlow是计算机视觉和图像处理领域的技术公司。该公司于2011年在维罗纳大学(University of Verona)成立,2012年被认定为乌迪内大学(University of Udine)的孵化品。作为学术衍生品,3Dflow公司不断推动技术研发。其运营总部位于维罗纳大学计算机科学系计算机科学园内。

3DF Zephyr软件是3DFlow的旗舰产品。3DF Zephyr允许从照片进行自动重建3D模型。它建立在3Dflow专有的尖端重建技术之上。它具有友好的用户界面,并可以导出许多常见的3D格式,甚至无需外部工具即可生成无损视频, 该软件用于许多不同的领域,如:

(1)无人机航测制图

(2)建筑模型

(3)近景摄影测量

(4)考古学

(5)车辆碰撞分析

(6)创新的商业和营销解决方案

(7)3D

(8)VFX-电影视觉特效

从3.0版本开始,Zephyr软件还支持激光扫描的3D数据的拼接和管理。


该技术访谈是由3Dflow的技术总监及联合创始人Roberto Toldo提供。

亲爱的罗伯托先生,你是如何想到要做“从照片中建立3D模型”的?


2011年,我们与Andrea Fusiello教授和Simone Fantoni共同创建了3Dflow。在那期间,我和Fusiello教授一起完成了我的计算机视觉博士学位。那时,Simone和我不想再继续追求学术生涯,所以我们决定用一个商业项目来挑战我们自己!我们所有人都是计算机视觉和三维重建领域的专业研究人员,但我们想尝试如何能将我们开创的新技术带入商业市场中去。


“从照片中建立3D模型”的算法是我们大学日常生活的一部分,但是运营一个公司则完全是另一回事。从头开始经营3Dflow,零业务经验一开始对我们来说是相当困难的,但走到今天的这个结果也非常令人满意。


那让我们的读者更深入的了解您的专利软件-3DF Zephyr的一些细节。


3DF Zephyr的第一个版本大约在4年前发布。在一开始,Zephyr是一个简单的照片建模软件。但自从第一次发布以来,核心技术已经发展了很多,这是一个不断改进的过程。Zephyr是一个拥有100%的自主内部设计和架构的软件,每年我们会增加许多新特性,同时保持用户友好的界面。多年发展过来,Zephyr已经发展成为用于从照片创建3D模型以及管理来自不同来源的3D扫描数据的最完整和准确的解决方案。


在摄影测量和激光扫描软件的同行竞争中,3DF Zephyr是如何定义自身发展的?


我认为Zephyr确实是市场上最完整、最全面、最准确的摄影测量软件之一。此外,我们喜欢倾听我们的群体和我们的客户。大多数的发展都是由他们的反馈推动的。从技术方面来说,我们特别注重准确性。我们也让用户完全控制我们的重建引擎。不像其他大多数商业软件,我们的自定义模式完全公开每个参数,我们给用户完整的控制权


Zephyr也是第一个包含完整的摄影测量解决方案的软件,可以全面管理任何激光扫描数据,包括带颜色和不带颜色,以及是否预先对准过。Zephyr是一个完整的工具。您可以编辑和管理3D内容,应用各种过滤器以及其他功能,如绘制CAD多段线,从数据中提取级别曲线和截面,计算体积和其他度量。所以说Zephyr不仅仅只是一个从照片创建3D模型的软件。


3DF Zephyr开发过程中面临的主要挑战是什么?

构建,维护和发展像Zephyr这样非常复杂的软件当然是困难的。我想说,目前我们必须解决两大挑战。

第一个来自公司方面。由于我们没有投资者,所以我们必须在开展咨询项目的同时去不断发展Zephyr软件。创办一家没有投资者的公司并不容易,但我们希望3DFlow公司是完全独立的,我认为这也反映了我们对生态群体和用户的态度。

第二个挑战是Zephyr架构。建一个软件有点像建房子,你不能准备地下只建一个小棚子,然后上面决定建造大城堡。随着复杂性的不断增长,构建这个架构变得非常具有挑战性。所以底层的基础对于我们来说非常重要,我认为我们已经把它固定下来了,因为我们非常重视模块化和精心设计的软件架构。

项目开始的时候我们可能已经失去了较多的时间,但我们现在看到了自己的优势和定位。

请分享3Dflow核心研发团队的角色和责任。

Simone和我是技术总监,我们监督所有核心技术的发展。在创建3Dflow之前,我们都是维罗纳大学的计算机视觉研究人员。我们是一个相对较小的开发团队。我们的开发团队的优点是我们有互补的技能,我们相处得非常好!

我们将核心架构划分为主要逻辑块,每个技术总监都拥有该块的主要所有权。但是,由于技术能力的重叠,我们能够迅速地相互支持和补充。Yash Singh于2014年加入3Dflow担任首席执行官,并一直担任董事会成员。他主要负责业务发展。

这个独特的3D重建软件的反应如何?

如果我说从4年前的第一个版本中获得了巨大的成功,我肯定是在撒谎。相反,这是一个持续的发展过程。我们的用户群也在过去几年中有了很大的发展,我们非常高兴能在不同的市场和地区获得赞赏,它不仅仅是一个从照片创建3D模型的工具。同时今年我们还增加了日文和中文的支持。

我们处理激光扫描和摄影测量的独特方式也为专业测量人员开辟了新的市场和全新的工作流程。

支持多少个3D软件和设备?同时如何共享导入导出的数据?

我们要求尽可能多地支持输入和输出格式。我们希望用户群体能够与其他软件无缝地使用我们的软件。支持的格式的列表是巨大的。 Zephyr接受几乎任何照片格式(包括原始),同时它也可以处理视频流。

在输入方面,我们本身支持来自Faro,Z + F,Riegl和DotProduct以及所有最常用的点云格式(e57,las,ptx,xyz)和网格格式的激光扫描格式。

在输出中,我们支持多种点云格式(ply,pts,ptx,xyz,txt,las和e57),网格格式(ply,stl,obj,fbx,pdf3d,u3d和collada),地理正射影像,视频动画出口和CAD格式(dxf,shp)。我们非常开放,您可以将我们的软件与几乎所有其他3D建模/ CAD / GIS / BIM软件结合使用。我们还支持可以在纹理生成之前导入的自定义UV贴图,以及使用外部建模软件编辑网格之后,我们可以以8,16甚至32位格式导出纹理贴图。

要充分利用3DF Zephyr的能力,理想的硬件应该是什么?

第一个建议是有一个好的最新一代CPU加上一个或多个NVIDIA GPU。Zephyr利用CUDA技术,并能够使用多个异构CUDA GPU(如果可用)。Zephyr在没有NVIDIA GPU的旧机器上运行良好,但重构运行时间将会相当慢。另外,SSD固态硬盘也会提高处理速度。所需的RAM数量取决于项目的大小。大多数重建(不足1000张照片)和扫描可以在32 GB的工作站上完成,如果处理大型项目,您肯定需要更多内存。

最后,我们最近在3DF Zephyr中引入了一个小型基准工具。用户可以在这里匿名发布他们的结果:http://benchmark.3dflow.net。我们相信这对于寻求硬件建议的人来说特别有用。

请分享您的骨干技术的细节(Samantha, Stasia以及其他技术)。

Samantha是我们领先的结构和运动(SAM)算法。从照片开始,它会自动提取摄像机的内部和外部参数(运动)以及场景的稀疏点云重构。由于我们独特的自动校准程序,它可以处理任何输入。

Stasia是我们的多视点立体声技术。从Samantha输出开始,它从图像匹配产生密集的点云。深度图的计算在时间上是线性的。

Sasha是我们尖端的网格重建引擎,它包括一个基于照片一致性的网格优化,能够提取网格中的细节。

Tessa是我们的纹理算法。它嵌入了一个创新的色彩平衡程序,最大限度地减少照明的变化所带来的影响。

如何使用您的SDK?

要使用我们的SDK,只需通过我们网站上的相关表单发送请求。

SDK是为专业公司和影像工作室而不是单一用户保留的选项。SDK的价格和授权将根据具体情况进行讨论,具体取决于使用情况。SDK可用于将我们的技术与特定的工作流程或产品进行整合。该技术与Zephyr中使用的技术相同,SDK由Windows 64位预编译动态库组成。

请分享您的客户的项目。

我们的技术非常灵活,软件已经可以用于很多不同的场景和应用中。最初开始从照片创建自动3D模型,现在已经找到了各种新的途径。我必须诚实地说,我们还没有预见到我们的客户使用我们的软件无法应用范围。Zephyr已被用于经典3D测量(例如无人驾驶飞行器 -无人机,城市建模)或3D建模应用(例如小型物体,人体扫描或小型内饰),我想在这里介绍一些3DF Zephyr的特殊例子。

Zephyr技术可以用来重建大规模的环境。最近Scott Nebeker用飞机照片模仿整个山区。你可以在这里找到“制作”的案例:

链接地址:https://sketchfab.com/models/e8e7cdf157b9410fa4ef23974cdc8909

再让我们深入水下深处看个案例。 杰里·伊莱森是一名沉船猎人,这是在苏必利尔湖的HESPER沉船案例。

不仅仅是以上大型的或正常尺寸的案例,我们摄影测量可以成功地用于近距离和微距拍摄。David Woodward博士和他的团队成功地使用Zephyr进行路面分析。例如,他们非常有兴趣分析轮胎橡胶和路面上的小颗粒之间的相互作用。

这些是科学和专业应用完全不同的例子。然而,我发现对于其他类型的应用程序,包括虚拟现实和三维建模,使用相同的获取技术是非常有趣的。

你未来的计划是什么?

我们的计划是继续改进3D Zephyr及其技术。 我们非常热衷于此。

目前我们正在制作一个新的版本,我们将在一月底到二月中旬之间发布。我们将添加多纹理支持(包括输入和输出)和多光谱支持。 在单个网格中生成和管理多个纹理的可能性是VFX行业非常需要的一个特征,而多光谱图像则是精确农业的未来。

我们软件的优势在于它是完整性,准确性和多功能的。 我们也会倾听行业的意见,推动产品发展,我们希望继续这样坚持走下去,谢谢。

请扫以下👇二维码关注天弘基业官方公众号和3DF官方QQ交流群,获取最新资料。