By masiyi, 7 December, 2023
  1. 表型组学的综述文献分享

一篇由华中农业大学发表在Molecular Plant上的综述性文章Crop Phenomics and High-Throughput Phenotyping: Past Decades, Current Challenges, and Future Perspectives,简述了过去几十年中表型组学的发展历程,并对现在的多组学研究和高通量表型与遗传学研究的结合研究做了详尽的分析,最后还提出了一些概念上的挑战以及关于如何弥合表型-基因型差距的观点,是近些年来对于表型组学研究情况和未来机遇挑战(攻关方向)分析的很透彻的一篇好综述。

  1. 彩色相机(元光学)的研究分享

一篇由Samuel Pinilla等人发表在Science Advances上的研究性文章Miniature color camera via flat hybrid meta-optics,这项研究的亮点在于基于神经网络“端到端”的设计框架,与无反光镜商业相机的复合多透镜光学系统相比,其所设计的平面混合元光学(折射+元掩模)微型彩色相机,实现了5毫米的5毫米光圈光学的更高质量全彩成像。他们的研究太偏光学专业的东西也看不太明白,不过他们的成果能够实现在同等图像质量成像下彩色相机的更小型更轻量级,应用于表型的一些图像采集方面可以有以下几个优势:例如在无人机上的集成由于其轻量化,可以减轻整个设备的重量,使其更久的续航时间;在与其他传感器集成时因其更小的体积可以集成更多类型的传感器实现更多功能或者减小整个设备的体积;它在某种程度上还实现了具有图像质量、大孔径尺寸、低f数和景深的等效组合,这是现在绝大多数的彩色成像设备所不具备的独特优势。

  1. 3D重建技术的研究分享

3D重建用简要的语言来说就是通过对2D(图片图像等)的一些关键点的计算、修正、组合从而使2D在计算机上实现一个可供操作的3D模型,因此一个好的图像处理方法可以使3D重建所需的前期准备(即不同角度的图片支持其进行关键信息的提取)更少,重建后的模型还原度、细节等模型质量更高。

一篇由香港理工大学公开的研究性成果RayDF: Neural Ray-surface Distance Fields with Multi-view Consistency,这项研究的亮点在于摒弃了传统建模的x、y、z轴的空间系模型,采用了基于射线的神经网络图像处理设计。由两个独立的神经网络组成一个特殊的训练模块:1)主射线-表面距离网络,主网络只是以一条光线作为输入,直接推断出光线原点和它在表面上的撞击点之间的距离。基本上,该网络优雅地将三维形状表示为基于射线的隐式函数,表示为射线-表面距离场,保持了在形状提取和渲染效率方面的独特优势。2)一个辅助的双射线可见性分类器,辅助网络以一对光线作为输入,并预测它们的相互可见性。事实上,这是一个简单的二元分类器,旨在区分任何两条射线是否击中了同一个表面点,即相互可见性。以及3)一个多视图一致性优化模块,多视图一致性优化模块指定了如何有效地利用学习到的双射线可见性来训练主网络,从而使学习到的射线-表面距离从任何可见或看不见的观看角度达到多视图一致。

此方法达到了比基于坐标的方法更快1000×的速度来渲染一个800×800深度的图像,明显超过了现有的基于坐标和基于射线的其他研究方法。他们的代码和数据都在GitHub上进行了分享,感兴趣可以去上面下载来看看: https://github.com/vLAR-group/RayDF

以上2、3两项研究可以进行结合,研究2可以获取高质量的彩色图像,研究3可以基于此基础进行3D重建模(质量更高的图像可以使重建的细节更还原)。我认为这样的结合可以应用于整个植株个体、植株器官等模型的3D重建。