免责声明：本文仅代表个人观点，如有错误，请读者自己鉴别；如果本文不小心含有别人的原创内容，请联系我删除；本人心血制作，若转载请注明出处
SHARED FEATURE REPRESENTATIONS OF LIDAR AND OPTICAL IMAGES:
TRADING SPARSITY FOR SEMANTIC DISCRIMINATION摘要 1、本文传递了超高分辨图像LiDAR（激光雷达）和光学图像的互补信息，实现这个目标通过无监督空间谱特征提取 2、在特征表示领域，我们通过CNN实现联合特征表示lifetime sparsity（激活时间稀疏性），population sparsity（样本分布稀疏性） 3、我们分别导出单独和联合特征表示，分析稀疏性能和特性 4、结果证明RGB+LiDAR表示不再稀疏，推导出的偏置方程融合了边沿和高度产生了色彩边沿滤波器 5、联合特征表示如果使用聚类和拓扑数据可视化将更有判别性
引言 1、从直觉上和物理学上所有的场景目标在不同的语义类：色彩对应海拔，负的反射对应返回强度，但是是否有基础 的论断对于统计领域（现在的机器学习都是基于统计学的机器学习） 2、RGB 和 LiDAR 是多维的，它们含有空间结构，揭示了独特的空间结构特征联系。 3、我们分析空间光谱特征表示，通过CNN，使用RGB，LiDAR和RGB+LiDAR共享表示，这些特征表示将会考虑到稀疏性，紧凑性，拓扑可视化和区别能力。 4、RGB+LiDAR的结合导致了稠密和不紧凑表示，因此更有判别性：这些特征的正交性在非线性统计领域揭示了联合的作用 5、超分辨（VHR）图像和多光谱图像给自动分析带来了巨大困难，因为高光谱和光谱过剩，和潜在的非线性特性 6、可以考虑用稀疏去做，学习图像的空间光谱特征确实有效，可以考虑用无监督学习 7、字典学习在稀疏学习中很重要，用来做图像分类和目标检测：有判别性的字典已经被提出用来图像分类，稀疏词袋编码对于自动目标检测，空中图像的分类使用无监督稀疏特征 8、所有的方法描述输入图像以稀疏表示时，没有考虑CNN网络的非线性特征 9、本文介绍了通过CNNs实现无监督学习，学习RGB+LiDAR联合表示空间的统计特性 10、section 2：无监督，稀疏表示section 3：描述数据section 4：呈现和讨论主要发现section 5 ：总结
通过CNN的无监督特征学习： 1、CNN， 1）卷积核， 2）非线性变换， 3）池化 理论基础：1）卷积核提供一个简单的局部特征提取； 2）非线性变换，允许对数据进行非线性表示 3）池化减少计算量，提供局部变换不变性 2、我们训练CNN去提取稀疏表示，OMP-k（正交投影）通过以无监督的方式训练网络得到稀疏特征表示 3、OMP-k迭代选取输出来训练滤波器，使重构误差最小，这个方法实现了结构系数，用SAE训练卷积核，减小了激活时间稀疏性 4、本文使用EPLS算法，迭代建立稀疏输出和优化这个目标去学习每一层的滤波器，稀疏目标定义为：每个样本都有一个热码，确保所有输出的平均激活度，使用这种方法，我们的到了一种表示方法，既考虑到了激活时间稀疏，也考虑到了样本稀疏，CNN用EPLS训练计算高效，也可以得到稀疏表示，我们用这种方法分析了隐藏单元和共享表示通过CNN从数据上学习，见图1.共享RGB+LiDAR表示由空间和光谱非线性结合（RGB+LiDAR特征）
数据收集：
实验结果： 在本节，我们研究了通过CNN训练得到的内容信息，通过EPLS算法来确保稀疏性，三个场景：RGB，LiDAR和RGB+LiDAR。做了下列分析：我们关注方法表示的紧凑性的激活时间稀疏性和样本分析稀疏性，我们可视化学习到的表示在拓扑空间，最后研究了当使用图像分割的时候，提取特征的判别性。 1、实验步骤 产生了大小为10*10的100,000张图片，其中30,000用来训练，在三种情况下，我们使用最多1000个隐藏单元来训练CNN，对于一些架构，我们尝试了几个对称感受野（大小分别为 3*3,5*5,7*7,10*10，），使用logistic非线性取EPLS的均值来训练网络和对比度归一化来训练网络，运用自然编码和极性分裂来导出稀疏特征。（什么鬼？） 2、学习到的表示稀疏性 在CNN在三种情况下训练完以后，我们研究了LS（激活时间稀疏性）和PS（样本分布稀疏性）。图3表示了得到的结果，可以看到，加上LiDAR和RGB，LS上升，RF（感受野）单独使用。LS低的时候，接近于目标的保持了相似的均值（所有输出）。学习的表示不再稀疏，揭示RGB和LiDAR带来正交信息（不稀疏的，肯定正交的特征多），而且它很难再得到紧凑的表示。相似性趋势从Nh（最大隐藏单元数）获得，对于较大的值，比如 >100,导致了较差的表示，相对的，当加上LiDAR和RGB时，无论RF和Nh多大，PS降低。样本结构系数性获得了一个较小的输出同时激活的集合。这些不会发生在RGB+LiDAR，因为这些特征传递了互补信息，因此大量的特征同时激活。 3、学习到的表示的拓扑（表示不懂，拓扑结构，什么鬼！！！）
图4表示了在RGB，LiDAR和RGB+LiDAR三种情况下，使用卷积网学习到的基。 LS帮助系统学到一系列复杂的和丰富的基，从另一方面讲，学习到的LiDAR基是边沿识别器，与目标的高度变化相关。结合了RGB+LiDAR，学习到的基继承了模型的共同特性，与海拔色彩探测器相似。
4、表示的判别性一个课选的方法是分析提取的特征和它们的互补信息用来聚类，我们跑了K-均值在前几个对于不同粒度我们提取出的特征，图5（左）展现了当k=10的时候的分类效果，RGB在联合表示中占了很多簇，RGB+LiDAR展示了新的语义簇的结合组，聚类解决方案的性能是一个较为争议的问题，许多县有的方法存在很多种评价体系。通用思想是喜欢紧凑的和距离大的簇。图5右以K为变量，揭示了Davies-Bouldin and the Dunn’s validity indices，结果显示了联合表示与RGB单独表示很相似。
Davies-Bouldin指数，简称DBI。它的作用是评估K-means算法中k值的取值。
Dunn’s validity indices 也是评估K均值算法中K值的取值
总结： 1、本文展现了高分辨LiDAR图像和光学图像的互补信息 2、我们分析了表达能力和使用当下的无监督方法从RGB，LiDAR，RGB+LiDAR提取的特征 3、使用CNN学习特征，并保持稀疏 4、算法的特点清楚显示了图像语义分割的有用性 5、在我们的实验，结合了RGB和LiDAR提升了特征表示性能，不再保持之前的稀疏特性，暗示RGB和LiDAR传递信息的正交性和互补性 6、出了稀疏性，我们也对通过ISOMAP融合的拓扑空间保持兴趣（什么鬼？？？？？） 7、RGB+LiDAR导致了更好的语义表示，在色彩和海拔结合以得到更好的目标表示 8、得到的结合特征表示揭示了一种语义分割 9、信息的正交性不仅来自缺少稀疏方案，也与辨别性有关系，通过语义分割研究，表达性能良好，语义图出现
后记：这篇文章有太多我之前没有接触过的东西，很多地方真心没看懂，注解仅供参考
