#卷积神经网络# 关于Conv2d 参数（图1）的解释
图2）Input Shape : (3, 7, 7) — Output Shape : (2, 3, 3) — K : (3, 3) — P : (1, 1) — S : (2, 2) — D : (2, 2) — G : 1
图3）What is a Kernel? Input shape : (1, 9, 9) — Output Shape : (1, 7, 7) — K : (3, 3) — P : (0, 0) — S : (1, 1) — D : (1, 1) — G : 1
图4/5）Number of Input and Output Channels, Input Shape: (1, 7, 7) — Output Shape : (4, 5, 5) — K : (3, 3) — P : (0, 0) — S : (1, 1) — D : (1, 1) — G : 1
图6）Kernel Size, Input Shape: (3, 7, 9) — Output Shape : (2, 3, 9) — K : (5, 2) — P : (0, 0) — S : (1, 1) — D : (1, 1) — G : 1
图7) Stride, Input Shape: (3, 9, 9) — Output Shape : (2, 7, 3) — K : (3, 3) — P : (0, 0) — S : (1, 3) — D : (1, 1) — G : 1
图8) Padding, Input Shape : (2, 7, 7) — Output Shape : (1, 7, 7) — K : (3, 3) — P : (1, 1) — S : (1, 1) — D : (1, 1) — G : 1
图9) Dilation, Input Shape: (2, 7, 7) — Output Shape : (1, 1, 5) — K : (3, 3) — P : (1, 1) — S : (1, 1) — D : (4, 2) — G : 1
图10) Group, Input Shape : (2, 7, 7) — Output Shape : (4, 5, 5) — K : (3, 3) — P : (2, 2) — S : (2, 2) — D : (1, 1) — G : 2
来自 网页链接
粒子群优化算法、遗传算法等进化算法现在用的还多吗？
进化计算目前应用比较多的场景可以总结为以下5个方面：
1.神经网络超参数优化
2.神经网络结构优化
3.一部分结构和特性固定的组合优化问题
4.一部分机理模型难以建立的黑箱优化问题
5.多目标优化问题
BTranspose：用于人类姿势估计的自监督预训练的瓶颈变换器
二维人体姿势估计的任务是具有挑战性的，因为关键点的数量通常很大（约17个），这就需要使用强大的神经网络架构和训练管道，以捕捉输入图像的相关特征。然后，这些特征被聚集起来，做出准确的热图预测，从中可以推断出人类身体部位的最终关键点。文献中的许多论文使用基于CNN的架构作为主干，和/或将其与转化器相结合，然后将特征汇总以做出最终的关键点预测[1]。在本文中，我们考虑了最近提出的Bottleneck Transformers[2]，它有效地结合了CNN和多头自我注意（MHSA）层，我们将其与Transformer编码器结合起来，并将其应用于二维人体位置估计的任务。我们考虑了不同的骨干架构，并使用DINO自监督学习方法[3]对其进行预训练，发现这种预训练可以提高整体预测的准确性。我们称我们的模型为BTranspose，实验表明，在COCO验证集上，我们的模型达到了76.4的AP，这与其他方法如[1]有竞争力，而且网络参数很少。此外，我们还展示了最终预测的关键点对MHSA块和Transformer编码器层的依赖性，提供了网络在中层和高层关注的图像子区域的线索。
《BTranspose: Bottleneck Transformers for Human Pose Estimation with Self-Supervised Pre-Training》
论文地址:网页链接
网络计划时间计算的六个参数？试问在座有哪位还记得完整的，请赐教并打在评论区！[捂脸][捂脸]
#新手怎么准备钓具#选杆子的几个要点:第一要素，看自己钱包；第二要素，看牌子（售后有保障）；第三要素，看参数（钓重，持感，顶钓值等等，切记不要被杆子重量迷惑，重量轻，伴随的多是碳布薄，轻，软绵绵）；第四要素，多看看网络测评（目前头条，抖音这类视频很多），总之一句话，适合自己的就是最好的，个人拙见仅供参考！
深度学习与图像识别原理与实践
第8章 卷积神经网络
1、卷积神经网络是一种深度前馈神经网络，在图片分类、图片检索、目标检测、目标分割等图像视频相关领域中应用。与普通神经网络相比，卷积神经网络有一些特殊层。
2、全连接层：可以理解为前述神经网络的一个隐藏层，它包含权重向量W和激活函数。具体来说，对于一张32X32X3的图片，要通过全连接层，首先要将其拉伸为3072X1的向量作为神经网络隐藏层的输入，然后该向量和权重向量W做点乘操作，再将点乘后的结果作为激活函数的输入，最终，激活函数输出的结果便是全连接层的最终结果。
2、卷积层：与全连接层不同，它保留了输入图像的空间特征，即对于一张32X32X3的图片，卷积层的输入就是32X32X3的矩阵，不需要做任何改变。
3、在卷积层引入一个新的概念：卷积核kernel（简称为卷积）。卷积的大小在实际需要时自定义其长和宽（如3X3，5X5等），其通道个数一般设置为与输入图片通道数量一致。
4、卷积的过程：让卷积在输入图片上依次进行滑动，滑动方向为从左到右，从上到下；每滑动一次，卷积就与其滑窗位置对应的输入图片x做一次点积计算并得到一个值。
5、步长(stride)：是指卷积在输入图片上移动时需要移动的像素数，如步长为1，卷积每次只移动1个像素。
6、卷积过程示例：如下图8-2输入是一个1X7的向量，我们定义一个一维卷积，卷积大小1X3，步长为1，那么经过第一次卷积操作后等到10X5+5X2+11X6=126，以此类推，最终得到一个1X5的向量。
7、在一个应用场景中可以定义多个卷积，每次卷积运算完成不同的任务，即提取不同的特征层。
8、卷积神经网络是由一系列卷积层经过激活来得到的。
9、通用的卷积层的计算公式：输入图像为W1XH1XD1（W1、H1、D1分别代表宽、高和颜色通道），卷积核kernel为FXF，kernel个数为K，步长为S，填充pad大小为P。
W2=[(W1-F+2P)/S]+1
H2=[(H1-F+2P)/S]+1
D2=K
10、卷积层学习的关键就是几个kernel，与传统神经网络不同的是，卷积层的计算是含有空间信息的。
11、池化层（pooling）：是对图片进行压缩（降维）的一种方法，池化的方法很多，如max pooling、average pooling等。
12、输入图像为W1XH1XD1（W1、H1、D1分别代表宽、高和颜色通道），池化层的参数中，池化kernel为FXF，步长为S，那么经过池化后输出的图像宽、高、通道分别为：
W2=[(W1-F)/S]+1
H2=[(H1-F)/S]+1
D2=D1
13、池化层对原始特征的信息进行压缩，是卷积神经网络中很重要的一步。大多数情况下，卷积层、池化层和激活层三者几乎像一个整体一样共同出现。
14、批规范层（BatchNorm层）：主要是为了加速神经网络的收敛过程以及提高训练过程中的稳定性。虽然深度学习被证明有效，但它的训练过程始终需要经过精心调试，比如精心设置初始化参数、使用较小的学习率等。
15、batch的概念：在使用卷积神经网络处理图像数据时，往往是几张图片被同时输入到网络中一起进行前向计算，误差也是将该batch中所有图片的误差累计起来一起回传。BatchNorm方法其实就是对一个batch中的数据根据公式做了归一化。
Xk^=(Xk-E[Xk])/√Var(Xk)
16、常见卷积神经网络结构：
1）AlexNet：主要由5个卷积层和3个全连接层组成，最后一个全连接层通过Softmax最终产生的结果将作为输入图片在1000个类别上的得分。使用ReLU作为激活函数，使用多种方法避免过拟合。
2）VGGNet：包含两种结构，分别为16层和19层。VGGNet结构中，所有卷积层的kernel都只有3X3。
3）GoogLeNet：GoogLeNet最初的想法很简单，就是若想要得到更好的预测效果，就要增加网络的复杂度，即网络深度和网络宽度。这个思路存在两个问题：更复杂的网络意味着更多的参数，容易过拟合；更复杂的网络会带来更大的计算资源的消耗。GoogLeNet引入inception结构来解决这两个问题。除了inception结构，GoogLeNet的另外一个特点是主干网络部分全部使用卷积网络，仅在最终分类部分使用全连接层。
4）ResNet：该网络的提出为解决神经网络中因为网络深度导致的梯度消失问题提供了非常好的思路。为解决神经网络过深导致的梯度消失问题，ResNet巧妙地引入了残差结构。就算网络结构很深，梯度也不会消失。
17、在ResNet网络之后，还有很多新的网络结构不断出现，但主要思想大体是基于以上4种类型的一些改进。
（第6-7章主要涉及一些Pytorch案例，暂不介绍，后续分享自己搭建的案例。）
双代号网络计划的时间参数的概念及其符号
一、工作持续时间（Di-j）
工作持续时间是一项工作从开始到完成的时间。
二、工期（T）
工期泛指完成任务所需要的时间，一般有以下三种：
（1）计算工期，根据网络计划时间参数计算出来的工期，用 Tc 表示；
（2）要求工期（合同工期），任务委托人所要求的工期，用 Tr 表示；
（3）计划工期，根据要求工期和计算工期所确定的作为实施目标的工期，用 Tp 表示。
网络计划的计划工期 Tp 应按下列情况分别确定：（目标工期）
当已规定了要求工期 Tr 时，
Tp≤Tr
当未规定要求工期时，可令计划工期等于计算工期，
Tp＝Tc
三、网络计划中工作的六个时间参数
（1）最早开始时间（ESi-j），是指在各紧前工作全部完成后，工作 i-j 有可能开始的最早
时刻。
（2）最早完成时间（EFi-j），是指在各紧前工作全部完成工作 i-j 有可能完成的最早时刻。
（3）最迟开始时间（LSi-j），是指在不影响整个任务按期完成的前提下，工作 i-j 必须开
始的最迟时刻。
（4）最迟完成时间（LFi-j），是指在不影响整个任务按期完成的前提下，工作 i-j 必须完
成的最迟时刻。
（5）总时差（TFi-j），是指在不影响总工期的前提下，工作 i-j 可以利用的机动时间。
（6）自由时差（FFi-j），是指在不影响其紧后工作最早开始的前提下，工作 i-j 可以利用
的机动时间。
projUNN：用单元矩阵训练深度网络的有效方法
在使用递归或非常深的前馈网络学习时，在每一层采用单元矩阵可以非常有效地保持长距离的稳定性。然而，限制网络参数为单数通常要以昂贵的参数化或增加训练运行时间为代价。我们提出了一种基于秩-$k$更新的有效方法--或其秩-$k$近似值--以接近最佳的训练运行时间来保持性能。我们介绍了这种方法的两个变体，即直接（projUNN-D）和切线（projUNN-T）投射单元神经网络，可以对全N$维的单元或正交矩阵进行参数化，训练运行时间可扩展为O(kN^2)$。我们的方法是将低秩梯度投射到最接近的单元矩阵上（projUNN-T），或者将单元矩阵向低秩梯度的方向转移（projUNN-D）。即使在最快的设置下（$k=1$），projUNN也能够训练模型的单元参数，以达到与基线实现相媲美的性能。通过将我们的projUNN算法整合到递归和卷积神经网络中，我们的模型可以接近或超过最先进算法的基准结果。
《projUNN: efficient method for training deep networks with unitary matrices》
论文地址:网页链接
【清华团队打造光学人工智能，让《三体》中的计算机成为现实】以深度学习为代表的人工智能技术已在包括自动驾驶、医疗诊断、语音翻译等众多领域带来巨大的变革。随着深度学习算法的迅猛发展，人工神经网络规模的不断增大，迫切需要不断提升计算处理器的运算速度和能效。采用传统电子计算方式已经越来越难以满足未来人工智能对处理器计算性能的需求。近年来，基于光计算高速、低功耗、高并行的颠覆性优势，通过光电融合的方式构建光学神经网络与智能光电计算处理器已经成为国际信息技术前沿的热点研究领域。
然而，现有的光电智能计算技术距离实际应用还面临着以下挑战：（1）模型构架简单，现有的光学神经网络模型复杂度较低，光学非线性实现较为困难，因此模型性能与电子的人工神经网络有较大的差距；（2）系统误差难校正，光计算系统误差大小和系统复杂度成正相关，因此误差校正算法对于构建大规模智能光计算系统至关重要，然而迄今为止尚缺普适性的误差校正方法；（3）系统重构困难，现有光学神经网络结构难以重构，因此计算功能单一，而网络参数编程则依赖较为复杂的光学效应，大规模参数的快速精准写入仍存在困难。
网页链接
基于CNN学习的高效量子特征提取
最近的工作已经开始探索参数化量子电路（PQCs）作为一般函数近似器的潜力。在这项工作中，我们提出了一个量子经典的深度网络结构，以提高经典CNN的模式可辨别性。卷积层使用线性滤波器来扫描输入数据。此外，我们建立了PQC，这是一个更有效的函数近似器，具有更复杂的结构来捕捉感受野内的特征。特征图是通过在输入上滑动PQC获得的，其方式与CNN相似。我们还给出了拟议模型的训练算法。我们设计的混合模型通过数值模拟得到了验证。我们在MNIST上展示了合理的分类性能，并将其与不同设置的模型进行了比较。结果显示，具有高可表达性的模型实现了较低的成本和较高的准确率。
《Efficient Quantum Feature Extraction for CNN-based Learning》
论文地址:网页链接
