理解深度学习:第十八章 扩散模型
第 15 章描述了生成对抗模型(Generative Adversarial Models, GANs),这些模型可以生成逼真样本,但不为数据定义概率分布。第 16 章讨论了归一化流(Normalizing Flows),它们确立了特定的概率分布,但须对网络架构施加限制:每层都必须可逆,且其雅可比矩阵的行列式计算要简便。第 17 章介绍的变分自编码…
每周AI论文速递(240318-240322)
Uni-SMART: Universal Science Multimodal Analysis and Research Transformer Uni-SMART: 通用科学的多模态分析研究 Transformer 在科学研究及其应用领域,科学文献分析极为重要,它使研究人员得以在前人的基础上发展自己的工作。然而,科学知识的快速发展导致学术文章数…
理解深度学习:第十六章 标准化流
第 15 章介绍了生成对抗网络(GANs)。这些生成模型通过深度网络处理潜在变量来生成新的样本。GANs 的训练原则是让样本与真实数据难以区分。然而,它们并没有定义在数据样本上的分布,因此不容易评估新样本属于同一数据集的概率。 本章将讨论标准化流(Normalizing Flows)。这种方法通过深度网络将简单的分布转化为复杂的分布,从而学习概率模…
理解深度学习:第十五章 生成对抗网络
生成对抗网络(GAN)是一种无监督学习模型,其目标是创造出与训练样本集难以区分的新样本。GAN 主要是用来生成新样本的一种机制,它并不建立模型数据的概率分布,因此无法判断一个新数据点是否属于同一分布。 在 GAN 框架中,生成器网络通过将随机噪声映射到输出数据空间来生成样本。若鉴别器网络无法区分生成样本与真实样本,则可认为这些样本是合理的。若鉴别器…
理解深度学习:第十四章 无监督学习
第 2 章至第 9 章详细讲解了监督学习的流程。在这些章节中,我们定义了模型,这些模型能将观测数据 x 映射到输出值 y,并引入了损失函数来衡量这种映射对于训练数据集 ${x_i , y_i }$ 的准确性。随后,我们讨论了如何对这些模型进行拟合及评估其性能。第 10 章到第 13 章则引入了采用参数共享和支持并行计算路径的更为复杂的模型架构。 无…
理解深度学习:第十三章 图神经网络
第10章介绍了卷积网络,它擅长处理规则的数据阵列(如图像)。第12章则讲述了 Transformer,它擅长处理长度可变的序列(如文本)。本章将讨论图神经网络。正如其名,这些神经网络架构专门用于处理图结构(即,由边连接的节点集)。 在处理图数据时,面临三大挑战。首先,图的拓扑结构多变,要设计出既有强大表达能力又能适应这种变化的网络十分困难。其次,图…
理解深度学习:第十二章 Transformers
第10章引入了专门用于处理规则网格数据的卷积网络。这类网络非常适合处理图像,因为图像含有极其庞大的输入变量数目,这使得全连接网络不再适用。卷积网络通过参数共享机制,保证了图像中每一处的局部区域都以类似的方式被处理。 本章将要介绍的是 Transformer。它们最初是为了解决自然语言处理(NLP)的问题而设计的,这类问题的网络输入是一连串表示词汇或…