变分自编码器(VAE)到底是做什么的

文/ 散文网 时间: 经验头条

  看了各种各样的博客,终于有了自己的一点理解!懂了以后发现这个思想蛮有意思的。

  首先要知道啥是自编码器,其实就是encoder-decoder结构,可以用来压缩数据的,比如我手写一个0,经过神经网络(encoder)输出一个64维的向量,然后用神经网络(decoder)将这个向量还原出我写的0,设置一个重建loss让两幅“0”图长得像,就可以训练出来一个自编码器,以后只需要这个64维向量就可以解码出我写的0啦。

  那么不满足的我,想要生成任意一个0,和我写的像又不一样,这怎么办?很直观的想法就是加一个小扰动到64维向量,让解码器生成。但是结果肯定不理想,可能没变化,可能变得乱七八糟,毕竟解码器可没处理过这场面!

  那么聪明的科学家琢磨了一个办法,让编码器(神经网络)除了输出一个向量(均值),还输出一个方差,训练的时候每次给你解码器的向量都是在均值附近来回跳(输入成了高斯分布),这样你这个解码器还不就能学习适应这种扰动了嘛,可以生成各种各样和0像却又不太一样的图!

  可是这就带来一个问题,原来的重建损失,必然导致我学到的方差逼近于0,毕竟神经网络才不会喜欢你变来变去,解码出来的图就和原图之间的重建loss变大了。那好,那我们就加一个KL散度的损失(KL散度用于衡量分布之间的相似性),实际上就是正则项,来逼迫编码器生成的均值和方差与单位正态分布相似,这样你还不乖乖输出方差!这个KL散度的函数是一个泛函,求解它的极值需要变分法,这里也就体现了“变分”自编码器这个名字的含义。

变分自编码器(VAE)到底是做什么的相关文章:

变分自编码器解析

编码器类型有几种 编码器输出的是什么信号

常见的编码器种类有哪些

什么是编码器?

绝对值编码器和增量编码器区别有哪些

编码器分辨率是什么意思 编码器分辨率和脉冲数的关系

《变分自编码器(VAE)到底是做什么的》

  看了各种各样的博客,终于有了自己的一点理解!懂了以后发现这个思想蛮有意思的。  首先要知道啥是自编码器,其实就是encoder-decoder结构,可以用来压缩数据的,比如我手写一
推荐度:
点击下载文档文档为doc格式