看了各种各样的博客,终于有了自己的一点理解!懂了以后发现这个思想蛮有意思的。
首先要知道啥是自编码器,其实就是encoder-decoder结构,可以用来压缩数据的,比如我手写一个0,经过神经网络(encoder)输出一个64维的向量,然后用神经网络(decoder)将这个向量还原出我写的0,设置一个重建loss让两幅“0”图长得像,就可以训练出来一个自编码器,以后只需要这个64维向量就可以解码出我写的0啦。
那么不满足的我,想要生成任意一个0,和我写的像又不一样,这怎么办?很直观的想法就是加一个小扰动到64维向量,让解码器生成。但是结果肯定不理想,可能没变化,可能变得乱七八糟,毕竟解码器可没处理过这场面!
那么聪明的科学家琢磨了一个办法,让编码器(神经网络)除了输出一个向量(均值),还输出一个方差,训练的时候每次给你解码器的向量都是在均值附近来回跳(输入成了高斯分布),这样你这个解码器还不就能学习适应这种扰动了嘛,可以生成各种各样和0像却又不太一样的图!
可是这就带来一个问题,原来的重建损失,必然导致我学到的方差逼近于0,毕竟神经网络才不会喜欢你变来变去,解码出来的图就和原图之间的重建loss变大了。那好,那我们就加一个KL散度的损失(KL散度用于衡量分布之间的相似性),实际上就是正则项,来逼迫编码器生成的均值和方差与单位正态分布相似,这样你还不乖乖输出方差!这个KL散度的函数是一个泛函,求解它的极值需要变分法,这里也就体现了“变分”自编码器这个名字的含义。
变分自编码器(VAE)到底是做什么的相关文章:
★ 变分自编码器解析
★ 什么是编码器?
《变分自编码器(VAE)到底是做什么的》
看了各种各样的博客,终于有了自己的一点理解!懂了以后发现这个思想蛮有意思的。 首先要知道啥是自编码器,其实就是encoder-decoder结构,可以用来压缩数据的,比如我手写一
推荐度:
点击下载文档文档为doc格式