部分选译Perceptual losses for real-time style transfer and super-resolution.
来源:互联网 发布:显示器接网络机顶盒 编辑:程序博客网 时间:2024/05/22 05:01
3.方法
就像图二显示的,我们的系统由两部分组成:一个图像转换网络
为了解释对应像素损失的缺点,让我们的损失函数来更好的测量两张图片间知觉和语义的不同,我们从最近通过优化[6,7,8,9,10]生成图片的工作中吸取了灵感。从这些方法中得到的核心的启迪是事先训练好的用于图像分类的卷积经网络已经学会去解码我们想要用来测量损失函数的知觉和语义信息。因此,我们使用已经事先训练好的图像分类网络
损失网络
3.1图像转化网络
我们的图像转化网络大体上服从了Radford[42]中提出的中的搭建指导。我们没有使用任何的池化层,相反使用步进和分布步进的卷积层来进行层内的下采样和上采样。我们的网络结构由五个残差块[43]构成,使用[44]中的构架。所有的非残差卷积层都由空间批次归一化[45]和ReLU非线性化,除了最后一层输出层使用了一个排列的tanh以使输出图像在[0,255]之间。除了第一层和最后一层使用9x9的卷积核,其余所有的卷积层都使用3x3的卷积核。我们所有网络的确切构建结构都可以在提供的材料中找到。
输入和输出
对风格转化,输入和输出都是3x256x256的彩色图片。对使用上采样因子f的超分辨,输出是高分辨率图像3x288x288,输入是低分辨率3x288/fx288/f。因为图像传化网络是全卷积的,在测试时,它可以被应用在任何分辨率的图像上。
下采样和上采样
对使用上采样因子f超分辨,我们使用几个残差块,紧连着
对风格转化,我们的网络使用步长为2的卷积层下采样处理输入,紧接着是几个残差块,然后是两个使用1/2步长的上采样。虽然输入和输出是相同的大小,先下采样后上采样的网络有几个好处。
首先是计算性能。一个缺乏经验的用法,一个3x3卷积层滤波C处理一个形状为CxHxW的图像,需要有
第二个好处是可以有更加有效率的感受野尺寸。高质量的风格转换需要在合乎逻辑的方法下改变图像的大部分地方,因此对每个输出图像的像素来说,输入有一个大的高效感受野更加有优势。没有下采样,每一个附加的3x3卷积层增加感受野的效率是2。而在使用因子为D的下采样后,每一个3x3的卷积层可以增加有效的感受野是2D,给以了更大的有效感受野使用相同的层数。
**残差连接**He等[43]使用了残差连接来训练非常深的神经网络来处理图像分类。他们主张残差连接使网络更加容易的学会鉴别函数。对图像转化网络来说,这是一个诱人的性能,因为在大多数情况下,输出图像应该和输入图像共享一些结构。因此,我们的网络结构由几个残差块组成,每一个包含两个3x3的卷积层。我们使用残差块设计[44],在提供的材料中给出了。
3.2感受损失函数
我们定义了两个感受损失函数(perceptual loss functions)用来测量高层中图像知觉和语义的不同。它们利用了损失网络
特征重建损失不鼓励输出图像
像[6]中证明的,寻找一个图片
风格重建损失
当输出图像
和上面一样,将
如果我们理解
这个风格重建损失函数就是克莱默矩阵的输出和目标图像间的F范数:
这个风格重建函数得到了很好的定义,即使在
就像[10]中证明的,生成图片
为了更好的从一系列成
3.3简单损失函数
作为上面定义的感知损失函数的定义附加,我们也定义了两个简单的损失函数,它们仅有低层的像素信息决定。
像素损失像素损失是输出图像
全变量正则项来促进输出图片
以上是对论文[Perceptual Losses for Real-Time Style Transfer and Super-Resolution][https://arxiv.org/pdf/1603.08155.pdf%7C]中Method的大略翻译。刚刚接触机器学习,很多专业词汇是自己翻译的,大家主要还是要参考原文。
- 部分选译Perceptual losses for real-time style transfer and super-resolution.
- [译] Perceptual Losses for Real-Time Style Transfer and Super-Resolution(Stanford University)
- 论文笔记:Perceptual Losses for Real-Time Style Transfer and Super-Resolution[doing]
- Perceptual Losses for Real-Time Style Transfer and Super-Resolution 论文 理解
- 论文总结-Perceptual Losses for Real-Time Style Transfer and Super-Resolution
- Perceptual Losses for Real-Time Style Transfer and Super-Resolution论文翻译理解
- Perceptual Losses for Real-Time Style Transfer and Super-Resolution----论文笔记
- Multi-style Generative Network for Real-time Transfer论文理解
- Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural
- Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation 论文笔记
- Precomputed Radiance Transfer for Real-Time Rendering
- Precomputed Radiance Transfer for Real-Time Rendering .
- Real-time Expression Transfer for Facial Reenactment
- Precomputed Radiance Transfer for Real-Time Rendering
- Real Time Transfer (RTT)
- 感知损失(Perceptual Losses)
- 感知损失(Perceptual Losses)
- Linux for Embedded and Real-Time Applications
- android studio gradle dependences 包存放在什么位置
- Android 贝塞尔曲线解析
- 背包那些经典的例子( 下 )
- 由一个HADOOP_HOME and hadoop.home.dir are unset报错引起的window环境连接调试远程hadoop的一系列问题
- Android源码编译和调试
- 部分选译Perceptual losses for real-time style transfer and super-resolution.
- biaodashi
- Python 生成器详解 generator
- ubuntu配置samba共享各自的用户目录
- 使用ResourceBundle国际化资源文件读取properties详解
- 顺序表函数
- 【线段树优化建图+费用流】BZOJ4276 [ONTAK2015]Bajtman i Okrągły Robin
- 第八届福建省大学生程序设计竞赛 G.YYS【期望+大数】
- SQL UNION 和 UNION ALL