再遇样条，读论文Color Lens Shade Compensation achieved by Linear Regression of Piece-Wise Bilinear Spline

读论文Color Lens Shade Compensation achieved by Linear Regression of Piece-Wise Bilinear Spline Functions

本文是Jesse Chen的原创文章。再遇样条，别有一番思绪在心头。在写完本文之后，我将不再更新和ISP相关的博文。
五年前，我开始关注Touraj Tajbakhsh。那个时候，Tajbakhsh应该还在DCT (Dream Chip Technology)，他同时也是德国汉堡大学的一名学者。关注他不就后，就发现他已经离开DCT，去了Apple公司。从此，他一直在我的技术关注名单中。

最近，因为对某公司的LSC技术感兴趣，我又重读了论文Color Lens Shade Compensation achieved by Linear Regression of Piece-Wise Bilinear Spline Functions。我又重新实现了一遍这篇文章的算法，再实现的时候，发现这版的代码比三年前的实现更为简洁；也发现了一些值得思考的问题。

---

简述论文

论文Color Lens Shade Compensation achieved by Linear Regression of Piece-Wise Bilinear Spline Functions中提到两大主要内容：
- LSC分区固定时，如何确定LSC的矫正增益表格
- 如何优化LSC的分区，以达到最优效果

LSC分区固定时，如何确定LSC的矫正增益表格

论文提出采用Piece-wise Bilinear Fitting的方案。论文中提出，针对每种Raw图像通道，每个LSC分区都对应着一个线性样条函数。

f(x,y)=α+βx+γy+δxy(1)

注意：在公式(1)的前提下，是每个区都对应有四个线性样条系数。具体原因，大家可以自行分析。

如果不加以约束，相邻的两个区会存在不连续的现象。因此，论文作者提出采用带约束的最小二乘法解决这一问题：

u∗=argminu∥D(A11,A12,A21,A22)−(lT11,lT12,lT21,lT22)T∥+v∥Cu∥22(2)

采用这种方法进行计算，编程难度不算大。是否有更简单的方法呢？有

如何优化LSC的分区，以达到最优效果

不同的相机会有不同的LSC矫正表格，ISP硬件能否支持不同的相机采用不同的分区方案呢？

答案恐怕是否，因此采用带约束的最优化方法对LSC分区进行优化实用性并不高。

双线性插值

假定单个LSC分区的四个顶点对应LSC矫正增益分别为g11,g12,g21,g22。我们对LSC分区的长和宽做归一化处理后，比较双线性插值和公式(1)，不难得到

⎛⎝⎜⎜⎜αβγδ⎞⎠⎟⎟⎟=T⎛⎝⎜⎜⎜⎜g11g12g21g22⎞⎠⎟⎟⎟⎟(3)

其中，

T=⎛⎝⎜⎜⎜1−1−11010−1001−10001⎞⎠⎟⎟⎟(4)

矩阵T是可逆的。论文中提到的这种线性样条和双线性插值的关系就不言而喻了。显然有更简洁的方法解决论文所要解决的问题。

在线修正LSC矫正表格

大多数手机厂家都采用了美国某芯片公司所生产的手机处理器，这家公司针对手机lens所存在的color shading问题，采用在线修正LSC矫正表格的方案。

其基本思路是：对自然场景的图像进行分析，从中分离出自然场景固有的Hue Map和需要进一步矫正的color shading map。采用Apple iPhone SE获取一张raw图，很遗憾即使拍摄白墙，经过分析发现iPhone的color shading并不明显，是否已经经过了color shading处理还是iPhone Lens的光学素质就非常好呢？

下图就是分离出来的R通道Hue map。

B通道的Hue map。

与之对应的LSC表格修正矩阵分别为:

需要更多的数据来完善这一仿真。