数据流小问题--find the missing elements

来源：互联网发布：中国迁都知乎编辑：程序博客网时间：2024/05/21 09:01

这是关于数据流的一个有趣的小问题。问题可以定义为：整个数据流里的元素为1到n的排列（无序），假设移除了k个数，如何找出这k个数。要求使用尽可能少的空间。而且只能顺序扫描数据一次。

对于这个问题，如果没有空间的限制，我们可以使用bitmap轻松搞定，bitmap使用n位即可，扫描到每个元素i，就把第i位设为1，最后结束后值为0的那些位置序号找出来就是所求结果，空间复杂度为O(n)。这个问题时间复杂度肯定是O(n)，但在空间复杂度上仍可改进。我们从k=1和k=2这特殊情况开始讨论，然后给出这个问题的通用解决方法。

一、k=1

假设 $\pi$ 是1到n的排序， $\pi _{-1}$ 是 $\pi$ 中移除其中一个元素构成的元素， $\pi _{-1}=\left \{ a_1,\dots,a_{n-1} \right \}$ 。如何找出移除的那个元素i，也就是找出 $i\in\pi$ ，但是 $i\notin\pi_{-1}$ 。

对于这个问题，应该比较容易想出来如下方法来进行计算。我们知道 $\pi$ 中元素总和为 $\sum_{j\in[n]}j=n(n+1)/2$ ，而 $\pi _{-1}$ 中元素总和为 $\sum_{j\in[n],j\neq i}j=n(n+1)/2-i$ 。我们只需要统计出流中元素总和即可。这时候我们算法中保存的最大的数字为n*(n+1)/2，需要 $\left \lfloor \log n(n+1)/2 \right \rfloor+1$ 位来保存，所以空间复杂度为 $O(\left \lfloor 2\log n \right \rfloor)$ 。

二、k=2

该种情况就是数据流中原本n个元素，移除了两个元素，还剩n-2个元素 $i1$ 和 $i2$ 。按照第一节中的思路，我们可以求出移除元素的和以及平方和，然后通过解方程来获得最终答案。具体来说，我们首先计算：

$\alpha =\sum_{j\in[n]}j=n(n+1)/2$ ， $\beta =\sum_{j\in[n]}j^2=n(n+1)(2n+1)/6$

我们在遍历每个元素 $a_k$ 的时候，进行：

$\alpha \leftarrow \alpha -i1$ ， $\beta \leftarrow \beta -a_k^2$

当遍历完整个数据流后，我们可得：

$\alpha ={i1}+{i2}$ ， $\beta ={i1}^2+{i2}^2$

通过解方程组即可得出：

$i1=(\alpha +\sqrt{2\beta -\alpha ^2})/2$ ， $i2=\alpha -i1$ 。

我们需要保存 $\alpha$ 和 $\beta$ 两个变量。 $\alpha$ 需要 $\left \lfloor 2\log n \right \rfloor$ ， $\beta$ 需要 $\left \lfloor 3\log n \right \rfloor$ ，总共需要 $\left \lfloor 5\log n \right \rfloor$ 位保存。

三、k>=3

该种情况下我们可以将k=2时的解决思路进行拓展。我们首先可以使用第二节中的方法得到移除元素的和、平方和，一直到k次方的和。

$\\a_1+a_2+\dots+a_k=b_1\\ a_1^2+a_2^2+\dots+a_k^2=b_2\\ \dots\\ a_1^k+a_2^k+\dots+a_k^k=b_k\\$

另外：

$\\c_1=a_1+a_2+\dots+a_k\\ c_2=a_1a_2+a_1a_3+\dots+a_{k-1}a_k\\ \dots\\ c_k=a_1a_2\dots a_k$

通过newton identities， $c_i$ 可有由 $b_1,\dots,b_{i}$ 和 $c_1,\dots,c_{i-1}$ 表示。 $c_1$ 到 $c_k$ 其实就是 $(x-a_1)*(x-a_2)*\dots*(x-a_k)$ 展开后 $x_{k-1}$ 到x的系数以及常数项（的绝对值）。 $x^k-c_1x^{k-1}+\dots+c_k=0$ 的解是 $a_1$ 到 $a_k$ 。

关于newton identities可参看：

http://en.wikipedia.org/wiki/Newton%27s_identities#Formulation_in_terms_of_symmetric_polynomials

2 0