如何使用yarn界面查看spark job运行的情况

如下图所示，是一个spark任务的第一个Job，job0的运行情况。

job1的运行情况如下：

可以看到job0，job1的input不一样，shuffle read，shuffle write的大小也不一样，但是每个job的shuffle read是和shuffle write的大小是一样。

现在我们探讨一下job中的Input、 Output 、 shuffle read、shuffle write是代表哪些量的。

另外我发现job1的Input大小是和内存中缓存的数据量大小是一样的

有意思。。。