win提交spark程序

来源：互联网发布：商务调查软件编辑：程序博客网时间：2024/06/04 18:59

使用win提交Spark Streaming程序的时候，出现了一下小小的问题，出现如下错误：

INFO JobScheduler: Added jobs for time 1482304253000 ms

一直循环打印这句话，始终没有出现Streaming时间片 batch的信息。

然后又偶尔出现一句警告：如下

WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory

为什么会出现这个错误呢？

有两种情况：第一就是内存不足，从第二个报错可以了解到

    第二就是spark集群不能返回信息给主机。

什么意思呢？就是有一个sparkJob提交之后啊，他会返回一个进度给提交job的机器，然后这个消息一直没有被接收到。这就是第二种情况。

内存原因可以排除，那么就是第二种了。由于我使用的是windows。所以讲windows的ip和hostName添加到spark集群

解决方式：

1.打开windows的CMD

输出hostname 查看主机名

2.输入ipconfig查看ip

3.将这两个属性加入到spark主节点的hosts就行了。

运行解决问题！

0 0