Linux修改用户最大线程数目和最大打开文件数目等
来源:互联网 发布:php二次开发是什么 编辑:程序博客网 时间:2024/06/05 20:52
提交spark作业,报错:spark "dispatcher-event-loop-3" java.lang.OutOfMemoryError: unable to create new native thread
起初以为是JVM内存资源分配不足的问题,经过排查之后没有解决问题。最后尝试修改linux最大线程数目解决问题。
查看当前用户的最大线程数:
ulimit -a输出如下信息:
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 94256
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 10240
cpu time (seconds, -t) unlimited
max user processes (-u) 65535
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
我们可以使用ulimit -对应参数 设置进行修改
例如: ulimit -n 2048 设置最大打开文件数为2048
修改最大数目,切换到root用户下:
vim /etc/security/limits.d/90-nproc.conf
* soft nproc 1024(默认是1024个),修改更大即可!
root soft nproc unlimited
修改如下:
* soft nproc 65535
root soft nproc unlimited
保存退出,重启生效,再次提交作业解决问题。
补充:有时候还会提示打开文件过度问题:
修改open files (-n) 1024更大即可!
ulimit -n 设置的最大打开文件数
- Linux修改用户最大线程数目和最大打开文件数目等
- 线程 进程最大数目
- Linux下各种最大数目
- 进程最大文件描述符数目限制在那里修改?
- 修改linux打开文件最大数与最大线程数
- linux系统中进程的最大线程数目
- 创建profile 限定用户最大连接数目
- java多线程同步及最大线程数目
- windows进程能打开的最大句柄数目
- linux修改用户最大连接线程数
- 修改Windows Server 远程登录(远程桌面)最大连接数目
- android 如何修改蓝牙搜索设备的最大数目
- Android Studio 编辑窗口最大数目限制修改
- 修改Android Studio缓存log的最大保存数目
- bing map waypoint最大数目
- windows一个目录下最大文件数目(文件上限)
- 修改Linux系统最大打开文件数
- 修改linux系统最大打开文件数
- 大型分布式网站架构技术总结
- 排序算法实现总结(Java)
- C语言和Lua交互(二)
- js算法
- QT QString根据路径获取文件名称以及所在文件夹等信息
- Linux修改用户最大线程数目和最大打开文件数目等
- 日期函数
- memcache总结
- preventDefault和stopPropagation使用
- testng浅析-dataProvider
- 我的Android成长之路(11)----Android之SharedPreferences用法详解
- Realm及相关对象——《跟我学Shiro》
- MySQL慢查询日志总结
- 大型网站架构系列:电商网站架构案例(1)