有些命令
来源:互联网 发布:淘宝怎么加好友 编辑:程序博客网 时间:2024/05/22 08:08
一些杂琐的东西,记录一下,以后可能会用得上,另外以后遇到可以记录的可以追加在这里
文件gbk 编码转utf-8:
coding=$(file -b $file1 |cut -d ' ' -f1)if [ "$coding" == "ISO-8859" ];thenlocal tmpfile=$(mktemp)iconv -f $scode -t $dcode $file1 > $tmpfilemv $tmpfile $file1fi
转UTF-8 with BOM:
echo -ne '\xEF\xBB\xBF' > names.utf8.csviconv -f CP1252 -t UTF-8 names.csv >> names.utf8.csv
查看进程启动时间、运行时长:
ps -eo pid,lstart,etime | grep xxx
查找进程内最耗费CPU的线程:
ps -Lfp pid #列出进程内所有线程 -L threads -f 所有full -p by process idps -mp pid -o THREAD,tid,time
BOM utf-8 的去掉BOM:
几种方式都可以:
cat INFILE | sed 's/\xef\xbb\xbf//g' > OUTFILEawk '{if(NR==1)sub(/^\xef\xbb\xbf/,"");print}' INFILE > OUTFILEtail --bytes=+4 INFILE > OUTFILE ##没有判断标示
top -Hp pid #找出进程内最耗CPU线程IDprintf "%x\n" tid #线程ID转成16进制jstak pid | grep tid #找到最耗费CPU的线程
jmap导出java进程内存情况并用jhat分析
jmap -dump:format=b,file=/tmp/dump.dat 21711 jhat -J-Xmx512m -port 9998 /tmp/dump.dat
storm相关进程启动命令:
nohup ./storm nimbus >/dev/null 2>&1 &nohup ./storm supervisor >/dev/null 2>&1 &nohup ./storm ui >/dev/null 2>&1 &nohup ./storm logviewer >/dev/null 2>&1 &
jstorm相关进程启动命令:
nohup $JSTORM_HOME/bin/jstorm nimbus >/dev/null 2>&1 &nohup $JSTORM_HOME/bin/jstorm supervisor >/dev/null 2>&1 &
storm杀进程命令:
kill `ps aux | egrep '(daemon\.nimbus)|(storm\.ui\.core)' | fgrep -v egrep | awk '{print $2}'`kill `ps aux | fgrep storm | fgrep -v 'fgrep' | awk '{print $2}'`
hive相关进程启动命令:
nohup ./hive --service hiveserver2 > hiveserver2.log 2>&1 &nohup ./hive --service metastore > metastore.log 2>&1 &nohup ./hive --service hwi > hwi.log 2>&1 &
找出目录包含指定字符串的文件列表:
find . -type f -name "*.sh" -exec grep -nH "xxxxxx" {} \;
linux清理内存:
sync && echo 3 > /proc/sys/vm/drop_caches
列出文件中包含指定字符串的行的前后指定行:
grep -n -A 10 -B 10 "xxxx" file
tcpdump抓包实例:
tcpdump -i eth1 -XvvS -s 0 tcp port 10020tcpdump -S -nn -vvv -i eth1 port 10020
spark任务提交实例:
./spark-submit --deploy-mode cluster --master spark://10.49.133.77:6066 --jars hdfs://10.49.133.77:9000/spark/guava-14.0.1.jar --class spark.itil.video.ItilData hdfs://10.49.133.77:9000/spark/sparktest2-0.0.1-jar-with-dependencies.jar --conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:-UseGCOverheadLimit"
spark启动worker实例:
./spark-daemon.sh start org.apache.spark.deploy.worker.Worker 1 --webui-port 8081 --port 8092 spark://100.65.32.215:8070,100.65.32.212:8070
spark sql操作实例:
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/data/webitil/hive/lib/mysql-connector-java-5.0.8-bin.jarSPARK_CLASSPATH=$SPARK_CLASSPATH:/data/webitil/hive/lib/mysql-connector-java-5.0.8-bin.jar ./spark-sql --master spark://10.49.133.77:8070./spark-sql --master spark://10.49.133.77:8070 --jars /data/webitil/hive/lib/mysql-connector-java-5.0.8-bin.jar./spark-shell --jars /data/webitil/hive/lib/mysql-connector-java-5.0.8-bin.jar./spark-shell --packages com.databricks:spark-csv_2.11:1.4.0ADD_JARS=../elasticsearch-hadoop-2.1.0.Beta1/dist/elasticsearch-spark_2.10-2.1.0.Beta1.jar ./bin/spark-shell
./spark-shellimport org.apache.spark.sql.SQLContextval sqlContext = new SQLContext(sc)import sqlContext.implicits._val url = "jdbc:mysql://10.198.30.118:3311/logplatform"val table = " (select * from t_log_stat limit 5) as tb1"val reader = sqlContext.read.format("jdbc")reader.option("url", url)reader.option("dbtable", table)reader.option("driver", "com.mysql.jdbc.Driver")reader.option("user", "logplat_w")reader.option("password", "rm5Bey6x")val df = reader.load()df.show()
mvn安装自己的jar包到本地mvn库实例:
mvn install:install-file -DgroupId=com.tencent.omg.itil.net -DartifactId=IpServiceJNI -Dversion=1.0 -Dpackaging=jar -Dfile=d:\storm\IpServiceJNI-1.0.jar
0 0
- 有些命令
- 有些。
- OpenSuSE sudo下有些命令无法运行
- 几条命令-可能有些古董
- adb 中有些命令的权限不够的解决之道
- windows7下的dos命令(不全,有些dos命令可以在win7运行,有些不行,应该是win7的问题)
- 对于有些Android手机cp命令不可用 mv命令引起cross-device link 问题解决
- [转载] 鸟哥私房菜中关于VI的一部分,有些命令值得熟记哦
- ubuntu常用命令(因为linux命令有些不能在ubuntu上实现)
- oracle用exp命令导出数据时,有些表无法导出
- C语言——预处理命令(宏)有些问题,宏和函数都可以
- 作为一个Java开发人员,有些常用的Linux命令必须掌握
- Redis可以登录,但有些值不能获取或者设置,PING命令也用不了
- 有些人,有些事,有些话,有些爱
- 有些人,有些事,有些话,有些爱
- 有些人,有些事,有些话,有些爱
- 有些灯火
- 有些问题
- hdu 4507 吉哥系列故事——恨7不成妻
- 枚举
- 虚析构函数的实现原理
- rlwrap - sqlplus 命令行缓存工具
- 斐波那契数列
- 有些命令
- nodejs + express + ejs + mongodb 一个非常简单的前后端开发的实例3
- java对properties配置文件的读写操作
- 如何让容器处理系统异常
- wampserver配置多站点
- java中多线程和主线程执行run和start的先后
- java中线程池的原理以及使用
- Android学习:SeekBar实现音量调节
- java实现ftp上传下载,中文不乱码