大数据备忘命令

oracle:
sqoop import --append --connect jdbc:oracle:thin:@10.20.128.227:1526:d0p2ppd --username P2PPDATA --password rmgs5678 --target-dir /hadoop/data/oracle/rmgs_loan_cust_audit_result/  --num-mappers 1 --table RMGS_LOAN_CUST_AUDIT_RESULT  --fields-terminated-by '\t'; 


yarn-client或者local模式
spark-submit --master yarn-client  --name AllJob /home/hadoop/dap_etl.jar 
spark-sql --master yarn-client --jars $(echo /home/hadoop/mongo-*.jar |tr ' '  ',')


启动远程调试模式：
spark-submit --master yarn-client --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888" --name AllJob /home/hadoop/dap_etl.jar 


yarn-cluster模式
spark-submit  --master yarn-cluster --name AllJob --files /usr/local/spark/conf/hive-site.xml --jars /usr/local/spark/lib/datanucleus-api-jdo-3.2.6.jar,/usr/local/spark/lib/datanucleus-core-3.2.10.jar,/usr/local/spark/lib/datanucleus-rdbms-3.2.9.jar,/usr/local/spark/lib/mysql-connector-java-5.1.32-5.1.32.jar /home/hadoop/dap_etl.jar


mysql 操作：
    启动
　　1、使用 service 启动：service mysqld start
　　2、使用 mysqld 脚本启动：/etc/inint.d/mysqld start
　　3、使用 safe_mysqld 启动：safe_mysqld&
　　停止
　　1、使用 service 启动：service mysqld stop
　　2、使用 mysqld 脚本启动：/etc/inint.d/mysqld stop
　　3、mysqladmin shutdown
　　重启
　　1、使用 service 启动：servic e mysqld restart
　　2、使用 mysqld 脚本启动：/etc/inint.d/mysqld restart


    mysql –u用户名 [–h主机名或者IP地址] –p密码




hadoop 操作
hdfs namenode -bootstrapStandby  standby的namenode同步active的namenode的信息
hdfs zkfc -formatZK    namenode向zookeeper注册信息
${hadoop.tmp.dir}的目录权限要提供节点的用户读写权限
hadoop-env.sh中的${JAVA_HOME}有可能无法识别，需要写上绝对路径
hdfs haadmin -failover nn1 nn2   完成nn1向nn2的failover热备切换 ，注意顺序(推荐)

hdfs haadmin -transitionToActive nn1  热备切换（不推荐）

hdfs haadmin -getServiceState nn1 查看namenode是active还是standby状态

hadoop fsck /user/part-001 -files  -blocks -racks 查看文件块数量信息




hive 操作可能遇到的问题：
 schematool -initSchema -dbType mysql -userName hive -passWord 'hive123' -verbose 初始化的时候如果不是使用默认的用户名和密码，一定要指定。


hive --service metastore  & 启动metastore
hive --service hiveserver2 & 启动hiveserver服务
hive -hiveconf hive.root.logger=DEBUG,console hive.execution.engine=spark 启动hive的debug日志查看信息


mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/lib64/ -Dbundle.snappy 编译。