Sonar介绍与集成

Sonar介绍

　　Sonar 是一个用于代码质量管理的开放平台。通过插件机制，Sonar 可以集成不同的测试工具，代码分析工具，以及持续集成工具。与持续集成工具（例如 Hudson/Jenkins 等）不同，Sonar 并不是简单地把不同的代码检查工具结果（例如 FindBugs，PMD 等）直接显示在 Web 页面上，而是通过不同的插件对这些结果进行再加工处理，通过量化的方式度量代码质量的变化，从而可以方便地对不同规模和种类的工程进行代码质量管理。 
　　在对其他工具的支持方面，Sonar 不仅提供了对 IDE 的支持，可以在 Eclipse和 IntelliJ IDEA 这些工具里联机查看结果；同时 Sonar 还对大量的持续集成工具提供了接口支持，可以很方便地在持续集成中使用 Sonar。 
　　此外，Sonar 的插件还可以对 Java 以外的其他编程语言提供支持，对国际化以及报告文档化也有良好的支持。

Sonar部署

　　Sonar的相关下载和文档可以在下面的链接中找到：http://www.sonarqube.org/downloads/。需要注意最新版的Sonar需要至少JDK 1.8及以上版本。

　上篇文章我们已经可以成功的使用git进行拉去，Sonar的功能就是来检查代码是否有BUG。除了检查代码是否有bug还有其他的功能，比如说：你的代码注释率是多少，代码有一些建议，编写语法的建议。所以我们叫质量管理

Sonar还可以给代码打分，并且引用了技术宅的功能（告诉你有很多地方没改）

Sonar部署

[root@linux-node1 ~]# yum install -y java-1.8.0

[root@linux-node1 ~]# cd /usr/local/src

软件包我们通过wget或者下载，rz上传到服务器

#软件包下载：https://sonarsource.bintray.com/Distribution/sonarqube/sonarqube-5.6.zip

 

[root@linux-node1 src]# unzip sonarqube-5.6.zip

[root@linux-node1 src]# mv sonarqube-5.6 /usr/local/

[root@linux-node1 src]# ln -s /usr/local/sonarqube-5.6/ /usr/local/sonarqube

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8

  准备Sonar数据库 
  如果没有数据库请执行yum install -y mariadb mariadb-server

  [root@linux-node1 ~]# systemctl start mariadb

  [root@linux-node1 ~]# systemctl enable mariadb

  Created symlink from /etc/systemd/system/multi-user.target.wants/mariadb.service to /usr/lib/systemd/system/mariadb.service.

  [root@linux-node1 ~]# mysql_secure_installation

  [root@linux-node1 ~]# mysql -uroot -p123456

• 1
• 2
• 3
• 4
• 5

  特别提示： 
  

  sonar好像不支持mysql 5.5，所以如果看日志出现以上error 请安装mysql5.6 或者更高版本 
  http://blog.csdn.net/onothing12345/article/details/49910087

  执行sql语句

  mysql> CREATE DATABASE sonar CHARACTER SET utf8 COLLATE utf8_general_ci;

  mysql> GRANT ALLON sonar.*TO'sonar'@'localhost' IDENTIFIED BY'sonar@pw';

  mysql> GRANT ALLON sonar.*TO'sonar'@'%' IDENTIFIED BY'sonar@pw';

  mysql> FLUSH PRIVILEGES;

• 1
• 2
• 3
• 4

  配置Sonar

  [root@linux-node1 ~]# cd /usr/local/sonarqube/conf/

  [root@linux-node1 conf]# ls

  sonar.properties wrapper.conf

• 1
• 2
• 3

  编写配置文件，修改数据库配置

  [root@linux-node1 conf]# vim sonar.properties

  #我们只需要去配置文件里面修改数据库的认证即可

   

  14 sonar.jdbc.username=sonar #数据库用户

  15 sonar.jdbc.password=sonar@pw #数据库密码

  23 sonar.jdbc.url=jdbc:mysql://localhost:3306/sonar?useUnicode=true&character Encoding=utf8&rewriteBatchedStatements=true&useConfigs=maxPerformance

• 1
• 2
• 3
• 4
• 5
• 6

  配置Java访问数据库驱动(可选) 
  　　默认情况Sonar有自带的嵌入的数据库，那么你如果使用类是Oracle数据库，必须手动复制驱动类到${SONAR_HOME}/extensions/jdbc-driver/oracle/目录下，其它支持的数据库默认提供了驱动。其它数据库的配置可以参考官方文档： 
  http://docs.sonarqube.org/display/HOME/SonarQube+Platform

  启动Sonar 
  　　你可以在Sonar的配置文件来配置Sonar Web监听的IP地址和端口，默认是9000端口。

  [root@linux-node1 conf]# vim sonar.properties

  99#sonar.web.host=0.0.0.0

  106#sonar.web.port=9000

• 1
• 2
• 3

  启动命令如下：

  [root@linux-node1 ~]# /usr/local/sonarqube/bin/linux-x86-64/sonar.sh start

  Starting SonarQube...

  Started SonarQube.

• 1
• 2
• 3

  如果有什么问题可以看一下日志[/usr/local/sonarqube/logs/sonar.log]

  检查是否有相应的端口

  [root@linux-node1 ~]# netstat -lntup

  Active Internet connections (only servers)

  Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name

  tcp 00127.0.0.1:80800.0.0.0:* LISTEN 2239/unicorn master

  tcp 000.0.0.0:800.0.0.0:* LISTEN 505/nginx: master p

  tcp 000.0.0.0:220.0.0.0:* LISTEN 569/sshd

  tcp 00127.0.0.1:250.0.0.0:* LISTEN 971/master

  tcp 00127.0.0.1:431630.0.0.0:* LISTEN 5205/java

  tcp 000.0.0.0:80600.0.0.0:* LISTEN 505/nginx: master p

  tcp 00127.0.0.1:320000.0.0.0:* LISTEN 4925/java

  tcp 000.0.0.0:430440.0.0.0:* LISTEN 4952/java

  tcp 000.0.0.0:333500.0.0.0:* LISTEN 5205/java

  tcp 000.0.0.0:90000.0.0.0:* LISTEN 5011/java

  tcp 000.0.0.0:333850.0.0.0:* LISTEN 5011/java

  tcp 00127.0.0.1:90010.0.0.0:* LISTEN 4952/java

  tcp6 00:::3306:::* LISTEN 4658/mysqld

  tcp6 00:::34993:::* LISTEN 2348/java

  tcp6 00:::8081:::* LISTEN 2348/java

  tcp6 00:::22:::* LISTEN 569/sshd

  tcp6 00::1:25:::* LISTEN 971/master

  udp6 00:::33848:::*2348/java

  udp6 00:::5353:::*2348/java

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22

  #端口是9000哦！

  Web登陆：IP:9000 
  

  提示： 
  sonar跟jenkins类似，也是以插件为主 
  sonar安装插件有2种方式：第一种将插件下载完存放在sonar的插件目录，第二种使用web界面来使用安装 
  存放插件路径[/usr/local/sonarqube/extensions/plugins/]

  安装中文插件 
  登陆：用户名：admin 密码：admin 
   
   
   
   
  需要重启才会生效

  生效后如下图： 
  

  我们在安装一个php语言 
  

  温馨提示：如果下载不下来我们直接去github进行下载，因为我们这个插件都是使用wget进行下载的 
   
  我们现在只能使用java的jar包和php，因为我们只安装了java和php的语言插件。如果想使用Python的程序，就需要安装Python的语言插件

  Sonar 插件--->语言插件（分析什么语言，你就需要安装什么语言的插件）

  Sonar通过SonarQube Scanner（扫描器）来对代码进行分析 
  官方文档：http://docs.sonarqube.org/display/SCAN/Analyzing+with+SonarQube+Scanner

  下载扫描器插件

  [root@linux-node1 ~]# wget https://sonarsource.bintray.com/Distribution/sonar-scanner-cli/sonar-scanner-2.8.zip

  [root@linux-node1 ~]# unzip sonar-scanner-2.8.zip

  [root@linux-node1 ~]# mv sonar-scanner-2.8 /usr/local/

  [root@linux-node1 ~]# ln -s /usr/local/sonar-scanner-2.8/ /usr/local/sonar-scanner

• 1
• 2
• 3
• 4

  我们要将扫描器和sonar关联起来

  [root@linux-node1 ~]# cd /usr/local/sonar-scanner

  [root@linux-node1 sonar-scanner]# ls

  bin conf lib

  [root@linux-node1 sonar-scanner]# cd conf/

  [root@linux-node1 conf]# ls

  sonar-scanner.properties

  [root@linux-node1 conf]# vim sonar-scanner.properties

  sonar.host.url=http://localhost:9000#sonar地址

  sonar.sourceEncoding=UTF-8#字符集

  sonar.jdbc.username=sonar #数据库账号

  sonar.jdbc.password=sonar@pw #数据库密码

  sonar.jdbc.url=jdbc:mysql://localhost:3306/sonar?useUnicode=true&characterEncoding=utf8 #数据库连接地址

   

  #打开注释即可

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14

  我们现在需要找一个代码进行分析。

  sonar插件提供了一个代码的库 
  github:https://github.com/SonarSource/sonar-examples 
  我们下载软件包：https://github.com/SonarSource/sonar-examples/archive/master.zip

  解压

  [root@linux-node1 src]# unzip sonar-examples-master.zip

  [root@linux-node1 php]# cd sonar-examples-master/projects/languages/php

  [root@linux-node1 php]# cd php-sonar-runner-unit-tests/

  [root@linux-node1 php-sonar-runner-unit-tests]# ll

  total 8

  -rw-r--r-- 1 root root 647Dec1409:57 README.md

  drwxr-xr-x2 root root 51Dec1409:57 reports

  -rw-r--r-- 1 root root 346Dec1409:57 sonar-project.properties

  drwxr-xr-x3 root root 31Dec1409:57 src

  drwxr-xr-x2 root root 25Dec1409:57 tests

  #这里就是PHP的目录

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11

  配置文件解释： 
  如果你想让我扫描，就需要在代码路径下放一个配置文件

  [root@linux-node1 php-sonar-runner-unit-tests]# cat sonar-project.properties

  sonar.projectKey=org.sonarqube:php-ut-sq-scanner #Key

  sonar.projectName=PHP :: PHPUnit :: SonarQube Scanner #这里的名称会显示在一会的web界面上

  sonar.projectVersion=1.0#版本，这里的版本一会也会显示在web界面上

   

  sonar.sources=src #软件包存放路径

  sonar.tests=tests

   

  sonar.language=php #语言

   

  sonar.sourceEncoding=UTF-8#字体

   

  # Reusing PHPUnit reports

  sonar.php.coverage.reportPath=reports/phpunit.coverage.xml

  sonar.php.tests.reportPath=reports/phpunit.xml

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15

  #也就是说在项目里面必须有这个配置文件才可以进行扫描

  扫描 
  #提示：需要在项目文件里面进行执行

  [root@linux-node1 php-sonar-runner-unit-tests]# /usr/local/sonar-scanner/bin/sonar-scanner

  INFO: Scanner configuration file: /usr/local/sonar-scanner/conf/sonar-scanner.properties

  INFO: Project root configuration file: /usr/local/src/sonar-examples-master/projects/languages/php/php-sonar-runner-unit-tests/sonar-project.properties

  INFO: SonarQube Scanner 2.8

  INFO: Java 1.8.0_111 Oracle Corporation (64-bit)

  INFO: Linux 3.10.0-514.2.2.el7.x86_64 amd64

  INFO: User cache: /root/.sonar/cache

  INFO: Loadglobal repositories

  INFO: Loadglobal repositories (done) | time=211ms

  WARN: Property 'sonar.jdbc.url'isnot supported any more. It will be ignored. There isno longer any DB connectionto the SQ database.

  WARN: Property 'sonar.jdbc.username'isnot supported any more. It will be ignored. There isno longer any DB connectionto the SQ database.

  WARN: Property 'sonar.jdbc.password'isnot supported any more. It will be ignored. There isno longer any DB connectionto the SQ database.

  INFO: User cache: /root/.sonar/cache

  INFO: Load plugins index

  INFO: Load plugins index (done) | time=3ms

  INFO: Download sonar-csharp-plugin-5.0.jar

  INFO: Download sonar-java-plugin-3.13.1.jar

  INFO: Download sonar-l10n-zh-plugin-1.11.jar

  INFO: Plugin [l10nzh] defines 'l10nen'as base plugin. This metadata can be removed from manifest of l10n plugins since version 5.2.

  INFO: Download sonar-scm-git-plugin-1.2.jar

  INFO: Download sonar-php-plugin-2.9.1.1705.jar

  INFO: Download sonar-scm-svn-plugin-1.3.jar

  INFO: Download sonar-javascript-plugin-2.11.jar

  INFO: SonarQube server 5.6

  INFO: Default locale: "en_US", source code encoding: "UTF-8"

  INFO: Process project properties

  INFO: Load project repositories

  .................................................

  .................................................

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29

  提示：我们什么都不指定就会在当面目录下扫描sonar-project.properties文件，根据配置文件进行扫描工作。扫描之后我们在web界面上就可以看到代码的扫描结果

  这里的名字，版本都是在sonar-project.properties文件中定义的 
   
  质量阈帮我们设定好一个阈值，超过相应的阈值就算有bug 
  

  为了让jenkins可以在构建项目的时候执行sonar，所以我们需要在jenkins上安装插件 
  

  现在就可以进行配置，让jenkins和sonar结合在一起。这样我们构建项目的时候就会进行代码检测

  

  

  点击保存

  

  配置 
   
  编辑我们的项目，选择最下放。找到构建 
   
  对PHP文件进行复制

  [root@linux-node1 php-sonar-runner-unit-tests]# cat /usr/local/src/sonar-examples-master/projects/languages/php/php-sonar-runner-unit-tests/sonar-project.properties

  sonar.projectKey=org.sonarqube:php-ut-sq-scanner

  sonar.projectName=PHP :: PHPUnit :: SonarQube Scanner

  sonar.projectVersion=1.0

   

  sonar.sources=src

  sonar.tests=tests

   

  sonar.language=php

   

  sonar.sourceEncoding=UTF-8

   

  # Reusing PHPUnit reports

  sonar.php.coverage.reportPath=reports/phpunit.coverage.xml

  sonar.php.tests.reportPath=reports/phpunit.xml

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15

   
  Analysis properties 分析的参数

  填写完毕后，我们点击保存 
   
  我们选择立即构建 
  

  提示：此时的SonarQube是无法点击的

  点击Console Output可以查看构建输出的内容 
  

  #提示：只要没有error就可以

   
  构建完成后，我们发现这里的SonarQube可以点击，我们点击SonarQube就会链接到192.168.56.11:9000 就是代码查看器的地址 
  

  现在我们已经做到了可以在git上进行拉取代码。并进行检测

  我们还可以配置一个构建失败发送邮箱： 
   
  在我们项目里面设置构建后操作，选择E-mail Notification 
   
  温馨提示：使用163邮箱发送的通知被163服务器退回了，因此我将设置在jenkins的邮箱改成了QQ邮箱

  QQ：邮箱需要设置如下： 
  

  **1、需要开启POPE3/SMTP服务 
  2、在jenkins上配置的密码我们需要点击生成授权码进行使用**

  QQ邮件默认会收到如下提示： 
   
  当再次构件成功时，邮件内容如下： 
  

  持续集成+自动化部署[代码流水线管理及Jenkins和gitlab集成]

  一、代码流水线管理

  　　Pipeline名词顾名思义就是流水线的意思，因为公司可能会有很多项目。如果使用jenkins构建完成后，开发构建项目需要一项一项点击，比较麻烦。所以出现pipeline名词。 
  　　代码质量检查完毕之后，我们需要将代码部署到测试环境上去，进行自动化测试

  新建部署代码项目 
  点击新建 
   
   
  这里只需要写一下描述 
   
  执行Shell脚本 
  

  温馨提示：执行命令主要涉及的是权限问题，我们要搞明白，jenkins是以什么权限来执行命令的。那么问题来了，我们现在192.168.56.11上，如果在想192.168.56.12上执行命令。需要怎么做呢？

  我们做无秘钥有2种分案：

  1、使用jenkins用户将秘钥分发给192.168.56.12上 
  2、使用root用户将秘钥分发给192.168.56.12上，如果使用root用户还要进行visudo授权。因为Web上默认执行命令的用户是jenkins

  1.我们使用root做密码验证 
  #这里我们的key已经做好，如果没做可以直接 ssh-keygen -t ras 来生成秘钥 
  我们将192.168.56.11上的公钥复制到192.168.56.12上

  [root@linux-node1 ~]# cat .ssh/id_rsa.pub

  ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQChVQufrGwqP5dkzIU4ZwXCjRuSvMVGN5lJdvL/QFckmlVphWMsQw06VsPhgcI1NDjGbKOh5pbjrylyJUCig5YIJ1xuMOZ2YAK32SceMxnVhEb/G4wNb9VMsGQ/Vs4CxrU1HdATktH9zDAV4Qz81x2POYJW5B5LAvwZ4owqnIpZ7o3ya6xBxEvCIMSVtD17oKrNqAphsg+e68KvRexiNCEbCbRGGq3bKevgiDsWpSGnCYsJC0+cSrUxuzEO3G6AqGI/qR3nOeg91rOsoAP3FpFjBKgb/sXggkwwjmGIqFXJrUG+XmczeF4kG/rUrNbdy84e5RyHoIS3XKnJuRjTxHyD root@linux-node1

   

  [root@linux-node2 ~]# vim .ssh/authorized_keys

  ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQChVQufrGwqP5dkzIU4ZwXCjRuSvMVGN5lJdvL/QFckmlVphWMsQw06VsPhgcI1NDjGbKOh5pbjrylyJUCig5YIJ1xuMOZ2YAK32SceMxnVhEb/G4wNb9VMsGQ/Vs4CxrU1HdATktH9zDAV4Qz81x2POYJW5B5LAvwZ4owqnIpZ7o3ya6xBxEvCIMSVtD17oKrNqAphsg+e68KvRexiNCEbCbRGGq3bKevgiDsWpSGnCYsJC0+cSrUxuzEO3G6AqGI/qR3nOeg91rOsoAP3FpFjBKgb/sXggkwwjmGIqFXJrUG+XmczeF4kG/rUrNbdy84e5RyHoIS3XKnJuRjTxHyD root@linux-node1

   

  [root@linux-node1 ~]# ssh 192.168.56.12

  The authenticity of host '192.168.56.12 (192.168.56.12)' can't be established.

  ECDSA key fingerprint is b5:74:8f:f1:03:2d:cb:7d:01:28:30:12:34:9c:35:8c.

  Are you sure you want tocontinue connecting (yes/no)? yes

  Warning: Permanently added '192.168.56.12' (ECDSA) tothe list of known hosts.

  Last login: Sat Dec 1702:14:312016from192.168.56.1

  [root@linux-node2 ~]# ll

  total 4

  -rw-------. 1 root root 1021 Dec 13 05:56 anaconda-ks.cfg

   

  #现在SSH连接就不需要密码了

   

  授权jenkins用户，使用visudo或者编辑配置文件/etc/sudoers

  [root@linux-node1 ~]# vim /etc/sudoers

  92 jenkins ALL=(ALL)       NOPASSWD:/usr/bin/ssh

  #jenkins授权所有主机，不需要密码执行ssh。切记不要授权ALL

• 1

• 2

• 3

• 4

• 5

• 6

• 7

• 8

• 9

• 10

• 11

• 12

• 13

• 14

• 15

• 16

• 17

• 18

• 19

• 20

• 21

• 22

  我们在192.168.56.12上写一个简单shell脚本，检测是否可以执行成功。正式环境可以写一个自动化部署的脚本

  [root@linux-node2 ~]# echo "echo "hello word"" >demo.sh

  [root@linux-node2 ~]# chmod +x demo.sh

  [root@linux-node2 ~]# ll demo.sh

  -rwxr-xr-x 1 root root 16 Dec 1702:24 demo.sh

• 1

• 2

• 3

• 4

  jenkins编写执行脚本 
   
  然后我们点击立即构建 
   
  成功！ 
   
  现在我们要将代码质量管理和测试部署连接起来。

  这时候就用到了git钩子 
  我们需要安装jenkins插件parameterized 
  

  我们选择demo-deploy 
  

  再次点击项目设置的时候就会出现Trigger parameterized build on other projects 
   
  提示：Projects to build是为构建设置一个项目。例如我们想构建完代码项目后执行测试的，这里就填写测试的就可以。

  

  最后点击保存，点击构建。我们查看效果 
   
   
  #这样我们每次点击demo-deploy 它就会在构建完成之后在对auto-deploy进行构建

  下载pipeline。这样只需要构建一个项目，就会帮我们完成所有相关项目 
  搜索插件pipeline 
   
  等待安装完成 
   
  我们点击首页+号，新建一个试图 
   
  点击OK 
   
  pipeline 配置 
   
   
  然后我们点击保存

  pipeline视图如下： 
   
  点击Run 
   
  这样就先代码质量进行管理，然后就开始部署了

  构建成功后： 
   
  这样我们下次想看pipeline视图的时候，点击上面的demo-pipeline即可 
  

  二、Jenkins + gitlab集成

  Jenkins + gitlab集成后，实现的功能是开发写好代码提交至gitlab上，当时开始push到gitlab上之后，jenkins自动帮我们立即构建

  这个项目我们需要安装一个gitlab钩子的脚本

  提示： jenkins不论想实现什么功能，都需要安装插件！！

   
  安装完插件之后我们就开始配置钩子脚本 
   
  这里需要我们在服务器里面写一个令牌，在jenkins上也写一个令牌。这两个可以连接到一起就可以。

  #因为用到了令牌我们还需要在安装一个插件，否则将无法使用。因为令牌是需要登录之后才会有，所以需要有一个管理的插件

  插件搜索：Build Aut 
   
  为了令牌的安全性，我们使用openssl生成一个

  [root@linux-node1 ~]# openssl rand -hex 10

  0a37c6d7ba1fe3472e26

• 1

• 2

   
  然后我们点击保存即可

  因为jenkins上也提示我们需要在gitlab上添加钩子脚本

  点击我们创建的项目 
   
  选中Webhooks 
  

  Build Authorization Token Root Plugin 插件使用说明 
  https://wiki.jenkins-ci.org/display/JENKINS/Build+Token+Root+Plugin

  使用Build插件后，url如下：

  http://192.168.56.11:8080/buildByToken/build?job=auto-deploy&token=0a37c6d7ba1fe3472e26

  auto-deploy=项目名称(构建时的项目名称)

  0a37c6d7ba1fe3472e26=jenkins填写的令牌

• 1

• 2

• 3

   
  然后点击Add Webhook 
   
  下方就会出现我们这个选项，我们点击Test进行测试 
   
  测试结果 
  

  向git服务器提交代码，验证是否可以自动部署：

  [root@linux-node1 ~]# echo "Build Token Root Plugin" > index.html

  [root@linux-node1 ~]# git add index.html [root@saltmaster ~/weather]# git commit -m "text"

  [root@linux-node1 ~]# git push origin master

• 1

• 2

• 3

  jenkins服务器的日志记录：

  [root@linux-node1 ~]# tail -f /var/log/jenkins/jenkins.log

• 1

  

  jenkins项目构建： 
  

  访问web界面验证代码是否最新的： 
  jenkins控制台输出信息：