Active session量持续走高即将故障原因分析与优化建议

来源：互联网发布：java定义常量编辑：程序博客网时间：2024/06/11 04:52

一个RAC数据库，在一次应用升级之后，active session数量持续攀升，若处理不及时，就挂了。本文对其问题原因展开详细分析，以及提出优化建议方案。

1. 基本环境描述

1.1、数据库环境配置情况

节点

主机名

主机型号

OS版本

数据库名

实例名

最大连接数

10.XX.XXX.129

dXXdbdb1

IBM power 750

AIX6.1

dXXdb

dXXdb1

2000

10.XX.XXX.130

dXXdbdb2

IBM power 750

AIX6.1

dXXdb

dXXdb2

2000

1.2、 Weblogic环境配置情况

逻辑Server总数量

初始连接配置

总初始连接数

平均分配到单个数据库节点初始连接数

最大连接配置

最大可连接数

平均分配到单个数据库节点最大连接数

960（32*30）

480（960/2）

1600（32*50）

800（1600/2）

2. 问题现象描述

2.1、数据库活动会话持续升高

从12月22日以前的每个数据库节点平均每秒活动会话10个以下，到12月25日18：00时，

逐步增长到平均每秒活动会话数300多个，并且仍处于持续上升中

2.2、数据库总会话数持续升高

由于总会话数，受到Weblogic具有较大初始连接的影响（平均每个节点500左右），上升趋势

不如活动会话明显，但是，当前会话数已经超出初始连接数，已经呈现出上升态势，后续上升态势将会非常明显

以下为每小时采集600次汇总活动会话数总和（每10秒钟采集一次）增长趋势图：

2.3、 2013年11月25日20：43总会话数与活动会话数数据截图

取值使用的SQL语句

select 'total_session' 类型,inst_id节点号,count(*) 会话数 from gv$session

group by 'fwmugjh56jwnv',inst_id

union all

select'active_session'类型,inst_id节点号,count(*) 活动会话数 from gv$session

where status='ACTIVE'group by' active_session',inst_id

结果

2.4、 2013年11月26日14：00总会话数与活动会话数数据截图

2.5、两次取值，总会话数与活动会话数相比数据

时间

总会话数

活动会话数

1节点

2节点

1节点

2节点

2013/11/25 20:43

605

596

355

433

2013/11/26 14:00

690

664

447

528

3、问题隐患

3.1、Weblogic连接数到达最大限制导致系统故障

Weblogic连接数据库的总限制数为1600，平均两个数据库节点，平均每个数据库节点约800左右，当前最大已到达690，预估1-2天后，用户将无法连接上Weblogic程序而形成系统故障

3.2、数据库连接到达最大限制导致系统故障

数据库单个节点设置processes最大值为2000，按照当前发展趋势，五六天后，数据库内会话数即可以增长至2000，到时，应用程序将不能连接上数据库，并且伴随着CPU使用率将会持续增长，使得系统瘫痪

4、问题发现

持续监控系统，在AWR报告中发现大规划管理数据库等待事件最严重的为enq：TX – row lock contention，所消耗的DB Time占整个数据库的97.9%，平均每次待待时间为20625958ms（5.7小时）

以下为取2013-12-15 09:30—10:00的AWR：

5、问题原因分析

5.1、追踪到enq：TX – row lock contention单次耗时5.7小时的程序语句

追踪所采用的SQL语句

select sql_id,count(*) from dba_hist_active_sess_history where upper(event) like '%ROW LOCK CON%' and snap_id >=17723 and snap_id <=17724 group by sql_id order by 2 desc

结果：

（两个节点的每10秒钟采样一次的总和）

以上得知，引发问题的SQL语句ID为“fwmugjh56jwnv”

5.2、SQLID为fwmugjh56jwnv的问题语句分析

5.2.1 SQLID为fwmugjh56jwnv的文本代码

update FXX_XXXS set hits=hits+1 where id='8a810e0f4160b27d01419cd375f20064'

上面语句目的初步判断为对某个用户的某种行为累计计数。

5.2.2 SQLID为fwmugjh56jwnv的活动数量统计

取值使用的SQL语句

select 'total_session' 类型,inst_id 节点号,count(*) 会话数 from gv$session

group by 'fwmugjh56jwnv',inst_id

union all

select 'fwmugjh56jwnv语句并发运行数' 类型,inst_id 节点号,count(*) 活动会话数 from gv$session

where sql_id='fwmugjh56jwnv' and status='ACTIVE' group by 'active_session',inst_id

结果

以上看出，运行fwmugih56jwnv一条语句的会话数，在1节点上就并发有295个，2节点并发379个，都是为了UPDATE同一行数据。

5.3、fwmugjh56jwnv并发量大，且持续增长原因分析

5.3.1、产生行争用原因与会话发生阻塞原因分析

（1）会话阻塞与锁持有信息（都是被2887会话所阻塞）

会话阻塞信息

锁持有信息

SQL> select blocking_session ,sid from v$session where event='enq: TX - row lock contention';

SQL> select sid,type,id1,id2,lmode,request from v$lock where type='TX';

BLOCKING_SESSION SID

---------------- ----------

2887 1

2887 2

2887 3

2887 4

2887 5

2887 7

2887 9

2887 53

2887 55

2887 56

2887 57

BLOCKING_SESSION SID

---------------- ----------

2887 98

2887 99

2887 101

2887 102

2887 103

2887 104

2887 147

2887 149

2887 150

2887 152

2887 153

BLOCKING_SESSION SID

---------------- ----------

2887 154

2887 155

2887 194

2887 195

2887 198

2887 200

2887 201

2887 243

2887 244

2887 245

2887 246

BLOCKING_SESSION SID

---------------- ----------

2887 250

2887 252

2887 290

2887 291

2887 292

2887 293

2887 295

2887 296

2887 297

2887 298

2887 339

BLOCKING_SESSION SID

---------------- ----------

2887 342

2887 343

2887 344

2887 345

2887 346

2887 347

2887 386

2887 388

2887 389

2887 391

2887 393

BLOCKING_SESSION SID

---------------- ----------

2887 434

2887 435

2887 436

2887 438

2887 439

2887 442

2887 483

2887 484

2887 485

2887 486

2887 487

BLOCKING_SESSION SID

---------------- ----------

2887 493

2887 533

2887 534

2887 535

2887 536

2887 537

2887 538

2887 539

2887 578

2887 579

2887 581

BLOCKING_SESSION SID

---------------- ----------

2887 582

2887 585

2887 586

2887 587

2887 627

2887 628

2887 629

2887 630

2887 631

2887 632

2887 633

BLOCKING_SESSION SID

---------------- ----------

2887 636

2887 675

2887 676

2887 678

2887 680

2887 682

2887 683

2887 684

2887 721

2887 724

2887 725

BLOCKING_SESSION SID

---------------- ----------

2887 726

2887 727

2887 729

2887 731

2887 771

2887 775

2887 776

2887 777

2887 779

2887 780

2887 781

BLOCKING_SESSION SID

---------------- ----------

2887 818

2887 819

2887 820

2887 821

2887 822

2887 824

2887 868

2887 869

2887 873

2887 874

2887 914

BLOCKING_SESSION SID

---------------- ----------

2887 916

2887 917

2887 918

2887 919

2887 920

2887 922

2887 967

2887 968

2887 969

2887 970

2887 1011

BLOCKING_SESSION SID

---------------- ----------

2887 1012

2887 1013

2887 1015

2887 1016

2887 1059

2887 1061

2887 1063

2887 1068

2887 1106

2887 1107

2887 1108

BLOCKING_SESSION SID

---------------- ----------

2887 1109

2887 1111

2887 1112

2887 1113

2887 1155

2887 1160

2887 1161

2887 1163

2887 1202

2887 1203

2887 1204

BLOCKING_SESSION SID

---------------- ----------

2887 1205

2887 1208

2887 1253

2887 1254

2887 1255

2887 1256

2887 1259

2887 1298

2887 1300

2887 1301

2887 1303

BLOCKING_SESSION SID

---------------- ----------

2887 1306

2887 1346

2887 1352

2887 1353

2887 1354

2887 1394

2887 1397

2887 1398

2887 1399

2887 1400

2887 1404

BLOCKING_SESSION SID

---------------- ----------

2887 1442

2887 1443

2887 1444

2887 1445

2887 1446

2887 1447

2887 1448

2887 1451

2887 1492

2887 1493

2887 1494

BLOCKING_SESSION SID

---------------- ----------

2887 1495

2887 1498

2887 1499

2887 1538

2887 1542

2887 1543

2887 1544

2887 1546

2887 1587

2887 1588

2887 1589

BLOCKING_SESSION SID

---------------- ----------

2887 1593

2887 1595

2887 1636

2887 1638

2887 1643

2887 1644

2887 1645

2887 1684

2887 1685

2887 1686

2887 1687

BLOCKING_SESSION SID

---------------- ----------

2887 1688

2887 1689

2887 1690

2887 1729

2887 1730

2887 1732

2887 1733

2887 1734

2887 1735

2887 1736

2887 1737

BLOCKING_SESSION SID

---------------- ----------

2887 1777

2887 1780

2887 1782

2887 1827

2887 1831

2887 1832

2887 1834

2887 1835

2887 1836

2887 1874

2887 1875

BLOCKING_SESSION SID

---------------- ----------

2887 1878

2887 1881

2887 1883

2887 1923

2887 1926

2887 1927

2887 1928

2887 1929

2887 1970

2887 1972

2887 1974

BLOCKING_SESSION SID

---------------- ----------

2887 1975

2887 2021

2887 2022

2887 2023

2887 2027

2887 2065

2887 2066

2887 2068

2887 2071

2887 2072

2887 2113

BLOCKING_SESSION SID

---------------- ----------

2887 2114

2887 2116

2887 2117

2887 2118

2887 2119

2887 2121

2887 2164

2887 2165

2887 2166

2887 2167

2887 2168

BLOCKING_SESSION SID

---------------- ----------

2887 2169

2887 2170

2887 2211

2887 2212

2887 2213

2887 2214

2887 2215

2887 2216

2887 2217

2887 2259

2887 2260

BLOCKING_SESSION SID

---------------- ----------

2887 2261

2887 2263

2887 2266

2887 2269

2887 2307

2887 2309

2887 2310

2887 2311

2887 2313

2887 2314

2887 2316

BLOCKING_SESSION SID

---------------- ----------

2887 2354

2887 2355

2887 2357

2887 2358

2887 2359

2887 2361

2887 2362

2887 2403

2887 2406

2887 2409

2887 2451

BLOCKING_SESSION SID

---------------- ----------

2887 2454

2887 2455

2887 2456

2887 2457

2887 2459

2887 2500

2887 2503

2887 2504

2887 2505

2887 2506

2887 2508

BLOCKING_SESSION SID

---------------- ----------

2887 2545

2887 2546

2887 2549

2887 2550

2887 2551

2887 2553

2887 2555

2887 2595

2887 2597

2887 2598

2887 2599

BLOCKING_SESSION SID

---------------- ----------

2887 2600

2887 2601

2887 2641

2887 2642

2887 2645

2887 2646

2887 2648

2887 2649

2887 2651

2887 2692

2887 2693

BLOCKING_SESSION SID

---------------- ----------

2887 2695

2887 2698

2887 2739

2887 2741

2887 2742

2887 2744

2887 2785

2887 2786

2887 2787

2887 2790

2887 2791

BLOCKING_SESSION SID

---------------- ----------

2887 2794

2887 2795

2887 2834

2887 2835

2887 2836

2887 2838

2887 2839

2887 2840

2887 2841

2887 2844

2887 2881

BLOCKING_SESSION SID

---------------- ----------

2887 2882

2887 2883

2887 2885

2887 2886

2887 2930

2887 2931

2887 2934

2887 2935

2887 2936

2887 2937

2887 2977

BLOCKING_SESSION SID

---------------- ----------

2887 2978

2887 2979

2887 2981

2887 2983

2887 2984

2887 2985

2887 2986

2887 3025

2887 3026

2887 3027

2887 3030

BLOCKING_SESSION SID

---------------- ----------

2887 3031

2887 3035

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

2887 TX 2490401 43458 6 0

579 TX 2490401 43458 0 6

1 TX 2490401 43458 0 6

1059 TX 2490401 43458 0 6

628 TX 2490401 43458 0 6

2213 TX 2490401 43458 0 6

1686 TX 2490401 43458 0 6

2211 TX 2490401 43458 0 6

1253 TX 2490401 43458 0 6

103 TX 2490401 43458 0 6

2022 TX 2490401 43458 0 6

1061 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

1161 TX 2490401 43458 0 6

2457 TX 2490401 43458 0 6

2834 TX 2490401 43458 0 6

2451 TX 2490401 43458 0 6

1493 TX 2490401 43458 0 6

1588 TX 2490401 43458 0 6

1832 TX 2490401 43458 0 6

1730 TX 2490401 43458 0 6

1011 TX 2490401 43458 0 6

2692 TX 2490401 43458 0 6

2981 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

726 TX 2490401 43458 0 6

1202 TX 2490401 43458 0 6

1875 TX 2490401 43458 0 6

1975 TX 2490401 43458 0 6

2937 TX 2490401 43458 0 6

2454 TX 2490401 43458 0 6

2316 TX 2490401 43458 0 6

194 TX 2490401 43458 0 6

2508 TX 2490401 43458 0 6

1111 TX 2490401 43458 0 6

680 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

818 TX 2490401 43458 0 6

1353 TX 2490401 43458 0 6

1112 TX 2490401 43458 0 6

2259 TX 2490401 43458 0 6

391 TX 2490401 43458 0 6

2651 TX 2490401 43458 0 6

1643 TX 2490401 43458 0 6

1256 TX 2490401 43458 0 6

2068 TX 2490401 43458 0 6

533 TX 2490401 43458 0 6

1589 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

2935 TX 2490401 43458 0 6

1068 TX 2490401 43458 0 6

438 TX 2490401 43458 0 6

2984 TX 2490401 43458 0 6

1404 TX 2490401 43458 0 6

2795 TX 2490401 43458 0 6

2065 TX 2490401 43458 0 6

534 TX 2490401 43458 0 6

2744 TX 2490401 43458 0 6

917 TX 2490401 43458 0 6

682 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

1926 TX 2490401 43458 0 6

1160 TX 2490401 43458 0 6

2307 TX 2490401 43458 0 6

630 TX 2490401 43458 0 6

442 TX 2490401 43458 0 6

2117 TX 2490401 43458 0 6

2504 TX 2490401 43458 0 6

1446 TX 2490401 43458 0 6

2785 TX 2490401 43458 0 6

819 TX 2490401 43458 0 6

1108 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

2550 TX 2490401 43458 0 6

1259 TX 2490401 43458 0 6

439 TX 2490401 43458 0 6

2599 TX 2490401 43458 0 6

1644 TX 2490401 43458 0 6

2739 TX 2490401 43458 0 6

9 TX 2490401 43458 0 6

1538 TX 2490401 43458 0 6

916 TX 2490401 43458 0 6

2355 TX 2490401 43458 0 6

2114 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

874 TX 2490401 43458 0 6

99 TX 2490401 43458 0 6

339 TX 2490401 43458 0 6

2835 TX 2490401 43458 0 6

922 TX 2490401 43458 0 6

636 TX 2490401 43458 0 6

293 TX 2490401 43458 0 6

1495 TX 2490401 43458 0 6

2791 TX 2490401 43458 0 6

2553 TX 2490401 43458 0 6

1684 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

297 TX 2490401 43458 0 6

2357 TX 2490401 43458 0 6

1499 TX 2490401 43458 0 6

1447 TX 2490401 43458 0 6

1016 TX 2490401 43458 0 6

153 TX 2490401 43458 0 6

1301 TX 2490401 43458 0 6

731 TX 2490401 43458 0 6

388 TX 2490401 43458 0 6

918 TX 2490401 43458 0 6

2698 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

487 TX 2490401 43458 0 6

1593 TX 2490401 43458 0 6

1204 TX 2490401 43458 0 6

3 TX 2490401 43458 0 6

252 TX 2490401 43458 0 6

292 TX 2490401 43458 0 6

342 TX 2490401 43458 0 6

343 TX 2490401 43458 0 6

386 TX 2490401 43458 0 6

484 TX 2490401 43458 0 6

631 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

684 TX 2490401 43458 0 6

820 TX 2490401 43458 0 6

821 TX 2490401 43458 0 6

1208 TX 2490401 43458 0 6

1303 TX 2490401 43458 0 6

1346 TX 2490401 43458 0 6

1352 TX 2490401 43458 0 6

1645 TX 2490401 43458 0 6

1685 TX 2490401 43458 0 6

1782 TX 2490401 43458 0 6

1928 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

2066 TX 2490401 43458 0 6

2118 TX 2490401 43458 0 6

2121 TX 2490401 43458 0 6

2170 TX 2490401 43458 0 6

2217 TX 2490401 43458 0 6

2261 TX 2490401 43458 0 6

2310 TX 2490401 43458 0 6

2311 TX 2490401 43458 0 6

2313 TX 2490401 43458 0 6

2361 TX 2490401 43458 0 6

2362 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

2455 TX 2490401 43458 0 6

2459 TX 2490401 43458 0 6

2551 TX 2490401 43458 0 6

2597 TX 2490401 43458 0 6

2598 TX 2490401 43458 0 6

2648 TX 2490401 43458 0 6

2836 TX 2490401 43458 0 6

2979 TX 2490401 43458 0 6

2 TX 2490401 43458 0 6

5 TX 2490401 43458 0 6

55 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

290 TX 2490401 43458 0 6

291 TX 2490401 43458 0 6

346 TX 2490401 43458 0 6

434 TX 2490401 43458 0 6

538 TX 2490401 43458 0 6

539 TX 2490401 43458 0 6

581 TX 2490401 43458 0 6

627 TX 2490401 43458 0 6

675 TX 2490401 43458 0 6

676 TX 2490401 43458 0 6

725 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

771 TX 2490401 43458 0 6

780 TX 2490401 43458 0 6

822 TX 2490401 43458 0 6

869 TX 2490401 43458 0 6

920 TX 2490401 43458 0 6

1015 TX 2490401 43458 0 6

1063 TX 2490401 43458 0 6

1107 TX 2490401 43458 0 6

1113 TX 2490401 43458 0 6

1205 TX 2490401 43458 0 6

1254 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

1354 TX 2490401 43458 0 6

1448 TX 2490401 43458 0 6

1498 TX 2490401 43458 0 6

1595 TX 2490401 43458 0 6

1735 TX 2490401 43458 0 6

1737 TX 2490401 43458 0 6

1777 TX 2490401 43458 0 6

1831 TX 2490401 43458 0 6

1883 TX 2490401 43458 0 6

2021 TX 2490401 43458 0 6

2113 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

2166 TX 2490401 43458 0 6

2168 TX 2490401 43458 0 6

2359 TX 2490401 43458 0 6

2406 TX 2490401 43458 0 6

2649 TX 2490401 43458 0 6

2741 TX 2490401 43458 0 6

2934 TX 2490401 43458 0 6

2936 TX 2490401 43458 0 6

2983 TX 2490401 43458 0 6

4 TX 2490401 43458 0 6

56 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

102 TX 2490401 43458 0 6

147 TX 2490401 43458 0 6

152 TX 2490401 43458 0 6

198 TX 2490401 43458 0 6

250 TX 2490401 43458 0 6

389 TX 2490401 43458 0 6

537 TX 2490401 43458 0 6

578 TX 2490401 43458 0 6

582 TX 2490401 43458 0 6

585 TX 2490401 43458 0 6

683 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

781 TX 2490401 43458 0 6

824 TX 2490401 43458 0 6

914 TX 2490401 43458 0 6

1109 TX 2490401 43458 0 6

1203 TX 2490401 43458 0 6

1255 TX 2490401 43458 0 6

1300 TX 2490401 43458 0 6

1394 TX 2490401 43458 0 6

1400 TX 2490401 43458 0 6

1451 TX 2490401 43458 0 6

1494 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

1636 TX 2490401 43458 0 6

1729 TX 2490401 43458 0 6

1733 TX 2490401 43458 0 6

1834 TX 2490401 43458 0 6

1835 TX 2490401 43458 0 6

1970 TX 2490401 43458 0 6

2023 TX 2490401 43458 0 6

2027 TX 2490401 43458 0 6

2119 TX 2490401 43458 0 6

2167 TX 2490401 43458 0 6

2169 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

2260 TX 2490401 43458 0 6

2409 TX 2490401 43458 0 6

2505 TX 2490401 43458 0 6

2546 TX 2490401 43458 0 6

2601 TX 2490401 43458 0 6

2646 TX 2490401 43458 0 6

2838 TX 2490401 43458 0 6

2839 TX 2490401 43458 0 6

2840 TX 2490401 43458 0 6

2986 TX 2490401 43458 0 6

3027 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

3030 TX 2490401 43458 0 6

3031 TX 2490401 43458 0 6

104 TX 2490401 43458 0 6

154 TX 2490401 43458 0 6

155 TX 2490401 43458 0 6

243 TX 2490401 43458 0 6

295 TX 2490401 43458 0 6

296 TX 2490401 43458 0 6

298 TX 2490401 43458 0 6

393 TX 2490401 43458 0 6

493 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

536 TX 2490401 43458 0 6

632 TX 2490401 43458 0 6

633 TX 2490401 43458 0 6

678 TX 2490401 43458 0 6

721 TX 2490401 43458 0 6

727 TX 2490401 43458 0 6

776 TX 2490401 43458 0 6

779 TX 2490401 43458 0 6

970 TX 2490401 43458 0 6

1012 TX 2490401 43458 0 6

1013 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

1163 TX 2490401 43458 0 6

1306 TX 2490401 43458 0 6

1398 TX 2490401 43458 0 6

1445 TX 2490401 43458 0 6

1544 TX 2490401 43458 0 6

1638 TX 2490401 43458 0 6

1688 TX 2490401 43458 0 6

1690 TX 2490401 43458 0 6

1732 TX 2490401 43458 0 6

1736 TX 2490401 43458 0 6

1780 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

1972 TX 2490401 43458 0 6

1974 TX 2490401 43458 0 6

2116 TX 2490401 43458 0 6

2266 TX 2490401 43458 0 6

2354 TX 2490401 43458 0 6

2456 TX 2490401 43458 0 6

2595 TX 2490401 43458 0 6

2693 TX 2490401 43458 0 6

2695 TX 2490401 43458 0 6

2790 TX 2490401 43458 0 6

2841 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

2883 TX 2490401 43458 0 6

2977 TX 2490401 43458 0 6

2978 TX 2490401 43458 0 6

7 TX 2490401 43458 0 6

195 TX 2490401 43458 0 6

246 TX 2490401 43458 0 6

345 TX 2490401 43458 0 6

347 TX 2490401 43458 0 6

435 TX 2490401 43458 0 6

535 TX 2490401 43458 0 6

587 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

775 TX 2490401 43458 0 6

777 TX 2490401 43458 0 6

868 TX 2490401 43458 0 6

967 TX 2490401 43458 0 6

968 TX 2490401 43458 0 6

969 TX 2490401 43458 0 6

1298 TX 2490401 43458 0 6

1397 TX 2490401 43458 0 6

1399 TX 2490401 43458 0 6

1442 TX 2490401 43458 0 6

1443 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

1444 TX 2490401 43458 0 6

1492 TX 2490401 43458 0 6

1546 TX 2490401 43458 0 6

1687 TX 2490401 43458 0 6

1689 TX 2490401 43458 0 6

1734 TX 2490401 43458 0 6

1874 TX 2490401 43458 0 6

1878 TX 2490401 43458 0 6

1927 TX 2490401 43458 0 6

2165 TX 2490401 43458 0 6

2215 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

2263 TX 2490401 43458 0 6

2269 TX 2490401 43458 0 6

2403 TX 2490401 43458 0 6

2503 TX 2490401 43458 0 6

2506 TX 2490401 43458 0 6

2549 TX 2490401 43458 0 6

2600 TX 2490401 43458 0 6

2786 TX 2490401 43458 0 6

2794 TX 2490401 43458 0 6

2881 TX 2490401 43458 0 6

2882 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

2985 TX 2490401 43458 0 6

53 TX 2490401 43458 0 6

57 TX 2490401 43458 0 6

98 TX 2490401 43458 0 6

101 TX 2490401 43458 0 6

149 TX 2490401 43458 0 6

150 TX 2490401 43458 0 6

200 TX 2490401 43458 0 6

201 TX 2490401 43458 0 6

244 TX 2490401 43458 0 6

245 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

344 TX 2490401 43458 0 6

436 TX 2490401 43458 0 6

483 TX 2490401 43458 0 6

485 TX 2490401 43458 0 6

486 TX 2490401 43458 0 6

586 TX 2490401 43458 0 6

629 TX 2490401 43458 0 6

724 TX 2490401 43458 0 6

729 TX 2490401 43458 0 6

873 TX 2490401 43458 0 6

919 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

1106 TX 2490401 43458 0 6

1155 TX 2490401 43458 0 6

1542 TX 2490401 43458 0 6

1543 TX 2490401 43458 0 6

1587 TX 2490401 43458 0 6

1827 TX 2490401 43458 0 6

1836 TX 2490401 43458 0 6

1881 TX 2490401 43458 0 6

1923 TX 2490401 43458 0 6

1929 TX 2490401 43458 0 6

2071 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

2072 TX 2490401 43458 0 6

2164 TX 2490401 43458 0 6

2212 TX 2490401 43458 0 6

2214 TX 2490401 43458 0 6

2216 TX 2490401 43458 0 6

2309 TX 2490401 43458 0 6

2314 TX 2490401 43458 0 6

2358 TX 2490401 43458 0 6

2500 TX 2490401 43458 0 6

2545 TX 2490401 43458 0 6

2555 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

2641 TX 2490401 43458 0 6

2642 TX 2490401 43458 0 6

2645 TX 2490401 43458 0 6

2742 TX 2490401 43458 0 6

2787 TX 2490401 43458 0 6

2844 TX 2490401 43458 0 6

2885 TX 2490401 43458 0 6

2886 TX 2490401 43458 0 6

2930 TX 2490401 43458 0 6

2931 TX 2490401 43458 0 6

3025 TX 2490401 43458 0 6

SID TY ID1 ID2 LMODE REQUEST

---------- -- ---------- ---------- ---------- ----------

3026 TX 2490401 43458 0 6

3035 TX 2490401 43458 0 6

5.3.2、2887会话阻塞其它会话原因分析

SQL> select event,status from v$session where sid=2887;

EVENT STATUS

---------------------------------------------------------------- --------

SQL*Net message from client INACTIVE

以上显示，2887为空闲等待事件，状态为“INACTIVE”，说明事务没有COMMIT；

6、持续发展将会致使系统产生故障趋势详细数据分析

活动会话持续增长将导致应用无法连接数据库趋势分析

以下为详细数据：

日期_小时

每小时总活动会话数

日期_小时

每小时总活动会话数

日期_小时

每小时总活动会话数

2013-12-22 04

2013-12-23 10

5466

2013-12-24 16

57739

2013-12-22 05

2013-12-23 11

1169

2013-12-24 17

59987

2013-12-22 06

2013-12-23 12

422

2013-12-24 18

61687

2013-12-22 07

2013-12-23 13

405

2013-12-24 19

62112

2013-12-22 08

2013-12-23 14

866

2013-12-24 20

62105

2013-12-22 09

148

2013-12-23 15

2942

2013-12-24 21

62501

2013-12-22 10

334

2013-12-23 16

9794

2013-12-24 22

62518

2013-12-22 11

263

2013-12-23 17

16233

2013-12-24 23

63489

2013-12-22 12

140

2013-12-23 18

17448

2013-12-25 00

62372

2013-12-22 13

177

2013-12-23 19

18434

2013-12-25 01

62995

2013-12-22 14

297

2013-12-23 20

18919

2013-12-25 02

62356

2013-12-22 15

270

2013-12-23 21

20854

2013-12-25 03

62348

2013-12-22 16

347

2013-12-23 22

22415

2013-12-25 04

62361

2013-12-22 17

199

2013-12-23 23

23364

2013-12-25 05

62333

2013-12-22 18

140

2013-12-24 00

22396

2013-12-25 06

62352

2013-12-22 19

2013-12-24 01

22383

2013-12-25 07

62357

2013-12-22 20

139

2013-12-24 02

22319

2013-12-25 08

62688

2013-12-22 21

271

2013-12-24 03

22402

2013-12-25 09

65587

2013-12-22 22

150

2013-12-24 04

22306

2013-12-25 10

69444

2013-12-22 23

1024

2013-12-24 05

22313

2013-12-25 11

75357

2013-12-23 00

1299

2013-12-24 06

22367

2013-12-25 12

78118

2013-12-23 01

105

2013-12-24 07

22304

2013-12-25 13

78465

2013-12-23 02

2013-12-24 08

23134

2013-12-25 14

84704

2013-12-23 03

2013-12-24 09

28220

2013-12-25 15

90888

2013-12-23 04

2013-12-24 10

33703

2013-12-25 16

94930

2013-12-23 05

2013-12-24 11

40185

2013-12-25 17

103639

2013-12-23 06

2013-12-24 12

44186

2013-12-25 18

102794

2013-12-23 07

2013-12-24 13

45051

2013-12-23 08

562

2013-12-24 14

49255

2013-12-23 09

1493

2013-12-24 15

54720

7、建议解决方案

根据上述分析，2887会话事务没有提交，很有可能是SQL_ID为fwmugjh56jwnv的语句后面，程序中没有COMMIT语句。

建议开发商检查程序，确认update语句后有commit代码并调整。

本文作者：黎俊杰（网名：踩点），从事”系统架构、操作系统、存储设备、数据库、中间件、应用程序“六个层面系统性的性能优化工作

欢迎加入系统性能优化专业群，共同探讨性能优化技术。群号：258187244

0 0

Active session量持续走高即将故障原因分析与优化建议

1. 基本环境描述

1.1、 数据库环境配置情况

1.2、 Weblogic环境配置情况

2. 问题现象描述

2.1、 数据库活动会话持续升高

2.2、 数据库总会话数持续升高

2.3、 2013年11月25日20：43总会话数与活动会话数数据截图

2.4、 2013年11月26日14：00总会话数与活动会话数数据截图

2.5、 两次取值，总会话数与活动会话数相比数据

3、问题隐患

3.1、Weblogic连接数到达最大限制导致系统故障

3.2、数据库连接到达最大限制导致系统故障

4、问题发现

5、问题原因分析

5.1、追踪到enq：TX – row lock contention单次耗时5.7小时的程序语句

5.2、SQLID为fwmugjh56jwnv的问题语句分析

5.2.1 SQLID为fwmugjh56jwnv的文本代码

5.2.2 SQLID为fwmugjh56jwnv的活动数量统计

5.3、fwmugjh56jwnv并发量大，且持续增长原因分析

5.3.1、产生行争用原因与会话发生阻塞原因分析

5.3.2、2887会话阻塞其它会话原因分析

6、持续发展将会致使系统产生故障趋势详细数据分析

7、建议解决方案

1.1、数据库环境配置情况

2.1、数据库活动会话持续升高

2.2、数据库总会话数持续升高

2.5、两次取值，总会话数与活动会话数相比数据