基于OpenCV进行文本分块切割

来源：互联网发布：网络销售计划和目标编辑：程序博客网时间：2024/06/06 04:12

假设有如下一张图，如何把其中的文本分块切割出来，比如“华普超市朝阳门店”、“2015-07-26”就是两个文本块。

做图像切割有很多种方法，本文描述一种最直观的投影检测法。先来看看什么是投影，简单来说，投影就是在一定方向上有效像素的数量。来看个直观的图像：

这是一张水平投影图与原图的对比，从投影图上能看到多个波峰，文字多的地方，投影就长，行间的空白处，投影为0。上个示例代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
public void HorizontalProjection()
{
    //以灰度图方式读入源文件
    string filename = "source.jpg";
    var src = IplImage.FromFile(filename, LoadMode.GrayScale);
 
    //二值化，采用阈值分割法
    Cv.Threshold(src, src, 0, 255, ThresholdType.BinaryInv | ThresholdType.Otsu);
 
    //存储投影值的数组
    var h = new int[src.Height];
 
    //对每一行计算投影值
    for(int y = 0;y < src.Height;++y)
    {
        //遍历这一行的每一个像素，如果是有效的，累加投影值
        for(int x = 0;x < src.Width;++x)
        {
            var s = Cv.Get2D(src, y, x);
            if(s.Val0 == 255)
                h[y]++;
        }
    }
 
    //准备一个图像用于画投影图
    var paintY = Cv.CreateImage(src.Size, BitDepth.U8, 1);
    Cv.Zero(paintY);
 
    //画图
    var t = new CvScalar(255);
    for(int y = 0;y < src.Height;++y)
    {
        for(int x = 0;x < h[y];++x)
            Cv.Set2D(paintY, y, x, t);
    }
 
    //显示
    using(var window = new CvWindow("Source"))
    {
        window.Image = src;
        using(var win2 = new CvWindow("Projection"))
        {
            win2.Image = paintY;
            Cv.WaitKey();
        }
    }
}

显然找出波峰对应的y值，就能把行切割开了。得到一行以后，可以采用类似的思想进行垂直投影，挑了一行测试一下，效果如下：

可以看到效果不是特别好，左右结构的汉字有可能被切开，一个完整的数值也有可能分成多个数字，这种情况需要做一下处理，比如识别的时候要判断如果间距较小就认为仍是同一文本块，或者对图像进行一下横向膨胀处理：

1
2
var kernal = Cv.CreateStructuringElementEx(3, 1, 1, 0, ElementShape.Rect);
Cv.Dilate(src, src, kernal, 4);

再计算投影，得到的效果就好多了：

最后上完整代码以及切割效果展示：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
using System;
using System.Collections.Generic;
using System.IO;
using System.Text;
 
using OpenCvSharp;
using OpenCvSharp.Extensions;
using OpenCvSharp.Utilities;
 
namespace OpenCvTest
{
    class Program
    {
        static void Main(string[] args)
        {
            //打开源文件
            string filename = "source.jpg";
            var src = IplImage.FromFile(filename);
 
            //转成灰度图
            var gray = Cv.CreateImage(src.Size, BitDepth.U8, 1);
            Cv.CvtColor(src, gray, ColorConversion.BgrToGray);
 
            //二值化，阈值分割算法
            Cv.Threshold(gray, gray, 0, 255, ThresholdType.BinaryInv | ThresholdType.Otsu);
 
            //分行
            var rows = GetRowRects(gray);
 
            //针对每一行再分块
            var items = new List<CvRect>();
            foreach (var row in rows)
            {
                var cols = GetBlockRects(gray.Clone(row), row.Y);
                items.AddRange(cols);
            }
 
            //把识别出的每一块画到原图上去
            var color = new CvScalar(255, 0, 0);
            foreach (var rect in items)
            {
                Cv.DrawRect(src, rect, color, 1);
            }
 
            //显示
            using (var window = new CvWindow("Image"))
            {
                window.Image = src;
                Cv.WaitKey();
            }
        }
 
        /// <summary>
        /// 识别行
        /// </summary>
        /// <param name="source"></param>
        /// <returns></returns>
        private static List<CvRect> GetRowRects(IplImage source)
        {
            var rows = new List<CvRect>();
 
            //用于存储投影值
            var projection = new int[source.Height];
 
            //遍历每一行计算投影值
            for (int y = 0; y < source.Height; ++y)
            {
                for (int x = 0; x < source.Width; ++x)
                {
                    var s = Cv.Get2D(source, y, x);
                    if (s.Val0 == 255)
                        projection[y]++;
                }
            }
 
            bool inLine = false;
            int start = 0;
 
            //开始根据投影值识别分割点
            for (int i = 0; i < projection.Length; ++i)
            {
                if (!inLine && projection[i] > 10)
                {
                    //由空白进入字符区域了，记录标记
                    inLine = true;
                    start = i;
                }
                else if ((i - start > 5) && projection[i] < 10 && inLine)
                {
                    //由字符区域进入空白区域了
                    inLine = false;
 
                    //忽略高度太小的行，比如分隔线
                    if (i - start > 10)
                    {
                        //记录下位置
                        var rect = new CvRect(0, start - 1 , source.Width, i - start + 2);
                        rows.Add(rect);
                    }
                }
            }
             
            return rows;
        }
 
        /// <summary>
        /// 识别块
        /// </summary>
        /// <param name="source"></param>
        /// <param name="rowY"></param>
        /// <returns></returns>
        private static List<CvRect> GetBlockRects(IplImage source, int rowY)
        {
            var blocks = new List<CvRect>();
 
            //用于存储投影值
            var projection = new int[source.Width];
             
            //先进行横向膨胀
            var kernal = Cv.CreateStructuringElementEx(3, 1, 1, 0, ElementShape.Rect);
            Cv.Dilate(source, source, kernal, 4);
 
            //遍历每一列计算投影值
            for (int x = 0; x < source.Width; ++x)
            {
                for (int y = 0; y < source.Height; ++y)
                {
                    var s = Cv.Get2D(source, y, x);
                    if (s.Val0 == 255)
                        projection[x]++;
                }
            }
 
            bool inBlock = false;
            int start = 0;
 
            //开始根据投影值识别分割点
            for (int i = 0; i < projection.Length; ++i)
            {
                if (!inBlock && projection[i] >= 2)
                {
                    //由空白区域进入字符区域了
                    inBlock = true;
                    start = i;
                }
                else if ((i - start > 10) && inBlock && projection[i] < 2)
                {
                    //由字符区域进入空白区域了
                    inBlock = false;
 
                    //记录位置，注意由于传入的是source只是一行，因此最终的位置信息要+rowY
                    if(blocks.Count > 0)
                    {
                        //跟上一个比一下，如果距离过近，认为是同一个文本块，合并
                        var last = blocks[blocks.Count - 1];
 
                        if (start - last.X - last.Width <= 5)
                        {
                            blocks.RemoveAt(blocks.Count - 1);
                            var rect = new CvRect(last.X, rowY, i - last.X, source.Height);
                            blocks.Add(rect);
                        }
                        else
                        {
                            var rect = new CvRect(start, rowY, i - start, source.Height);
                            blocks.Add(rect);
                        }
                    }
                    else
                    {
                        var rect = new CvRect(start, rowY, i - start, source.Height);
                        blocks.Add(rect);
                    }                }
            }
 
            return blocks;
        }
    }
}

得到的图像如下，效果还行，将来继续优化吧：

原文链接：http://boytnt.blog.51cto.com/966121/1679697

阅读全文

0 0