CSDN客户端开发-------后台

在客户端软件开发过程中，总体模块上分为前台界面的显示和后台数据的获取。

因为后台如果不涉及登录操作或者cookie操作，相对来说开发是比较简单的。主要就是使用Jsoup工具进行网页解析，获取相应标签中的数据，再填充入实体类中。这样基本就能实现数据源的采集。

在com.dave.util包下基本都包含了后台数据采集的模块。

其中：

1.Http类用于获取网络连接，获取CSDN的网页数据。主要使用HttpClient进行网络操作（未实现cookie的获取与保存）。

2.DataUtil类用于解析网页数据，使用Jsoup。

3.URLUtil类用于管理相关的url。

下面主要记录下DataUtil中的获取数据方法

/** * 获取分类新闻列表内容 * @param  * @return */public static List<NewsItem> getNewsItemList(int newsType, String str){List<NewsItem> list = new ArrayList<NewsItem>();Document doc = Jsoup.parse(str);Elements newsList = doc.getElementsByClass("unit");for(Element newsItem : newsList){NewsItem news = new NewsItem();String title = newsItem.select("h1").text();String msg = newsItem.select("h4").text();String content = newsItem.select("dd").text();String link = newsItem.select("a").attr("href");String date = newsItem.getElementsByClass("ago").get(0).text();news.setTitle(title);news.setMsg(msg);news.setContent(content);news.setLink(link);news.setDate(date);news.setType(newsType);Elements imgs = newsItem.select("img");for(Element img : imgs){String imgLink = img.attr("src");news.setImgLink(imgLink);}list.add(news);}return list;}

方法中参数1代表获取新闻资讯的类别，在csdn中总的大类分为业界、移动、研发、程序员杂志、云计算五大块（在常量类中进行区分）。

参数2即是通过HttpClient获得的网页源码转为的字符串。例如解析的网页为：http://news.csdn.net/

该方法通过Jsoup载入网页字符串，在通过Jsoup的多个api获得相应标签，以及标签下的内容，与js操作相差无几。

例如select("h1")即是获得标签为h1的所有对象。attr("src") 即是获得标签中src的属性值。

具体解析网页时可根据浏览器的控制台查看网页结构。有针对的解析相应的标签。

JsoupApi：http://jsoup.org/apidocs/

最后再将获取的到标签内容数据填充到实体类中到前台显示。