htmlagilitypack解析Html

来源:互联网 发布:oppor9怎么开启4g网络 编辑:程序博客网 时间:2024/05/09 00:24

一、使用说明:
       1、http://htmlagilitypack.codeplex.com/下载类库及API; 
       2、项目中引用using HtmlAgilityPack。

二、获取上传的文件流并根据文件编码返回html根节点代码展示(不包括htmlagilitypack文档操作代码):
  

        Stream fileStream = context.Request.Files[0].InputStream; //获取上传的文件流        /// <summary>        /// 转换stream为HtmlNode并返回HtmlDocument根节点        /// </summary>        /// <param name="str"></param>        /// <returns></returns>        public static HtmlNode streamToHtmlNode(Stream stream)        {               HtmlDocument doc = new HtmlDocument();            //获取文件流编码            Encoding encode = GetEncodeFromStream(stream);            stream.Position = 0;            doc.Load(stream,encode);            #region 移除html字符串中不必要的脚本、样式、注释代码            foreach (var script in doc.DocumentNode.Descendants("script").ToArray())                script.Remove();            foreach (var style in doc.DocumentNode.Descendants("style").ToArray())                style.Remove();            foreach (var comment in doc.DocumentNode.SelectNodes("//comment()").ToArray())                comment.Remove();            #endregion            HtmlNode rootNode = doc.DocumentNode;            return rootNode;        }         /// <summary>        /// 给定的文件流,读取文件的二进制数据,判断文件的编码类型        /// </summary>        /// <param name="fs"></param>        /// <returns></returns>        public static System.Text.Encoding GetEncodeFromStream(Stream fs)        {            byte[] Unicode = new byte[] { 0xFF, 0xFE, 0x41 };            byte[] UnicodeBIG = new byte[] { 0xFE, 0xFF, 0x00 };            byte[] UTF8 = new byte[] { 0xEF, 0xBB, 0xBF }; //带BOM            Encoding reVal = Encoding.Default;            BinaryReader r = new BinaryReader(fs, System.Text.Encoding.Default);            int i;            int.TryParse(fs.Length.ToString(), out i);            byte[] ss = r.ReadBytes(i);            if (IsUTF8Bytes(ss) || (ss[0] == 0xEF && ss[1] == 0xBB && ss[2] == 0xBF))            {                reVal = Encoding.UTF8;            }            else if (ss[0] == 0xFE && ss[1] == 0xFF && ss[2] == 0x00)            {                reVal = Encoding.BigEndianUnicode;            }            else if (ss[0] == 0xFF && ss[1] == 0xFE && ss[2] == 0x41)            {                reVal = Encoding.Unicode;            }            return reVal;        }        /// <summary>        ///  判断字节数组是否是不带BOM的UTF8格式        /// </summary>        /// <param name="data"></param>        /// <returns></returns>        public static bool IsUTF8Bytes(byte[] data)        {            int charByteCounter = 1;  //计算当前正分析的字符应还有的字节数            byte curByte; //当前分析的字节.            for (int i = 0; i < data.Length; i++)            {                curByte = data[i];                if (charByteCounter == 1)                {                    if (curByte >= 0x80)                    {                        //判断当前                        while (((curByte <<= 1) & 0x80) != 0)                        {                            charByteCounter++;                        }                        //标记位首位若为非0 则至少以2个1开始 如:110XXXXX...........1111110X                         if (charByteCounter == 1 || charByteCounter > 6)                        {                            return false;                        }                    }                }                else                {                    //若是UTF-8 此时第一位必须为1                    if ((curByte & 0xC0) != 0x80)                    {                        return false;                    }                    charByteCounter--;                }            }            if (charByteCounter > 1)            {                //throw new Exception("非预期的byte格式");            }            return true;        }

原创粉丝点击