短网址知识

来源:互联网 发布:飞机票抢票软件 编辑:程序博客网 时间:2024/05/17 06:09
短网址简介
  短网址(Short URL),顾名思义就是在形式上比较短的网址。通常用的是asp或者php转向,在Web 2.0的今天,不得不说,这是一个潮流。目前已经有许多类似服务,借助短网址您可以用简短的网址替代原来冗长的网址,让使用者可以更容易的分享链接。
  短网址服务,可能很多朋友都已经不再陌生,现在大部分微博、手机邮件提醒等地方已经有很多应用模式了,并占据了一定的市场。估计很多朋友现在也正在使用。
  其实,个人认为短网址不一定真的好记,几位数字+字符的组合,甚至很难记忆。但无可否认在微博和手机短信提醒等限制字数的地方来使用短网址,的确是一个不错的方案。

  短网址规范的说法应该叫缩略网址服务,又称网址缩短、缩短网址、URL缩短等,就是用一个比较短的URL来代替那些比较长的URL,而当用户访问缩短后的URL时,则将重定向到原来的URL。(摘自维基百科缩略网址服务词条)

  最早的URL缩短服务可以追溯到2002年1月开始的TinyURL,但是短网址的兴起则是随着SNS、微博等近年来火爆的应用才渐渐被人们熟知的,例如新浪的短网址域名是http://t.cn,腾讯短网址域名是http://url.cn。利用短网址,可以解决了微博流行的140字的限制问题,而且有的主流服务商提供点击统计功能,所以应用变得越来越广泛。


为什么要这样做的,原因有以下几点:

1、腾讯微博限制字数为140字一条,那么如果我们需要发一些连接上去,但是这个连接非常的长,以至于将近要占用我们内容的一半篇幅,这肯定是不能被允许的,所以短网址应运而生了。

2、短网址可以在我们项目里可以很好的对开放级URL进行管理。有一部分网址可以会涵盖seqing,暴力,广告等信息,这样我们可以通过用户的举报,完全管理这个连接将不出现在我们的应用中,应为同样的URL通过加密算法之后,得到的地址是一样的。

3、我们可以对一系列的网址进行流量,点击等统计,挖掘出大多数用户的关注点,这样有利于我们对项目的后续工作更好的作出决策。


算法原理

算法一
  1)将长网址md5生成32位签名串,分为4段, 每段8个字节;
  2)对这四段循环处理, 取8个字节, 将他看成16进制串与0x3fffffff(30位1)与操作, 即超过30位的忽略处理;
  3)这30位分成6段, 每5位的数字作为字母表的索引取得特定字符, 依次进行获得6位字符串;
  4)总的md5串可以获得4个6位串; 取里面的任意一个就可作为这个长url的短url地址;

很简单的理论,我们并不一定说得到的URL是唯一的,但是我们能够取出4组URL,这样几乎不会出现太大的重复。

下面来看看程序部分[Java代码 ]:

public static string[] ShortUrl(string url)           {               //可以自定义生成MD5加密字符传前的混合KEY               string key = "Leejor";               //要使用生成URL的字符               string[] chars = new string[]{                   "a","b","c","d","e","f","g","h",                   "i","j","k","l","m","n","o","p",                   "q","r","s","t","u","v","w","x",                   "y","z","0","1","2","3","4","5",                   "6","7","8","9","A","B","C","D",                   "E","F","G","H","I","J","K","L",                   "M","N","O","P","Q","R","S","T",                   "U","V","W","X","Y","Z"                  };               //对传入网址进行MD5加密               string hex = System.Web.Security.FormsAuthentication.HashPasswordForStoringInConfigFile(key + url, "md5");                 string[] resUrl = new string[4];                 for (int i = 0; i < 4; i++)               {                   //把加密字符按照8位一组16进制与0x3FFFFFFF进行位与运算                   int hexint = 0x3FFFFFFF & Convert.ToInt32("0x" + hex.Substring(i * 8, 8), 16);                   string outChars = string.Empty;                   for (int j = 0; j < 6; j++)                   {                       //把得到的值与0x0000003D进行位与运算,取得字符数组chars索引                       int index = 0x0000003D & hexint;                       //把取得的字符相加                       outChars += chars[index];                       //每次循环按位右移5位                       hexint = hexint >> 5;                   }                   //把字符串存入对应索引的输出数组                   resUrl[i] = outChars;               }                 return resUrl;           }  public static string[] ShortUrl(string url)        {            //可以自定义生成MD5加密字符传前的混合KEY            string key = "Leejor";            //要使用生成URL的字符            string[] chars = new string[]{                "a","b","c","d","e","f","g","h",                "i","j","k","l","m","n","o","p",                "q","r","s","t","u","v","w","x",                "y","z","0","1","2","3","4","5",                "6","7","8","9","A","B","C","D",                "E","F","G","H","I","J","K","L",                "M","N","O","P","Q","R","S","T",                "U","V","W","X","Y","Z"              };            //对传入网址进行MD5加密            string hex = System.Web.Security.FormsAuthentication.HashPasswordForStoringInConfigFile(key + url, "md5");            string[] resUrl = new string[4];            for (int i = 0; i < 4; i++)            {                //把加密字符按照8位一组16进制与0x3FFFFFFF进行位与运算                int hexint = 0x3FFFFFFF & Convert.ToInt32("0x" + hex.Substring(i * 8, 8), 16);                string outChars = string.Empty;                for (int j = 0; j < 6; j++)                {                    //把得到的值与0x0000003D进行位与运算,取得字符数组chars索引                    int index = 0x0000003D & hexint;                    //把取得的字符相加                    outChars += chars[index];                    //每次循环按位右移5位                    hexint = hexint >> 5;                }                //把字符串存入对应索引的输出数组                resUrl[i] = outChars;            }            return resUrl;        }


现在可以直接使用该方法,可以等到下面四组值

ShortUrl(http://www.me3.cn")[0];  //得到值fAVfui

ShortUrl("http://www.me3.cn")[1];  //得到值3ayQry

ShortUrl("http://www.me3.cn")[2];  //得到值UZzyUr

ShortUrl("http://www.me3.cn")[3];  //得到值36rQZn


算法二  a-zA-Z0-9 这64位取6位组合,可产生500多亿个组合数量.把数字和字符组合做一定的映射,就可以产生唯一的字符串,如第62个组合就是aaaaa9,第63个组合就是aaaaba,再利用洗牌算法,把原字符串打乱后保存,那么对应位置的组合字符串就会是无序的组合。

  把长网址存入数据库,取返回的id,找出对应的字符串,例如返回ID为1,那么对应上面的字符串组合就是bbb,同理 ID为2时,字符串组合为bba,依次类推,直至到达64种组合后才会出现重复的可能,所以如果用上面的62个字符,任意取6个字符组合成字符串的话,你的数据存[1]量达到500多亿后才会出现重复的可能。


今天看到新闻说谷歌的网址缩短服务(http://goo.gl/)向公众开放了,就想看看这短地址是怎么一回事,因为玩新浪微博的时候也经常碰到这个东西。

用我的博客地址http://blog.sina.com.cn/bluemonster0808生成的短地址是goo.gl/HdAU(值得注意的是同一个长地址每次生成的短地址都不一样,谷歌不加上重复网址判定可能主要是考虑到时间的问题吧。目前是4位长度,由A~Za~z0~9组成,只能容纳624,一千多万个地址,未来应该会增加长度) 

ADDED 20101002

最新发现,现在同一个长地址每次生成的短地址都是一样的了,谷歌增加了重复判定。比如http://blog.sina.com.cn/bluemonster0808现在每次生成的都是http://goo.gl/PiOA,但是之前的http://goo.gl/HdAU仍然可以使用

通过抓包发现,首先是DNS解析goo.gl,得到74.125.153.13874.125.153.102google的服务器地址。然后向其中的一个发送HTTP GET请求,查询HdAU,服务器随之返回一个301页面跳转回应,告知浏览器跳转到对应的长地址http://blog.sina.com.cn/bluemonster0808。原理挺简单的,主要是一个长地址到短地址的转换算法和一个数据库存储、查询。但是要想做的稳定好用应该还是要花很多功夫的。

 

有一个发现,用IE内核浏览器(我试了IE8和搜狗),在访问一个网址前,360都会插手,都要先DNS解析qurl.f.360.cn这个网址,发现它是qurl.qh-lb.com的别名,ip221.194.173.11221.194.173.13,然后向360的服务器发送post消息,post /check_outchain.php,内容很多,但是不明白是什么意思。360的服务器只返回一个200 OK,然后服务器主动断开连接。这难道就是360上网安全保护么?我表示有点怀疑,因为如果要检查网址的合法性,只需要把这个网址报告给360的服务器让其检查即可,检查完了360应该返回一个正确的消息(当然,如果网址合法的话360服务器直接关闭连接也是合理之举),错误的话返回一个失败的消息。但是观察post包,里面并没有我要访问的网址信息,有很多我并不知道什么意思的内容。

还有一个发现是搜狗浏览器的代理果然牛逼啊,用搜狗访问google的短网址,不是从谷歌的服务器上直接获取对应的长地址的,而是经过118.228.148.62这个代理服务器中转得来。到ip138上查询118.228.148.62是搜狐的服务器。

ADDED 20101211

网上看到有人自己动手做了一个网址缩短的东西http://www.evlos.org/2009/12/20/finished-my-own-urlshort/,虽然挂掉了,但是值得一看



操作方法
  只要你会上网就能实现,找到提供短网址服务的网站,然后根据网站相应的提示即可操作。一般操作是在转址站的指定输入框内直接提交你的长网址即可。

生成短网址:
  现在短网址提供商有很多,最著名的当属Google的http://goo.gl/了,谷歌称之为互联网上最稳定、最安全、最快速的短网址服务。例如90博客的谷歌短网址是http://goo.gl/YazXt,另外谷歌还提供详细的统计数据,只要在短网址的中间加上"info"就行,比如90博客的统计信息就是http://goo.gl/info/YazXt,还有一个好玩的是谷歌会自动帮你生成二维码,只要加上在网址的最后加上".qr"后缀就行了,比如90博客的二维码地址是http://goo.gl/YazXt.qr。
  除了谷歌以外,比较大的还有https://bitly.com/和http://is.gd/,或者你直接在新浪微博和腾讯微博里输入网站地址,也会直接帮你替换成短网址的,囧。
  另外什么都要插一脚的百度也有短网址服务,做产品一向很垃圾的百度这次当然还是垃圾,就因为现在90博客没被百度收录你就说它有安全隐患吗?网址不说了,坚决不推荐用!

还原短网址:
  既然出现了生成短网址的服务,那么必然就会有短网址还原的服务。因为短网址虽然简洁,但是它也确实存在一些问题。因为你无法通过一个短网址来判断一个网站的安全性,万一那网站被挂马了怎么办?所以短网址的出现也带来了一些潜在的安全风险,另外一个原因是很多网站被伟大的国家(和谐GFW)防火墙和谐了,你无法通过点击来知道实际的网址是什么,所以短网址还原的服务就应运而生了。
  提供短网址还原的网站也有不少,举例2个。
http://longurl.org/expand 国外的短网址还原网站,输入需要还原的短网址,点击Expand,就能显示原始URL了;
http://unshort.me/ 这个也是国外的网站。


API接口
  没有特殊的命令,不同的短网址提供者会有不同的API,这样你就可以利用到自己的网站上。

  当然有的网址也没有API的


http://baike.baidu.com/view/2693499.htm

http://www.90blog.org/archives/159.html


http://www.jzxue.com/wangzhankaifa/jsp/201103/02-6461_2.html


http://blog.sina.com.cn/s/blog_65db99840100lg4n.html


简单生成短网址方法 

<?php function base62($x) {     $show= '';     while($x> ) {         $s= $x% 62;         if($s> 35) {             $s= chr($s+6);                     } elseif($s> 9 && $s<=35) {             $s= chr($s+ 55);         }         $show.= $s;         $x= floor($x/62);     }     return $show;     }    function urlShort($url) {     $url= crc32($url);     $result= sprintf("%u", $url);     return base62($result); }    echo urlShort("http://hi.baidu.com/cubeking/");?>

 短网址算法枚举代码如下:

<?phpfunction shorturl($input) {  $base32 = array (    'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h',    'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p',    'q', 'r', 's', 't', 'u', 'v', 'w', 'x',    'y', 'z', '0', '1', '2', '3', '4', '5'    );   $hex = md5($input);  $hexLen = strlen($hex);  $subHexLen = $hexLen / 8;  $output = array();   for ($i = 0; $i < $subHexLen; $i++) {    $subHex = substr ($hex, $i * 8, 8);    $int = 0x3FFFFFFF & (1 * ('0x'.$subHex));    $out = '';     for ($j = 0; $j < 6; $j++) {      $val = 0x0000001F & $int;      $out .= $base32[$val];      $int = $int >> 5;    }     $output[] = $out;  }   return $output;}?>

 另一个是纯随机数算法

<?phpfunction random($length, $pool = '')    {        $random = '';         if (empty($pool)) {            $pool    = 'abcdefghkmnpqrstuvwxyz';            $pool   .= '23456789';        }         srand ((double)microtime()*1000000);         for($i = 0; $i < $length; $i++)         {            $random .= substr($pool,(rand()%(strlen ($pool))), 1);        }         return $random;    }?> 

各大微博短网址(ShortUrl)的算法 ,第一种算法的C#实现

<?php// 这是c#代码,受编辑器的限制,只能用phppublic static string[] ShortUrl(string url)        {            //可以自定义生成MD5加密字符传前的混合KEY            string key = "Leejor";            //要使用生成URL的字符            string[] chars = new string[]{                "a","b","c","d","e","f","g","h",                "i","j","k","l","m","n","o","p",                "q","r","s","t","u","v","w","x",                "y","z","0","1","2","3","4","5",                "6","7","8","9","A","B","C","D",                "E","F","G","H","I","J","K","L",                "M","N","O","P","Q","R","S","T",                "U","V","W","X","Y","Z"              };            //对传入网址进行MD5加密            string hex = System.Web.Security.FormsAuthentication.HashPasswordForStoringInConfigFile(key + url, "md5");            string[] resUrl = new string[4];            for (int i = 0; i < 4; i++)            {                //把加密字符按照8位一组16进制与0x3FFFFFFF进行位与运算                int hexint = 0x3FFFFFFF & Convert.ToInt32("0x" + hex.Substring(i * 8, 8), 16);                string outChars = string.Empty;                for (int j = 0; j < 6; j++)                {                    //把得到的值与0x0000003D进行位与运算,取得字符数组chars索引                    int index = 0x0000003D & hexint;                    //把取得的字符相加                    outChars += chars[index];                    //每次循环按位右移5位                    hexint = hexint >> 5;                }                //把字符串存入对应索引的输出数组                resUrl[i] = outChars;            }            return resUrl;        }?>

 高进制数字转换,使用六十二进制将十进制数字变“短”。例如数据库中第 56800235583 条信息,对应的短网址后缀可以是 ZZZZZZ 。

下面是存储示例:

<?php//id 自增序列/自增编号//url 目标链接//*suffix* 短网址后缀 (并不需要存储在数据库内)+------------+-----------------------+---------+|id          | url                   | *suffix*|+------------+-----------------------+---------+|123456      | http://zoeey.com/     | w7e     |+------------+-----------------------+---------+|123457      | http://www.zoeey.com/ | w7f     |+------------+-----------------------+---------+|56800235582 | http://zoeey.org/     | ZZZZZY  |+------------+-----------------------+---------+|56800235583 | http://www.zoeey.org/ | ZZZZZZ  |+------------+-----------------------+---------+?> 

短网址使用流程:

提交网址存储后获取其编号 如:123456
用dec2Any将编号转换为62进制,并拼接网址 如:http://go.to/w7e
用户访问到 http://go.to/w7e 时,提取短网址后缀 w7e
用any2Dec将短网址后缀转换为10进制,得到链接编号 如:123456
使用编号查询链接,并进行跳转[/list]


下面是进制转换所需要的源码:



另外,介绍一下goo.gl接口api的应用.
据说此算法是各种短网址服务中 "......(这是)互联网上最稳定、最安全、最快速的短网址服务。"(google声称)


有人做了比较,证明确实如此。


除了速度快,goo.gl还提供详细的点击统计。比如,Yahoo首页的短网址是http://goo.gl/QuXj,那么它的统计数据就在 http://goo.gl/info/QuXj。加上后缀".qr",还能得到这个网址的二维条形码,Yahoo的就是http://goo.gl /QuXj.qr。


详细信息可从这查看:http://code.google.com/apis/urlshortener/overview.html

<?php/** MoXie (SysTem128@GMail.Com) 2010-6-30 17:53:57* * Copyright © 2008-2010 Zoeey.Org . All rights are reserved.* Code license: Apache License  Version 2.0* http://www.apache.org/licenses/LICENSE-2.0.txt*/error_reporting(E_ALL);/*** 返回一字符串,十进制 number 以 radix 进制的表示。* @param dec       需要转换的数字* @param toRadix    输出进制。当不在转换范围内时,此参数会被设定为 2,以便及时发现。* @return    指定输出进制的数字*/function dec2Any($dec, $toRadix) {    $MIN_RADIX = 2;    $MAX_RADIX = 62;    $num62 = '0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ';    if ($toRadix < $MIN_RADIX || $toRadix > $MAX_RADIX) {        $toRadix = 2;    }    if ($toRadix == 10) {        return $dec;    }    // -Long.MIN_VALUE 转换为 2 进制时长度为65    $buf = array();    $charPos = 64;    $isNegative = $dec < 0; //(bccomp($dec, 0) < 0);    if (!$isNegative) {        $dec = -$dec; // bcsub(0, $dec);    }    while (bccomp($dec, -$toRadix) <= 0) {        $buf[$charPos--] = $num62[-bcmod($dec, $toRadix)];        $dec = bcdiv($dec, $toRadix);    }    $buf[$charPos] = $num62[-$dec];    if ($isNegative) {        $buf[--$charPos] = '-';    }    $_any = '';    for ($i = $charPos; $i < 65; $i++) {        $_any .= $buf[$i];    }    return $_any;}/*** 返回一字符串,包含 number 以 10 进制的表示。<br />* fromBase 只能在 2 和 62 之间(包括 2 和 62)。* @param number    输入数字* @param fromRadix    输入进制* @return  十进制数字*/function any2Dec($number, $fromRadix) {    $num62 = '0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ';    $dec = 0;    $digitValue = 0;    $len = strlen($number) - 1;    for ($t = 0; $t <= $len; $t++) {        $digitValue = strpos($num62, $number[$t]);        $dec = bcadd(bcmul($dec, $fromRadix), $digitValue);    }    return $dec;}$sol = '<br />' . PHP_EOL;echo dec2Any('56800235583', 62), $sol; // ZZZZZZecho any2Dec('ZZZZZZ', 62), $sol; // 56800235583echo dec2Any('123456', 62), $sol; // w7eecho any2Dec('w7e', 62), $sol; // 123456?> 



下面是http://www.biaodianfu.com/php-google-urlshortener-api.html弄的一个简单的PHP调用API生成短网址方法,分享给大家。
在使用前,请先到这里申请API Key:http://code.google.com/apis/console/
短网址的生成需要使用POST提交数据,所以使用了curl,短网址的还原可以直接使用file_get_contents()函数。不过为了统一,也使用了curl来处理哈。

<?php// 生成function shortenGoogleUrl($long_url){ $apiKey = 'API-KEY'; //Get API key from : http://code.google.com/apis/console/ $postData = array('longUrl' => $long_url, 'key' => $apiKey); $jsonData = json_encode($postData); $curlObj = curl_init(); curl_setopt($curlObj, CURLOPT_URL, 'https://www.googleapis.com/urlshortener/v1/url'); curl_setopt($curlObj, CURLOPT_RETURNTRANSFER, 1); curl_setopt($curlObj, CURLOPT_SSL_VERIFYPEER, 0); curl_setopt($curlObj, CURLOPT_HEADER, 0); curl_setopt($curlObj, CURLOPT_HTTPHEADER, array('Content-type:application/json')); curl_setopt($curlObj, CURLOPT_POST, 1); curl_setopt($curlObj, CURLOPT_POSTFIELDS, $jsonData); $response = curl_exec($curlObj); curl_close($curlObj); $json = json_decode($response); return $json->id;}//还原function expandGoogleUrl($short_url){ $curlObj = curl_init(); curl_setopt($curlObj, CURLOPT_URL, 'https://www.googleapis.com/urlshortener/v1/url?shortUrl='.$short_url); curl_setopt($curlObj, CURLOPT_HEADER, 0); curl_setopt($curlObj, CURLOPT_RETURNTRANSFER, 1); curl_setopt($curlObj, CURLOPT_SSL_VERIFYPEER, 0); $response = curl_exec($curlObj); curl_close($curlObj); $json = json_decode($response); return $json->longUrl;}?> 

 PHP SDK 下载地址:http://code.google.com/p/libweibo/
(包含新版接口及OAuth2.0,由SAE提供维护,SAE平台已集成最新版PHPSDK)

Demo使用教程
在open.weibo.com创建应用,得到AppKey,设置“授权设置”中的“应用回调页”地址为"http://host/callback.php",其中host为网站域名。
下载Demo,然后解压,修改config.php中的WB_AKEY为App Key,WB_SKEY为App Secret,WB_CALLBACK_URL为刚才填入的回调页地址。
上传到PHP空间即可


http://www.hacknote.com/read/784.html


0 0
原创粉丝点击