程序博客网 > java中split的用法

无符号整形的reserve bits的优化方案

来源：互联网 发布：java中split的用法 编辑：程序博客网 时间：2024/04/30 02:19
[c] view plaincopy
  1. 0010 0000 => 0000 0100  

具体的转换是从MSB->LSB到LSB->MSB, 所有的Bit都必须反转，那意味着，这并不是字节顺序的交换。

最佳答案

注意: 下面的算法都用C实现，但应该可以迁移到其它语言(只是不那么快的时候可别找我)。

可选方案

内存占用少(32位int，32位机器)(来源于这里)

[c] view plaincopy
  1. unsigned int  
  2. reverse(register unsigned int x)  
  3. {  
  4.     x = (((x & 0xaaaaaaaa) >> 1) | ((x & 0x55555555) << 1));  
  5.     x = (((x & 0xcccccccc) >> 2) | ((x & 0x33333333) << 2));  
  6.     x = (((x & 0xf0f0f0f0) >> 4) | ((x & 0x0f0f0f0f) << 4));  
  7.     x = (((x & 0xff00ff00) >> 8) | ((x & 0x00ff00ff) << 8));  
  8.     return((x >> 16) | (x << 16));  
  9. }  

最快(查找表)

[c] view plaincopy
  1. static const unsigned char BitReverseTable256[] =   
  2. {  
  3.   0x00, 0x80, 0x40, 0xC0, 0x20, 0xA0, 0x60, 0xE0, 0x10, 0x90, 0x50, 0xD0, 0x30, 0xB0, 0x70, 0xF0,   
  4.   0x08, 0x88, 0x48, 0xC8, 0x28, 0xA8, 0x68, 0xE8, 0x18, 0x98, 0x58, 0xD8, 0x38, 0xB8, 0x78, 0xF8,   
  5.   0x04, 0x84, 0x44, 0xC4, 0x24, 0xA4, 0x64, 0xE4, 0x14, 0x94, 0x54, 0xD4, 0x34, 0xB4, 0x74, 0xF4,   
  6.   0x0C, 0x8C, 0x4C, 0xCC, 0x2C, 0xAC, 0x6C, 0xEC, 0x1C, 0x9C, 0x5C, 0xDC, 0x3C, 0xBC, 0x7C, 0xFC,   
  7.   0x02, 0x82, 0x42, 0xC2, 0x22, 0xA2, 0x62, 0xE2, 0x12, 0x92, 0x52, 0xD2, 0x32, 0xB2, 0x72, 0xF2,   
  8.   0x0A, 0x8A, 0x4A, 0xCA, 0x2A, 0xAA, 0x6A, 0xEA, 0x1A, 0x9A, 0x5A, 0xDA, 0x3A, 0xBA, 0x7A, 0xFA,  
  9.   0x06, 0x86, 0x46, 0xC6, 0x26, 0xA6, 0x66, 0xE6, 0x16, 0x96, 0x56, 0xD6, 0x36, 0xB6, 0x76, 0xF6,   
  10.   0x0E, 0x8E, 0x4E, 0xCE, 0x2E, 0xAE, 0x6E, 0xEE, 0x1E, 0x9E, 0x5E, 0xDE, 0x3E, 0xBE, 0x7E, 0xFE,  
  11.   0x01, 0x81, 0x41, 0xC1, 0x21, 0xA1, 0x61, 0xE1, 0x11, 0x91, 0x51, 0xD1, 0x31, 0xB1, 0x71, 0xF1,  
  12.   0x09, 0x89, 0x49, 0xC9, 0x29, 0xA9, 0x69, 0xE9, 0x19, 0x99, 0x59, 0xD9, 0x39, 0xB9, 0x79, 0xF9,   
  13.   0x05, 0x85, 0x45, 0xC5, 0x25, 0xA5, 0x65, 0xE5, 0x15, 0x95, 0x55, 0xD5, 0x35, 0xB5, 0x75, 0xF5,  
  14.   0x0D, 0x8D, 0x4D, 0xCD, 0x2D, 0xAD, 0x6D, 0xED, 0x1D, 0x9D, 0x5D, 0xDD, 0x3D, 0xBD, 0x7D, 0xFD,  
  15.   0x03, 0x83, 0x43, 0xC3, 0x23, 0xA3, 0x63, 0xE3, 0x13, 0x93, 0x53, 0xD3, 0x33, 0xB3, 0x73, 0xF3,   
  16.   0x0B, 0x8B, 0x4B, 0xCB, 0x2B, 0xAB, 0x6B, 0xEB, 0x1B, 0x9B, 0x5B, 0xDB, 0x3B, 0xBB, 0x7B, 0xFB,  
  17.   0x07, 0x87, 0x47, 0xC7, 0x27, 0xA7, 0x67, 0xE7, 0x17, 0x97, 0x57, 0xD7, 0x37, 0xB7, 0x77, 0xF7,   
  18.   0x0F, 0x8F, 0x4F, 0xCF, 0x2F, 0xAF, 0x6F, 0xEF, 0x1F, 0x9F, 0x5F, 0xDF, 0x3F, 0xBF, 0x7F, 0xFF  
  19. };  
  20.   
  21. unsigned int v; // reverse 32-bit value, 8 bits at time  
  22. unsigned int c; // c will get v reversed  
  23.   
  24. // Option 1:  
  25. c = (BitReverseTable256[v & 0xff] << 24) |   
  26.     (BitReverseTable256[(v >> 8) & 0xff] << 16) |   
  27.     (BitReverseTable256[(v >> 16) & 0xff] << 8) |  
  28.     (BitReverseTable256[(v >> 24) & 0xff]);  
  29.   
  30. // Option 2:  
  31. unsigned char * p = (unsigned char *) &v;  
  32. unsigned char * q = (unsigned char *) &c;  
  33. q[3] = BitReverseTable256[p[0]];   
  34. q[2] = BitReverseTable256[p[1]];   
  35. q[1] = BitReverseTable256[p[2]];   
  36. q[0] = BitReverseTable256[p[3]];  

来自于著名的Bit Twiddling Hacks page:

你可以扩展这个算法到64位int的场景，或者为了更快的速度而牺牲多一些的内存(假设你的L1数据缓存足够大)，有一个64K的查找表且每次反转16位。

其它方案

简单

[c] view plaincopy
  1. unsigned int v;     // input bits to be reversed  
  2. unsigned int r = v; // r will be reversed bits of v; first get LSB of v  
  3. int s = sizeof(v) * CHAR_BIT - 1; // extra shift needed at end  
  4.   
  5. for (v >>= 1; v; v >>= 1)  
  6. {     
  7.   r <<= 1;  
  8.   r |= v & 1;  
  9.   s--;  
  10. }  
  11. r <<= s; // shift when v's highest bits are zero  

更快(32位处理器)

unsigned char b = x;b = ((b * 0x0802LU & 0x22110LU) | (b * 0x8020LU & 0x88440LU)) * 0x10101LU >> 16;

更快(64位处理器)

[c] view plaincopy
  1. unsigned char b; // reverse this (8-bit) byte  
  2. b = (b * 0x0202020202ULL & 0x010884422010ULL) % 1023;  

如果你想在32位int环境这样做，那么只需要把每一个byte反转，然后再颠倒byte的次序即可。如下:

[c] view plaincopy
  1. unsigned int toReverse;  
  2. unsigned int reversed;  
  3. unsigned char inByte0 = (toReverse & 0xFF);  
  4. unsigned char inByte1 = (toReverse & 0xFF00) >> 8;  
  5. unsigned char inByte2 = (toReverse & 0xFF0000) >> 16;  
  6. unsigned char inByte3 = (toReverse & 0xFF000000) >> 24;  
  7. reversed = (reverseBits(inByte0) << 24) | (reverseBits(inByte1) << 16) | (reverseBits(inByte2) << 8) | (reverseBits(inByte3);  

结果

我测试了两个最有效的方案，查找表和按位与(第一个方案)。测试机器为一台笔记本电脑，配置为4G DDR2内存，2.4GHz的双核T7500处理器，4MB的L2缓存。我使用的是gcc 4.3.2，64位Linux。OpenMP(外加GCC绑定)被用来提高计时器的调度能力。

reverse.c

[c] view plaincopy
  1. #include <stdlib.h>  
  2. #include <stdio.h>  
  3. #include <omp.h>  
  4.   
  5. unsigned int  
  6. reverse(register unsigned int x)  
  7. {  
  8.     x = (((x & 0xaaaaaaaa) >> 1) | ((x & 0x55555555) << 1));  
  9.     x = (((x & 0xcccccccc) >> 2) | ((x & 0x33333333) << 2));  
  10.     x = (((x & 0xf0f0f0f0) >> 4) | ((x & 0x0f0f0f0f) << 4));  
  11.     x = (((x & 0xff00ff00) >> 8) | ((x & 0x00ff00ff) << 8));  
  12.     return((x >> 16) | (x << 16));  
  13.   
  14. }  
  15.   
  16. int main()  
  17. {  
  18.     unsigned int *ints = malloc(100000000*sizeof(unsigned int));  
  19.     unsigned int *ints2 = malloc(100000000*sizeof(unsigned int));  
  20.     for(unsigned int i = 0; i < 100000000; i++)  
  21.       ints[i] = rand();  
  22.   
  23.     unsigned int *inptr = ints;  
  24.     unsigned int *outptr = ints2;  
  25.     unsigned int *endptr = ints + 100000000;  
  26.     // Starting the time measurement  
  27.     double start = omp_get_wtime();  
  28.     // Computations to be measured  
  29.     while(inptr != endptr)  
  30.     {  
  31.       (*outptr) = reverse(*inptr);  
  32.       inptr++;  
  33.       outptr++;  
  34.     }  
  35.     // Measuring the elapsed time  
  36.     double end = omp_get_wtime();  
  37.     // Time calculation (in seconds)  
  38.     printf("Time: %f seconds\n", end-start);  
  39.   
  40.     free(ints);  
  41.     free(ints2);  
  42.   
  43.     return 0;  
  44. }  

reverse_lookup.c

[c] view plaincopy
  1. #include <stdlib.h>  
  2. #include <stdio.h>  
  3. #include <omp.h>  
  4.   
  5. static const unsigned char BitReverseTable256[] =   
  6. {  
  7.   0x00, 0x80, 0x40, 0xC0, 0x20, 0xA0, 0x60, 0xE0, 0x10, 0x90, 0x50, 0xD0, 0x30, 0xB0, 0x70, 0xF0,   
  8.   0x08, 0x88, 0x48, 0xC8, 0x28, 0xA8, 0x68, 0xE8, 0x18, 0x98, 0x58, 0xD8, 0x38, 0xB8, 0x78, 0xF8,   
  9.   0x04, 0x84, 0x44, 0xC4, 0x24, 0xA4, 0x64, 0xE4, 0x14, 0x94, 0x54, 0xD4, 0x34, 0xB4, 0x74, 0xF4,   
  10.   0x0C, 0x8C, 0x4C, 0xCC, 0x2C, 0xAC, 0x6C, 0xEC, 0x1C, 0x9C, 0x5C, 0xDC, 0x3C, 0xBC, 0x7C, 0xFC,   
  11.   0x02, 0x82, 0x42, 0xC2, 0x22, 0xA2, 0x62, 0xE2, 0x12, 0x92, 0x52, 0xD2, 0x32, 0xB2, 0x72, 0xF2,   
  12.   0x0A, 0x8A, 0x4A, 0xCA, 0x2A, 0xAA, 0x6A, 0xEA, 0x1A, 0x9A, 0x5A, 0xDA, 0x3A, 0xBA, 0x7A, 0xFA,  
  13.   0x06, 0x86, 0x46, 0xC6, 0x26, 0xA6, 0x66, 0xE6, 0x16, 0x96, 0x56, 0xD6, 0x36, 0xB6, 0x76, 0xF6,   
  14.   0x0E, 0x8E, 0x4E, 0xCE, 0x2E, 0xAE, 0x6E, 0xEE, 0x1E, 0x9E, 0x5E, 0xDE, 0x3E, 0xBE, 0x7E, 0xFE,  
  15.   0x01, 0x81, 0x41, 0xC1, 0x21, 0xA1, 0x61, 0xE1, 0x11, 0x91, 0x51, 0xD1, 0x31, 0xB1, 0x71, 0xF1,  
  16.   0x09, 0x89, 0x49, 0xC9, 0x29, 0xA9, 0x69, 0xE9, 0x19, 0x99, 0x59, 0xD9, 0x39, 0xB9, 0x79, 0xF9,   
  17.   0x05, 0x85, 0x45, 0xC5, 0x25, 0xA5, 0x65, 0xE5, 0x15, 0x95, 0x55, 0xD5, 0x35, 0xB5, 0x75, 0xF5,  
  18.   0x0D, 0x8D, 0x4D, 0xCD, 0x2D, 0xAD, 0x6D, 0xED, 0x1D, 0x9D, 0x5D, 0xDD, 0x3D, 0xBD, 0x7D, 0xFD,  
  19.   0x03, 0x83, 0x43, 0xC3, 0x23, 0xA3, 0x63, 0xE3, 0x13, 0x93, 0x53, 0xD3, 0x33, 0xB3, 0x73, 0xF3,   
  20.   0x0B, 0x8B, 0x4B, 0xCB, 0x2B, 0xAB, 0x6B, 0xEB, 0x1B, 0x9B, 0x5B, 0xDB, 0x3B, 0xBB, 0x7B, 0xFB,  
  21.   0x07, 0x87, 0x47, 0xC7, 0x27, 0xA7, 0x67, 0xE7, 0x17, 0x97, 0x57, 0xD7, 0x37, 0xB7, 0x77, 0xF7,   
  22.   0x0F, 0x8F, 0x4F, 0xCF, 0x2F, 0xAF, 0x6F, 0xEF, 0x1F, 0x9F, 0x5F, 0xDF, 0x3F, 0xBF, 0x7F, 0xFF  
  23. };  
  24.   
  25. int main()  
  26. {  
  27.     unsigned int *ints = malloc(100000000*sizeof(unsigned int));  
  28.     unsigned int *ints2 = malloc(100000000*sizeof(unsigned int));  
  29.     for(unsigned int i = 0; i < 100000000; i++)  
  30.       ints[i] = rand();  
  31.   
  32.     unsigned int *inptr = ints;  
  33.     unsigned int *outptr = ints2;  
  34.     unsigned int *endptr = ints + 100000000;  
  35.     // Starting the time measurement  
  36.     double start = omp_get_wtime();  
  37.     // Computations to be measured  
  38.     while(inptr != endptr)  
  39.     {  
  40.     unsigned int in = *inptr;  
  41.   
  42.     // Option 1:  
  43.     //*outptr = (BitReverseTable256[in & 0xff] << 24) |   
  44.     //    (BitReverseTable256[(in >> 8) & 0xff] << 16) |   
  45.     //    (BitReverseTable256[(in >> 16) & 0xff] << 8) |  
  46.     //    (BitReverseTable256[(in >> 24) & 0xff]);  
  47.   
  48.     // Option 2:  
  49.     unsigned char * p = (unsigned char *) &(*inptr);  
  50.     unsigned char * q = (unsigned char *) &(*outptr);  
  51.     q[3] = BitReverseTable256[p[0]];   
  52.     q[2] = BitReverseTable256[p[1]];   
  53.     q[1] = BitReverseTable256[p[2]];   
  54.     q[0] = BitReverseTable256[p[3]];  
  55.   
  56.       inptr++;  
  57.       outptr++;  
  58.     }  
  59.     // Measuring the elapsed time  
  60.     double end = omp_get_wtime();  
  61.     // Time calculation (in seconds)  
  62.     printf("Time: %f seconds\n", end-start);  
  63.   
  64.     free(ints);  
  65.     free(ints2);  
  66.   
  67.     return 0;  
  68. }  

在不同的优化级别(Optimizations)，两个方案我都尝试了，每个级别跑3个案例，每个案例反转1亿个随机的无符号整数。对于查找表方案，bitwise hacks page上面的两种方法(Option 1 and Option 2)我都测试过。结果如下:

按位与

mrj10@mjlap:~/code$ gcc -fopenmp -std=c99 -o reverse reverse.cmrj10@mjlap:~/code$ ./reverseTime: 2.000593 secondsmrj10@mjlap:~/code$ ./reverseTime: 1.938893 secondsmrj10@mjlap:~/code$ ./reverseTime: 1.936365 secondsmrj10@mjlap:~/code$ gcc -fopenmp -std=c99 -O2 -o reverse reverse.cmrj10@mjlap:~/code$ ./reverseTime: 0.942709 secondsmrj10@mjlap:~/code$ ./reverseTime: 0.991104 secondsmrj10@mjlap:~/code$ ./reverseTime: 0.947203 secondsmrj10@mjlap:~/code$ gcc -fopenmp -std=c99 -O3 -o reverse reverse.cmrj10@mjlap:~/code$ ./reverseTime: 0.922639 secondsmrj10@mjlap:~/code$ ./reverseTime: 0.892372 secondsmrj10@mjlap:~/code$ ./reverseTime: 0.891688 seconds

查找表(Option 1)

mrj10@mjlap:~/code$ gcc -fopenmp -std=c99 -o reverse_lookup reverse_lookup.cmrj10@mjlap:~/code$ ./reverse_lookupTime: 1.201127 seconds              mrj10@mjlap:~/code$ ./reverse_lookupTime: 1.196129 seconds              mrj10@mjlap:~/code$ ./reverse_lookupTime: 1.235972 seconds              mrj10@mjlap:~/code$ gcc -fopenmp -std=c99 -O2 -o reverse_lookup reverse_lookup.cmrj10@mjlap:~/code$ ./reverse_lookupTime: 0.633042 seconds              mrj10@mjlap:~/code$ ./reverse_lookupTime: 0.655880 seconds              mrj10@mjlap:~/code$ ./reverse_lookupTime: 0.633390 seconds              mrj10@mjlap:~/code$ gcc -fopenmp -std=c99 -O3 -o reverse_lookup reverse_lookup.cmrj10@mjlap:~/code$ ./reverse_lookupTime: 0.652322 seconds              mrj10@mjlap:~/code$ ./reverse_lookupTime: 0.631739 seconds              mrj10@mjlap:~/code$ ./reverse_lookupTime: 0.652431 seconds

查找表(Option 2)

mrj10@mjlap:~/code$ gcc -fopenmp -std=c99 -o reverse_lookup reverse_lookup.cmrj10@mjlap:~/code$ ./reverse_lookupTime: 1.671537 secondsmrj10@mjlap:~/code$ ./reverse_lookupTime: 1.688173 secondsmrj10@mjlap:~/code$ ./reverse_lookupTime: 1.664662 secondsmrj10@mjlap:~/code$ gcc -fopenmp -std=c99 -O2 -o reverse_lookup reverse_lookup.cmrj10@mjlap:~/code$ ./reverse_lookupTime: 1.049851 secondsmrj10@mjlap:~/code$ ./reverse_lookupTime: 1.048403 secondsmrj10@mjlap:~/code$ ./reverse_lookupTime: 1.085086 secondsmrj10@mjlap:~/code$ gcc -fopenmp -std=c99 -O3 -o reverse_lookup reverse_lookup.cmrj10@mjlap:~/code$ ./reverse_lookupTime: 1.082223 secondsmrj10@mjlap:~/code$ ./reverse_lookupTime: 1.053431 secondsmrj10@mjlap:~/code$ ./reverse_lookupTime: 1.081224 seconds

结论

如果你比较在意性能，那么使用查找表Option 1(Byte的寻址不出意外的慢)。如果你需要尽可能的利用完每一个Byte内存(且你也在意bit反转的性能)，那么优化后的按位与方案也还不赖。

附加说明

我知道上面的代码只是一个粗略的版本，非常欢迎大家提供一些优化的建议。以下是我知道的几点:

  • 我没有权限访问ICC，那可能更快些(如果你可以测试请在评论中回复)。
  • 在一些L1缓存比较大的现代机器上面，64K的查找表可能工作得更好。
  • -mtune=native对 -O2/-O3(发生符号重定义的错误)无效，所以我不相信产生的代码是为我的微架构而优化。
  • SSE环境下应该有一种方法处理得更快。我不知道怎么做，但又更快的内存复制，批量的按位与，调整的指令集， 总是有一些手段的。
  • 我知道仅仅x86的指令集是危险的，下面是GCC在-O3环境产生的代码，所以比我更厉害的大牛可以检查一下。

32-bit

.L3:movl    (%r12,%rsi), %ecxmovzbl  %cl, %eaxmovzbl  BitReverseTable256(%rax), %edxmovl    %ecx, %eaxshrl    $24, %eaxmov     %eax, %eaxmovzbl  BitReverseTable256(%rax), %eaxsall    $24, %edxorl     %eax, %edxmovzbl  %ch, %eaxshrl    $16, %ecxmovzbl  BitReverseTable256(%rax), %eaxmovzbl  %cl, %ecxsall    $16, %eaxorl     %eax, %edxmovzbl  BitReverseTable256(%rcx), %eaxsall    $8, %eaxorl     %eax, %edxmovl    %edx, (%r13,%rsi)addq    $4, %rsicmpq    $400000000, %rsijne     .L3

更改: 我也尝试在自己机器上使用uint64，看看是否性能有所提高。相对于32-bit性能大概提高了10%。无论你是每次用64-bit类型去反转2个32-bit的int，或者实际上看作64-bit并分两次来反转，性能都大致相当。代码如下(对于前者，每次反转2个32-bit的int):

.L3:movq    (%r12,%rsi), %rdxmovq    %rdx, %raxshrq    $24, %raxandl    $255, %eaxmovzbl  BitReverseTable256(%rax), %ecxmovzbq  %dl,%raxmovzbl  BitReverseTable256(%rax), %eaxsalq    $24, %raxorq     %rax, %rcxmovq    %rdx, %raxshrq    $56, %raxmovzbl  BitReverseTable256(%rax), %eaxsalq    $32, %raxorq     %rax, %rcxmovzbl  %dh, %eaxshrq    $16, %rdxmovzbl  BitReverseTable256(%rax), %eaxsalq    $16, %raxorq     %rax, %rcxmovzbq  %dl,%raxshrq    $16, %rdxmovzbl  BitReverseTable256(%rax), %eaxsalq    $8, %raxorq     %rax, %rcxmovzbq  %dl,%raxshrq    $8, %rdxmovzbl  BitReverseTable256(%rax), %eaxsalq    $56, %raxorq     %rax, %rcxmovzbq  %dl,%raxshrq    $8, %rdxmovzbl  BitReverseTable256(%rax), %eaxandl    $255, %edxsalq    $48, %raxorq     %rax, %rcxmovzbl  BitReverseTable256(%rdx), %eaxsalq    $40, %raxorq     %rax, %rcxmovq    %rcx, (%r13,%rsi)addq    $8, %rsicmpq    $400000000, %rsijne     .L3

原文地址

Stackoverflow

0 0
java中split的用法 java中split的用法
原创粉丝点击
热门IT博客
mac怎么保存图片到u盘mac怎么保存图片到u盘
手机钢琴编曲软件手机钢琴编曲软件
网络安全法 执法协助
unity3d退出游戏代码
怎么查端口号
flash网站源码下载
知豆新能源汽车图片
linux 卸载驱动模块
mac安装字体后ps没有
淘宝官方网站登录网站
知乎布鲁塞尔自由大学
淘宝卖食品生产许可证
软件打不开的原因
外汇行情分析软件
南京搜狗快速优化排名
进程调度算法源代码
中医诊所软件
企业邮箱域名是什么
诺顿网络企业版
勇者之塔魂力进阶数据
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防，我是瞎子 买生蚝 海蛎是生蚝吗 生蚝多少钱一只 生蚝干价格多少一斤 生蚝海鲜 新鲜生蚝怎么吃 生蚝是什么东西 青岛生蚝 生蚝可以放多久 蚝是什么 生蚝补啥 湛江生蚝批发价格 生蚝是什么样子 生蚝如何做 生蚝要怎么吃 蚝式 生蚝好吃 烤生蚝的做法大全 生蚝如何吃 生蚝多吃 生蚝储存 煎生蚝 法国生蚝 生蚝的保存 生蚝存放 爆炒生蚝 海蛎子怎么做好吃 海蛎子怎么做 属蛇生什么宝宝好 奇生虫 兰花生虫 生蛇 生蛇病 拒生蛋我的七条蛇相公 皮肤生蛇 蛇攻边做边生蛋 生蛇刚开始图片 生蛇会传染给家里人吗 美人蛇生孩子图片 生蛇一般要多久才好 梦见蛇生蛇

程序博客网，程序员的互联网技术博客家园。csdn论坛精品 msdn技术资料都在这里