URL
https://opencores.org/ocsvn/or1k/or1k/trunk
Subversion Repositories or1k
[/] [or1k/] [trunk/] [linux/] [linux-2.4/] [include/] [asm-sparc64/] [xor.h] - Rev 1765
Compare with Previous | Blame | View Log
/* * include/asm-sparc64/xor.h * * High speed xor_block operation for RAID4/5 utilizing the * UltraSparc Visual Instruction Set. * * Copyright (C) 1997, 1999 Jakub Jelinek (jj@ultra.linux.cz) * * This program is free software; you can redistribute it and/or modify * it under the terms of the GNU General Public License as published by * the Free Software Foundation; either version 2, or (at your option) * any later version. * * You should have received a copy of the GNU General Public License * (for example /usr/src/linux/COPYING); if not, write to the Free * Software Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA. */ /* * Requirements: * !(((long)dest | (long)sourceN) & (64 - 1)) && * !(len & 127) && len >= 256 * * It is done in pure assembly, as otherwise gcc makes it a non-leaf * function, which is not what we want. */ #include <asm/pstate.h> #include <asm/asi.h> extern void xor_vis_2(unsigned long, unsigned long *, unsigned long *); extern void xor_vis_3(unsigned long, unsigned long *, unsigned long *, unsigned long *); extern void xor_vis_4(unsigned long, unsigned long *, unsigned long *, unsigned long *, unsigned long *); extern void xor_vis_5(unsigned long, unsigned long *, unsigned long *, unsigned long *, unsigned long *, unsigned long *); #define _S(x) __S(x) #define __S(x) #x #define DEF(x) __asm__(#x " = " _S(x)) DEF(FPRS_FEF); DEF(FPRS_DU); DEF(ASI_BLK_P); /* ??? We set and use %asi instead of using ASI_BLK_P directly because gas currently does not accept symbolic constants for the ASI specifier. */ __asm__ ("\n\ .text\n\ .globl xor_vis_2\n\ .type xor_vis_2,@function\n\ xor_vis_2:\n\ rd %fprs, %o5\n\ andcc %o5, FPRS_FEF|FPRS_DU, %g0\n\ be,pt %icc, 0f\n\ sethi %hi(VISenter), %g1\n\ jmpl %g1 + %lo(VISenter), %g7\n\ add %g7, 8, %g7\n\ 0: wr %g0, FPRS_FEF, %fprs\n\ rd %asi, %g1\n\ wr %g0, ASI_BLK_P, %asi\n\ membar #LoadStore|#StoreLoad|#StoreStore\n\ sub %o0, 128, %o0\n\ ldda [%o1] %asi, %f0\n\ ldda [%o2] %asi, %f16\n\ \n\ 2: ldda [%o1 + 64] %asi, %f32\n\ fxor %f0, %f16, %f16\n\ fxor %f2, %f18, %f18\n\ fxor %f4, %f20, %f20\n\ fxor %f6, %f22, %f22\n\ fxor %f8, %f24, %f24\n\ fxor %f10, %f26, %f26\n\ fxor %f12, %f28, %f28\n\ fxor %f14, %f30, %f30\n\ stda %f16, [%o1] %asi\n\ ldda [%o2 + 64] %asi, %f48\n\ ldda [%o1 + 128] %asi, %f0\n\ fxor %f32, %f48, %f48\n\ fxor %f34, %f50, %f50\n\ add %o1, 128, %o1\n\ fxor %f36, %f52, %f52\n\ add %o2, 128, %o2\n\ fxor %f38, %f54, %f54\n\ subcc %o0, 128, %o0\n\ fxor %f40, %f56, %f56\n\ fxor %f42, %f58, %f58\n\ fxor %f44, %f60, %f60\n\ fxor %f46, %f62, %f62\n\ stda %f48, [%o1 - 64] %asi\n\ bne,pt %xcc, 2b\n\ ldda [%o2] %asi, %f16\n\ \n\ ldda [%o1 + 64] %asi, %f32\n\ fxor %f0, %f16, %f16\n\ fxor %f2, %f18, %f18\n\ fxor %f4, %f20, %f20\n\ fxor %f6, %f22, %f22\n\ fxor %f8, %f24, %f24\n\ fxor %f10, %f26, %f26\n\ fxor %f12, %f28, %f28\n\ fxor %f14, %f30, %f30\n\ stda %f16, [%o1] %asi\n\ ldda [%o2 + 64] %asi, %f48\n\ membar #Sync\n\ fxor %f32, %f48, %f48\n\ fxor %f34, %f50, %f50\n\ fxor %f36, %f52, %f52\n\ fxor %f38, %f54, %f54\n\ fxor %f40, %f56, %f56\n\ fxor %f42, %f58, %f58\n\ fxor %f44, %f60, %f60\n\ fxor %f46, %f62, %f62\n\ stda %f48, [%o1 + 64] %asi\n\ membar #Sync|#StoreStore|#StoreLoad\n\ wr %g1, %g0, %asi\n\ retl\n\ wr %g0, 0, %fprs\n\ .size xor_vis_2, .-xor_vis_2\n\ \n\ \n\ .globl xor_vis_3\n\ .type xor_vis_3,@function\n\ xor_vis_3:\n\ rd %fprs, %o5\n\ andcc %o5, FPRS_FEF|FPRS_DU, %g0\n\ be,pt %icc, 0f\n\ sethi %hi(VISenter), %g1\n\ jmpl %g1 + %lo(VISenter), %g7\n\ add %g7, 8, %g7\n\ 0: wr %g0, FPRS_FEF, %fprs\n\ rd %asi, %g1\n\ wr %g0, ASI_BLK_P, %asi\n\ membar #LoadStore|#StoreLoad|#StoreStore\n\ sub %o0, 64, %o0\n\ ldda [%o1] %asi, %f0\n\ ldda [%o2] %asi, %f16\n\ \n\ 3: ldda [%o3] %asi, %f32\n\ fxor %f0, %f16, %f48\n\ fxor %f2, %f18, %f50\n\ add %o1, 64, %o1\n\ fxor %f4, %f20, %f52\n\ fxor %f6, %f22, %f54\n\ add %o2, 64, %o2\n\ fxor %f8, %f24, %f56\n\ fxor %f10, %f26, %f58\n\ fxor %f12, %f28, %f60\n\ fxor %f14, %f30, %f62\n\ ldda [%o1] %asi, %f0\n\ fxor %f48, %f32, %f48\n\ fxor %f50, %f34, %f50\n\ fxor %f52, %f36, %f52\n\ fxor %f54, %f38, %f54\n\ add %o3, 64, %o3\n\ fxor %f56, %f40, %f56\n\ fxor %f58, %f42, %f58\n\ subcc %o0, 64, %o0\n\ fxor %f60, %f44, %f60\n\ fxor %f62, %f46, %f62\n\ stda %f48, [%o1 - 64] %asi\n\ bne,pt %xcc, 3b\n\ ldda [%o2] %asi, %f16\n\ \n\ ldda [%o3] %asi, %f32\n\ fxor %f0, %f16, %f48\n\ fxor %f2, %f18, %f50\n\ fxor %f4, %f20, %f52\n\ fxor %f6, %f22, %f54\n\ fxor %f8, %f24, %f56\n\ fxor %f10, %f26, %f58\n\ fxor %f12, %f28, %f60\n\ fxor %f14, %f30, %f62\n\ membar #Sync\n\ fxor %f48, %f32, %f48\n\ fxor %f50, %f34, %f50\n\ fxor %f52, %f36, %f52\n\ fxor %f54, %f38, %f54\n\ fxor %f56, %f40, %f56\n\ fxor %f58, %f42, %f58\n\ fxor %f60, %f44, %f60\n\ fxor %f62, %f46, %f62\n\ stda %f48, [%o1] %asi\n\ membar #Sync|#StoreStore|#StoreLoad\n\ wr %g1, %g0, %asi\n\ retl\n\ wr %g0, 0, %fprs\n\ .size xor_vis_3, .-xor_vis_3\n\ \n\ \n\ .globl xor_vis_4\n\ .type xor_vis_4,@function\n\ xor_vis_4:\n\ rd %fprs, %o5\n\ andcc %o5, FPRS_FEF|FPRS_DU, %g0\n\ be,pt %icc, 0f\n\ sethi %hi(VISenter), %g1\n\ jmpl %g1 + %lo(VISenter), %g7\n\ add %g7, 8, %g7\n\ 0: wr %g0, FPRS_FEF, %fprs\n\ rd %asi, %g1\n\ wr %g0, ASI_BLK_P, %asi\n\ membar #LoadStore|#StoreLoad|#StoreStore\n\ sub %o0, 64, %o0\n\ ldda [%o1] %asi, %f0\n\ ldda [%o2] %asi, %f16\n\ \n\ 4: ldda [%o3] %asi, %f32\n\ fxor %f0, %f16, %f16\n\ fxor %f2, %f18, %f18\n\ add %o1, 64, %o1\n\ fxor %f4, %f20, %f20\n\ fxor %f6, %f22, %f22\n\ add %o2, 64, %o2\n\ fxor %f8, %f24, %f24\n\ fxor %f10, %f26, %f26\n\ fxor %f12, %f28, %f28\n\ fxor %f14, %f30, %f30\n\ ldda [%o4] %asi, %f48\n\ fxor %f16, %f32, %f32\n\ fxor %f18, %f34, %f34\n\ fxor %f20, %f36, %f36\n\ fxor %f22, %f38, %f38\n\ add %o3, 64, %o3\n\ fxor %f24, %f40, %f40\n\ fxor %f26, %f42, %f42\n\ fxor %f28, %f44, %f44\n\ fxor %f30, %f46, %f46\n\ ldda [%o1] %asi, %f0\n\ fxor %f32, %f48, %f48\n\ fxor %f34, %f50, %f50\n\ fxor %f36, %f52, %f52\n\ add %o4, 64, %o4\n\ fxor %f38, %f54, %f54\n\ fxor %f40, %f56, %f56\n\ fxor %f42, %f58, %f58\n\ subcc %o0, 64, %o0\n\ fxor %f44, %f60, %f60\n\ fxor %f46, %f62, %f62\n\ stda %f48, [%o1 - 64] %asi\n\ bne,pt %xcc, 4b\n\ ldda [%o2] %asi, %f16\n\ \n\ ldda [%o3] %asi, %f32\n\ fxor %f0, %f16, %f16\n\ fxor %f2, %f18, %f18\n\ fxor %f4, %f20, %f20\n\ fxor %f6, %f22, %f22\n\ fxor %f8, %f24, %f24\n\ fxor %f10, %f26, %f26\n\ fxor %f12, %f28, %f28\n\ fxor %f14, %f30, %f30\n\ ldda [%o4] %asi, %f48\n\ fxor %f16, %f32, %f32\n\ fxor %f18, %f34, %f34\n\ fxor %f20, %f36, %f36\n\ fxor %f22, %f38, %f38\n\ fxor %f24, %f40, %f40\n\ fxor %f26, %f42, %f42\n\ fxor %f28, %f44, %f44\n\ fxor %f30, %f46, %f46\n\ membar #Sync\n\ fxor %f32, %f48, %f48\n\ fxor %f34, %f50, %f50\n\ fxor %f36, %f52, %f52\n\ fxor %f38, %f54, %f54\n\ fxor %f40, %f56, %f56\n\ fxor %f42, %f58, %f58\n\ fxor %f44, %f60, %f60\n\ fxor %f46, %f62, %f62\n\ stda %f48, [%o1] %asi\n\ membar #Sync|#StoreStore|#StoreLoad\n\ wr %g1, %g0, %asi\n\ retl\n\ wr %g0, 0, %fprs\n\ .size xor_vis_4, .-xor_vis_4\n\ \n\ \n\ .globl xor_vis_5\n\ .type xor_vis_5,@function\n\ xor_vis_5:\n\ mov %o5, %g5\n\ rd %fprs, %o5\n\ andcc %o5, FPRS_FEF|FPRS_DU, %g0\n\ be,pt %icc, 0f\n\ sethi %hi(VISenter), %g1\n\ jmpl %g1 + %lo(VISenter), %g7\n\ add %g7, 8, %g7\n\ 0: wr %g0, FPRS_FEF, %fprs\n\ mov %g5, %o5\n\ rd %asi, %g1\n\ wr %g0, ASI_BLK_P, %asi\n\ membar #LoadStore|#StoreLoad|#StoreStore\n\ sub %o0, 64, %o0\n\ ldda [%o1] %asi, %f0\n\ ldda [%o2] %asi, %f16\n\ \n\ 5: ldda [%o3] %asi, %f32\n\ fxor %f0, %f16, %f48\n\ fxor %f2, %f18, %f50\n\ add %o1, 64, %o1\n\ fxor %f4, %f20, %f52\n\ fxor %f6, %f22, %f54\n\ add %o2, 64, %o2\n\ fxor %f8, %f24, %f56\n\ fxor %f10, %f26, %f58\n\ fxor %f12, %f28, %f60\n\ fxor %f14, %f30, %f62\n\ ldda [%o4] %asi, %f16\n\ fxor %f48, %f32, %f48\n\ fxor %f50, %f34, %f50\n\ fxor %f52, %f36, %f52\n\ fxor %f54, %f38, %f54\n\ add %o3, 64, %o3\n\ fxor %f56, %f40, %f56\n\ fxor %f58, %f42, %f58\n\ fxor %f60, %f44, %f60\n\ fxor %f62, %f46, %f62\n\ ldda [%o5] %asi, %f32\n\ fxor %f48, %f16, %f48\n\ fxor %f50, %f18, %f50\n\ add %o4, 64, %o4\n\ fxor %f52, %f20, %f52\n\ fxor %f54, %f22, %f54\n\ add %o5, 64, %o5\n\ fxor %f56, %f24, %f56\n\ fxor %f58, %f26, %f58\n\ fxor %f60, %f28, %f60\n\ fxor %f62, %f30, %f62\n\ ldda [%o1] %asi, %f0\n\ fxor %f48, %f32, %f48\n\ fxor %f50, %f34, %f50\n\ fxor %f52, %f36, %f52\n\ fxor %f54, %f38, %f54\n\ fxor %f56, %f40, %f56\n\ fxor %f58, %f42, %f58\n\ subcc %o0, 64, %o0\n\ fxor %f60, %f44, %f60\n\ fxor %f62, %f46, %f62\n\ stda %f48, [%o1 - 64] %asi\n\ bne,pt %xcc, 5b\n\ ldda [%o2] %asi, %f16\n\ \n\ ldda [%o3] %asi, %f32\n\ fxor %f0, %f16, %f48\n\ fxor %f2, %f18, %f50\n\ fxor %f4, %f20, %f52\n\ fxor %f6, %f22, %f54\n\ fxor %f8, %f24, %f56\n\ fxor %f10, %f26, %f58\n\ fxor %f12, %f28, %f60\n\ fxor %f14, %f30, %f62\n\ ldda [%o4] %asi, %f16\n\ fxor %f48, %f32, %f48\n\ fxor %f50, %f34, %f50\n\ fxor %f52, %f36, %f52\n\ fxor %f54, %f38, %f54\n\ fxor %f56, %f40, %f56\n\ fxor %f58, %f42, %f58\n\ fxor %f60, %f44, %f60\n\ fxor %f62, %f46, %f62\n\ ldda [%o5] %asi, %f32\n\ fxor %f48, %f16, %f48\n\ fxor %f50, %f18, %f50\n\ fxor %f52, %f20, %f52\n\ fxor %f54, %f22, %f54\n\ fxor %f56, %f24, %f56\n\ fxor %f58, %f26, %f58\n\ fxor %f60, %f28, %f60\n\ fxor %f62, %f30, %f62\n\ membar #Sync\n\ fxor %f48, %f32, %f48\n\ fxor %f50, %f34, %f50\n\ fxor %f52, %f36, %f52\n\ fxor %f54, %f38, %f54\n\ fxor %f56, %f40, %f56\n\ fxor %f58, %f42, %f58\n\ fxor %f60, %f44, %f60\n\ fxor %f62, %f46, %f62\n\ stda %f48, [%o1] %asi\n\ membar #Sync|#StoreStore|#StoreLoad\n\ wr %g1, %g0, %asi\n\ retl\n\ wr %g0, 0, %fprs\n\ .size xor_vis_5, .-xor_vis_5\n\ "); static struct xor_block_template xor_block_VIS = { name: "VIS", do_2: xor_vis_2, do_3: xor_vis_3, do_4: xor_vis_4, do_5: xor_vis_5, }; #define XOR_TRY_TEMPLATES xor_speed(&xor_block_VIS)