Subversion Repositories or1k

/*
 * include/asm-sparc64/xor.h
 *
 * High speed xor_block operation for RAID4/5 utilizing the
 * UltraSparc Visual Instruction Set.
 *
 * Copyright (C) 1997, 1999 Jakub Jelinek (jj@ultra.linux.cz)
 *
 * This program is free software; you can redistribute it and/or modify
 * it under the terms of the GNU General Public License as published by
 * the Free Software Foundation; either version 2, or (at your option)
 * any later version.
 *
 * You should have received a copy of the GNU General Public License
 * (for example /usr/src/linux/COPYING); if not, write to the Free
 * Software Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
 */
 
/*
 *	Requirements:
 *	!(((long)dest | (long)sourceN) & (64 - 1)) &&
 *	!(len & 127) && len >= 256
 *
 * It is done in pure assembly, as otherwise gcc makes it a non-leaf
 * function, which is not what we want.
 */
 
#include <asm/pstate.h>
#include <asm/asi.h>
 
extern void xor_vis_2(unsigned long, unsigned long *, unsigned long *);
extern void xor_vis_3(unsigned long, unsigned long *, unsigned long *,
		      unsigned long *);
extern void xor_vis_4(unsigned long, unsigned long *, unsigned long *,
		      unsigned long *, unsigned long *);
extern void xor_vis_5(unsigned long, unsigned long *, unsigned long *,
		      unsigned long *, unsigned long *, unsigned long *);
 
#define _S(x) __S(x)
#define __S(x) #x
#define DEF(x) __asm__(#x " = " _S(x))
 
DEF(FPRS_FEF);
DEF(FPRS_DU);
DEF(ASI_BLK_P);
 
/* ??? We set and use %asi instead of using ASI_BLK_P directly because gas
   currently does not accept symbolic constants for the ASI specifier.  */
 
__asm__ ("\n\
	.text\n\
	.globl xor_vis_2\n\
	.type xor_vis_2,@function\n\
xor_vis_2:\n\
	rd	%fprs, %o5\n\
	andcc	%o5, FPRS_FEF|FPRS_DU, %g0\n\
	be,pt	%icc, 0f\n\
	 sethi	%hi(VISenter), %g1\n\
	jmpl	%g1 + %lo(VISenter), %g7\n\
	 add	%g7, 8, %g7\n\
0:	wr	%g0, FPRS_FEF, %fprs\n\
	rd	%asi, %g1\n\
	wr	%g0, ASI_BLK_P, %asi\n\
	membar	#LoadStore|#StoreLoad|#StoreStore\n\
	sub	%o0, 128, %o0\n\
	ldda	[%o1] %asi, %f0\n\
	ldda	[%o2] %asi, %f16\n\
\n\
2:	ldda	[%o1 + 64] %asi, %f32\n\
	fxor	%f0, %f16, %f16\n\
	fxor	%f2, %f18, %f18\n\
	fxor	%f4, %f20, %f20\n\
	fxor	%f6, %f22, %f22\n\
	fxor	%f8, %f24, %f24\n\
	fxor	%f10, %f26, %f26\n\
	fxor	%f12, %f28, %f28\n\
	fxor	%f14, %f30, %f30\n\
	stda	%f16, [%o1] %asi\n\
	ldda	[%o2 + 64] %asi, %f48\n\
	ldda	[%o1 + 128] %asi, %f0\n\
	fxor	%f32, %f48, %f48\n\
	fxor	%f34, %f50, %f50\n\
	add	%o1, 128, %o1\n\
	fxor	%f36, %f52, %f52\n\
	add	%o2, 128, %o2\n\
	fxor	%f38, %f54, %f54\n\
	subcc	%o0, 128, %o0\n\
	fxor	%f40, %f56, %f56\n\
	fxor	%f42, %f58, %f58\n\
	fxor	%f44, %f60, %f60\n\
	fxor	%f46, %f62, %f62\n\
	stda	%f48, [%o1 - 64] %asi\n\
	bne,pt	%xcc, 2b\n\
	 ldda	[%o2] %asi, %f16\n\
\n\
	ldda	[%o1 + 64] %asi, %f32\n\
	fxor	%f0, %f16, %f16\n\
	fxor	%f2, %f18, %f18\n\
	fxor	%f4, %f20, %f20\n\
	fxor	%f6, %f22, %f22\n\
	fxor	%f8, %f24, %f24\n\
	fxor	%f10, %f26, %f26\n\
	fxor	%f12, %f28, %f28\n\
	fxor	%f14, %f30, %f30\n\
	stda	%f16, [%o1] %asi\n\
	ldda	[%o2 + 64] %asi, %f48\n\
	membar	#Sync\n\
	fxor	%f32, %f48, %f48\n\
	fxor	%f34, %f50, %f50\n\
	fxor	%f36, %f52, %f52\n\
	fxor	%f38, %f54, %f54\n\
	fxor	%f40, %f56, %f56\n\
	fxor	%f42, %f58, %f58\n\
	fxor	%f44, %f60, %f60\n\
	fxor	%f46, %f62, %f62\n\
	stda	%f48, [%o1 + 64] %asi\n\
	membar	#Sync|#StoreStore|#StoreLoad\n\
	wr	%g1, %g0, %asi\n\
	retl\n\
	  wr	%g0, 0, %fprs\n\
	.size xor_vis_2, .-xor_vis_2\n\
\n\
\n\
	.globl xor_vis_3\n\
	.type xor_vis_3,@function\n\
xor_vis_3:\n\
	rd	%fprs, %o5\n\
	andcc	%o5, FPRS_FEF|FPRS_DU, %g0\n\
	be,pt	%icc, 0f\n\
	 sethi	%hi(VISenter), %g1\n\
	jmpl	%g1 + %lo(VISenter), %g7\n\
	 add	%g7, 8, %g7\n\
0:	wr	%g0, FPRS_FEF, %fprs\n\
	rd	%asi, %g1\n\
	wr	%g0, ASI_BLK_P, %asi\n\
	membar	#LoadStore|#StoreLoad|#StoreStore\n\
	sub	%o0, 64, %o0\n\
	ldda	[%o1] %asi, %f0\n\
	ldda	[%o2] %asi, %f16\n\
\n\
3:	ldda	[%o3] %asi, %f32\n\
	fxor	%f0, %f16, %f48\n\
	fxor	%f2, %f18, %f50\n\
	add	%o1, 64, %o1\n\
	fxor	%f4, %f20, %f52\n\
	fxor	%f6, %f22, %f54\n\
	add	%o2, 64, %o2\n\
	fxor	%f8, %f24, %f56\n\
	fxor	%f10, %f26, %f58\n\
	fxor	%f12, %f28, %f60\n\
	fxor	%f14, %f30, %f62\n\
	ldda	[%o1] %asi, %f0\n\
	fxor	%f48, %f32, %f48\n\
	fxor	%f50, %f34, %f50\n\
	fxor	%f52, %f36, %f52\n\
	fxor	%f54, %f38, %f54\n\
	add	%o3, 64, %o3\n\
	fxor	%f56, %f40, %f56\n\
	fxor	%f58, %f42, %f58\n\
	subcc	%o0, 64, %o0\n\
	fxor	%f60, %f44, %f60\n\
	fxor	%f62, %f46, %f62\n\
	stda	%f48, [%o1 - 64] %asi\n\
	bne,pt	%xcc, 3b\n\
	 ldda	[%o2] %asi, %f16\n\
\n\
	ldda	[%o3] %asi, %f32\n\
	fxor	%f0, %f16, %f48\n\
	fxor	%f2, %f18, %f50\n\
	fxor	%f4, %f20, %f52\n\
	fxor	%f6, %f22, %f54\n\
	fxor	%f8, %f24, %f56\n\
	fxor	%f10, %f26, %f58\n\
	fxor	%f12, %f28, %f60\n\
	fxor	%f14, %f30, %f62\n\
	membar	#Sync\n\
	fxor	%f48, %f32, %f48\n\
	fxor	%f50, %f34, %f50\n\
	fxor	%f52, %f36, %f52\n\
	fxor	%f54, %f38, %f54\n\
	fxor	%f56, %f40, %f56\n\
	fxor	%f58, %f42, %f58\n\
	fxor	%f60, %f44, %f60\n\
	fxor	%f62, %f46, %f62\n\
	stda	%f48, [%o1] %asi\n\
	membar	#Sync|#StoreStore|#StoreLoad\n\
	wr	%g1, %g0, %asi\n\
	retl\n\
	 wr	%g0, 0, %fprs\n\
	.size xor_vis_3, .-xor_vis_3\n\
\n\
\n\
	.globl xor_vis_4\n\
	.type xor_vis_4,@function\n\
xor_vis_4:\n\
	rd	%fprs, %o5\n\
	andcc	%o5, FPRS_FEF|FPRS_DU, %g0\n\
	be,pt	%icc, 0f\n\
	 sethi	%hi(VISenter), %g1\n\
	jmpl	%g1 + %lo(VISenter), %g7\n\
	 add	%g7, 8, %g7\n\
0:	wr	%g0, FPRS_FEF, %fprs\n\
	rd	%asi, %g1\n\
	wr	%g0, ASI_BLK_P, %asi\n\
	membar	#LoadStore|#StoreLoad|#StoreStore\n\
	sub	%o0, 64, %o0\n\
	ldda	[%o1] %asi, %f0\n\
	ldda	[%o2] %asi, %f16\n\
\n\
4:	ldda	[%o3] %asi, %f32\n\
	fxor	%f0, %f16, %f16\n\
	fxor	%f2, %f18, %f18\n\
	add	%o1, 64, %o1\n\
	fxor	%f4, %f20, %f20\n\
	fxor	%f6, %f22, %f22\n\
	add	%o2, 64, %o2\n\
	fxor	%f8, %f24, %f24\n\
	fxor	%f10, %f26, %f26\n\
	fxor	%f12, %f28, %f28\n\
	fxor	%f14, %f30, %f30\n\
	ldda	[%o4] %asi, %f48\n\
	fxor	%f16, %f32, %f32\n\
	fxor	%f18, %f34, %f34\n\
	fxor	%f20, %f36, %f36\n\
	fxor	%f22, %f38, %f38\n\
	add	%o3, 64, %o3\n\
	fxor	%f24, %f40, %f40\n\
	fxor	%f26, %f42, %f42\n\
	fxor	%f28, %f44, %f44\n\
	fxor	%f30, %f46, %f46\n\
	ldda	[%o1] %asi, %f0\n\
	fxor	%f32, %f48, %f48\n\
	fxor	%f34, %f50, %f50\n\
	fxor	%f36, %f52, %f52\n\
	add	%o4, 64, %o4\n\
	fxor	%f38, %f54, %f54\n\
	fxor	%f40, %f56, %f56\n\
	fxor	%f42, %f58, %f58\n\
	subcc	%o0, 64, %o0\n\
	fxor	%f44, %f60, %f60\n\
	fxor	%f46, %f62, %f62\n\
	stda	%f48, [%o1 - 64] %asi\n\
	bne,pt	%xcc, 4b\n\
	 ldda	[%o2] %asi, %f16\n\
\n\
	ldda	[%o3] %asi, %f32\n\
	fxor	%f0, %f16, %f16\n\
	fxor	%f2, %f18, %f18\n\
	fxor	%f4, %f20, %f20\n\
	fxor	%f6, %f22, %f22\n\
	fxor	%f8, %f24, %f24\n\
	fxor	%f10, %f26, %f26\n\
	fxor	%f12, %f28, %f28\n\
	fxor	%f14, %f30, %f30\n\
	ldda	[%o4] %asi, %f48\n\
	fxor	%f16, %f32, %f32\n\
	fxor	%f18, %f34, %f34\n\
	fxor	%f20, %f36, %f36\n\
	fxor	%f22, %f38, %f38\n\
	fxor	%f24, %f40, %f40\n\
	fxor	%f26, %f42, %f42\n\
	fxor	%f28, %f44, %f44\n\
	fxor	%f30, %f46, %f46\n\
	membar	#Sync\n\
	fxor	%f32, %f48, %f48\n\
	fxor	%f34, %f50, %f50\n\
	fxor	%f36, %f52, %f52\n\
	fxor	%f38, %f54, %f54\n\
	fxor	%f40, %f56, %f56\n\
	fxor	%f42, %f58, %f58\n\
	fxor	%f44, %f60, %f60\n\
	fxor	%f46, %f62, %f62\n\
	stda	%f48, [%o1] %asi\n\
	membar	#Sync|#StoreStore|#StoreLoad\n\
	wr	%g1, %g0, %asi\n\
	retl\n\
	 wr	%g0, 0, %fprs\n\
	.size xor_vis_4, .-xor_vis_4\n\
\n\
\n\
	.globl xor_vis_5\n\
	.type xor_vis_5,@function\n\
xor_vis_5:\n\
	mov	%o5, %g5\n\
	rd	%fprs, %o5\n\
	andcc	%o5, FPRS_FEF|FPRS_DU, %g0\n\
	be,pt	%icc, 0f\n\
	 sethi	%hi(VISenter), %g1\n\
	jmpl	%g1 + %lo(VISenter), %g7\n\
	 add	%g7, 8, %g7\n\
0:	wr	%g0, FPRS_FEF, %fprs\n\
	mov	%g5, %o5\n\
	rd	%asi, %g1\n\
	wr	%g0, ASI_BLK_P, %asi\n\
	membar	#LoadStore|#StoreLoad|#StoreStore\n\
	sub	%o0, 64, %o0\n\
	ldda	[%o1] %asi, %f0\n\
	ldda	[%o2] %asi, %f16\n\
\n\
5:	ldda	[%o3] %asi, %f32\n\
	fxor	%f0, %f16, %f48\n\
	fxor	%f2, %f18, %f50\n\
	add	%o1, 64, %o1\n\
	fxor	%f4, %f20, %f52\n\
	fxor	%f6, %f22, %f54\n\
	add	%o2, 64, %o2\n\
	fxor	%f8, %f24, %f56\n\
	fxor	%f10, %f26, %f58\n\
	fxor	%f12, %f28, %f60\n\
	fxor	%f14, %f30, %f62\n\
	ldda	[%o4] %asi, %f16\n\
	fxor	%f48, %f32, %f48\n\
	fxor	%f50, %f34, %f50\n\
	fxor	%f52, %f36, %f52\n\
	fxor	%f54, %f38, %f54\n\
	add	%o3, 64, %o3\n\
	fxor	%f56, %f40, %f56\n\
	fxor	%f58, %f42, %f58\n\
	fxor	%f60, %f44, %f60\n\
	fxor	%f62, %f46, %f62\n\
	ldda	[%o5] %asi, %f32\n\
	fxor	%f48, %f16, %f48\n\
	fxor	%f50, %f18, %f50\n\
	add	%o4, 64, %o4\n\
	fxor	%f52, %f20, %f52\n\
	fxor	%f54, %f22, %f54\n\
	add	%o5, 64, %o5\n\
	fxor	%f56, %f24, %f56\n\
	fxor	%f58, %f26, %f58\n\
	fxor	%f60, %f28, %f60\n\
	fxor	%f62, %f30, %f62\n\
	ldda	[%o1] %asi, %f0\n\
	fxor	%f48, %f32, %f48\n\
	fxor	%f50, %f34, %f50\n\
	fxor	%f52, %f36, %f52\n\
	fxor	%f54, %f38, %f54\n\
	fxor	%f56, %f40, %f56\n\
	fxor	%f58, %f42, %f58\n\
	subcc	%o0, 64, %o0\n\
	fxor	%f60, %f44, %f60\n\
	fxor	%f62, %f46, %f62\n\
	stda	%f48, [%o1 - 64] %asi\n\
	bne,pt	%xcc, 5b\n\
	 ldda	[%o2] %asi, %f16\n\
\n\
	ldda	[%o3] %asi, %f32\n\
	fxor	%f0, %f16, %f48\n\
	fxor	%f2, %f18, %f50\n\
	fxor	%f4, %f20, %f52\n\
	fxor	%f6, %f22, %f54\n\
	fxor	%f8, %f24, %f56\n\
	fxor	%f10, %f26, %f58\n\
	fxor	%f12, %f28, %f60\n\
	fxor	%f14, %f30, %f62\n\
	ldda	[%o4] %asi, %f16\n\
	fxor	%f48, %f32, %f48\n\
	fxor	%f50, %f34, %f50\n\
	fxor	%f52, %f36, %f52\n\
	fxor	%f54, %f38, %f54\n\
	fxor	%f56, %f40, %f56\n\
	fxor	%f58, %f42, %f58\n\
	fxor	%f60, %f44, %f60\n\
	fxor	%f62, %f46, %f62\n\
	ldda	[%o5] %asi, %f32\n\
	fxor	%f48, %f16, %f48\n\
	fxor	%f50, %f18, %f50\n\
	fxor	%f52, %f20, %f52\n\
	fxor	%f54, %f22, %f54\n\
	fxor	%f56, %f24, %f56\n\
	fxor	%f58, %f26, %f58\n\
	fxor	%f60, %f28, %f60\n\
	fxor	%f62, %f30, %f62\n\
	membar	#Sync\n\
	fxor	%f48, %f32, %f48\n\
	fxor	%f50, %f34, %f50\n\
	fxor	%f52, %f36, %f52\n\
	fxor	%f54, %f38, %f54\n\
	fxor	%f56, %f40, %f56\n\
	fxor	%f58, %f42, %f58\n\
	fxor	%f60, %f44, %f60\n\
	fxor	%f62, %f46, %f62\n\
	stda	%f48, [%o1] %asi\n\
	membar	#Sync|#StoreStore|#StoreLoad\n\
	wr	%g1, %g0, %asi\n\
	retl\n\
	 wr	%g0, 0, %fprs\n\
	.size xor_vis_5, .-xor_vis_5\n\
");
 
static struct xor_block_template xor_block_VIS = {
        name: "VIS",
        do_2: xor_vis_2,
        do_3: xor_vis_3,
        do_4: xor_vis_4,
        do_5: xor_vis_5,
};
 
#define XOR_TRY_TEMPLATES       xor_speed(&xor_block_VIS)