MatmulEpilogue#
-
enum nvmath.
bindings. cublasMp. MatmulEpilogue(value)[source]# See
cublasMpMatmulEpilogue_t.- Member Type:
Valid values are as follows:
- DEFAULT = <MatmulEpilogue.DEFAULT: 0>#
- ALLREDUCE = <MatmulEpilogue.ALLREDUCE: 1>#
- RELU = <MatmulEpilogue.RELU: 2>#
- RELU_AUX = <MatmulEpilogue.RELU_AUX: 130>#
- BIAS = <MatmulEpilogue.BIAS: 4>#
- RELU_BIAS = <MatmulEpilogue.RELU_BIAS: 6>#
- RELU_AUX_BIAS = <MatmulEpilogue.RELU_AUX_BIAS: 134>#
- DRELU = <MatmulEpilogue.DRELU: 136>#
- DRELU_BGRAD = <MatmulEpilogue.DRELU_BGRAD: 152>#
- GELU = <MatmulEpilogue.GELU: 32>#
- GELU_AUX = <MatmulEpilogue.GELU_AUX: 160>#
- GELU_BIAS = <MatmulEpilogue.GELU_BIAS: 36>#
- GELU_AUX_BIAS = <MatmulEpilogue.GELU_AUX_BIAS: 164>#
- DGELU = <MatmulEpilogue.DGELU: 192>#
- DGELU_BGRAD = <MatmulEpilogue.DGELU_BGRAD: 208>#
- BGRADA = <MatmulEpilogue.BGRADA: 256>#
- BGRADB = <MatmulEpilogue.BGRADB: 512>#