A - B

- / 3

FMul 7

- / 5

ReLU

- / 2

ReLU grad

- / 3

AddCol vec

- / 4

SubRow vec

- / 24

SumCol mini

- / 4

SumCol

- / 9

SumRow mini

- / 6

SumRow

- / 20

MaxRow

- / 21

DivRow vec

- / 29

Exp low prec

- / 14

Exp

- / 21

Onehot mini

- / 7

Onehot

- / 24

DL 256_16

- / 5

UL 256_16

- / 6

DL PE 256_16

- / 19

UL PE 256_16

- / 10

DL L2B 256_16

- / 12

DL 1024_16

- / 8

DL 256_1024

- / 69

DL 16

- / 5

UL 16

- / 5

DL 16_1024

- / 40

UL 16_1024

- / 13

DL 16_16

- / 11

UL 16_16

- / 9

DL 256

- / 11

UL 256

- / 12

Mmul TB 4_8_8

- / 4

Mmul TB 4_8_16

- / 7

Mmul TB 4_16_8

- / 7

Mmul TB 4_16_16

- / 12

Mmul TB 256_16_16★

- / 12

Mmul TB 32_8_16

- / 17

Mmul TB 256_128_16

- / 23

Mmul TB D 256_1024_16★

- / 29

Mmul 4_8_8

- / 7

Mmul 4_16_16

- / 13

Mmul 256_16_16★

- / 13

Mmul TA 8_8_8

- / 8

Mmul TA 16_8_16

- / 17

Mmul TA 16_4_16

- / 16

Mmul TA D 16_256_16★

- / 26

Mmul TA 16_32_8

- / 17

Mmul TA D 16_256_1024 ★

- / 70