A - B

- / 3

FMul 7

- / -

ReLU

- / 2

ReLU grad

- / -

AddCol vec

- / 4

SubRow vec

- / -

SumCol mini

- / -

SumCol

- / -

SumRow mini

- / -

SumRow

- / -

MaxRow

- / -

DivRow vec

- / -

Exp low prec

- / 17

Exp

- / -

Onehot mini

- / -

Onehot

- / -

DL 256_16

- / -

UL 256_16

- / -

DL PE 256_16

- / -

UL PE 256_16

- / -

DL L2B 256_16

- / -

DL 1024_16

- / -

DL 256_1024

- / -

DL 16

- / -

UL 16

- / -

DL 16_1024

- / -

UL 16_1024

- / -

DL 16_16

- / -

UL 16_16

- / -

DL 256

- / -

UL 256

- / -

Mmul TB 4_8_8

- / -

Mmul TB 4_8_16

- / -

Mmul TB 4_16_8

- / -

Mmul TB 4_16_16

- / -

Mmul TB 256_16_16★

- / -

Mmul TB 32_8_16

- / -

Mmul TB 256_128_16

- / -

Mmul TB D 256_1024_16★

- / -

Mmul 4_8_8

- / -

Mmul 4_16_16

- / -

Mmul 256_16_16★

- / -

Mmul TA 8_8_8

- / -

Mmul TA 16_8_16

- / -

Mmul TA 16_4_16

- / -

Mmul TA D 16_256_16★

- / -

Mmul TA 16_32_8

- / -

Mmul TA D 16_256_1024 ★

- / -