Event (Additional Problems (MNIST))

お知らせ

このシステムについて

このシステムでは、多層パーセプトロンを利用した MNIST データセットの分類器の訓練を MN-Core 2 で実行するのに必要な演算セットの実装を、オンラインジャッジ形式で行うことができます。

以下のような、$32×32 = 1024$ ピクセルの画像を入力とし、隠れ層サイズ $16$、出力層サイズ $16$ のニューラルネットワーク (NN) を用いて MN-Core 2 上で実装し、分類と訓練を行うのが目標です。

class SimpleNN1024(nn.Module): def __init__(self): super().__init__() self.fc1 = nn.Linear(1024, 16) # 入力 32x32 = 1024、隠れ層 16 次元 self.fc2 = nn.Linear(16, 16) # 出力 16 次元 (10クラス問題だけど、16次元にしておく) self.relu = nn.ReLU() def forward(self, x: torch.Tensor): x = x.view(x.size(0), -1) x = self.relu(self.fc1(x)) return self.fc2(x)

nn.Linear とは NN の全結合層を表し、$y = Wx + b$ という計算を行います。$W$ は重み行列、$b$ はバイアスベクトルです。

このモデルの forward 関数を、バッチサイズ $256$ として計算グラフで表現すると以下のようになります。

Gemm とは行列積のことを指します。入力 input の $256 \times 1024$ 行列と、重み fc1_weight の $16\times1024$ 行列の転置行列との積を計算し、バイアス fc1_bias を加えた後に ReLU 関数を適用しています。ここで、$256$ はバッチサイズ、$1024$ は入力画像のピクセル数、$16$ は隠れ層の次元数を表しています。

更にその出力 $256 \times 16$ 行列に対して再び同様の処理を行い、$256 \times 16$ 行列 output を得ています。これは、$256$ バッチの各画像に対して、$0$～$9$ の各数字に対するスコアを出力していることを意味します。

この output を Softmax 関数に通し、正規化された確率分布に変換することで、確率出力 probs を得ています。推論で行われる計算は以上です。

このページでは、この計算で使われるそれぞれの演算を、小ステップに分けて実装していき、最終的に上記の NN の推論や訓練を MN-Core 2 上で実行できるようにすることを目指します。

NN の訓練部分の解説

今回の問題セットでは、推論だけでなく訓練部分も MN-Core 2 上で実装することを目指します。なお、推論で使う演算だけを実装しきれば、推論部分だけを実行することも可能です。詳細はブログにまとめ、ここでは簡単に訓練部分の計算について説明します。

訓練では、まず推論で得られた確率分布 probs と正解ラベル入力 labels を用いて、損失（誤差）を計算し、その損失を各パラメータで微分することで勾配を求めます。勾配は、例えば Add 演算であれば、出力の勾配をそのまま入力の勾配として伝搬します。ReLU 演算であれば、順伝播の出力が $0$ 以下の部分の勾配を $0$ にすることで求められます。Gemm演算（入力 $X$ と重み $W$ の積）であれば、入力 $X$ に対する勾配は「出力の勾配と重み $W$ の転置行列の積」で求められます。

こうして各演算の入力や重みパラメータに対する勾配を逆伝播で計算し、重みパラメータ（fc1_weight や fc1_bias など）に対しては、その勾配に訓練率（今回は $0.01$）を掛けた値を引くことで、重みの更新を行います。

完全な計算グラフはこちらに示しますが、訓練だけであれば loss の計算は不要なので、こちらのように loss を除いた計算グラフに対応することにします。

また、Softmax のように複雑な演算は、Sub, Exp, ReduceSum, Div といったより基本的な演算に分解して実装することにします。そうすると今回の訓練部分は、以下のような計算グラフになります。

また、MN-Core はデバイス上に DRAM を持ちますが、演算を行うためには値を DRAM から、LM などの PE 内部の SRAM に移動してから行う必要があります。

そのため、DRAM から SRAM に値を移動する DL という処理と、SRAM から DRAM に値を移動する UL という処理も必要になります。

推論部分だけを、DL/UL を含めた計算グラフはこちら、訓練部分も含めた完全なDL/UL付き計算グラフはこちらになります。

本当は、連続する DL, UL はまとめたり省略することも可能なのですが、今回は「とりあえず動く」を目標にしているため、全ての DL, UL を明示的に挿入しました。

この計算グラフを見ると「うっ…」となってしまうかもしれませんが、色々使いまわしができるように問題サイズを工夫しているので、実際に実装すべきパターンは限られています。

問題一覧に、実装すべき各演算の問題が揃っています。

48問と非常に多いですが、SumCol のように、一気に実装するのが難しい場合は、SumCol mini のように分割してあるため、一問一問は比較的簡単に実装できるはずです。

48問中、16 問は基礎的な演算の実装、15 問はメモリ転送の DL,UL 問題、残りの 17 問は行列積 MMul（Gemm）の実装になっています。

行列積問題は、実際に NN の訓練で使用するのは「★」のついた 5 種類だけですが、ステップを細かく分けて用意しました。

ぜひ一緒に MN-Core 2 でのニューラルネットワーク訓練の実装を楽しみましょう！

順位

問題に正答すると正答したコードの行数に応じた点数が得られます。
正確には、機械語に変換したときの m または j で始まる行の数です。
得られる点数は、参加者の正答コードのうち最短行数を $X$、あなたのコードの行数を $Y$ とすると、$10 + \lceil \frac{90X}{Y} \rceil$ 点です。
また、最短行数を最も早く達成した方には追加で $1$ 点が与えられます。
順位は合計得点が大きい順に付きます。
同点の場合は、各問題で最後に行数を更新したときの提出時刻（以下ペナルティとする）の和が小さい方が高い順位となります。順位表では経過時刻の和が表示されます。

ジャッジ

テストケースのvsmの YOUR CODE WILL BE INSERTED HERE と書かれた行を提出されたvsmで置換して実行し、期待される出力が得られた場合正答とします。
提出されたvsmを機械語に変換した後、 m または j で始まる行以外は無視されます。（コードテストではDebug get文・Debug set文が使用可能）
正確には、judge-mnist.zip 内のスクリプトを用いて次のコマンドが正常終了すれば正答とします。
$ python3 judge.py <testcase-vsm> <submitted-vsm> -v 2>&1
※Ubuntu 20.04.6 LTS で動作確認済
ただし、実行時間が $30$ 秒を超えた場合実行を中断し、誤答として扱います。
また、judge.py の出力が $45$ MiB 以上になった場合も実行を中断し、誤答として扱います。
不正・実行環境のバグ・問題不備等の対処が入る可能性があります。更新はオンラインジャッジおよびDiscordでお知らせします。
公平のため、テストケースの変更やリジャッジ、正答の取り消しなどを行う可能性があります。

入出力に関する共通ルール

各入力について、出現しないレベル（L2B L1B MAB PE W）は放送されています。すなわち、例えば L2B が出現しない場合どの L2B についても同じデータの並びになっています。
各出力について、出現しないレベル（L2B L1B MAB PE W）は $0$ 番目の値のみを比較します。すなわち、例えば L2B が出現しない場合 $0$ 番目の L2B の値のみが合っていれば正答になります。
各浮動小数点数の入力は正規化されています。すなわち、指数部が $0$ なら全ビットが $0$ になっています。
入力部分以外の領域は $0$ で初期化されています。

ジャッジ結果

Accepted: 正答したことを表します
Wrong Answer: 出力された値が間違っていることを表します
Time Limit Exceeded: プログラムの実行が $30$ 秒以内に終了しなかったことを表します
Runtime Error: 実行時エラーが発生したことを表します
Error on Dirty Run: Dirty Run 実行時エラーが発生したことを表します
Output Limit Exceeded: judge.py の出力が $45$ MiB 以上になったことを表します

禁止事項

下記の禁止事項に該当するとみなされたとき、正答の取り消しやアカウントの削除を行う可能性があります。

複数アカウントを作成すること
短時間に何度もサーバにリクエストを投げること

個人情報の取扱い

登録の際にはユーザ名とパスワードのみが必要です。
個人情報の取り扱いに関しましてはプライバシーポリシーに則ります。

利用規約・お問い合わせ

本システムに提出いただくには登録時に利用規約に同意していただく必要があります。

その他、本システムに関連するお問い合わせはMN-Core Challenge 事務局までお送りください。