Cerium による並列処理向け I/O の設計と実装
Masataka Kohagura 12th, February
担当教官 : 河野 真治
研究背景と目的
近年のCPUのほとんどはマルチコアであり、それらの性能を引き出すためには並列プログラミングが必須となっている。 そこで当研究室では、並列プログラミング用フレームワーク、Cerium Task Manager の開発を行い、提供することによって並列プログラミングを容易にしている。
先行研究では Task の並列化によって、プログラム全体の処理速度は向上している。しかし、ファイル読み込み等の I/O と Task が並列に動作するようにはされていない。
現状では、ファイルを memory に mapping を行ってから Task が走るようになっているので、I/O と Task が並列に動作しない。
本研究では I/O と Task が並列に動作するような設計、実装によってプログラム全体の 並列度、及び処理速度を上げていく。
mmapでの実装の問題点
- mmap で file を読み込むと、file は memory 上にて即座には展開されない。
-
file が memory に展開されるタイミングは、その file に対して何らかの計算を行うときである。
→つまり、Task が走るときに初めて memory に file を格納するので、I/O と Task が分離できない。
並列処理向け I/O の 設計と実装
- I/O を含む Task の説明
- mmap の説明
- Blocked Read の設計と実装
- ベンチマーク
I/O を含む Task の説明
- file mapping 後、file をある一定の大きさに分割する
- 分割した file に対して、それぞれ計算を行う
- 計算した結果を集計する
mmap の説明
 |
|
Blocked Read の設計
- 明示的な read
- 先読みを自分で書ける(制御できる)
- memory より大きなファイルを扱える
Blocked Read の実装
-
Task を 1 つずつ生成するのではなく、ブロック単位で生成する。
この図では、1 Block 当たり n 個の Task を生成する。
(1つずつ生成すると、生成された Task で memory を圧迫するため) -
Task 1つ当たりの読み込む領域を L とする。
Blocked Read Task 1つ当たり、memory に格納する大きさは L × n となる。 -
Blocked Read Task が読み込み終わるまで、Task Block に wait を掛ける。
(Read Task が格納する前に走ると、まだ格納していない領域を読みこんでしまう。)
ベンチマーク(1/3)
実験環境
- Mac OS X 10.9.1
- 2*2.66 GHz 6-Core Intel Xeon
- Memory 16GB 1333MHz DDR3
- HHD 1TB
- file size : 約 10 GB
-
"doing" という文字列が file 内にいくつあるか計算
("doing" は 25,961,792 個存在する)
ベンチマーク(2/3)
- file が memory に残っていない状態での測定
- one task size 128KByte
- Task Blocks 48
結果
| read mode | cpu num | min time(s) | MAX time(s) | ave time(s) |
| mmap | 4 | 135.2 | 148.9 | 142.3 |
| BRead | 4 | 94.5 | 109.2 | 98.8 |
| mmap | 12 | 147.0 | 181.8 | 154.6 |
| BRead | 12 | 91.6 | 117.5 | 99.2 |
ベンチマーク(3/3)
考察
- mmap より、Blocked Readのほうが % ほど速くなった
- I/O と Task が分離できた。
大学院に進学してしたいこと
- さらなる 並列処理向け I/O の動作を改善
- I/O を利用した、マルチコアソフトウェアシンセサイザーを設計
マルチコアソフトウェアシンセサイザーの設計
- 作曲をする際にはマシンパワーが必要となることが多い。
- ソフトウェアシンセサイザー(以下、シンセサイザー)を使用する際にマシンパワーが必要となる。
- シンセサイザーは1つだけで立ち上げる物ではなく、複数立ち上げる物なので、1つ1つの負荷を抑えることがキーポイントとなる。
- シンセサイザーは様々なフィルターをかけることで音を作っていくのだが、フィルターを重ねても動作軽量なプログラムを作る。