mmap の説明

@@ -196,6 +203,7 @@ --> +<<<<<<< local

Blocked Read の実装

@@ -219,6 +227,28 @@

I/O 専用の therad を追加 (1/2)

+
+

file mapping 後、file をある一定の大きさに分割する
分割した file に対して、それぞれ計算を行う
計算した結果を集計する

+ +

I/O 専用の therad を追加 (2/2)

+
+

file mapping 後、file をある一定の大きさに分割する
分割した file に対して、それぞれ計算を行う
計算した結果を集計する

ベンチマーク(1/3)

@@ -294,6 +324,294 @@

+ +

まとめ

+
+

+ mmap より、Blocked Readのほうが % ほど速くなった +
+ I/O と Task の分離が成功した +

+ +

大学院に進学してしたいこと

+
+

+ さらなる並列処理向け I/O の動作を改善 +
+ I/O を利用した、マルチコアソフトウェアシンセサイザーを設計 +

+ +

+ + +

大学院に進学してしたいこと

+
+

+ さらなる並列処理向け I/O の動作を改善 +
+ I/O を利用した、マルチコアソフトウェアシンセサイザーを設計 +

+ +

マルチコアソフトウェアシンセサイザーの設計

+
+

+ 作曲をする際にはマシンパワーが必要となることが多い。 +
+ ソフトウェアシンセサイザー(以下、シンセサイザー)を使用する際にマシンパワーが必要となる。 +
+ シンセサイザーは1つだけで立ち上げる物ではなく、複数立ち上げる物なので、1つ1つの負荷を抑えることがキーポイントとなる。 +
+ シンセサイザーは様々なフィルターをかけることで音を作っていくのだが、フィルターを重ねても動作軽量なプログラムを作る。 +

+ +

付録 : Cerium Task の生成の例(1)

(例題) multiply : 2つの数を掛け算するプログラム

main.cc の記述

+float* A, B, C;
+// Task の宣言
+HTaskPtr multiply = manager->create_task(MULTIPLY_TASK);
+// Task を実行する デバイスの設定
+multiply->set_cpu(SPE_ANY);
+// Task に入力データのアドレスを追加
+multiply->set_inData(0, (memaddr)A, sizeof(float)*length);
+multiply->set_inData(1, (memaddr)B, sizeof(float)*length);
+// Task に出力データのアドレスを追加
+multiply->set_outData(0, (memaddr)C, sizeof(float)*length);
+// Task へ値を1つだけ渡す
+multiply->set_param(0,length);
+// Task を TaskList に set する
+multiply->spawn();

+ +

付録 : Cerium Task の生成(2)

+
+

Task の記述

+static int
+multiply(SchedTask *s,void *rbuf, void *wbuf)
+{
+    float *A,*B,*C
+    // 登録した inData を取得
+    A = (float*)s->get_input(rbuf,0);
+    B = (float*)s->get_input(rbuf,1);
+    // 登録した outData を取得
+    C = (float*)s->get_output(wbuf,0);
+    // 登録した param を取得
+    long  length=(long)s->get_param(0);
+    for (int i=0;i < length;i++) {
+        C[i] = A[i] * B[i];
+    }
+    return 0;
+}

+ +

付録 : mmap での I/O の実装

+
+

mmap の記述

+mmap(SchedTask *s, void *in, void *out)
+{
+    // FileReadPtr : File情報などを格納している構造体
+    FileReadPtr fr = (FileReadPtr)in;
+    int map = MAP_PRIVATE;
+
+    fr->read_text =
+        (char*)mmap(NULL,fr->filesize,PROT_READ,map,fr->fd,(off_t)0);
+}
+

+ PROT_READ : 読み込み可 +
+ MAP_PRIVATE : 読み込んだ領域に対して書き込みが起こると複製し、複製した領域に対して書き込みを行う +

+ +======= +>>>>>>> other +

+<<<<<<< local +

付録 : Block Read の実装(1/2)

+======= +

Blocked Read の実装

+>>>>>>> other +
+<<<<<<< local +

Block Read の実装

+HTaskPtr t_read = manager->create_task(READ_TASK);
+t_read->set_cpu(read_spe_cpu);
+// 読み出すファイルの格納場所を設定
+t_read->set_outData(0,
+                    w->file_mmap + w->task_spawned * w->division_size,
+                    w->task_blocks * w->division_size);
+// ファイルディスクリプタの受け渡し
+t_read->set_param(0,w->fd);
+// ファイル読み込みの始点
+t_read->set_param(1,w->task_spawned*w->division_size);
+=======
+          
+          

+>>>>>>> other
+
+<<<<<<< local
+// run_tasks(manager,w, w->task_blocks, t_read, t_next, w->division_size + w->extra_len);
+// ここで、ファイルに対して何らかの計算を掛けるような Task を設定する
+run_tasks(manager,w, w->task_blocks,・・・ );
+
+// ファイル読み込みの終点
+t_read->set_param(2,w->task_spawned*w->division_size + w->extra_len);
+
+t_read->spawn();
+
+

+======= +

+ Task を 1 つずつ生成するのではなく、ブロック単位で生成する。
+ この図では、1 Block 当たり n 個の Task を生成する。
+ (1つずつ生成すると、生成された Task で memory を圧迫するため) +
+ Task 1つ当たりの読み込む領域を L とする。
+ Blocked Read Task 1つ当たり、memory に格納する大きさは L × n となる。 +
+ Blocked Read Task が読み込み終わるまで、Task Block に wait を掛ける。
+ (Read Task が格納する前に走ると、まだ格納していない領域を読みこんでしまう。) +

+>>>>>>> other +

+ +

+<<<<<<< local +

付録 : Block Read の実装(2/2)

+======= +

ベンチマーク(1/3)

+>>>>>>> other +
+<<<<<<< local +

Block Read の記述

+static int
+read_task(SchedTask *s, void *rbuf, void *wbuf)
+{
+    long fd = (long)s->get_param(0);
+    long start_read_position = (long)s->get_param(1);
+    long end_read_position = (long)s->get_param(2);
+    char *read_text = (char*)s->get_output(wbuf,0);
+    long read_size = end_read_position - start_read_position;
+
+    pread(fd, read_text, read_size , start_read_position);
+    return 0;
+}
+

+======= +

実験環境

Mac OS X 10.9.1
2*2.66 GHz 6-Core Intel Xeon
Memory 16GB 1333MHz DDR3
HHD 1TB
file size : 約 10 GB
+ "doing" という文字列が file 内にいくつあるか計算
+ ("doing" は 25,961,792 個存在する) +

+>>>>>>> other +

+ +<<<<<<< local +======= +

ベンチマーク(2/3)

+ file が memory に残っていない状態での測定 +
+ one task size 128KByte +
+ Task Blocks 48 +

+
+

結果

+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +

read mode	cpu num	min time(s)	MAX time(s)	ave time(s)
mmap	4	135.2	148.9	142.3
BRead	4	94.5	109.2	98.8
mmap	12	147.0	181.8	154.6
BRead	12	91.6	117.5	99.2

+ +

mmap の説明

Blocked Read の実装

I/O 専用の therad を追加 (1/2)

I/O 専用の therad を追加 (2/2)

ベンチマーク(1/3)

まとめ

大学院に進学してしたいこと

大学院に進学してしたいこと

マルチコアソフトウェアシンセサイザーの設計

付録 : Cerium Task の生成の例(1)

main.cc の記述

付録 : Cerium Task の生成(2)

Task の記述

付録 : mmap での I/O の実装

mmap の記述

付録 : Block Read の実装(1/2)

Blocked Read の実装

Block Read の実装

付録 : Block Read の実装(2/2)

ベンチマーク(1/3)

Block Read の記述

実験環境

ベンチマーク(2/3)

結果

ベンチマーク(3/3)

考察