# HG changeset patch
# User Masataka Kohagura
# Date 1391506538 -32400
# Node ID 1583df6c9b6e9fb0f50754d92ea4991ab20b450d
# Parent 37d843c14923218ac93976d881b7dcb664fd8ad6
change slide
diff -r 37d843c14923 -r 1583df6c9b6e 2014/February/memo/04th.txt
--- /dev/null Thu Jan 01 00:00:00 1970 +0000
+++ b/2014/February/memo/04th.txt Tue Feb 04 18:35:38 2014 +0900
@@ -0,0 +1,111 @@
+2014/02/04 (Tue)
+ [program]
+ [実験環境]
+ firefly で計測
+ 2*2.66 GHz, HHD 1TB, memory 16GB
+ 読み込んだ file size : 10740996168 Byte (10GB)
+
+ 読み込んでから Task が終了するまでの時間を測定
+
+ divide read で一度に読み込む量 : 4*4096*1024 Byte
+
+
+ % ./fileread -file ../regex_mas/10gb.txt -cpu 12 -dr
+ [SPE_ANY]
+ mmap 0.194788
+ 4*4096*1024 Byte 123.563726
+ 4*4096 Byte 391.734989
+
+ [IO_0]
+ mmap 0.194788
+ divide size
+ 4*4096*1024 Byte
+ 4*4096 Byte
+
+ [結果]
+ [fileread]
+ CPU_TYPE SPE_ANY
+ mode , cpu_num, first(s), cache(s)
+ MMAP 1
+ D_Read 1
+ D_Read 2
+ D_Read 3
+ D_Read 4
+ D_Read 5
+ D_Read 6
+ D_Read 7
+ D_Read 8 101.228669 138.571596
+ D_Read 9
+ D_Read 10 130.651908 131.169506
+ D_Read 11
+ D_Read 12 139.237653 137.285821
+
+ CPU_TYPE IO_0
+ MMAP 1
+ D_Read 1
+ D_Read 2
+ D_Read 3
+ D_Read 4
+ D_Read 5
+ D_Read 6
+ D_Read 7
+ D_Read 8 126.854166 120.156284
+ D_Read 9
+ D_Read 10 127.547397 129.866984
+ D_Read 11
+ D_Read 12 107.594404 125.348336
+
+
+ [regex_mas(BM_search)]
+ CPU_TYPE SPE_ANY
+ mode , cpu_num, first(s), cache(s)
+ MMAP 1 102.260 38.466
+ MMAP 2
+ MMAP 3
+ MMAP 4
+ MMAP 5
+ MMAP 6
+ MMAP 7
+ MMAP 8
+ MMAP 9
+ MMAP 10
+ MMAP 11
+ MMAP 12 81.961003 8.134885
+ D_Read 1
+ D_Read 2
+ D_Read 3
+ D_Read 4
+ D_Read 5
+ D_Read 6
+ D_Read 7
+ D_Read 8 101.228669 138.571596
+ D_Read 9
+ D_Read 10 130.651908 131.169506
+ D_Read 11
+ D_Read 12 139.237653 137.285821
+
+ CPU_TYPE IO_0
+ MMAP 1
+ MMAP 2
+ MMAP 3
+ MMAP 4
+ MMAP 5
+ MMAP 6
+ MMAP 7
+ MMAP 8 116.673263 8.048647
+ MMAP 9
+ MMAP 10 75.978887 8.139924
+ MMAP 11
+ MMAP 12 81.245613 8.200301
+ D_Read 1
+ D_Read 2
+ D_Read 3
+ D_Read 4
+ D_Read 5
+ D_Read 6
+ D_Read 7
+ D_Read 8 126.854166 120.156284
+ D_Read 9
+ D_Read 10 127.547397 129.866984
+ D_Read 11
+ D_Read 12 107.594404 125.348336
diff -r 37d843c14923 -r 1583df6c9b6e 2014/February/slide/04th.html
--- a/2014/February/slide/04th.html Mon Feb 03 23:26:38 2014 +0900
+++ b/2014/February/slide/04th.html Tue Feb 04 18:35:38 2014 +0900
@@ -46,23 +46,21 @@
-
-
- 研究目的
-
+
+ 研究背景と目的
- 当研究室では、CellやマルチコアCPUで並列プログラミングを可能にするCerium Task Managerを開発している。
+ 近年のCPUのほとんどはマルチコアであり、それらの性能を引き出すためには並列プログラミングが必須となっている。そこで当研究室では Cerium Library の開発を行い、提供することによって並列プログラミングを容易にしている。
- マルチコア CPU を最大限に活かすためには、プログラムの並列度を向上させなければならない。
- 当研究室では Cerium Libraryを提供することによって並列プログラミングを容易にしているが、ファイル読み込み等のI/O部分に関してはまだAPIが実装されていない。
+ 先行研究では Task の並列化によって、プログラム全体の処理速度は向上しているが、ファイル読み込み等の I/O に対して並列に Task が動作するようにはされていない。
- 本研究では、I/O読み込みとTaskの並列化の設計・実装によって既存の正規表現の処理速度、処理効率を上げる。
+ 現状では、ファイルを全て memory に mapping を行ってから Task が走るようになっているので、非常に大きいサイズのファイルを読み込むと、ファイルを memory に mapping するまでの時間がオーバーヘッドになってしまう。
-
-
-
+
+ 本研究では I/O と Task の並列化の設計、実装によってプログラム全体の処理速度、処理効率を上げていく。
+
+
@@ -71,62 +69,13 @@
-
- regex_mas に divide read の実装(未測定) - ちゃんと中身まで書こう
-
-
-
-
-
- 卒論 目次
-
-
-
-第1章 序論
- 1.1 研究背景と目的
-
-第2章 Cerium
- 2.1 Cerium の概要
- 2.2 Cerium Task Manager
-
-
-IOの話をここに
-第3章 Cerium Task Manager を使った例題
- 3.1 Word Count
- 3.2 File Read
-
-mmapの解説をここでいれよう
-map_reduce
-第4章 並列(分割?) I/O の設計と実装
- 4.1 本研究以前の I/O の実装方法 (mmap)
- 4.2 I/O の設計
- ??4.2.1 single core sequential read
- ??4.2.2 multi core seguential read
- 4.3 single core sequential read の実装
- 4.4 Cerium の改良(CPU部分にIO_0などを追加したけど、どこにいれよう)
- 4.5 I/O のベンチマーク
=>別セクションへ
-
-第5章 結論
- 5.1 まとめ
- 5.2 今後の課題
-
-
-
-
-
-
- 今後のスケジュール
-
-
-
- -
- 後期院試試験・2/12
+ 2GB 以上のファイルが読み込めなかった -> 修正
-
- 卒検発表・2/27,28
+ fileread をちょっとだけ測定
-
+