comparison 2014/January/memo/14th.html @ 13:998578d51c49

add somefiles
author Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
date Tue, 21 Jan 2014 19:16:05 +0900
parents
children
comparison
equal deleted inserted replaced
12:51fea74a9324 13:998578d51c49
1 ・Ceriumの並列処理向けIOの研究
2
3 ・研究内容
4 ・マルチコアCPUを活かすためには並列度を向上させていくのがCerium
5 ・ファイル読み込み等のIO部分を並列に実装する部分を作成していく
6 ・IOと並列処理の関係
7 ・この場合のIOもファイル
8 ・1GBのファイルがあったらそれを10個、100個に分割して走らせる
9 ・ファイル分割による並列
10 ・そういったものを自明に走らせる(1つめ)
11 ・読み込みながら処理して、読み込み終わりで処理を終えたい
12 ・読み込みと計算が同時に進む(2つめ)
13 ・読み込み自体を並列する
14 ・それらを実現するライブラリをつくりたい
15
16 ・正規表現はおまけ
17 ・grepとかwcとか
18
19 ・したこと
20 ・wcの部分、分割readが出来るようになった
21 ・IOスレッドいまから動かす
22 ・1つのファイルにたいしてmmapつかって
23 ・メモリにtextデータ格納していた
24 ・いまはreadを使って
25 ・1度に読み込むのではなく、
26 ・あるサイズ単位で読み込ませていく?
27
28 ・読み込みと実際の計算をやる
29 ・分割したファイル自体を並行実行する
30 ・今回は1つしか書いてなかった
31 ・読み込みながらちゃんと並列に計算できているか
32 ・それを調べるには?
33 ・表示した瞬間に測定できなくなる
34 ・IOの並列度はそういうもの
35 ・時間とlogだけで判断しなければならない
36
37 ・mmapと速度的にどうなのか?
38 ・測定しないと駄目
39
40 ・readする単位をでかくすれば早くなるはず
41 ・最初に計算をするのが遅くなる
42 ・最初に全部読み込むことになったらバランスが悪くなる
43 ・最初だけ小さくしてあとから大きくするという工夫とか
44
45 ・ファイルはcacheに入ってしまう
46 ・cacheの効果がどうなるか
47 ・low read(ファイルを読み込むだけ)これで早くなっているはず
48 ・read rootを回すだけと変わらなかったらそれの原因を確かめないといけない
49
50 ・readの代わりにmmapするという方法がある
51 ・最初のタスクの時に同時に投入できる
52
53 ・mmapよりreadが早い・・・迷信?
54 ・これがどうなのかを証明していく
55
56 ・ファイルサイズをメモリよりも大きくしないといけない
57 ・100GBのデータを作って実験?
58 ・fireflyだったら16GB以上
59 ・自機では4GB以上
60
61 ・map reduceでまとめたい
62 ・map reduceに似ていると言われる?
63
64 ・mmmapの解説
65 ・64bitアーキテクチャ
66 ・read map よりも mmap がよいと言われている
67 ・遅い時期があったため、遅いと言われている
68 ・コピーしなくてすむからmmapはwriteの方が早いと言われている
69
70 ・評価(ベンチマーク)
71 ・mmap、map reduceの解説をかく
72
73 ・卒論は、理解することをアピールするためにかく