Cerium による並列処理向け I/O の設計と実装

琉球大学大学院古波倉正隆,河野真治

I/Oを含むアプリケーションの並列化

I/O を含む Task はディスクかの読み込む時間がかかる。
-> I/O をどうにか速くできないか?

Cerium :
CellおよびLinux、 Mac OS X 上で動く並列プログラミングフレームワーク

ファイル読み込みとアプリケーションの分離
I/O専用の Threadを追加

mmap 実装と比較して1.5倍の速度を得た

Cerium Task Manager の構造

Taskを生成
依存関係のチェック
Schedulerに転送
並列実行

ファイルを読みながら、Word Count や grep などを
並列実行したい

計算よりも読み込みを優先しなければならない。読み込みで待ちが入ってしまうので、IO Thread を追加

Block 単位の読み込みと並列計算

ファイルをある一定の大きさで読み込む
読み込んだテキストファイルに対して、それぞれ計算を行う
計算した結果を集計する

mmap の特徴

従来では mmap を使って読み込んでいた

mmap は、ファイルを直接メモリ空間に map する。
アクセスされたメモリ部分を OS が自動的に読み込む。

code がシンプルだが、読み込み終わるまで待たされる。

読み込みながら計算を行う

Read は連続で動作しファイルを読み込む
Read の待ちは CPU を消費しない
読み込み終わったブロックに対して、
並列 Task を起動する

Blocked Read の実装

Task を一度に生成するとメモリを圧迫する。
Block 単位で徐々に起動していく。
Blocked Read Task が読み込み終わるまで、
Task Blockを待たせる
待ち合わせには Cerium の wait for を使用する。

I/O 専用 thread での Blocked Read の実装

priority が最優先されるので、Blocked Read Task に割り込みが行われなくなる
pthread_setschedparam にて実装

I/O 専用の thread を使用しない場合

Blocked Read は連続で行われなければならない。
しかし、Task が割り振られてしまう可能性がある。

実験環境

Mac OS X 10.9.1
2*2.66 GHz 6-Core Intel Xeon
Memory 16GB 1333MHz DDR3
HHD 1TB
file size : 約 10 GB
ファイルに対して Boyer-Moore String Seaech で文字列検索をかける
ファイルの読み込みから結果までを測定

read mode	CPU num	ave time(s)
mmap	2	106.2
mmap	12	154.6
一括Read	12	114.9
Blocked Read(SPE_ANY)	12	106.0
Blocked Read(IO_0)	(IO) 1 + (Task) 11	99.2

Blocked Read & IO_0 が mmap より1.55倍速度が向上
Blocked Read を IO 専用 thread で実装すると、6%改善
mmap で並列の Task で走らせると 1つ1つの Task がファイルを読み込み、ランダムアクセスとなって
しまうため速度が遅くなってしまう。

まとめ

I/O と Task を分離し、同時に動くように改良した。
I/O 専用の Thread の追加
I/O を含む Task をで並列実装するときに mmap では不向きであり、 Blocked Read で読み込みを制御したほうが効果的。

今後の課題

Cerium の API として実装
様々な実装の試み
(I/O threads を 2つ、分割 mmap・・・)
grepの実装