CodeSegmentとDataSegmentによるプログラミング手法
河野 真治
杉本 優
研究背景
本研究室では分散プログラミングに置いて、タスクをCode Segment、データをData Segmentという単位に分割して記述する方法を提唱している。
しかし、前述したプログラムをプログラマーが一から記述していくことは大変である。
そこで、本研究室の卒業生である赤嶺一樹氏が分散ネットフレームワークAliceのプロトタイプを作成した。
本研究では実際にAliceを用いて、"水族館"の例題を作成を通して、APIの見直し、問題点の洗い出しを行った。
発表内容
- Aliceの紹介
- プログラムの記述方法
- 水族館の例題と性能評価
- まとめと課題
Alice
Alice は本研究室で開発を行なっている分散タスク管理フレームワークである。
Cell用のOpen CL に似たTask管理用フレームワークCeriumと Lindaを相互接続した分散フレームワークであるFederated Lindaの開発を通して得られた知見を生かされている。
Cerium
CeriumではTaskを小さく分割して並列実行し、データ転送はパイプライン実行により隠される。
Taskには依存関係がありデータの依存関係がそのままTaskの依存関係になることが多い。
繰り返し使われるデータの管理が重要であり、実行時にわかるデータ構造感間の依存関係がTaskを複雑にしている。
Data Segment API - put
- データを追加する
putを行うとデータがenqueueされる。
putするたびにKeyが持つindexがincrementされる。
Data Segment API - update
- データを置き換える
-
putと異な点は先頭データを削除し、データを追加する。
Data Segment API - peek
- データを取得する
-
peekはデータを取得しreceiverに渡す。
Data Segment API - peek
要求したデータがない場合にはwaitListに登録する。
データがpeek、updateされた際に要求したデータがあるかどうかを再びチェックする。Data Segment API - take
- データを取得して取得されたデータはdequeueされる
基本的な動作はpeekと同じである。
peekと異なる点は取得されたデータがdequeueされる。
Data Segmentの実装
-
Data Segmentのデータ表現はMessagePackを使用。
- 一般的なJavaのクラスオブジェクト
- MessagePack for JavaのValueオブジェクト
- byte[]で表現されたバイナリ
JavaにおけるMessagePackのデータ表現
Data Segment APIでは
MessagePack for javaのValueオブジェクトを使用 MessagePackのバイナリにシリアライズできる型のみで 構成されているため自己記述式のデータ形式Data Segmentの実装
Valueオブジェクトは通信に関わる際には、シリアライズ、デシリアライズを行うことができる
ユーザーが一般的なクラスをIDL(Interface Definition Language)のように用いてデータを記述することが可能
CodeSegment
- Code Segmentはタスクのこと
- ユーザーが記述する際にCode Segment内で使用する
Data Segmentの作成を記述 - Input Data SegmentとOutput Data Segmentを作るAPI
- 必要なInput Data Segmentが揃った時に実行される
Input Data SegmentとOutput Data Segment
- localかremoteを指定
- Data Segmentに関連付けされているKEYを指定
Data Segmentの例
Input Data Segmentの例
Receiverの作成
PEEK,TAKEのどちらかを選択
第1引数 マシン名
第2引数 Data Segmentに関連付けられているKEY
第3引数 index(指定しない場合は先頭データが取得される)
Output Data Segmentの例
putかupdateのどちらかを選択
-
第1引数 マシン名
第2引数 Data Segmentに関連付けるKEY
第3引数 Data Segment
Code Segmentの実行方法
-
AliceにはCのmainに相当するStart Code SegmentというCode Segmentが存在する。
Start Code SegmentはInput Data Segmentが存在しない。
Code Segmentの実行方法
-
このStart Code Segmentをnewし、executeメソッドを呼ぶことでCode Segmentを実行することができる。
Code Segmentの記述方法
runの中に実際にさせたい処理を記述する。
Topology Manager
-
Alice同士の接続トポロジーを管理する。
トポロジーファイルを読み込み、参加を表明したクライアントに接続すべきクライアントのIPアドレスやポート番号、接続名を送る。
Topology Manager
-
Topology Manager関連の通信は全て、Code Segmentで実装されている。
トポロジーファイル
トポロジーファイルはDOT Languageと言う言語で記述される。
DOT Languageはプレーンテキストを用いてデータ構造としてのグラフを表現するデータ記述言語の一つ。DOT Languageのグラフ構造を用いてTopology Node間の接続を表現する。
トポロジーファイルの記述方法
dotコマンドを用いて、グラフの画像ファイルを生成することができるのでトポロジーが正しいか確認することができる。
トポロジーファイルの確認方法
dot -T png ring.dot -o ring.png
水族館の例題
複数の魚が複数のディスプレイ上を移動する。
魚のうち一匹はクライアントが操作することができる。
トポロジーはツリー状に構成してある。
性能比較 - 実験概要
-
AliceとFederated Linda で性能比較を行った。
Ring型のトポロジーを構成、メッセージが100周する時間を計測。 1周あたりの平均時間を求めた。
実験環境
-
ブレードサーバー上の仮想マシンによる仮想クラスタ環境を用いて実験した。
ブレードサーバー詳細
| マシン台数 | 8台 |
| CPU | Intel(R) Xeon(R) X5650 @ 2.67GHz |
| 物理コア数 | 12 |
| 論理コア数 | 24 |
| CPU キャッシュ | 12MB |
| Memory | 132GB |
実験環境
仮想クラスタ詳細
| マシン台数 | 48台 |
| CPU | Intel(R) Xeon(R) X5650 @ 2.67GHz |
| 物理コア数 | 2 |
| 論理コア数 | 4 |
| CPU キャッシュ | 12MB |
| Memory | 8GB |
実験結果
-
10byte
実験結果
-
10kbyte
実験結果
-
100kbyte
データ量が増えると差が縮まっている。これはここの通信の手間の影響が大きことを示している。
評価と考察
-
今回の実装はJavaによりCode SegmentとData Segmentに必要なAPIを洗い出すものだった。この実装でも問題をいくつか発見した。
- Class継承したりData Segmentの作成にFactory objectを使うのはJavaを使う際の技術的な問題
- JavaのObject指向な記述が全体を煩雑にしている部分がある
- updateはData Segmentの競合的な更新に使われるべきだと思われる
API
評価と考察
SEDA
- Federated Lindaに比べ遅い原因の一つはSEDA architectureのせいと思われる
- SEDAはスループット重視の実装であり、多段パイプラインのせいでレスポンスが遅れてしまう
評価と考察
- スレッドプールを使わないほうが、Ringの結果は良い
評価と考察
MessagePack
- 今回の実装では単純なMessageの転送時にもMessagePackのdecode/encodeをしているが、overheadになってしまうため、decode/encode抜きに直接操作できるほうが望ましい
- Data Segmentの一部の修正をするたびにData Segmentが再構成されているがこれは望ましくない
- AliceもCeriumのようにInput Data SegmentとOutput Data SegmentをswapするAPIがあるとよいと思われる
評価と考察
Key
- 分散実装においてはData Segmentの相互参照はKey経由が打倒であるが、並列実装では全てのData SegmentをKey Value Storeに格納するのは、性能的な問題を引き起こす
- 分散記述と並列記述を分ければ解決するが、2つの記述がかけ離れるのは好ましくない
- 本来Key Value storeは持続性を持たせる必要がある
評価と考察
Java
- Data SegmentはCode Segmentがactiveの時のみメモリ上にあり、その最大値はActive Taskの量を見積もればよいのでAliceにGarbage Collectionの機能は必要ない
- key Value Store 上のデータは決してGarbage Collectionの対象にはならないが、それがGarbage Collectionに負荷をかける結果となるためAliceとJavaの相性は悪い
評価と考察
拡張性
- 分散アプリケーションのプロトコルは常に変更されるため、Aliceもそれに対応する必要がある
- Keyとトポロジーマネージャーをプロトコル毎に別に用意すれば複数のプロトコルを同時に走らせることが可能
- Data SegmentとCode Segmentの結びつきは弱いため、Data Segmentに余計な値がある場合、値が足りない場合に適切な値を設定することで古いCode Segmentを変更するとこなしにプロトコルを拡張できる
まとめと課題
- Code Segment/Data Segmentを見たコンパイラ的アプローチ
- 実行時最適化
- CbCによる実装 などが有効、効果的だと思われる。
今回Code SegmentとData Segmentによる並列分散フレームワークのJavaによる実装を示した。実装でしかえられない知見を得ることができた。
今回Javaによる実装を行ったがJavaがAliceの実装に不向きであるということもわかった。
今回はノード内の並列実行やGPGPUによる並列実行などは考慮していない。将来的にそれを含め実装をしていきたい。