• 信頼性とスケーラビリティに優れた分散プログラムをプログラマが一から記述することは容易ではない。
• 本研究室ではデータを Data Segment 、タスクを Code Segment という単位で分割して記述する並列分散フレームワークAliceの開発を行っている。
• Aliceは分散環境の構築のためのAPIが提供されており、スケーラブルな分散プログラムを信頼性高く記述できる環境を実現する。

• 水族館の例題等において、Aliceが分散プログラムを記述する能力を有することは確認された。
• 実用的な分散プログラムを作成するためには、圧縮形式のデータで通信する機能等が必要だとわかった。

• Aliceに圧縮機能等を追加することにより、Data Segmentの多態性を実現しノード間通信における自由度の向上を図る。

• 複数の関係のない要素を1つのデータオブジェクトで表現した場合、全ての操作でlockが必要になり、スケラビリティーを低下させる。
• Alice はデータを細かく分割して記述する。その分割されたデータを Data Segment(DS) と呼ぶ。

• DS は queue に保存される。queue には対 になる key し、 key を指定して DS の保存、取得を行う。
• queue の集合体であるデータベースデータベースを Alice では DS Manager(DSM) と呼ぶ。
  

• Local DSM … 各ノード固有のデータベース。
• Remote DSM … 他のノードの Local DSM の proxy。接続しているノードの数だけ存在。
  

DSMに対して以下のコマンドを送り操作できる

• 一般的な Java のクラスオブジェクト
  • LocalDSM に put された場合は一般的な Java のクラスオブジェクトとして enQueue される。
• MessagePack を用いて変換した byte[]で表現されたバイナリオブジェクト
  • RemoteDSM に put された場合は通信時に byteArray に変換されたバイナリオブジェクトが enQueue される。

• Alice上で実行されるタスクの単位を Code Segment(CS) と呼ぶ。
• 複数のDSが入力され、その結果をDSとして出力するfunctionと捉えられる。
• CS をユーザーが記述する際には CS を継承して記述することにより CS で使用する API を利用する事ができる。

• 入力されるDSをInput DS、出力されるDSをOutput DSと呼ぶ。
• keyで指定されたDSが揃うと実行されるという性質を持つ。

• データの依存関係にないCSは並列実行される
• データの依存関係がある場合は依存を解決した順に実行される
• 並列度あげるために、処理を細かく記述し、依存するDSを少なくする

• 並列指向プログラミング言語 Erlang では、分散環境の構築等の処理は全てプログラマが記述しなければいけない。
• Aliceではプログラマが記述する部分を Computation、Aliceが提供するComputationを支える部分を Meta Computation として分けて捉えている。
• 分散環境の構築等の処理等は全てMeta Computationが行うためプログラマがシンプルに分散プログラムを記述できる環境を提供している。

• AliceのComputation
  • keyによりData Segmentを待ち合わせてCode Segmentを実行する
• AliceのMeta Computation
  • Javaで記述したAliceの実装システム
• Aliceの機能を追加するということは Meta Computation を追加すると言い換えられる
• Meta Computation も CS と DS により表現されており、それぞれMeta CSとMeta DSと呼ぶ。

• 研究室では授業向け画面共有システム TreeVNC の開発を行っている。
• 授業で VNC を使う場合、1つ のコンピュータに多人数が同時につながるため、性能が大幅に落ちる
• TreeVNCではノード同士を接続させ、木構造を構成することで負荷分散を行う

• Alice が実用的なアプリケーションを記述する能力をもつことを確認するために、TreeVNC を Alice を用いて実装した AliceVNC の作成を行った。
• AliceVNCの実装で必要となった以下の機能をMeta Computation として実装した。
  
  • flip機能　… Input DS を Output DS として転送する
  • 圧縮機能　… DS Manager の指定によってDSの表現を切り替える

• AliceVNCは、ノードは受け取った画面データを描画すると同時に、子ノードの Remote DSM に送信する。
• ノードは DS を受信するとそれを一度解凍して画面を表示し、再圧縮して子ノードに送信する。
• 圧縮状態のまま子ノードに送信ができれば、解凍・再圧縮するオーバーヘッドを無くすことができる。

1つの Data Segment に対し以下の3種類の表現を同時に持たせ、必要に応じた形式で DS を扱う。 1. 一般的な Java のクラスオブジェクト 2. MessagePack for Java でシリアライズ化され たバイナリオブジェクト 3. 2 を圧縮したバイナリオブジェクト

	public class ReceiveData {
		private Object val = null;
		private byte[] messagePack = null;
		private byte[] zMessagePack = null;
	}

• Local と Remote それぞれに圧縮表現を扱う Compressed DSM を追加した。
• Compressed DSM にputする場合
  • DS が圧縮表現を持っていればそれをputする
  • 持っていなければその時点で圧縮表現を作ってputする

• ReceiveData内にあるDSのcastメソッドであるasClass()を用いる

	public <T> T asClass(Class<T> clazz) {
		if (val != null) { return (T) val; }

		if (zMessagePack != null && messagePack == null) {
			messagePack = unzip(zMessagePack, dataSize);
		}

		return packer.read(messagePack, clazz);
	}

通常のデータを扱う場合
* put(String managerKey, String key, Object val)
* take(String managerKey, String key)

圧縮表現のデータを扱う場合
* put(String “compressed” + managerKey, String key, Object val)
* take(String “compressed” + managerKey, String key)

Remote から put されたデータは必ずシリアライズ化されており byteArray で表現される。 データの 表現に圧縮した byteArray を追加したため、Remote から put された byteArray が圧縮されているのかそ うでないのかを判断する必要がある。

RingRelayTest

• Alice が実用的なアプリケーションを記述するための Meta Computation として、データに多態性を持たせ、指定するDSMによってデータ表 現を変える機能を実装した。
• これによりユーザが記述する Computation 部分を大きく変えずに自由度の高い通信を行うことが可能になった。
• 同様の手法により、暗号形式・JSON 形式など複数のデータ表現を扱えるように拡張できる。
• 今後の課題としては、圧縮機能を AliceVNC で用 いることで有効性を測る必要がある。