Mercurial > hg > Papers > 2015 > nozomi-sigos

comparison paper/chapter3.tex @ 5:4a7fa91ef60a

Find changesets by keywords (author, files, the commit message), revision number or hash, or revset expression.
not fix English Abstract
author Nozomi Teruya <e125769@ie.u-ryukyu.ac.jp>
date Wed, 06 May 2015 05:23:37 +0900
parents e13be99f69b6
children
comparison
equal deleted inserted replaced
4:683044bd29ed 5:4a7fa91ef60a
1 \section{Aliceの新機能} 1 \section{Aliceの新機能}
2 水族館の例題によって、Aliceを用いて分散プログラムを記述可能であることを確認した。 2 実用的なアプリケーションであるTreeVNCをAlice上で実装することで、Aliceに必要な機能を洗い出した。
3 次に実用的なアプリケーションであるTreeVNCをAlice上で実装することで、Aliceに必要な機能を洗い出した。 3 \subsection{flip機能}
4 Data Segment APIのput、updateを呼ぶとOutput Data Segmentが毎回新しく作成される。そして出力するデータのコピーが行われる。
5 しかし、AliceVNCのようにInput Data Segmentとして取得したデータをそのまま子ノードにOutput Data Segmentとして出力する場合、コピーを行なうのは無駄である。
6 　
7 そこで、このコピーを無くしData Segmentの更新におけるオーバーヘッドを減らす方法としてflip機能の実装を行った。
8 ソースコード\ref{src:exampleFlip}のようにInput Data SegmentであるReceiverをflipメソッドに引数として渡すことで、無駄なコピーを減らす。
9 \begin{table}[html]
10 \lstinputlisting[label=src:flipAlice, caption=Aliceにおけるflip]{source/flip.java}
11 \end{table}
4 12
5 \subsection{Dynamic Topologyへの対応} 13 \begin{table}[html]
6 第2章で示したように分散フレームワークAliceはTopology Fileを読み込むことでTopologyを構成する。 14 \lstinputlisting[label=src:exampleFlip,caption=flipの使用例]{source/Sort.java}
7 つまり、予め参加するノードの台数が決まっている必要がある。また、Topologyに全ノードが参加するまでアプリケーションが起動しない。 15 \end{table}
8 16
9 実際のアプリケーションでは、参加するノードの数は決まっておらず、Topologyを動的に変化させる必要がある。 17 \subsection{Data Segmentの表現の追加（圧縮機能）}
10 そこで、AliceにDynamic Topology Managerを追加した。 18 TreeVNCでは画面配信の際、データを圧縮してノード間通信を行っている。
19 そのため、AliceVNCにも圧縮されたデータ形式を扱える機能が必要だと考えた。
20 しかし、ただデータを圧縮する機構を追加すればいいわけではない。
11 21
12 Dynamic Topologyの場合は、新しくTopology Nodeがアプリケーションに参加するたびにTopology ManagerからTopology Nodeに対して、接続すべきTopology Nodeの情報がputされ接続処理が順次行われる。 22 AliceVNCでは、ノードは受け取った画面データを描画すると同時に、子ノードのRemote DS Managerに送信する。
13 \subsection{Keep Alive} 23 ノードはDSを受信するとそれを一度解凍して画面を表示し、再圧縮して子ノードに送信する。
14 ノード間の通信は、Remote DSMに対してputやpeekを行うことでのみ発生する。アプリケーション次第では長時間通信が行われない可能性がある。通信が行われない間にRemote DSMとの接続が切れた場合、次の通信が行われるまで切断を発見することができない。また、接続状態ではあるが問題が発生し、応答に時間がかかる場合も考えられる。 24 しかし、受け取ったデータを自分の子ノードに対して送信する際には、解凍する必要はない。
25 圧縮状態のまま子ノードに送信ができれば、解凍・再圧縮するオーバーヘッドを無くすことができる。
15 26
16 以上の問題を検知するためにアプリケーションではKeep Aliveという、定期的にheart beatを送り生存確認を行う機能を持つことが望ましい。そこで、Alice自体にKeep Aliveの機能を実装した。 27 そこで、１つのData Segmentに対し複数の表現を持たせることで、必要に応じた形式でDSを扱うことを可能にした。
28 DSを扱うReceiveData.classに、次の3種類の表現を同時に持つことができる。
17 29
18 一定時間内にノードから応答がない場合、Keep Aliveにより、そのノードのRemote DSMが切断される。
19
20
21 図 \ref{fig:keepAlive}は、keepAliveの処理をコミュニケーションダイアグラムで示したものである。
22 keepAliveは、タスクとタスクを実行するTaskExecuterと実行順序を管理するSchedulerによって実装されている。
23 タスクの種類には、{\tt PING}、{\tt CLOSE}、{\tt CREATE}があり、TaskExecuterは、タスクの種類に従って処理を行なう。
24 {\tt PING}は、指定されたRemote DSMに対してheartbeatを送信する。
25 {\tt CLOSE}は、指定されたRemote DSMを削除する。
26 {\tt CREATE}は{\tt PING}のタスクを作成し、Schedulerに登録する。
27
28 タスクを作成する際に実行時間の指定をする。Schedulerにタスクを登録すると、Schedulerはタスクの実行時間に従って、タスクを実行順に並び替える。
29 \begin{figure}[htbp]
30 \begin{center}
31 \includegraphics{images/keepAlive.pdf}
32 \end{center}
33 \caption{keepAliveの仕組み}
34 \label{fig:keepAlive}
35 \end{figure}
36
37 \subsubsection{処理の流れ}
38 \begin{enumerate} 30 \begin{enumerate}
39 \item CreateTask（Code Segment）により{\tt PING}タスクが投入される。\label{enum:putPingTask} 31 \item 一般的なJavaのクラスオブジェクト
40 \item TaskExecuterはSchedulerから次に実行すべき{\tt PING}タスクを受け取る。 32 \item MessagePack for Javaでシリアライズ化されたバイナリオブジェクト
41 \item 指定された時間が訪れるとheartbeatがRemote DSM（Node B）に送信される。\label{enum:send} 33 \item 2を圧縮したバイナリオブジェクト
42 \item \ref{enum:send}と同時にheartbeatを送信したRemote DSMとの接続を切断する{\tt CLOSE}タスクが投入される。\label{enum:putCloseTask}
43 \item \ref{enum:putCloseTask}で投入された{\tt CLOSE}タスクが実行されるまでに、Remote DSM（Node B）からのレスポンスがあった場合、RemoveTask（Code Segment）により{\tt CLOSE}タスクが削除される。
44 %\item \ref{enum:putPingTask}に戻る。
45 \end{enumerate} 34 \end{enumerate}
46 35
47 \ref{enum:putPingTask}で作られる{\tt PING}タスクは、接続しているRemote DSMの数だけ投入される。 36 ソースコード\ref {src:ReceiveData}はReceiveData.classが持つ表現であり、{\tt val}に1. 一般的なJavaのクラスオブジェクト の表現でデータ本体が保存される。{\tt messagePack}には2. シリアライズ化されたバイナリオブジェクトが保存され、通常のRemoteDSMへの通信にこの表現が扱われる。そして、{\tt zMessagePack}には3. 圧縮されたバイナリオブジェクトが保存される。
48 "\_CLSIT"というkeyには、アクセス可能なRemote DSMのkeyの一覧が保存されている。 37 \begin{table}[html]
49 CreateTaskは、この一欄により動的にタスクを作成している。 38 \lstinputlisting[label=src:ReceiveData, caption=データを表現するクラス]{source/ReceiveData.java}
50
51 以上で説明した処理の流れは、接続状態に問題がない場合である。
52 接続状態に問題があり、{\tt CLOSE}タスクの実行されるまでにレスポンスがない場合は、{\tt CLOSE}タスクによりRemote DSMが削除される。
53
54 heartbeatは、Node AからNode Bに一方向に送られる訳ではなく、Node BからNode Aにも送られている。
55
56 \section{切断時の処理}
57 MMORPGでは、試合の最中にサーバーからユーザーが切断された場合、自動的にユーザーが操作するキャラクターをゲーム開始時の位置に戻すという処理が実行される。
58 同様にTreeVNCでは切断を検知した場合、LostParentというメッセージがトップノードに対して送信される。
59
60 以上の例のように、アプリケーションはノードの切断に対する処理を用意したい場合がある。
61 しかし、Aliceを用いたアプリケーションの場合、アプリケーション側で検知するのは難しい。
62 切断自体は、Remote DSMに対してwriteまたはreadを行った際に出るExceptionにより判断することができる。
63 だが、I/O の処理はCode Segmentを実行するThreadで行われない。専用のI/O Threadによって行われるため、Code Segment内でExceptionを捕まえられず、例外処理を行なうことができない。
64
65 そこで、Aliceが切断を検知した際に、任意のCode Segmentを実行できる機能 (ClosedEventManager)を追加した。
66 ユーザはClosedEventManagerにCode Segmentを登録することで、切断時の処理として実行するCode Segmentを指定できる。
67 \begin{table}[htbp]
68 \lstinputlisting[label=src:registerEvent, caption=切断時に実行されるCode Segmentの登録方法]{source/RegisterEvent.java}
69 \end{table} 39 \end{table}
70 40
71 また、切断したRemote DSMの情報を利用したい場合は、Code Segmentをextends する代わりにClosed Event Code Segmentをextendsし、用意されているMethodを使うことで取得可能である(ソースコード \ref{src:CatchClosedEvent})。 41 また、圧縮状態を持つDSを扱うDSMとしてLocalとRemoteそれぞれにCompressed Data Segment Managerの追加した。
72 42 put/updateでは、ソースコード\ref{src:zput}のように指定するDSM名の先頭に"compressed"をつけることでDSは自動で圧縮状態も持つようになる。さらに、take/peekもソースコード\ref{src:ztake}のようにsetKeyを実行する際にDSM名の先頭に"compressed"をつけることで圧縮形式でDSを受け取ることができる。
73 \begin{table}[htbp] 43 \begin{table}[html]
74 \lstinputlisting[label=src:CatchClosedEvent, caption=CloseEventCodeSegmentを継承したCodeSegment]{source/CatchClosedEvent.java} 44 \lstinputlisting[label=src:zput, caption=圧縮DSのput]{source/compress_put.java}
75 \end{table}
76 ClosedEventCodeSegmentを継承したCode Segmentに、Input Data Segmentを追加記述する事ができる。
77 その際は、もちろんInput Data Segmentが全て揃うまでCode Segmentは実行されない。
78
79 \subsection{Topologyの再構成}
80 ノードは永続的にアプリケーションに参加し続ける訳ではない。目的を果たすとアプリケーションから離脱する。
81 Topology次第では、アプリケーションに支障をきたす。
82 例えば、AliceVNCは木構造であるため、子ノードを持つノードがアプリケーションから離脱した場合、その子ノードに対してデータを送信することができなくなる。
83
84 この問題を解決するには、アプリケーションからノードが切断するたびにTopologyの再構成を行なう必要がある。そこで、Dynamic Topology Managerに、Topologyの再構成を行う機能を追加した。
85
86 図 \ref{fig:TopologyFIx}、 \ref{fig:TopologyFIx2}、\ref{fig:TopologyFIx3}はTopologyの再構成をコラボレーションダイアグラムで表したものである。
87
88 \begin{figure}[htbp]
89 \begin{center}
90 \includegraphics[width=120mm]{images/TopologyFIx.pdf}
91 \end{center}
92 \caption{切断ノードの検知}
93 \label{fig:TopologyFIx}
94 \end{figure}
95
96 \begin{enumerate}
97 \item Keep AliveがNode1の切断を検知すると、Node3からTopology Managerに対して切断したノードの情報がputされる。keep Aliveは各ノードで動いているため、実際にはNode0とNode4もTopology Managerに対してNode1の情報をputする。
98 \item Topology Managerは最後にアプリケーションに参加したNode6とその親Node2に対して互いを切断するための準備を行わせる、CLOSEMESSAGEをputする。
99 \item 切断する準備ができるとお互いに準備完了を知らせるCLOSEREADYをputする。
100 \item \label {tb:last}CLOSEREADYを受け取ると切断を行い、Remote DSMが使用不可能になる。
101 \end{enumerate}
102
103 \begin{figure}[htbp]
104 \begin{minipage}{0.5\hsize}
105 \begin{center}
106 \includegraphics[width=90mm]{images/TopologyFix2.pdf}
107 \end{center}
108 \caption{接続すべきノード情報の送信}
109 \label{fig:TopologyFIx2}
110 \end{minipage}
111 \begin{minipage}{0.5\hsize}
112 \begin{center}
113 \includegraphics[width=80mm]{images/TopologyFix3.pdf}
114 \end{center}
115 \caption{再構成の完了}
116 \label{fig:TopologyFIx3}
117 \end{minipage}
118 \end{figure}
119
120 \begin{enumerate}
121 \setcounter{enumi}{4}
122 \item Node1、Node3、Node4に対してNode6の情報を送り、接続を行わせる。
123 \item Node6に対して、Node1、Node3、Node4の情報を送り、接続を行わせる。
124 \item お互いにRemote DSMの名前を贈り合い、Remote DSMが利用可能になる。
125 \end{enumerate}
126
127 \subsection{再接続の処理}
128 MMORPGでは、試合の最中に障害などによりサーバーから離脱したユーザーが、試合が終わるまでに再びサーバーに接続してきた場合に、再びその試合に参加できるような再接続の処理が用意されている。
129
130 分散にアプリケーションでは、MMORPGの例のように再接続してきたノードに対して通常の処理とは別の処理を行わせたい場合がある。そこで、Aliceに再接続してきたノードに、任意のCode Segmentを実行できる機能を追加した。ユーザーはconfigにCode Segmentを継承したClassを登録することで、再接続時に実行されるCode Segmentを指定することができる。
131
132 \begin{table}[htbp]
133 \lstinputlisting[label=src:StartAquarium, caption=再接続に実行するCode Segmentの登録方法]{source/StartAquariumFX.java}
134 \end{table} 45 \end{table}
135 46
136 \subsection{Multicast Data Segment} 47 \begin{table}[html]
137 TreeVNCには、Multicastを利用して起動しているTreeVNCのRoot Nodeの情報の一覧にして表示する接続先自動検索システムという機能がある。この機能によりTreeVNCの起動の際にIPアドレスを入力する手間を省くことができる。 48 \lstinputlisting[label=src:ztake,caption=圧縮DSのtake]{source/compress_take.java}
49 \end{table}
138 50
139 現在のAliceは起動時にTopology ManagerのIPアドレスを入力する必要があり、TreeVNCの接続先自動検索機能が必要と考えられる。 51 これによりユーザは指定するDSMを変えるだけで、他の計算部分を変えずに圧縮表現を持つDSを扱うことができる。
140 その機能を実現するためにはMulticastに対応する必要がある。そこで、同じマルチキャストアドレスを持つ端末を１つのData Segmentとして扱うMuticast Data Segmentを追加した。
141 Multicast Data Segmentも他のData Segment同様、Data Segment APIを用いて扱う。
142 52
143 \begin{figure}[htbp] 53 ノードは圧縮されたDSを受け取った後、そのまま子ノードにflipすれば圧縮状態のまま送信されるので、送信の際の再圧縮がなくなる。
144 \begin{center} 54 また、画面表示の際は{\tt asClass()}(ソースコード\ref {src:asClass})を使うことで適切な形式でデータを取得できる。
145 \includegraphics[width=120mm]{images/multicast.pdf} 55 {\tt asClass()}はDSを目的の型にcastするメソッドであり、圧縮されていれば解凍してcastを行っている。
146 \end{center} 56 これにより必要なDSを必要な時にだけ解凍できる。
147 \caption{Multicast Data Segment}
148 \label{fig:multicast}
149 \end{figure}
150 57
151 図 \ref{fig:multicast}はMulticast Data Segmentを図で表したものである。Node AのMulticast Data Segmentに対してputを行うとnode B、node C、node Dの3つのnodeに対してデータがputされる。同様にTakeを行うと3つのnodeからTakeに対する応答が来る。 58 \begin{table}[html]
59 \lstinputlisting[label=src:asClass, caption=asClassの処理]{source/asClass.java}
60 \end{table}
152 61
153 Multicast Data SegmentはUDPを用いて実装されている。1つのUDPのパケットで運ぶことのできるデータが、65507bytes（65535bytesからIPヘッダの最低サイズ20bytesとUDPのヘッダのサイズ8bytesを引いた大きさ）である。 62 \subsection{パケットの再設計}
154 現状、分割して送る処理をMulticast Data Segmentが持たない。従って、Multicast Data Segmentを利用する際には、データのサイズを65507bytes以下にしなければならない。 63 2.4で述べたように、Remoteからputされたデータは必ずシリアライズ化されておりbyteArrayで表現される。
155 \section{Multicast Data Segment Manager} 64 しかし、putされたbyteArrayが全てシリアライズ化された状態であるとはいえない。Localからも一般的なJavaのクラスオブジェクトとしてbyteArrayが使用されている場合が存在する。例えば、AliceVNCで使われる画像データはbyteArrayで表現されているが、これはLocalからputされている。
156 Multicast Data SegmentもRemote DSM同様Managerを経由して操作を行う。Multicast DSMを作成するとMulticast Data Segmentに対する送受信用のスレッドが作成される。 65 また、データの表現に圧縮形式を追加したことで、RemoteからでもputされたbyteArrayが圧縮されているのかそうでないのかが判断できなくなった。
157 66
158 \begin{itemize} 67 ここからわかることは、データを表現するにはデータ単体をやりとりするだけでは不十分ということである。
159 \item {\ttfamily public static MulticastDataSegmentManager \\ 68 そこで、データとデータの状態を表すヘッダをまとめて1つのオブジェクトとして扱うように変更した。
160 connectMulticast(String connectionKey ,String MCSTADDR, int port, String nis, SocketType type)} 69 Aliceの通信におけるヘッダにあたるCommandMessage.class(ソースコード\ref {src:CommandMessage}にシリアライズ状態表すフラグと、圧縮状態を表すフラグを追加した。
161 \end{itemize} 70 これによってputされたDSMはフラグに応じた適切な形式でReceiveData.class内にDSを格納できる。
71 また、CommandMessage.classに圧縮前のデータサイズも追加したことで、適切な解凍が可能になった。
162 72
163 DataSegment classのstaticメソッドである、connectMulticastを呼ぶことでMulticast DSMが作成される。 73 \begin{table}[html]
164 第1引数はMulticast DSMへのアクセスするためのkeyを指定できる。第2引数はマルチキャストアドレスを、第3引数はポート番号を、第4引数はネットワークインターフェイスを指定する。第5引数はSocketTypeを指定する。 74 \lstinputlisting[label=src:CommandMessage, caption=変更後のCommandMessage]{source/CommandMessage.java}
165 SocketTypeには、{\tt Sender}と{\tt Receiver}と{\tt Both}が存在する。{\tt Sender}を指定した場合は、第2引数で指定したマルチキャストアドレスに対して送信処理を行うスレッドを作成する。{\tt Receiver}を指定した場合は、第2引数で指定したマルチキャストアドレスに対して送信されたデータを受信するスレッドを作成する。{\tt Both}は、送受信両方のスレッドを作成する。
166
167 現在、Multicast Data Segmentは自動では作成されないため、ユーザー自身で作成する必要がある。
168
169 ソースコード \ref {src:MulticastStartCodeSegment}と\ref {src:MulticastIncrement}は実際にMulticast Data Segmentを利用した例題である。送信側では送信専用のmulticast DSMを作成し、それに対して数字データを10回putしている。
170 受信側では受信専用のmulticast DSMを作成し、送信されたDSを受け取り内容を表示している（ソースコード\ref {src:Receivemessage}）。
171
172 \begin{table}[htbp]
173 \lstinputlisting[label=src:MulticastStartCodeSegment, caption=multicast DSの例題の送信側]{source/MulticastStartCodeSegment.java}
174 \end{table} 75 \end{table}
175 76
176 \begin{table}[htbp] 77 \begin{table}[htbp]
177 \lstinputlisting[label=src:MulticastIncrement, caption=multicast DSの例題の受信側]{source/MulticastIncrement.java} 78 \caption{CommandMessageの変数名の説明}
79 \label{tb:variable}
80 \begin{center}
81 \begin{tabular} {|l|l|}
82 \hline
83 変数名&説明\\
84 \hline
85 type&CommandType {\tt PEEK, PUT}などを表す\\
86 \hline
87 seq&Data Segmentの待ち合わせを行っている\\Code Segmentを表すunique number\\
88 \hline
89 key&どのKeyに対して操作を行うか指定する\\
90 \hline
91
92 quickFlag&SEDAを挟まずCommandを処理を行うかを示す\\
93 \hline
94 serialized&データ本体のシリアライズ状態を示す\\
95 \hline
96
97 compressed&データ本体のシリアライズ状態を示す\\
98 \hline
99
100 dataSize&圧縮前のデータサイズを表す\\
101 \hline
102
103 \end{tabular}
104 \end{center}
178 \end{table} 105 \end{table}
179 106
180 \begin{table}[htbp]
181 \lstinputlisting[label=src:Receivemessage, caption=multicast DSMに対してsetKeyを行う]{source/ReceiveTask.java}
182 \end{table}
183 107
184 \subsection{圧縮機能}