Mercurial > hg > Papers > 2015 > nozomi-sigos

comparison paper/chapter1.tex @ 0:0127effb8fcd

Find changesets by keywords (author, files, the commit message), revision number or hash, or revset expression.
first commit
author Nozomi Teruya <e125769@ie.u-ryukyu.ac.jp>
date Tue, 05 May 2015 15:36:41 +0900
parents
children
comparison
equal deleted inserted replaced
-1:000000000000 0:0127effb8fcd
1 \section{分散フレームワーク Alice の概要}
2 \subsection{Data SegmentとCode Segment}
3 AliceはデータをData Segment、（以下DS）タスクをとCode Segment（以下CS）という単位に分割してプログラミングを行う。
4 DSはAliceが内部にもつデータベースによって管理されている。DSに対応する一意のkeyが設定されており、そのkeyを用いてデータベースを操作する。
5
6 CSは実行に必要なDSが揃うと実行されるという性質を持ち、入力されたDSに応じた結果が出力される。
7 CSを実行するために必要な入力DSはInputDS、CSが計算を行った後に出力されるDSはOutput DSと呼ばれる。データの依存関係にないCSは並列実行が可能であるため、並列度を上げるためにはCSの処理内容を細かく分割して依存するデータを少なくするのが望ましい。
8
9 \subsection{ComputationとMeta Computation}
10 AliceのComputationは、keyで指し示されるDSを待ち合わせてCSを実行させると定義できる。
11 それに対して、AliceのMeta Computationは、AliceのComputationを支えているComputationのプログラミングと定義できる。
12
13 例えば、トポロジーを指定するAPIはMeta Computationである。Aliceが動作するためにはトポロジーを決める必要がある。つまりトポロジーの構成はAliceのComputationを支えているComputationとみなすことができる。トポロジーが決定するとそのトポロジーを構成する計算が行われる。トポロジーを指定するAPIはその構成の計算をプログラミングして変更するものである。
14 他にも再接続の動作を決めるAPIや切断時の動作を決めるAPIはMeta Computationである。
15
16 これらのMeta ComputationがAliceのComputationに影響することはない。プログラマーはCSを記述する際にトポロジーや切断、再接続という状況を予め想定した処理にする必要はない。プログラマーは目的の処理だけ記述する。そして、切断や再接続が起こった場合の処理を記述しMeta Computationで指定する。
17 このようにプログラムすることで、通常処理と例外処理を分離することができるため、シンプルなプログラムを記述できる。
18
19 \subsection{Data Segment}
20 複数のスレッドから１つのデータに変更を行うためには、データの不整合を防ぐためのlockが必要になる。複数の関係のない要素を１つのデータオブジェクトで表現した場合、全ての操作でlockが必要になる。このlockがスケラビリティーを低下させる。つまりデータのサイズも並列計算には重要である。
21
22 Aliceはデータを細かく分割して記述する。その細かく分割されたデータをDSと呼ぶ。
23 実際には特定のオブジェクトにマッピングされ、マッピングされたクラスを通してアクセスされる。
24
25 \subsection{Data Segment Manager}
26 DSは実際にはqueueに保存される。queueには対になるkeyが存在し、keyの数だけqueueが存在する。
27 このkeyを指定してDSの保存、取得を行う。queueの集合体はデータベースとして捉えられる。このデータベースをAliceではDS Manager（以下DSM）と呼ぶ。DSMにはLocal DSMとRemote DSMが存在する。Local DSMは各ノード固有のデータベースである。Remote DSMは他のノードのLocal DSMのproxyであり、接続しているノードの数だけ存在する。（図\ref{fig:RemoteDSM}）Remote DSMに対して書き込むと対応するノードのLocal DSMに書き込まれる。
28
29 \begin{figure}[htbp]
30 \begin{center}
31 \includegraphics[width=60mm]{images/remote_datasegment.pdf}
32 \end{center}
33 \caption{Remote DSMは他のノードのLocal DSMのproxy }
34 \label{fig:RemoteDSM}
35 \end{figure}
36
37 \subsection{Data Segment API}
38 以下のData Segment APIを用いてデータベースにアクセスする。
39 putとupdateはDSを追加する際に、peekとtakeはDSを取得する際に使用する。
40
41 \begin{itemize}
42 \item \verb+void put(String key, Object val)+
43 \end{itemize}
44 DSをqueueに追加するためのAPIである。第一引数に対応するqueueに対してDSを追加している。
45 begin{itemize}
46 \item \verb+void update(String key, Object val)+
47 \end{itemize}
48 updateもqueueに追加するためのAPIである。putとの違いは、先頭のDSを削除してからDSを追加することである。そのためAPI実行前後でqueueの中にあるDSの個数は変わらない。
49
50 begin{itemize}
51 \item \verb+void take(String key)+
52 \end{itemize}
53 takeはDSを読み込むためのAPIである。読み込まれたDSは削除される。要求したDSが存在しなければ、CSの待ち合わせ （Blocking）が起こる。putやupdateによりDSに更新があった場合、takeが直ちに実行される。
54
55 begin{itemize}
56 \item \verb+void peek(String key)+
57 \end{itemize}
58 peekもDSを読み込むAPIである。takeとの違いは読み込まれたDSが削除されないことである。
59
60
61 \section{Code Segment}
62 Alice上で実行されるタスクの単位がCSである。ユーザーはCSを組み合わせることでプログラミングを行う。CSをユーザーが記述する際に、内部で使用するDSの作成を記述する。
63
64 Input DS と Output DSはCSに用意されているAPIを用いて作成する。
65 Input DSは、LocalかRemoteか、またkeyを指定する必要がある。CSは、記述したInput DSが全て揃うとThread poolに送られ、実行される。
66
67 Output DSもLocalかRemoteか、またkeyを指定する必要がある。
68 Inputの場合はsetKeyを呼ぶ際、Outputの場合はput(またはupdate)の際にノードとkeyの指定を行っている。
69 しかし、どの時点でノードとkeyの指定を行えばよいか、どのようなAPIを用意するべきかは、議論の余地がある。
70
71 \section{Code Segmentの記述方法}
72 CSをユーザーが記述する際にはCSを継承して記述する(ソースコード \ref{src:StartCodeSegment} ,\ref{src:CodeSegment})。
73 継承することによりCode Segmentで使用するAPIを利用する事ができる。
74
75 \begin{table}[html]
76 \lstinputlisting[label=src:StartCodeSegment, caption=StartCodeSegmentの例]{source/StartCodeSegment.java}
77 \lstinputlisting[label=src:CodeSegment, caption=CodeSegmentの例]{source/TestCodeSegment.java}
78 \end{table}
79
80 Alice には、Start CS (ソースコード \ref{src:StartCodeSegment})というC の main に相当するような最初に実行される CS がある。
81 Start CSはどのDSにも依存しない。つまりInput DSを持たない。
82 このCSをmainメソッド内でnewし、executeメソッドを呼ぶことで実行を開始させることができる。
83
84 ソースコード \ref{src:StartCodeSegment}は、5行目で次に実行させたいCS（ソースコード \ref{src:CodeSegment}）を作成している。8行目でOutput DSMを通してLocal DSMに対してDSをputしている。
85 Output DSMはCSの{\tt ods}というフィールドを用いてアクセスする。
86 Output DSMは{\tt put}と{\tt update}を実行することができる。
87 \begin{itemize}
88 \item \verb+void put(String managerKey, String key, Object val)+
89 \item \verb+void update(String managerKey, String key, Object val)+
90 \end{itemize}
91 TestCodeSegmentはこの"cnt"というkeyに対して依存関係があり、8行目でupdateが行われるとTestCodeSegmentは実行される。
92
93 ソースコード\ref{src:CodeSegment}は、0から10までインクリメントする例題である。
94 2行目で取得されたDSが格納される受け皿を作る。Input DSMがもつcreateメソッド使うことで作成できる。
95 \begin{itemize}
96 \item {\ttfamily Receiver create(CommandType type)}
97 \end{itemize}
98
99 引数にはCommandTypeが取られ、指定できるCommandTypeは{\tt PEEK}または{\tt TAKE}である。
100 Input DSM はCSの{\tt ids}というフィールドを用いてアクセスする。
101
102 4行目から6行目はコンストラクタである。コンストラクタはオブジェクト指向のプログラミング言語で新たなオブジェクトを生成する際に呼び出されて内容の初期化を行う関数である。
103
104 TestCodeSegmentのコンストラクタが呼ばれた際には、
105 \begin{enumerate}
106 \item TestCodeSegmentが持つフィールド変数Receiver input1の定義が行われる。
107 \item 次にCSのコンストラクタが呼ばれ、CSが持つフィールド変数の定義と初期化が行われる。
108 \item {\tt ids.create(CommandType.TAKE)}が行われ、input1の初期化が行われる。
109 \item 最後にTestCodeSegmentのコンストラクタの5行目が実行される。
110 \end{enumerate}
111
112 5行目はInput DSMがもつsetKeyメソッドによりLocal DSMからDSを取得している。
113 \begin{itemize}
114 \item \verb+void setKey(String managerKey, String key)+
115 \end{itemize}
116 setKeyメソッドにより、どのDSMのあるkeyに対してpeekまたはtakeコマンドを実行させるかを指定できる。コマンドの結果がレスポンスとして届き次第CSは実行される。
117
118 runメソッドの内容としては10行目で取得されたDSをInteger型に変換してcountに代入している。
119 16行目で もう一度TestCodeSegmentのCSが作られる。
120 17行目でcountの値をインクリメントしてLocal DSMに値を追加する。
121 13行目が終了条件であり、countの値が10になれば終了する。
122
123 \section{Meta Data Segment}
124 DSは、アプリケーションに管理されているデータのことである。アプリケーションを構成するCSによってその値は変更される。
125 それに対してMeta DSは、分散フレームワークAliceが管理しているデータである。Aliceを構成するCSによってのみ、その値は変更される。一部のMeta DSはアプリケーションに利用することができる。
126
127 例えば、"start"というkeyでは、ノードがStart CSを実行可能かどうかの状態を表す。他にも"\_CLIST"というkeyでは、利用可能なRemote DSの一覧が管理されている。ユーザーはこの一覧にある名前を指定することで、動的にDSの伝搬などを行うことができる。
128
129 また、Input DSに付随しているものもある。Input DSはCS内部でReceiverという入れ物に格納される。ユーザーは、Receiverに対して操作することでDSを入手できる。
130 このReceiverには、fromというフィールドがあり、このDSを誰がputしたという情報が入っている。この情報をデータの伝搬する際に利用することで、DSをputしたノードに送り返すことを防ぐことができる。
131
132 Meta DSはDS同様にDS APIを用いて取得できる。
133
134 \section{Meta Code Segment}
135 CSはアプリケーションを動作させるために必要なタスクであり、ユーザーによって定義される。
136 それに対してMeta CSはAliceを構成するタスクである。つまりMeta CSの群はAliceのComputationと言い換えることができる。一部のみユーザーが定義をすることができ、Aliceの挙動を変更することができる。