|
0
|
1 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"
|
|
|
2 "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
|
|
|
3
|
|
|
4 <html xmlns="http://www.w3.org/1999/xhtml">
|
|
|
5
|
|
|
6 <head>
|
|
|
7 <title>Cassandraを利用したサービスのPCクラスタを利用したスケーラビリティの検証</title>
|
|
|
8 <!-- metadata -->
|
|
|
9 <meta name="generator" content="S5" />
|
|
|
10 <meta name="version" content="S5 1.1" />
|
|
|
11 <meta name="presdate" content="20100807" />
|
|
|
12 <meta name="author" content="ShoshiTAMAKI" />
|
|
|
13 <meta name="company" content="University of Ryukyus" />
|
|
|
14 <meta http-equiv="ContentType : text/html; charset=UTF-8"/>
|
|
|
15 <!-- configuration parameters -->
|
|
|
16 <meta name="defaultView" content="slideshow" />
|
|
|
17 <meta name="controlVis" content="hidden" />
|
|
|
18 <!-- style sheet links -->
|
|
|
19 <link rel="stylesheet" href="ui/default/slides.css" type="text/css" media="projection" id="slideProj" />
|
|
|
20 <link rel="stylesheet" href="ui/default/outline.css" type="text/css" media="screen" id="outlineStyle" />
|
|
|
21 <link rel="stylesheet" href="ui/default/print.css" type="text/css" media="print" id="slidePrint" />
|
|
|
22 <link rel="stylesheet" href="ui/default/opera.css" type="text/css" media="projection" id="operaFix" />
|
|
|
23 <!-- embedded styles -->
|
|
|
24 <style type="text/css" media="all">
|
|
|
25 .imgcon {width: 525px; margin: 0 auto; padding: 0; text-align: center;}
|
|
|
26 #anim {width: 270px; height: 320px; position: relative; margin-top: 0.5em;}
|
|
|
27 #anim img {position: absolute; top: 42px; left: 24px;}
|
|
|
28 img#me01 {top: 0; left: 0;}
|
|
|
29 img#me02 {left: 23px;}
|
|
|
30 img#me04 {top: 44px;}
|
|
|
31 img#me05 {top: 43px;left: 36px;}
|
|
|
32 </style>
|
|
|
33 <!-- S5 JS -->
|
|
|
34 <script src="ui/default/slides.js" type="text/javascript"></script>
|
|
|
35 </head>
|
|
|
36 <body>
|
|
|
37
|
|
|
38 <div class="layout">
|
|
|
39 <div id="controls"><!-- DO NOT EDIT --></div>
|
|
|
40 <div id="currentSlide"><!-- DO NOT EDIT --></div>
|
|
|
41 <div id="header"></div>
|
|
|
42 <div id="footer">
|
|
|
43 <h1>Cassandraを利用したサービスのPCクラスタを用いたスケーラビリティの検証</h1>
|
|
|
44 <h2>shizuku.cr.ie.u-ryukyu.ac.jp</h2>
|
|
|
45 </div>
|
|
|
46
|
|
|
47 </div>
|
|
|
48 <div class="presentation">
|
|
|
49
|
|
|
50 <div class="slide">
|
|
|
51 <h1>Cassandraを利用したサービスのPCクラスタを用いたスケーラビリティの検証</h1>
|
|
|
52 <h3>Shoshi TAMAKI , Shinji KONO</h3>
|
|
|
53 <h4><a href="http://www.cr.ie.u-ryukyu.ac.jp/">University of Ryukyus</a></h4>
|
|
|
54 </div>
|
|
|
55
|
|
|
56 <div class="slide">
|
|
|
57 <h1>研究の目的</h1>
|
|
|
58 <p>インターネット上のサービスで重要なのはスケーラビリティ、つまり、ユーザのアクセスの増大に対して一定のサービス品質を提供することである。
|
|
|
59 <p>
|
|
|
60 スケーラブルなサービスを提供するために分散Key-Value store Cassandra が注目されている。 RDBの個々のテーブルも、Key-Value store と見ることができる。
|
|
|
61 <p>
|
|
|
62 本研究では，特に汎用性のある木構造を扱うインターネットサービスに着目する。Cassandra 上に木構造を取り扱うサービスをスケーラブルに提供するフレームワークを設計し実装する。
|
|
|
63 </div>
|
|
|
64
|
|
|
65 <div class="slide">
|
|
|
66 <h1>研究のスケジュール</h1>
|
|
|
67 <small>
|
|
|
68 <ul>
|
|
|
69 <li>第１クォーター：Cassandraの検証</li>
|
|
|
70 <li>第２クォーター：スケーラビリティの高いサービスの設計</li>
|
|
|
71 <li>第３クォーター：<span style="color:red;">スケーラビリティの高いサービスの実装</span></li>
|
|
|
72 <li>第４クォーター：実装したサービスの検証</li>
|
|
|
73 </ul>
|
|
|
74 <p>1Qでは、Cassandra のPCクラスタを用いたスケーラビリティを実験する環境を構築した。</p>
|
|
|
75 <p>しかし、1対1の環境ではmySQLの方が性能が良かった。</p>
|
|
|
76 <p>今回はCassandraが実際にスケールすることを確認した。</p>
|
|
|
77 <p>その結果を元に、木構造をスケーラブルに取り扱うシステムの設計を行なった。</p>
|
|
|
78 </small>
|
|
|
79 <div>
|
|
|
80
|
|
|
81 <div class="slide">
|
|
|
82 <h1>1Qまでのあらすじ</h1>
|
|
|
83 <p>前回の発表では以下のことについて発表を行った．</p>
|
|
|
84 <ul>
|
|
|
85 <li>Cassandraの紹介と基本的な使用方法</li>
|
|
|
86 <li>Cassandraを利用したアプリケーション</li>
|
|
|
87 <li>コンシステント・ハッシュ</li>
|
|
|
88 <li>１台のクライアントとサーバーを用いた簡単なベンチマーク</li>
|
|
|
89 </ul>
|
|
|
90 <p>シンプルなベンチマークではMySQLにCassandraでは超えられられなかった</p>
|
|
|
91 <p>課題として，Cassandraがスケールする条件の検証が残った．</p>
|
|
|
92 </div>
|
|
|
93
|
|
|
94 <div class="slide">
|
|
|
95 <h1>2Qまでのあらすじ</h1>
|
|
|
96 <ul>
|
|
|
97 <li>スケーラビリティの検証環境をTorqueを使って構築した</li>
|
|
|
98 <li>Cassandraが実際にスケールすることを実験で確認した</li>
|
|
|
99 <li>スケーラビリティの高い木構造を対象としたサービスの設計を行った</li>
|
|
|
100 </ul>
|
|
|
101 <small>
|
|
|
102 <p>3Qの課題としてCassandraのノード数を増やした場合、コア数の多いサーバの場合の検証が必要なこともわかった。</p>
|
|
|
103 <p>プロタイプ実装でも実験によってスケーラビリティを確認しながら設計/実装を深めていく必要がある。</p>
|
|
|
104 </small>
|
|
|
105 </div>
|
|
|
106
|
|
|
107 <div class="slide">
|
|
|
108 <h1>前回の実験概要</h1>
|
|
|
109 <div align="center">
|
|
|
110 <img width="400px" src="./pics/benchmark.png"/>
|
|
|
111 </div>
|
|
|
112 <small>
|
|
|
113 <ul>
|
|
|
114 <li>Torqueを利用して，任意台数のクラスタ（クライアント）に同時にスクリプトを実行させる</li>
|
|
|
115 <li>スクリプトは，ある時間になると一斉に目的のサーバーに1万回のアクセスを開始する</li>
|
|
|
116 <li>クラスタの台数を変動させCassandraとMySQLサーバーに負荷をかける．</li>
|
|
|
117 <li>複数台のクラスタが処理に要した時間の平均をグラフ化し比較する．</li>
|
|
|
118 </ul>
|
|
|
119 </small>
|
|
|
120 </div>
|
|
|
121
|
|
|
122 <div class="slide">
|
|
|
123 <h1>前回の実験方法</h1>
|
|
|
124 <div align="center">
|
|
|
125 <img width="60%" src="./pics/how_to_benchmark.png"/>
|
|
|
126 </div>
|
|
|
127 </div>
|
|
|
128
|
|
|
129 <div class="slide">
|
|
|
130 <h1>実験環境</h1>
|
|
|
131 <p>ベンチマークを取るために構築した環境</p>
|
|
|
132 <table align="center" border="1">
|
|
|
133 <tr>
|
|
|
134 <th></th>
|
|
|
135 <th>クラスタ</th>
|
|
|
136 <th>MacMini</th>
|
|
|
137 <th>Core i7</th>
|
|
|
138 </tr>
|
|
|
139 <tr>
|
|
|
140 <th></th>
|
|
|
141 <td>クライアント</td>
|
|
|
142 <td>サーバ</td>
|
|
|
143 <td>サーバ</td>
|
|
|
144 </tr>
|
|
|
145 <tr>
|
|
|
146 <th>CPU</th>
|
|
|
147 <td>Core Duo 2G (<span style="color: red;">1</span>)</td>
|
|
|
148 <td>Core 2 Duo 2.53G (<span style="color: red;">2</span>)</td>
|
|
|
149 <td>Core i7 3.0G (<span style="color: red;">4</span>)</td>
|
|
|
150 </tr>
|
|
|
151 <tr>
|
|
|
152 <th>Memory</th>
|
|
|
153 <td>1GB</td>
|
|
|
154 <td>4GB</td>
|
|
|
155 <td>14GB</td>
|
|
|
156 </tr>
|
|
|
157 <tr>
|
|
|
158 <th>OS</th>
|
|
|
159 <td>CentOS 5</td>
|
|
|
160 <td>OSX 10.6</td>
|
|
|
161 <td>CentOS 5</td>
|
|
|
162 </tr>
|
|
|
163 </table>
|
|
|
164 <small>
|
|
|
165 <p>このうちクラスタは80台用意されている．</p>
|
|
|
166 <p>()内はコア数で，Core i7のみ4コア8スレッドである．</p>
|
|
|
167 </small>
|
|
|
168 </div>
|
|
|
169
|
|
|
170 <div class="slide">
|
|
|
171 <h1>前回のベンチマークのまとめ</h1>
|
|
|
172 <small>
|
|
|
173 <ul>
|
|
|
174 <li>クライアントが複数いるときにCassndraが性能を発揮する．</li>
|
|
|
175 <li>コア数の少ないサーバーでは，性能が落ちる</li>
|
|
|
176 <li>コア数の多いサーバーでは，MySQLより平均時間の増加度が少ない．</li>
|
|
|
177 <li>サーバーの台数を増やすだけでは１台の性能を超えることはできない．</li>
|
|
|
178 <li>Cassandraの性能を活かすことのできる，条件はコア数の多いサーバーでかつ読み書きが頻繁に行われるアプリケーションであるということが分かった．</li>
|
|
|
179 <li>MacMini の性能はここまでか? サーバを増やせば良くなる可能性もある?</li>
|
|
|
180 </ul>
|
|
|
181 </small>
|
|
|
182 <p>Cassandraの特徴・性能を検証できた，ではどのようにシステムを開発すればスケールするのか？</p>
|
|
|
183 </div>
|
|
|
184
|
|
|
185 <div class="slide">
|
|
|
186 <h1>スケーラビリティのあるサービスの開発</h1>
|
|
|
187 <p>クラスタを用いたベンチマークにより, Cassandraの性能とスケーラビリティの検証方法を確認することができた.
|
|
|
188 <br/>これを踏まえた上でCassandraを利用したスケーラビリティのあるサービスを開発する．</p>
|
|
|
189 <p>スケーラビリティがあるということは？</p>
|
|
|
190 <ul>
|
|
|
191 <li>負荷がかかっても遅くならない</li>
|
|
|
192 <li>サーバーの台数を増やすだけで性能を維持できる</li>
|
|
|
193 </ul>
|
|
|
194 </div>
|
|
|
195
|
|
|
196 <div class="slide">
|
|
|
197 <h1>スケーラビリティを高めるためには</h1>
|
|
|
198 <small>
|
|
|
199 <p>[方法1]データの複製を多く用意する</p>
|
|
|
200 <ul>
|
|
|
201 <li>一つのデータにアクセスが集中するとネットワークが遅くなるが，分散させることで避けることができる</li>
|
|
|
202 </ul>
|
|
|
203 </small>
|
|
|
204 <div align="center">
|
|
|
205 <img width="670px" src="./pics/share_or_copy.png"/>
|
|
|
206 </div>
|
|
|
207 </div>
|
|
|
208
|
|
|
209 <div class="slide">
|
|
|
210 <h1>スケーラビリティを高めるためには</h1>
|
|
|
211 <small>
|
|
|
212 <p>[方法2]データの伝搬にはポーリングを利用する</p>
|
|
|
213 <ul>
|
|
|
214 <li>データに更新があったとき，すべてのコピーデータに通知すると通信量が膨大になる．</li>
|
|
|
215 <li>実際には必要なときに更新すればよいため，通知するのではなく見に行く(ポーリング)を行えばよい．(頻度が低く範囲が小さいと期待される)</li>
|
|
|
216 </ul>
|
|
|
217 </small>
|
|
|
218 <div align="center">
|
|
|
219 <img width="650px" src="./pics/notify_or_polling.png"/>
|
|
|
220 </div>
|
|
|
221 </div>
|
|
|
222
|
|
|
223 <div class="slide">
|
|
|
224 <h1>提案するシステムのアーキテクチャ</h1>
|
|
|
225 <p>CassandraとWebサーバーが直接通信するのではなく, 間にサービスのAPIを提供するサーバーを挟む</p>
|
|
|
226 <table align="center">
|
|
|
227 <tr>
|
|
|
228 <td><img width="400px" src="./pics/arch.png"/></td>
|
|
|
229 <td><p>テストをサービスAPIの段階で行える</p>
|
|
|
230 <p>PHP, Grails, Servlet 等にも対応可能</p>
|
|
|
231 </td>
|
|
|
232 </tr>
|
|
|
233 </table>
|
|
|
234 </div>
|
|
|
235
|
|
|
236 <div class="slide">
|
|
|
237 <h1>システムのアーキテクチャ</h1>
|
|
|
238 <ul>
|
|
|
239 <li>開発言語はJavaを利用</li>
|
|
|
240 <li>APIを提供するためにCassandraも利用しているRPCである，Thriftを使用する</li>
|
|
|
241 <!-- スケールするシステムの上に、スケールしないシステムを作るべきではない？ -->
|
|
|
242 <li>SEDAを採用するか，しないかは未定 (採用すると、性能は出るが複雑になる) </li>
|
|
|
243 <li>スケーラビリティは検証してみないと確認できない</li>
|
|
|
244 <li>そのため，プロトタイプを作成してその性能を検証しながら開発をすすめる</li>
|
|
|
245 </ul>
|
|
|
246 </div>
|
|
|
247
|
|
|
248 <div class="slide">
|
|
|
249 <h1>データ構造</h1>
|
|
|
250 <p>スケールするサービスを開発するためにはスケールするデータ構造を考える必要がある</p>
|
|
|
251 <p>サービスのデータ構造として木構造を利用したい，しかし，これがスケールする必要がある</p>
|
|
|
252 <ul>
|
|
|
253 <li>通常の木構造（破壊的木構造）</li>
|
|
|
254 <ul>
|
|
|
255 <li>データを書き換えて木を編集する</li>
|
|
|
256 </ul>
|
|
|
257 <li>非破壊的木構造</li>
|
|
|
258 <ul>
|
|
|
259 <li>データを書き換えず，コピーして編集する</li>
|
|
|
260 </ul>
|
|
|
261 </ul>
|
|
|
262 <p>今回は非破壊的木構造を使用して開発を行う</p>
|
|
|
263 </div>
|
|
|
264
|
|
|
265 <div class="slide">
|
|
|
266 <h1>非破壊的木構造</h1>
|
|
|
267 <p>編集する木構造の内容を変更せずに, 変更するノードのコピーと変更がないノードで新しく木構造を作る</p>
|
|
|
268 <div align="center">
|
|
|
269 <table>
|
|
|
270 <tr>
|
|
|
271 <td><img width="350px" src="./pics/hakai_tree.png"/></td>
|
|
|
272 <td><img width="400px" src="./pics/hihakai_tree.png"/></td>
|
|
|
273 </tr>
|
|
|
274 </table>
|
|
|
275 </div>
|
|
|
276 </div>
|
|
|
277
|
|
|
278 <div class="slide">
|
|
|
279 <h1>コピーの場合の比較（破壊的木構造）</h1>
|
|
|
280 <small>
|
|
|
281 <p>[方法1]に則ってスケールするためには，複製を作成しやすいデータ構造である必要がある．<br/>
|
|
|
282 破壊の場合は変更を複製全部に通知する必要がある</p>
|
|
|
283 </small>
|
|
|
284 <div align="center">
|
|
|
285 <img width="650px" src="./pics/dest_tree_copy.png"/>
|
|
|
286 </div>
|
|
|
287 </div>
|
|
|
288
|
|
|
289 <div class="slide">
|
|
|
290 <h1>コピーの場合の比較（非破壊的木構造）</h1>
|
|
|
291 <p>非破壊の場合は自由に複製を作って良い</p>
|
|
|
292 <div align="center">
|
|
|
293 <img width="650px" src="./pics/mono_tree_copy.png"/>
|
|
|
294 </div>
|
|
|
295 </div>
|
|
|
296
|
|
|
297 <div class="slide">
|
|
|
298 <h1>ポーリングの場合の比較</h1>
|
|
|
299 <p>[方法2]に則って変更の通知をポーリングでやりやすいデータ構造を選択する必要がある．</p>
|
|
|
300 <p>破壊的変更の場合はポーリングでは木全体を見る必要がある．なので通知の方が現実的</p>
|
|
|
301 <p>非破壊の場合は木の先頭を見れば更新されているかどうかがわかる(ポーリングのアクセスの集中を防ぐ工夫は必要)</p>
|
|
|
302 </div>
|
|
|
303
|
|
|
304 <div class="slide">
|
|
|
305 <h1>非破壊的木構造</h1>
|
|
|
306 <ul>
|
|
|
307 <li>利点</li>
|
|
|
308 <ul>
|
|
|
309 <li>ロックを必要としない</li>
|
|
|
310 <li>複製を自由に作成することができる（変更を伝搬する必要はなく，複製先が監視すればよい）</li>
|
|
|
311 </ul>
|
|
|
312 <li>欠点</li>
|
|
|
313 <ul>
|
|
|
314 <li>次々に複製を作成するため，メモリ使用量が多い</li>
|
|
|
315 <li>編集するための計算量が多い（編集対象のノードまでのパスの長さまで複製するため）</li>
|
|
|
316 </ul>
|
|
|
317 </ul>
|
|
|
318 <p>ロックを必要としない・複製を自由に作成できるという利点からスケールするのではないかと考えられる</p>
|
|
|
319 </div>
|
|
|
320
|
|
|
321 <div class="slide">
|
|
|
322 <h1>非破壊木構造Editorの実装</h1>
|
|
|
323 <ul>
|
|
|
324 <li>イメージとしては分散リポジトリ（Git,Mercurial)</li>
|
|
|
325 <li>APIとしてcommit,push,pull,update,discard,mergeがある。</li>
|
|
|
326 <li>木構造をコピーし、ローカルへ保存して編集しリモートへ更新する。（非破壊的）</li>
|
|
|
327 <li>更新は変更をコミットする際に検出する。（ポーリングの利用）</li>
|
|
|
328 </ul>
|
|
|
329 </div>
|
|
|
330
|
|
|
331 <div class="slide">
|
|
|
332 <h1>非破壊木構造Editorの実装</h1>
|
|
|
333 <div align="center">
|
|
|
334 <img width="60%" src="pics/editor01.png"/>
|
|
|
335 </div>
|
|
|
336 </div>
|
|
|
337
|
|
|
338 <div class="slide">
|
|
|
339 <h1>非破壊木構造Editorの実装</h1>
|
|
|
340 <ul>
|
|
|
341 <li>このEditorを各ステージ（ブラウザ上、APIサーバー上、Cassandra）において実装する。</li>
|
|
|
342 <li>こうすることで非破壊構造を分散して構築することが出来る。</li>
|
|
|
343 </ul>
|
|
|
344 </div>
|
|
|
345
|
|
|
346 <div class="slide">
|
|
|
347 <div align="center">
|
|
|
348 <img width="70%" src="pics/multistage_copy.png"/>
|
|
|
349 </div>
|
|
|
350 </div>
|
|
|
351
|
|
|
352 <div class="slide">
|
|
|
353 <h1>OnMemory上の非破壊木構造の実装</h1>
|
|
|
354 <p>これは書くの必要ですか？</p>
|
|
|
355 </div>
|
|
|
356
|
|
|
357 <div class="slide">
|
|
|
358 <h1>Cassandra上での非破壊構造の実装</h1>
|
|
|
359 <p>これは書くの必要ですか？</p>
|
|
|
360 </div>
|
|
|
361
|
|
|
362 <div class="slide">
|
|
|
363 <h1>リンクの実装</h1>
|
|
|
364 <small>
|
|
|
365 <ul>
|
|
|
366 <li>非破壊木構造の特性上、ルートノードに負荷がかかる。</li>
|
|
|
367 <li>そのため、リンクを導入しある部分で親ノードに更新が伝搬しないようにする。</li>
|
|
|
368 <li>リンクされた先をルートノードとし編集することでリンクの親ノードへ更新は伝搬されない。</li>
|
|
|
369 </ul>
|
|
|
370 </small>
|
|
|
371 <div align="center">
|
|
|
372 <img width="75%" src="pics/link.png"/>
|
|
|
373 </div>
|
|
|
374 </div>
|
|
|
375
|
|
|
376 <div class="slide">
|
|
|
377 <h1>まとめ</h1>
|
|
|
378 <ul>
|
|
|
379 <li>非破壊木構造Editorは分散リポジトリを参考にした構造。</li>
|
|
|
380 <li>ローカルにコピーし、それを非破壊的に変更していく。</li>
|
|
|
381 <li>複数ステージにおいてツリーをコピーし、それぞれの段階で非破壊的に編集する。</li>
|
|
|
382 <li>ルートノードの負荷分散のためにリンクを導入する。</li>
|
|
|
383 </ul>
|
|
|
384 </div>
|
|
|
385
|
|
|
386 <div class="slide">
|
|
|
387 <h1>今後の課題</h1>
|
|
|
388 <ul>
|
|
|
389 <li>実装したEditorを使ったベンチマークテスト</li>
|
|
|
390 <li>引き続きEditorの実装</li>
|
|
|
391 <li>レンダリングエンジンの実装</li>
|
|
|
392 </ul>
|
|
|
393 </div>
|
|
|
394
|
|
|
395 <div class="slide">
|
|
|
396 <h2>ご清聴ありがとうございました</h2>
|
|
|
397 </div>
|
|
|
398
|
|
|
399 </body>
|
|
|
400 </html>
|
