# HG changeset patch # User suruga # Date 1519243977 -32400 # Node ID affad4dda4cf97252df9d9cb3cd20072f45ececb # Parent cd2d73cb6b2cfa9a2a3c44a9feae46b78a3fa06d fix slide diff -r cd2d73cb6b2c -r affad4dda4cf paper/.DS_Store Binary file paper/.DS_Store has changed diff -r cd2d73cb6b2c -r affad4dda4cf paper/slides/.DS_Store Binary file paper/slides/.DS_Store has changed diff -r cd2d73cb6b2c -r affad4dda4cf paper/slides/pictures/torque.graffle Binary file paper/slides/pictures/torque.graffle has changed diff -r cd2d73cb6b2c -r affad4dda4cf paper/slides/pictures/tree.graffle Binary file paper/slides/pictures/tree.graffle has changed diff -r cd2d73cb6b2c -r affad4dda4cf paper/slides/sample.html --- a/paper/slides/sample.html Thu Feb 22 04:12:36 2018 +0900 +++ b/paper/slides/sample.html Thu Feb 22 05:12:57 2018 +0900 @@ -86,7 +86,7 @@ @@ -142,10 +142,22 @@

Jungleの分散機構

-
+
+ message +
+
    +
  1. node1からnode0へデータが送られる
  2. +
  3. node0でデータがupdateされ、そのデータがnode1,node2へ送られる
  4. +
  5. node1からnode3,node4へデータが送られ、全体でデータの同期が完了する
  6. +
+
+
+
+ +
@@ -155,9 +167,7 @@ @@ -180,12 +190,13 @@

TORQUE Resource Manager

-
+
@@ -193,7 +204,7 @@

TORQUEの使い方

$ qsub scripts/LogupdateTest-qsub.sh 
 
@@ -211,20 +222,26 @@ 563.tino-VM1 LogUpdateTest ie-user 0 C jungle -

# -* 以上が実験の環境についての説明である -* つづいて、このTORQUEを用いて、Jungleの分散性能を測定する

+ + +
+ +

これまでのまとめ

+
-

実験

+

実験

- message + message
  • 1台でTopologyManagerを起動し,残りの15台でJungleを1つずつ起動する
  • @@ -253,7 +270,7 @@
-

実験をするにあたりぶつかった問題点とその対処法

+

実験をするにあたりぶつかった問題点とその対処法

  • ところが、TORQUEにジョブを投入しても、実験がうまくいかなかった
  • 原因は、Jungleには、自身の処理を終了させる機能が備わっていないことだった @@ -269,7 +286,7 @@
-

実験の準備の為に行なったこと

+

実験の準備の為に行なったこと

  • TORQUEに使用するperlスクリプトを用意した
  • @@ -284,7 +301,7 @@
-

まとめと今後の課題

+

まとめと今後の課題

  • 本研究ではJungleの分散性能の測定方法の提案と測定環境の構築を行なった
  • それにあたり、Jungleが自身を終了させることができない問題が起きた @@ -318,7 +335,7 @@
-

計測結果(1/2)

+

計測結果(1/2)

  • 1台に書き込み/1回書き込み
@@ -339,7 +356,7 @@
-

計測結果(2/2)

+

計測結果(2/2)

  • 1台に書き込み/100回書き込み
@@ -367,7 +384,7 @@
-

ジョブスクリプト

+

ジョブスクリプト

#!/bin/sh
 #PBS -q jungle
 #PBS -N LogUpdateTest
@@ -412,7 +429,7 @@
 
-

その言葉を待っていました

+

その言葉を待っていました

  • 開発中です
diff -r cd2d73cb6b2c -r affad4dda4cf paper/slides/sample.markdown --- a/paper/slides/sample.markdown Thu Feb 22 04:12:36 2018 +0900 +++ b/paper/slides/sample.markdown Thu Feb 22 05:12:57 2018 +0900 @@ -28,15 +28,26 @@ # Jungleの分散機構 * Jungleの分散機構はツリートポロジーを想定している -* ツリー型であれば、一度トップまでデータを伝搬させることでデータの整合性を取ることができる +* ツリー型であれば、一度トップまでデータを伝搬させることで木全体のデータを同期できる -
+
+ message +
+
    +
  1. node1からnode0へデータが送られる
  2. +
  3. node0でデータがupdateされ、そのデータがnode1,node2へ送られる
  4. +
  5. node1からnode3,node4へデータが送られ、全体でデータの同期が完了する
  6. +
+
+
+
+ +
#実験の準備 * Webサーバーを取り除いた、Jungleの純粋な性能を計測する環境を構築する * 学科のVM16台でPCクラスタを構築し、クラスタ上にジョブスケジューラーTORQUEを設定した * 他の利用者とリソースが競合しないよう、TORQUEジョブスケジューラーを利用している - * 本研究で用いたVMの性能を以下に示す
@@ -54,15 +65,16 @@ #TORQUE Resource Manager +* TORQUEはジョブスケジューラーであり、分散された複数のノードに一度にジョブを投入することができる為、本研究で採用した * TORQUEはジョブを管理・投下・実行する3つの処理で構成されている * ジョブの管理・投下を担うヘッダーノードから、ジョブの実行を担う計算ノードへジョブが投下される * 本実験では、TORQUEを用いて、計測用のスクリプトを15台のJungleに一度に投入するスクリプトを投入した -
+
#TORQUEの使い方 -* ジョブはqsubコマンドで投入 +* ジョブはqsubコマンドで投入する ```c $ qsub scripts/LogupdateTest-qsub.sh ``` @@ -76,14 +88,14 @@ 563.tino-VM1 LogUpdateTest ie-user 0 C jungle ``` -# +# これまでのまとめ * 以上が実験の環境についての説明である * つづいて、このTORQUEを用いて、Jungleの分散性能を測定する # 実験 * 以下にJungleの分散性能を測定する手順を示す
- message + message
  • 1台でTopologyManagerを起動し,残りの15台でJungleを1つずつ起動する
  • diff -r cd2d73cb6b2c -r affad4dda4cf paper/slides/sample.pdf.html --- a/paper/slides/sample.pdf.html Thu Feb 22 04:12:36 2018 +0900 +++ b/paper/slides/sample.pdf.html Thu Feb 22 05:12:57 2018 +0900 @@ -70,7 +70,7 @@ @@ -126,10 +126,22 @@

    Jungleの分散機構

    • Jungleの分散機構はツリートポロジーを想定している
    • -
    • ツリー型であれば、一度トップまでデータを伝搬させることでデータの整合性を取ることができる
    • +
    • ツリー型であれば、一度トップまでデータを伝搬させることで木全体のデータを同期できる
    -
    +
    + message +
    +
      +
    1. node1からnode0へデータが送られる
    2. +
    3. node0でデータがupdateされ、そのデータがnode1,node2へ送られる
    4. +
    5. node1からnode3,node4へデータが送られ、全体でデータの同期が完了する
    6. +
    +
    +
    +
    + +
@@ -139,9 +151,7 @@
マシン台数
@@ -164,12 +174,13 @@

TORQUE Resource Manager

-
+
@@ -177,7 +188,7 @@

TORQUEの使い方

$ qsub scripts/LogupdateTest-qsub.sh 
 
@@ -195,20 +206,26 @@ 563.tino-VM1 LogUpdateTest ie-user 0 C jungle
-

# -* 以上が実験の環境についての説明である -* つづいて、このTORQUEを用いて、Jungleの分散性能を測定する

+ + +
+ +

これまでのまとめ

+
-

実験

+

実験

- message + message
  • 1台でTopologyManagerを起動し,残りの15台でJungleを1つずつ起動する
  • @@ -237,7 +254,7 @@
-

実験をするにあたりぶつかった問題点とその対処法

+

実験をするにあたりぶつかった問題点とその対処法

  • ところが、TORQUEにジョブを投入しても、実験がうまくいかなかった
  • 原因は、Jungleには、自身の処理を終了させる機能が備わっていないことだった @@ -253,7 +270,7 @@
-

実験の準備の為に行なったこと

+

実験の準備の為に行なったこと

  • TORQUEに使用するperlスクリプトを用意した
  • @@ -268,7 +285,7 @@
-

まとめと今後の課題

+

まとめと今後の課題

  • 本研究ではJungleの分散性能の測定方法の提案と測定環境の構築を行なった
  • それにあたり、Jungleが自身を終了させることができない問題が起きた @@ -302,7 +319,7 @@
-

計測結果(1/2)

+

計測結果(1/2)

  • 1台に書き込み/1回書き込み
@@ -323,7 +340,7 @@
-

計測結果(2/2)

+

計測結果(2/2)

  • 1台に書き込み/100回書き込み
@@ -351,7 +368,7 @@
-

ジョブスクリプト

+

ジョブスクリプト

#!/bin/sh
 #PBS -q jungle
 #PBS -N LogUpdateTest
@@ -396,7 +413,7 @@
 
-

その言葉を待っていました

+

その言葉を待っていました

  • 開発中です