changeset 29:7154e9689864

update newsystem
author Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
date Fri, 05 Feb 2021 20:33:39 +0900
parents 511bd4ef58b5
children c4118dd96310
files paper/chapter/new_system.tex paper/chapter/system_usage.tex paper/fig/backfill.pdf paper/fig/system.graffle paper/final_thesis.pdf
diffstat 5 files changed, 25 insertions(+), 3 deletions(-) [+]
line wrap: on
line diff
--- a/paper/chapter/new_system.tex	Tue Feb 02 21:01:58 2021 +0900
+++ b/paper/chapter/new_system.tex	Fri Feb 05 20:33:39 2021 +0900
@@ -75,6 +75,28 @@
 そこで, Podmanをwrapperしたie-podmanを作成した。
 ie-podmanはコンテナに個別のIPアドレスを割り当てる際に利用する。
 
+\subsection{Slurm}
+旧システムではVMベースのため, 利用者が演習や研究等のプログラムは決められたリソースで実行する必要があった。
+新システムはコンテナベースに変更したことにより, 利用者は汎用サーバのリソースを利用できる。
+そのため, 複数の利用者が多くのリソースを要求するプログラムを実行した場合, リソース不足やリソースの競合が考えられる。
+そこで, 汎用サーバのリソースを効率よく利用できるようにするため, ジョブスケジューラであるSlurmにより管理を行う。
+Slurmは最悪待ち時間を減らすのではなく, 計算リソースの利用効率を上げることを重視する。
+そのため, Jobの優先順位は以下のように設定を行う。
+\begin{itemize}
+    \item 要求するリソースの少ないJobの優先度を高くする
+    \item 実行時間が短いJobの優先度を高くする
+    \item これまでのJobの実行履歴で優先度は変化しない
+\end{itemize}
+また, Slurmに登録されるJobはバックフィルを採用する。
+バックフィルは図\ref{fig:backfill}のように, 後から投下されたJobが, 現在処理されているJobの実行時間以内であり, 空きリソースで処理可能ならば, 先に投下されたJobより先に処理される。
+\begin{figure}[H]
+    \begin{center}
+        \includegraphics[width=150mm]{fig/backfill.pdf}
+    \end{center}
+    \caption{バックフィル}
+    \label{fig:backfill}
+\end{figure}
+
 \subsection{FileSystem}
 旧システムではVMのイメージをクラスタファイルシステムであるGFS2に保存し運用していた。
 このGFS2の運用には別途クラスタを構成する必要があるため, 単一障害が発生により多くのサービスに影響を与えることがあった。
--- a/paper/chapter/system_usage.tex	Tue Feb 02 21:01:58 2021 +0900
+++ b/paper/chapter/system_usage.tex	Fri Feb 05 20:33:39 2021 +0900
@@ -78,7 +78,7 @@
 $ ie-podman run --ip --gpu --name [CONTAINER_NAME] [IMAGE]
 \end{verbatim}
 
-現在のPodmanはrootlessでコンテナイメージの作成は低速である。
+新システムにインストールされているPodmanはrootlessでコンテナイメージの作成は低速である。
 これは, 開発段階ということ, 新システムのユーザのホームディレクトリはCephFSで提供されているためである。
 ie-podmanはrootのPodmanを利用しSSD上に作成されるため, Podmanと比較し高速である。
 イメージ名はコンテナ名と同じくユーザ名で補完されることで, 他ユーザと重複することはない。
@@ -87,7 +87,7 @@
 $ ie-podman build --tag [IMAGE_NAME] [CONTEXT]
 \end{verbatim}
 
-作成したコンテナイメージは下記の操作で一覧を表示することができる。
+また, 作成したコンテナイメージは下記の操作で一覧を表示することができる。
 一覧で表示されるイメージはie-podmanで作成したイメージのみである。
 \begin{verbatim}
 $ ie-podman images
@@ -105,7 +105,7 @@
 $ ie-podman sif [IMAGE_NAME]
 \end{verbatim}
 
-本コースではコンテナレジストリを導入し利用している。
+新システムではコンテナベースでシステムを構築するため, コンテナレジストリを導入した。
 レジストリの利用は学内ネットワークから可能であり, pushやpullが可能である。
 ie-podmanからだけでなく, Podmanや手元のPCのDockerからも利用できる。
 レジストリへの登録には, 登録するイメージにtagを付けpushする必要がある。
Binary file paper/fig/backfill.pdf has changed
Binary file paper/fig/system.graffle has changed
Binary file paper/final_thesis.pdf has changed