Torque

Torqueとは

Torqueは、Job Schedulerである。Job Schedulerは、クラスターに次々と投入されるジョブを、キューなどを用い、スケジューリングを行って管理してくれる。
クラスターを利用して、実験を行う際には、Job Schedulerを用いる必要がある。
それは、他のクラスターユーザーが存在する場合に、同時に別スレッドで処理を実行してしまうならば、CPUなどのリソースを取り合うことになるため、台数効果などの実験結果が正確に得られないからである。
まず、Torqueのインストールする。 それでは、Torqueの使い方を見てみよう。

Torqueがインストールされたserverにログインする

ssh ie-user@tino-vm1.ads.ie.u-ryukyu.ac.jp

queueの作成(サーバー側)

テストとして"tqueue"という名前のqueueを作る。

Qmgr: create queue tqueue queue_type = execution
Qmgr: set queue tqueue enabled = true
Qmgr: set queue tqueue started = true
Qmgr: set server default_queue = tqueue
Qmgr: set server scheduling = true
Qmgr: set queue tqueue resources_max.ncpus = 2
Qmgr: set queue tqueue resources_max.nodes = 2

各コマンドの意味を以下に示す。

  • create queue <queue名> queue_type = <queueのタイプ>
    • 指定された名前、タイプのqueueを作成する。
    • タイプはE,executionを指定するとexecution queueになりR,routeを指定するとrouting queueとなる。
  • set queue <queue名> <Attributes>
    • 指定したqueueの指定したAttributesを設定する。 例で設定したAttributesについて
  • enabled = <true or false>
    • trueにすると新しいjobを受け付ける。
  • started = <true or false>
    • trueにするとqueueの中のjobの実行を許可する。
  • resources_max.ncpus = <cpu数>
    • queueに割り当てるcpu数を設定する。
  • resources_max.nodes = <node数>
    • queueに割り当てるnode数を設定する。
  • set server <Attributes>
    • 指定したqueueの指定したAttributesを設定する。 例で設定したAttributesについて
  • default_queue = <queue名>
    • 指定したqueueをデフォルトqueueとする。
  • scheduling = <true or false>
    • Schedulingを可能にする。 ここまでの設定の確認を行う。
      Qmgr: print server
      これでサーバーの設定が確認できる。作成したqueueが表示されればうまくいっている。また、以下のコマンドqueueの確認ができる。
      Qmgr: list queue <queue名>

設定の保存

以下のようにリダイレクトして保存する。

# echo "p s" | <torqueのインストール先>/bin/qmgr > <ファイル名>

次回以降はこのファイルを与えることで設定が楽になる。

Torque チュートリアル

Torqueを使用する前に

Torqueは、naha.ie.u-ryukyu.ac.jp上で使用することができる。
実験を行うためには、パスワードを使用せずにsshできるように、鍵認証の設定を行わなくてはならない。しかし、mauiユーザーでは既に設定が行われているため、Torqueをすぐに使用することができるようになっている。

% ssh ie-user@tino-vm1.ads.ie.u-ryukyu.ac.jp

尚、パスワードはサーバー班が管理しているので、サーバー班から教えてもらうことができる。

ログインすると、ホームディレクトリにProjectフォルダがあるので、その中に自分の学籍番号のフォルダを作成し、その中で作業を行うようにする。

% mkdir student/eXX57XX
% cd student/eXX57XX

Torque上でジョブを実行する

ジョブを実行するための準備

jobs.shを作成する。

  • jobs.sh
    #!/bin/sh
    echo hello
    hostname

ジョブの実行

Torqueのジョブは、qsubコマンドによって投入される。

% qsub jobs.sh

このように実行すると、1台のクラスターでのみ処理が行なわれる。

ジョブの実行結果

スクリプトの実行が終わると、jobs.sh.oXXX, jobs.sh.eXXXという2つのファイルが生成される。XXXは、Torqueによって割り振られたジョブ番号である。 ファイルにはそれぞれ、標準出力と、標準エラー出力の内容が出力されている。

% cat jobs.sh.oXXX
hello
cls001.cs.ie.u-ryukyu.ac.jp

複数のノードを用いた実験

また10台で実験を行うには次のように、実行すれば良い。

% qsub -l nodes=10 jobs.sh
% cat jobs.sh.oXXX
hello
cls010.cs.ie.u-ryukyu.ac.jp

10台のノードを指定しても、実際には10台が使用可能になっただけであり、10台で実行された訳ではない。
このcls010.csは、親ノードである。この親ノード(cls010.cs)から、他のノード(cls001-cls009)に対して、命令を行うようにプログラミングする必要がある。

例えば、以下のような処理を行う必要がある。

  • jobs.sh
    #!/bin/sh
    #PBS -N ExampleJob
    #PBS -l nodes=10,walltime=00:01:00
    for serv in `cat $PBS_NODEFILE`
    do
      ssh $serv hostname &
    done
    wait

#PBSを用いてコメントをつけると、その部分が、qsubコマンドのオプションとして認識される。

  • -N: ExampleJob?.oXXXのように、ジョブに名前を付けることができるようになる。
  • -l: ジョブのオプション。nodes=ノード数、walltime=処理制限時間のように設定できる。

親ノードのシェルには、$PBS_NODEFILEという、環境変数が準備されている。

  • (例)
    % echo $PBS_NODEFILE
    /var/spool/torque/aux/XXX.naha.ie.u-ryukyu.ac.jp
    % cat $PBS_NODEFILE
    cls010.cs.ie.u-ryukyu.ac.jp
    cls009.cs.ie.u-ryukyu.ac.jp
    ...(略)...
    cls001.cs.ie.u-ryukyu.ac.jp

$PBS_NODEFILEの先頭行のホストが親ノードである。

このスクリプトを実行してみると、以下のようになった。

% qsub jobs.sh
% cat ExampleJob.oXXX
cls003.cs.ie.u-ryukyu.ac.jp
cls009.cs.ie.u-ryukyu.ac.jp
cls008.cs.ie.u-ryukyu.ac.jp
cls010.cs.ie.u-ryukyu.ac.jp
cls007.cs.ie.u-ryukyu.ac.jp
cls006.cs.ie.u-ryukyu.ac.jp
cls004.cs.ie.u-ryukyu.ac.jp
cls005.cs.ie.u-ryukyu.ac.jp
cls002.cs.ie.u-ryukyu.ac.jp
cls001.cs.ie.u-ryukyu.ac.jp

このように、10台のノードで、hostnameコマンドを実行した結果が表示されていることが分かる。 これらの他に、mpiを用いて、他のノードにジョブを割り振ることもできる。

1ノード2CPUを用いた実験方法

クラスターはCoreDuo?を搭載しているため、CPUを2つまで使用することができる。つまり、1ノードで、2つの処理を行なうことができる。
その場合は、以下のように実行する。

% qsub -l nodes=10:ppn=2 jobs.sh

この場合、$PBS_NODEFILEには、同じホストが2つずつ登録されていることになる。

1ジョブでマルチタスクの実行

また、1つのジョブで、複数の同じタスクを実行することもできる。 その場合は、以下のように実行する。

% qsub -t 1-3 -l nodes=10 jobs.sh

この場合、出力結果も3つのタスクごとに出力される。

torque_qsub.png

その他、便利なコマンド

  • jobs.sh
    #!/bin/sh
    #PBS -N ExampleJob
    #PBS -l nodes=1,walltime=00:01:00
    sleep 10
    echo hello
% qsub jobs.sh

sleepを行って、ジョブを長引かせてテストする。

% qstat
Job id                    Name             User            Time Use S Queue
------------------------- ---------------- --------------- -------- - -----
XXX.naha                  ExampleJob       maui                   0 R batch

このように、ジョブの状態を確認することができる。

Error 対処メモ

Nodeの数を4~9台に設定するとなぜかjobがうまく動かない。以下のようなエラーがでる。

qsub: Job exceeds queue resource limits MSG=cannot satisfy queue max nodes requirement  

対処法はNodeの数の設定時に、一桁だった場合は 05 といったように0をつけることで解決する。

% qsub -l nodes=05 test.sh

全体で登録しているNodeの数が二桁になるとこうする必要がある。 また、Nodeの数を間違っていなくても、上のエラーがでるときがある。その時は今使っているqueueの設定をみる。

% qmgr -c "p s"
:
create queue cqueue
set queue cqueue queue_type = Execution
set queue cqueue resources_max.ncpus = 184
set queue cqueue resources_max.nodes = 46
set queue cqueue enabled = True
set queue cqueue started = True

ncpus の値やnodesの値を確認する。resource_max.nodes でなく、 resource_max.nodect も設定したほうがいいかもしれない。

% sudo qmgr
set queue cqueue resources_max.nodect = 46

crとcsの両方のtorqueクラスタを1つで使う

crで作成したtorqueのクラスタをcsの方でまとめて使うための方法。

以下の2つの設定変更により行える

  • クライアント側のserver_nameファイルとconfigファイルをmass00.cs(親)の設定に変更する。
  • 親のtorqueのnodesの設定にcrのクラスタの情報を付け加える。

上記の変更をpbsをstopさせて変更を行う。

% sudo /etc/init.d/torque stop

クライアント側のserver_nameファイルとconfigファイルをmass00.cs(親)の設定に変更する

変更するファイルは以下の2つ

/var/spool/torque/server_name
/var/spool/torque/mom_priv/config

それぞれの中身をみてみる

mass01(cr) % cat /var/spool/torque/server_name 
mass00.cr.ie.u-ryukyu.ac.jp
mass01(cr) % cat /var/spool/torque/mom_priv/config
$logevent 0x1fff
$max_load 1.2
$ideal_load 1.0
$pbsserver mass00.cr.ie.u-ryukyu.ac.jp
$restricted mass00.cr.ie.u-ryukyu.ac.jp%

上記のmass00.crをmass.csに変更すればよい

親のtorqueのnodesの設定にcrのクラスタの情報を付け加える

変更するファイルは以下のもの

/var/spool/torque/server_priv/nodes

中にはクライアントとなるサーバのドメインと使用するcpuの数の記述がある。

% sudo cat /var/spool/torque/server_priv/nodes 
mass02.cs.ie.u-ryukyu.ac.jp np=4
mass03.cs.ie.u-ryukyu.ac.jp np=4
mass04.cs.ie.u-ryukyu.ac.jp np=4
:略
mass46.cs.ie.u-ryukyu.ac.jp np=4
mass47.cs.ie.u-ryukyu.ac.jp np=4

これにmass01.cr.ie.u-ryukyu.ac.jp といったcr側のクライアントの情報を追加してあげればよい。

設定が終わったら

% sudo /etc/init.d/torque start

をして起動させる。 クライアント全部を手作業でやるのは面倒臭いのでcapistrano を使ってください。


添付ファイル: filetorque_qsub.png 1095件 [詳細]

トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2017-04-16 (日) 21:57:16 (73d)