Mercurial > hg > Papers > 2020 > koo-thesis
annotate Slide/Slide.md @ 23:58dd8e127e4b
update paper & Slide
| author | e165727 <e165727@ie.u-ryukyu.ac.jp> |
|---|---|
| date | Sun, 16 Feb 2020 20:49:19 +0900 |
| parents | b96b3244307b |
| children | 27f7561b1135 |
| rev | line source |
|---|---|
| 23 | 1 title: Raku(Perl6)のサーバーを使った高速実行 |
| 7 | 2 author: Kouki Fukuda, Shinji Kono |
| 23 | 3 profile: 並列信頼研 |
| 7 | 4 |
| 22 | 5 ## スクリプト言語の高速実行 |
| 16 | 6 - 現在多くのスクリプト言語はインタプリタ型言語であり, 実行時にインタプリタの立ち上げ, モジュールを読み込み, スクリプトの解釈, スクリプトの実行 といったような処理を担っている. |
| 22 | 7 - 頻繁にコードを書き換え実行するスクリプト言語では起動時間をできるだけ短くしたい. |
| 8 - その手法として同一ホスト内で終了せずに実行を続けるサーバープロセスを立ち上げ, このサーバープロセス上で立ち上げておいたコンパイラに実行するファイル名を転送し, サーバー上でコンパイルを行う手法を提案する | |
| 9 - この提案手法に沿って『Abyss サーバー』を実装した. | |
| 7 | 10 |
| 23 | 11 ## |
| 16 | 12 <!-- |
| 7 | 13 ## 研究概要 |
| 14 - Raku の実装の一つであるRakudoは、Byte code である MoarVM と、それ上で動作する Raku のsubsetであるnqp (Not Quite Perl)上に構成されている。 | |
| 15 - 現状のRakuの実行はRakuで記述されたコンパイラをloadしてJITしながら実行すること自体に時間がかかっている。 | |
| 16 - そこで, 同一ホスト内で終了せずに実行を続けるサーバープロセスを立ち上げ, このサーバープロセス上で立ち上げておいたコンパイラに実行するファイル名を転送し, サーバー上でコンパイルを行う手法を提案し実装する. | |
| 16 | 17 --> |
| 7 | 18 |
| 19 ## Raku と他言語の起動時間の比較 | |
| 16 | 20 - Raku と他言語の起動時間の比較行なった. |
| 23 | 21 |
| 22 <!-- | |
| 7 | 23 - 実行環境 |
| 24 ``` | |
| 25 macOS Mojave version 10.14.5 | |
| 26 メモリ8GB | |
| 27 プロセッサ2.7GHz Intel Core i5 | |
| 28 ``` | |
| 23 | 29 --> |
| 7 | 30 |
|
15
e2d2da777af0
update Slide & add NativeCall section
e165727 <e165727@ie.u-ryukyu.ac.jp>
parents:
7
diff
changeset
|
31 - perl5,ruby,raku,pythonでhelloworldを出力するプログラムを用いて行なった実行結果である. |
| 7 | 32 <table style="border-collapse: collapse;" border="1" width="400" height="300"> |
| 33 <tr> | |
| 34 <th>Language</th> | |
| 35 <th>Version</th> | |
|
15
e2d2da777af0
update Slide & add NativeCall section
e165727 <e165727@ie.u-ryukyu.ac.jp>
parents:
7
diff
changeset
|
36 <th>Time</th> |
| 22 | 37 <th>Ratio</th> |
| 7 | 38 </tr> |
| 39 <tr> | |
| 40 <td>raku</td> | |
| 41 <td>2019.03.1</td> | |
|
15
e2d2da777af0
update Slide & add NativeCall section
e165727 <e165727@ie.u-ryukyu.ac.jp>
parents:
7
diff
changeset
|
42 <td>249 ms</td> |
| 22 | 43 <td>62.25</td> |
| 7 | 44 </tr> |
| 45 <tr> | |
| 46 <td>perl5</td> | |
| 47 <td>v5.18.4</td> | |
|
15
e2d2da777af0
update Slide & add NativeCall section
e165727 <e165727@ie.u-ryukyu.ac.jp>
parents:
7
diff
changeset
|
48 <td>4 ms</td> |
| 22 | 49 <td>1</td> |
| 7 | 50 </tr> |
| 51 <tr> | |
| 52 <td>python</td> | |
| 53 <td>2.7.10</td> | |
|
15
e2d2da777af0
update Slide & add NativeCall section
e165727 <e165727@ie.u-ryukyu.ac.jp>
parents:
7
diff
changeset
|
54 <td>13 ms</td> |
| 22 | 55 <td>3.25</td> |
| 7 | 56 </tr> |
| 57 <tr> | |
| 58 <td>ruby</td> | |
| 59 <td>2.3.7p456</td> | |
|
15
e2d2da777af0
update Slide & add NativeCall section
e165727 <e165727@ie.u-ryukyu.ac.jp>
parents:
7
diff
changeset
|
60 <td>83 ms</td> |
| 22 | 61 <td>20.75</td> |
| 7 | 62 </tr> |
| 63 </table> | |
| 64 | |
| 22 | 65 Perl5 を基準とすると Raku はその62.25倍と非常に起動時間が遅いことがわかる. |
| 66 | |
| 67 <!-- | |
| 7 | 68 ## Rakudo |
| 69 - Rakudoとは現在のRakuの主力な実装である．(Raku は言語名, Rakudo はコンパイラ) | |
| 70 - Rakudo は MoarVM, と NQP と呼ばれる Raku のサブセット, NQP と Raku 自身で記述された Raku という構成である. | |
| 71 - Rakudo は MoarVMの他に JVM やJava Script を動作環境として選択可能である. | |
| 72 | |
| 73  | |
| 74 - Rakudoの構成 | |
| 22 | 75 --> |
| 7 | 76 |
| 22 | 77 <!-- |
| 7 | 78 ## NQP |
| 79 - NQPとはNot Quite Perl の略で Raku のサブセットである. | |
| 80 - 基本的な文法などは Raku に準拠しているが, 変数を束縛で宣言するなどの違いがある. | |
| 81 - NQPコンパイラ自身もNQPで記述されている | |
| 82 - NQP は MoarVM や JVMの違いを吸収してAPIを提供している | |
| 22 | 83 --> |
| 7 | 84 |
| 23 | 85 <!-- |
| 7 | 86 ## MoarVM |
| 87 - MoarVM は Raku に特化したVM | |
| 88 - C 言語で実装されている | |
| 89 - JIT コンパイルなどが現在導入されているが, 起動時間などが低速である問題がある | |
| 23 | 90 --> |
| 7 | 91 |
| 22 | 92 <!-- |
| 7 | 93 ## Perl6 の名称変更 |
| 94 - Raku はPerlの次期メジャーバージョンとして設計が始められ, 元々Perl6という名称であったが, Perl6 は言語仕様及び処理実装が Perl5 と大幅に異なっており, 言語的な互換性が存在しないため別名がつけられました. | |
| 95 - 現在有力な処理系である Rakudo から名前を取り Raku という別名がつけられた. | |
| 96 | |
| 97 ## Rakudoの語源 | |
| 98 - ちなみに Rakudo の語源は, 楽土と駱駝道で | |
| 22 | 99 - 楽土の方は日本語で「楽園」という意味で |
| 7 | 100 - 駱駝道の方は Perlのマスコットキャラクターが🐪だったからです |
| 101 - http://blogs.perl.org/users/zoffix_znet/2017/07/the-hot-new-language-named-rakudo.html | |
| 22 | 102 --> |
| 7 | 103 |
| 104 ## Rakuが遅い理由 | |
| 105 - 通常 Ruby のようなスクリプト言語ではまず YARV などのプロセスVM が起動し,その後スクリプトを Byte code に変換して実行という手順を踏む. | |
| 106 - Rakudo はインタプリタの起動時間及び, 全体的な処理時間が他のスクリプト言語と比較して低速である. | |
| 107 - これは Rakudo 自体が Raku と NQP で書かれているため, MoarVMを起動し, Rakudo と NQP のByte codeを読み取り, Rakudoを起動し, その後スクリプトを読み取り, スクリプトの Byte code 変換というような手順で進むためである. | |
| 23 | 108 - また Raku は実行する際に実行時の情報が必要であり, メソッドを実行する際に invoke が走ることも遅い原因である. |
| 7 | 109 - invoke はMoarVM の method 呼び出しのbyte codeです. |
| 110 | |
| 111 ## Raku による Abyss Server の実装 | |
| 112 - 提案手法に沿い『Abyss Server』を実装した. | |
| 113 - Abyss Server はUnix domain socketを用いて送信した Raku スクリプトを実行するための Server である. | |
| 114 - 下記の図は, Abyss Server を用いたスクリプト言語の実行手順です. | |
| 115 | |
| 116  | |
| 117 | |
| 22 | 118 <!-- |
| 7 | 119 ## Raku の Unix domain socket 実装 |
| 120 - Unix domain socket でなくINET で実装した場合, 他者からスクリプトを送りつけられる可能性がある. | |
| 121 - そのため今回はUnix domain socket を用いて実装しました. | |
| 122 - Rakuには現在Unix domain socketの実装がないため, Unix domain socket の実装を行なった. | |
| 123 - IO::Socketがroleとして定義されている | |
| 124 - Raku での role は他の言語の interface に相当するものである | |
| 125 - 現状 Raku にはIO::Socket::INETとIO::Socket::Asyncの実装がある | |
| 126 - 先ほど上で説明したようにINETとAsyncはセキュリティの問題で使えない | |
| 127 - IO::Socketを実装した IO::Socket::Unix を実装した | |
| 128 - IO::Socket::Unixの中ではnqpの機能を使う必要がある | |
| 22 | 129 --> |
| 130 | |
| 7 | 131 |
| 132 ## 通常実行と提案手法の速度比較 | |
| 133 - 今回は,提案手法での実行速度と通常実行での実行速度, この二つの速度の比較を行う | |
| 134 - 題材として行うのはhelloworldを出力するだけのプログラムとフィボナッチ数列の例題である. | |
| 135 | |
| 136 ## 予測 | |
| 137 - 前述した通り, Raku はコンパイラの起動に時間がかかっているため, 提案手法を用いることで起動時間分早く実行することができると予測する. | |
| 138 | |
| 139 ## 実行結果 | |
| 140 | |
| 141 - 通常実行 | |
| 142 - 0.2695 sec | |
| 143 | |
| 144 - 提案手法 | |
| 145 - 0.0238 sec | |
| 146 | |
| 147 - 提案手法は通常実行に比べて約10倍早い実行結果になった | |
| 148 | |
| 149 ## フィボナッチ数列の例題 | |
| 150 | |
| 151 - 通常実行 | |
| 152 - 0.2128 sec | |
| 153 | |
| 154 - 提案手法 | |
| 155 - 0.0415 sec | |
| 156 | |
| 157 - 先ほどと同様,提案手法は通常実行に比べて早い結果となり,約5倍早い実行結果になった | |
| 158 | |
| 159 ## Abyss Server側の実装 | |
| 160 - Abyss Server は起動すると, まず自身にファイルパスを転送するためのソケットを生成し, その後ファイルを受け取るための待機ループに入る. | |
| 161 - ファイルパスを受け取ると, ファイルを開き実行する. | |
| 162 | |
| 163 ``` | |
| 16 | 164 sub close(int32) returns int32 is native { ... } |
| 165 sub dup(int32 $old) returns int32 is native { ... } | |
| 166 sub dup2(int32 $new, int32 $old) returns int32 is native { ... } | |
| 167 | |
| 168 method readeval | |
| 169 { | |
| 170 my $listen = IO::Socket::Unix.new( :listen, | |
| 171 :localhost<localhost>, | |
| 172 :localport(3333) ); | |
| 173 my $backup = dup(1); | |
| 174 say DateTime.now; | |
| 175 | |
| 176 loop | |
| 177 { | |
| 178 my $conn = $listen.accept; | |
| 179 my $sock_msg; | |
| 180 my $buf = $conn.recv(); | |
| 181 $sock_msg = $buf; | |
| 182 close(1); | |
| 183 dup2($conn.native-descriptor(), 1); | |
| 184 EVALFILE $sock_msg; | |
| 185 dup2($backup, 1); | |
| 186 close($backup); | |
| 187 $conn.close; | |
| 7 | 188 } |
| 16 | 189 |
| 190 $listen.close; | |
| 23 | 191 } |
| 7 | 192 ``` |
| 193 | |
| 194 ## Abyss Client側の実装 | |
| 195 - ユーザーは Abyss Server を起動後,ファイルパスをサーバーに送信する. | |
| 196 | |
| 197 ``` | |
| 23 | 198 my $conn = IO::Socket::Unix.new( :host<localhost>, |
| 7 | 199 :port(3333) ); |
| 200 | |
| 16 | 201 $conn.print: 'Absolute file path'; |
| 202 | |
| 22 | 203 my $sock_msg; |
| 16 | 204 |
| 22 | 205 while my $buf = $conn.recv(:bin) |
| 206 { | |
| 207 $sock_msg = $buf.decode; | |
| 208 last; | |
| 209 } | |
| 210 | |
| 211 say $sock_msg; | |
| 7 | 212 ``` |
| 213 | |
| 214 ## Raku のEVAL | |
| 215 - Raku では EVAL 関数があり文字列を Raku のソースコード自身として評価できる | |
| 216 - Raku では, EVAL は通常は使用できないようになっており, MONKEY-SEE-NO-EVAL という pragma を実行することで使うことができるようになる. | |
| 217 | |
| 218 ``` | |
| 219 use MONKEY-SEE-NO-EVAL; | |
| 220 | |
| 221 EVAL "say { 5 + 5 }"; # OUTPUT: 10 | |
| 222 ``` | |
| 223 | |
| 224 - EVALFILEはファイルパスを受け取ると, ファイルの中身をバイト文字列に変換し, それをEVALと同様に解釈する. | |
| 225 | |
| 226 ## Abyss Serverの利点 | |
| 227 - Abyss Serverを用いて実行することで, サーバー上で事前に起動した Rakudo を再利用し, 投げられた Raku スクリプトの実行を行うため, Rakudo の起動時間を短縮できる. | |
| 228 - 約10倍早くなる | |
| 229 - 一度投げられたスクリプトのバイトコード, もしくは計算結果をキャッシュで保存しておき, 再度実行する際に, そのキャッシュを用いてコンパイル時間を省くような仕組みを入れやすいと考えられる. | |
| 230 - 他の起動時間遅いスクリプト言語や, モジュールの読み込みが遅い言語などにも, 応用しやすいと考えられる. | |
| 231 - 普通のスクリプト言語だと実行するたびにforkして実行しインタプリタの立ち上げという処理になるが, プロセス毎回起動しなくて済む | |
| 232 | |
| 233 ## Abyss Serverの欠点 | |
| 234 - 現在 Abyss Server には 一度スクリプトを実行した後にサーバー内の環境をリセットする機能が存在しないため,スクリプトがサーバー内の環境に影響を及ぼした場合,通常実行と違う挙動をする危険性がある | |
| 235 - 同時に二つ以上のタスクを与えられると実行順のスケジューリングができない | |
| 236 - 異常に長いタスクが投げられた場合, 次のタスクが前のタスクが終わるまで実行ができない | |
| 237 - 起動時のオプションが選択出来ない | |
| 238 | |
| 22 | 239 ## OS上でスクリプト言語を実行する方法の改善点 |
| 23 | 240 - OS上でスクリプト言語を実行する際の最適な方法として,提案手法のように事前に起動したコンパイラを再利用する方法は有効であると考える |
| 241 - またOS上でスクリプト言語を実行する際に, OS側で用意されてあるべきAPIとしては以下のようなものが挙げられる | |
| 242 - 提案手法のように一度立ち上げられたインタプリタを立ち上げたままにする | |
| 243 - 複数回投げられたスクリプトの実行結果もしくはbasic block を保存できる | |
| 244 - 実行するスクリプトの周りにあるJsonファイルをあらかじめParseしておく | |
| 22 | 245 |
| 7 | 246 ## まとめと今後の課題 |
| 23 | 247 - スクリプト言語 Raku の新たな実行方法の提案,及び提案手法に添って「Abyss Server」の実装を行なった. |
| 7 | 248 - Raku にUnix domain socket の実装を行なった. |
| 23 | 249 - Raku を用いて「Abyss Server」の実装を行なった |
| 250 - また今後今後の課題としては以下のようなものが挙げられる | |
| 251 - 一度投げられたスクリプトをキャッシュで保存しておき,再度実行する際に,そのキャッシュを用いてコンパイル時間を省くような仕組み | |
| 252 - 複数タスクが投げられた場合の処理の実装 |