Mercurial > hg > Papers > 2019 > anatofuz-prosym
annotate Slide/slide.md @ 90:1f9baa69dfe0
update
author | Takahiro SHIMIZU <anatofuz@cr.ie.u-ryukyu.ac.jp> |
---|---|
date | Fri, 11 Jan 2019 00:01:18 +0900 |
parents | 632f160ccbd0 |
children | 3beea12854b0 |
rev | line source |
---|---|
84
6c69fdd1716c
add slide.md (template...)
Takahiro SHIMIZU <anatofuz@cr.ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
1 title: CbCによるPerl6処理系 |
6c69fdd1716c
add slide.md (template...)
Takahiro SHIMIZU <anatofuz@cr.ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
2 author: Takahiro Shimizu, Shinji Kono |
6c69fdd1716c
add slide.md (template...)
Takahiro SHIMIZU <anatofuz@cr.ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
3 profile: 琉球大学 |
6c69fdd1716c
add slide.md (template...)
Takahiro SHIMIZU <anatofuz@cr.ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
4 lang: Japanese |
6c69fdd1716c
add slide.md (template...)
Takahiro SHIMIZU <anatofuz@cr.ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
5 code-engine: coderay |
6c69fdd1716c
add slide.md (template...)
Takahiro SHIMIZU <anatofuz@cr.ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
6 |
6c69fdd1716c
add slide.md (template...)
Takahiro SHIMIZU <anatofuz@cr.ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
7 |
85 | 8 ## 研究目的 |
90 | 9 - 現在開発されているPerl6の実装にRakudoがあり, RakudoはNQP(Perl6のサブセット)で記述されたPerl6, NQPで記述されたNQPコンパイラ, NQPを解釈するVMで構成されている |
10 - NQPコンパイラはRakudoのVMであるMoarVM用のバイトコードを生成し, MoarVMはこのバイトコードを解釈, 実行する | |
11 - Continuation based C (CbC)という言語は継続を基本とするC言語であり, 言語処理系に応用出来ると考えられる | |
12 - スクリプ言語などは, バイトコードを扱うが, この実行にcae文や, ラベルgotoなどを利用しており, この部分はCbCの機能で書き換える事が可能である | |
13 - 従って, CbC一部用いてPerl6にC処理系であるMoarVMの書き換えを行い, 処理を検討する. | |
14 ![](fig/perl6nqp.svg) | |
15 - (Rakudoの構成図) | |
84
6c69fdd1716c
add slide.md (template...)
Takahiro SHIMIZU <anatofuz@cr.ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
16 |
85 | 17 ## Continuation Based C (CbC) |
88 | 18 - Continuation Based C (CbC) はCodeGearを単位として用いたプログラミング言語である. |
85 | 19 - CodeGearはCの通常の関数呼び出しとは異なり,スタックに値を積まず, 次のCodeGearにgoto文によって遷移する. |
20 - CodeGearはCの関数宣言の型名の代わりに`__code`と書く事で宣言出来る. | |
90 | 21 - CodeGearの引数は, 各CodeGearの入出力として利用する. |
85 | 22 |
23 ``` | |
24 extern int printf(const char*,...); | |
90 | 25 |
26 int main (){ | |
27 int data = 0; | |
28 goto cg1(&data); | |
85 | 29 } |
30 __code cg1(int *datap){ | |
90 | 31 (*datap)++; |
85 | 32 goto cg2(datap); |
33 } | |
34 __code cg2(int *datap){ | |
35 (*datap)++; | |
36 printf("%d\n",*datap); | |
37 } | |
38 ``` | |
39 | |
40 ## CbCの現在の実装 | |
41 | |
86 | 42 - CbCは現在3種類の実装がある. |
85 | 43 - gcc (version 9.0.0) |
44 - llvm/clang (version 7.0.0) | |
86 | 45 - micro-c |
85 | 46 |
47 ## 言語処理系の応用 | |
88 | 48 - スクリプト言語処理系は, バイトコードにコンパイルされ, バイトコードをJITを用いてネイティブに変換する |
49 - JITを使わない場合, バイトコードに対応した, case文や, ラベルのテーブルにgotoすることで処理を実行する | |
50 - CbCを言語処理系に応用した場合, バイトコードに対応するCodeGearを生成することが可能である | |
51 - バイトコードに対応したCodeGearは, CodeGearのテーブルを経由することで実行出来る | |
52 - CodeGearに分割することで, 処理を複数の関数で記述する事が出来, ファイル分割などのモジュール化が可能となる | |
85 | 53 |
54 ## Rakudo | |
55 - Rakudoとは現在のPerl6の主力な実装である. | |
56 - 実行環境のVM, Perl6のサブセットであるNQP(NotQuitPerl), NQPで記述されたPerl6(Rakudo)という構成になっている. | |
88 | 57 - コンパイラは, NQPで記述されたPerl6コンパイラ, NQPで記述されたNQPコンパイラ, MoarVMバイトコードを解釈するMoarVMという構成である |
85 | 58 |
59 | |
60 ## MoarVM | |
61 | |
62 - Perl6専用のVMであり, Cで記述されている | |
63 - レジスタマシンとして実装されている. | |
90 | 64 - MoarVMはバイトコードインタプリタを `src/core/interp.c` で定義しており, この中の関数 `MVM_interp_run` でバイトコードに応じた処理を実行する |
85 | 65 |
66 ## MVM_interp_run | |
67 | |
88 | 68 - DISPATCHマクロは次の様に記述されており, この中の `OP` で宣言されたブロックがそれぞれオペコードに対応する処理となっている. |
69 - この中では `GET_REG` などのマクロを用いてMoarVMのレジスタにアクセスする. | |
70 - `cur_op`は次のオペコード列が登録されており, マクロ `NEXT` で決められた方法で次のオペコードに遷移する. | |
71 | |
72 ``` | |
73 DISPATCH(NEXT_OP) { | |
74 OP(const_i64): | |
75 GET_REG(cur_op, 0).i64 = MVM_BC_get_I64(cur_op, 2); | |
76 cur_op += 10; | |
77 goto NEXT; | |
78 } | |
79 | |
80 ``` | |
81 | |
82 ## MVM_interp_run | |
83 | |
85 | 84 - MVM_interp_runでは次のオペコードをフェッチする際に `NEXT_OP` マクロを介して計算を行う. |
85 - オペコードが対応する命令を実行する際は, `MVM_CGOTO` フラグが立っている場合はCのラベルgotoを利用し, 使えない場合はswitch文を利用して遷移する. | |
86 | |
87 | |
88 ``` | |
89 #define NEXT_OP (op = *(MVMuint16 *)(cur_op), cur_op += 2, op) | |
90 | |
91 #if MVM_CGOTO | |
92 #define DISPATCH(op) | |
93 #define OP(name) OP_ ## name | |
94 #define NEXT *LABELS[NEXT_OP] | |
95 #else | |
96 #define DISPATCH(op) switch (op) | |
97 #define OP(name) case MVM_OP_ ## name | |
98 #define NEXT runloop | |
99 #endif | |
100 ``` | |
101 | |
102 ## MVM_interp_run | |
103 | |
104 - ラベル遷移を利用する場合は配列`LABELS`にアクセスし, ラベル情報を取得する | |
105 | |
106 ``` | |
107 static const void * const LABELS[] = { | |
108 &&OP_no_op, | |
109 &&OP_const_i8, | |
110 &&OP_const_i16, | |
111 &&OP_const_i32, | |
112 &&OP_const_i64, | |
113 &&OP_const_n32, | |
114 &&OP_const_n64, | |
115 &&OP_const_s, | |
116 &&OP_set, | |
117 &&OP_extend_u8, | |
118 &&OP_extend_u16, | |
119 &&OP_extend_u32, | |
120 &&OP_extend_i8, | |
121 &&OP_extend_i16, | |
122 ``` | |
123 | |
124 | |
125 ## MVM_interp_run | |
126 | |
127 - Cの実装の場合, switch文に展開される可能性がある為, 命令ディスパッチが書かれているCソース・ファイルの指定の場所にのみ処理を記述せざるを得ない | |
128 - その為, 1ファイルあたりの記述量が膨大になり, 命令のモジュール化ができない | |
129 - Threaded Codeの実装を考えた場合, この命令に対応して大幅に処理系の実装を変更する必要がある. | |
130 - デバッグ時には今どの命令を実行しているか, ラベルテーブルを利用して参照せざるを得ず, 手間がかかる. | |
131 | |
132 | |
133 | |
134 ## CbCMoarVMのバイトコードディスパッチ | |
135 | |
136 - interp.cではマクロを利用した cur_op (現在のオペコード) の計算及び, マクロ遷移かswitch文を利用して次の命令列に遷移していた | |
137 - CbCMoarVMでは, それぞれの命令に対応するCodeGearを生成し, このCodeGearの集合であるテーブルCODESを作成した | |
138 - このテーブルは`cbc_next`というCodeGearから参照し, 以降はこのCodeGearの遷移として処理が継続される. | |
139 | |
140 ``` | |
90 | 141 #define NEXT_OP(i) (i->op = *(MVMuint16 *)(i->cur_op), i->cur_op += 2, i->op) |
85 | 142 #define DISPATCH(op) {goto (CODES[op])(i);} |
143 #define OP(name) OP_ ## name | |
144 #define NEXT(i) CODES[NEXT_OP(i)](i) | |
145 static int tracing_enabled = 0; | |
146 ``` | |
84
6c69fdd1716c
add slide.md (template...)
Takahiro SHIMIZU <anatofuz@cr.ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
147 |
85 | 148 ``` |
149 __code (* CODES[])(INTERP) = { | |
150 cbc_no_op, | |
151 cbc_const_i8, | |
152 cbc_const_i16, | |
153 cbc_const_i32, | |
154 cbc_const_i64, | |
155 cbc_const_n32, | |
156 cbc_const_n64, | |
157 cbc_const_s, | |
158 cbc_set, | |
159 cbc_extend_u8, | |
160 cbc_extend_u16, | |
161 ``` | |
162 | |
163 ## CodeGearの入出力インターフェイス | |
164 | |
165 - MoarVMではレジスタの集合や命令列などをMVM_interp_runのローカル変数として利用し, 各命令実行箇所で参照している | |
166 - CodeGearに書き換えた場合, このローカル変数にはアクセスする事が不可能となる. | |
167 - その為, 入出力としてMoarVMの情報をまとめた構造体interpのポインタであるINTERPを受け渡し, これを利用してアクセスする | |
168 | |
169 | |
170 ``` | |
171 typedef struct interp { | |
172 MVMuint16 op; | |
173 MVMuint8 *cur_op; | |
174 MVMuint8 *bytecode_start; | |
175 MVMRegister *reg_base; | |
176 /* Points to the current compilation unit | |
177 . */ | |
178 MVMCompUnit *cu; | |
179 /* The current call site we’re | |
180 constructing. */ | |
181 MVMCallsite *cur_callsite; | |
182 MVMThreadContext *tc; | |
183 } INTER,*INTERP; | |
184 ``` | |
185 | |
186 ## DataGearへの変換 | |
187 | |
188 - バイトコードに対応する命令をそれぞれCodeGearに変換していく. | |
189 - `OP(.*)`の`(.*)`の部分をCodeGearの名前として先頭に `cbc_` をつけた上で設定する. | |
190 - cur_opなどはINTERPを経由してアクセスする様に修正する. | |
191 - 末尾の `NEXT` を次のCodeGearにアクセスする為に `cbc_next` に修正する. | |
192 | |
193 | |
194 ``` | |
90 | 195 |
196 __code cbc_next(INTERP i){ | |
197 __code (*c)(INTERP) | |
198 c = CODES[(i->op = *(MVMuint16 *)(i->cur_op), i->cur_op += 2, i->op)]; // c = NEXT(i) | |
199 goto c(i); | |
85 | 200 } |
90 | 201 _code cbc_next(INTERP i){ |
202 goto NEXT(i); | |
85 | 203 } |
90 | 204 |
85 | 205 __code cbc_const_i64(INTERP i){ |
206 GET_REG(i->cur_op, 0,i).i64 = MVM_BC_get_I64(i->cur_op, 2); | |
207 i->cur_op += 10; | |
208 goto cbc_next(i); | |
209 } | |
210 ``` | |
211 | |
88 | 212 ## NQP |
213 - Perl6の機能を制約したプログラミング言語であり, Perl6はNQPで記述されている | |
214 - その為Perl6処理系は, NQPの動作を目的に実装することでPerl6の動作が可能となる | |
215 - NQPコンパイラ自身もNQPで記述されている | |
216 - Perl6と違い, 変数の宣言を `:=` を利用した束縛で行う, `++` 演算子が使用できないなどの違いがある | |
217 - nqpのオペコードを利用する際に,型を指定する事が可能である | |
218 | |
219 ``` | |
220 sub add_test(int $n) { | |
221 my $sum := 0; | |
222 while nqp::isgt_i($n,1) { | |
223 $sum := nqp::add_i($sum,$n); | |
224 $n := nqp::sub_i($n,1); | |
225 } | |
226 return $sum; | |
227 } | |
228 | |
229 say(add_test(10)); | |
230 ``` | |
231 | |
90 | 232 ## NQPのバイトコード |
233 | |
234 - NQPはMoarVMのバイトコードにコンパイルし, バイトコードをファイルに保存することが可能である | |
235 - MoarVMのバイトコードは, アセンブリの様にダンプする事が可能である | |
236 - 実際に先程のコードをバイトコードにコンパイルし, 対応するバイトコードをダンプすると次の様に表示される | |
237 | |
238 | |
239 ``` | |
240 annotation: hoge.nqp:3 | |
241 label_1: | |
242 00007 const_i64_16 loc_2_int, 1 | |
243 00008 gt_i loc_2_int, loc_0_int, loc_2_int | |
244 00009 unless_i loc_2_int, label_2(00022) | |
245 00010 osrpoint | |
246 annotation: hoge.nqp:4 | |
247 00011 decont loc_3_obj, loc_1_obj | |
248 00012 smrt_numify loc_4_num, loc_3_obj | |
249 00013 coerce_ni loc_5_int, loc_4_num | |
250 00014 add_i loc_5_int, loc_5_int, loc_0_int | |
251 00015 hllboxtype_i loc_3_obj | |
252 00016 box_i loc_3_obj, loc_5_int, loc_3_obj | |
253 00017 set loc_1_obj, loc_3_obj | |
254 annotation: hoge.nqp:5 | |
255 00018 const_i64_16 loc_5_int, 1 | |
256 00019 sub_i loc_5_int, loc_0_int, loc_5_int | |
257 00020 set loc_0_int, loc_5_int | |
258 00021 goto label_1(00007) | |
259 ``` | |
260 | |
261 | |
85 | 262 ## MoarVMのデバッグ手法 |
263 | |
264 - MoarVMはバイトコードをランダムに生成する仕様となっている | |
265 - 一旦moarvmバイトコードとして出力したファイルを実行する場合は同じ処理内容となっている | |
266 - そのため, MoarVMのデバッグは同じバイトコードを入力として与え, オリジナルのMoarVMと並列してgdbを用いてトレースを行う. | |
267 - この際, 実行するバイトコードの数が膨大となるので, scriptコマンドを用いて実行するバイトコードの番号を吐き出し, ログファイルを用いて比較する. | |
268 | |
269 ## MoarVMのデバッグ時のbreak point | |
270 | |
271 - CbC側では次のオペコードの遷移は `cbc_next` というCodeGearで行う | |
272 - CodeGearは関数として扱える為, これに直接break pointを設定する | |
84
6c69fdd1716c
add slide.md (template...)
Takahiro SHIMIZU <anatofuz@cr.ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
273 |
85 | 274 ``` |
275 (gdb) b cbc_next | |
276 Breakpoint 2 at 0x7ffff7560288: file src/core | |
277 /cbc-interp.cbc, line 61. | |
278 (gdb) command 2 | |
279 Type commands for breakpoint(s) 2, one per | |
280 line. | |
281 End with a line saying just "end". | |
282 >p CODES[*(MVMuint16 *)i->cur_op] | |
283 >p *(MVMuint16 *)i->cur_op | |
284 >c | |
285 >end | |
286 ``` | |
287 - オリジナルの場合マクロである為, dummy関数をマクロに記述し, この関数にbreakpointを設定する | |
288 | |
289 ``` | |
290 dalmore gdb --args ../../MoarVM_Original/ | |
291 MoarVM/moar --libpath=src/vm/moar/stage0 | |
292 gen/moar/stage1/nqp | |
293 (gdb) b dummy | |
294 Function "dummy" not defined. | |
295 Make breakpoint pending on future shared | |
296 library load? (y or [n]) y | |
297 Breakpoint 1 (dummy) pending. | |
298 (gdb) command 1 | |
299 Type commands for breakpoint(s) 1, one per | |
300 line. | |
301 End with a line saying just "end". | |
302 >up | |
303 >p *(MVMuint16 *)(cur_op) | |
304 >c | |
305 >end | |
306 ``` | |
307 | |
308 ## MoarVMのトレース | |
309 | |
310 - トレース時には次の様なデバッグ情報の表示を利用する | |
311 - デバッガに, breakpointで停止した際のcur_opの値を表示する様に設定する. | |
312 | |
313 ``` | |
314 Breakpoint 1, dummy () at src/core/interp.c | |
315 :46 | |
316 46 } | |
317 #1 0x00007ffff75608fe in MVM_interp_run (tc=0 | |
318 x604a20, | |
319 initial_invoke=0x7ffff76c7168 < | |
320 toplevel_initial_invoke>, invoke_data | |
321 =0x67ff10) | |
322 at src/core/interp.c:119 | |
323 119 goto NEXT; | |
324 $1 = 159 | |
325 Breakpoint 1, dummy () at src/core/interp.c | |
326 :46 | |
327 46 } | |
328 #1 0x00007ffff75689da in MVM_interp_run (tc=0 | |
329 x604a20, | |
330 initial_invoke=0x7ffff76c7168 < | |
331 toplevel_initial_invoke>, invoke_data | |
332 =0x67ff10) | |
333 at src/core/interp.c:1169 | |
334 1169 goto NEXT; | |
335 $2 = 162 | |
336 ``` | |
88 | 337 |
338 ## アレ | |
339 | |
340 ``` | |
341 100 MVM_STATIC_INLINE MVMint64 MVM_BC_get_I64(const MVMuint8 *cur_op, int offset) { | |
342 101 const MVMuint8 *const where = cur_op + offset; | |
343 102 #ifdef MVM_CAN_UNALIGNED_INT64 | |
344 103 return *(MVMint64 *)where; | |
345 104 #else | |
346 105 MVMint64 temp; | |
347 106 memmove(&temp, where, sizeof(MVMint64)); | |
348 107 return temp; | |
349 108 #endif | |
350 109 } | |
351 ``` | |
352 | |
85 | 353 ## MoarVMのデバッグ |
354 | |
355 - cur_opのみをPerlスクリプトなどを用いて抜き出し, 並列にログを取得したオリジナルと差分を図る | |
356 - この際に差異が発生したオペコードを確認し, その前の状態で確認していく | |
357 | |
358 ``` | |
359 131 : 131 | |
360 139 : 139 | |
361 140 : 140 | |
362 144 : 144 | |
363 558 : 558 | |
364 391 : 391 | |
365 749 : 749 | |
366 53 : 53 | |
367 *54 : 8 | |
368 ``` | |
90 | 369 |
85 | 370 ## 現在のCbCMoarVM |
371 | |
372 - 現在はNQP, Rakudoのセルフビルドが達成でき, オリジナルと同等のテスト達成率を持っている | |
373 - moarの起動時のオプションとして `--cbc` を与えることによりCbCで動き, そうでない場合は通常のCで記述された箇所で実行される | |
90 | 374 - Perl6の実行バイナリperl6, NQPの実行バイナリnqp は, それぞれmoarを起動するシェルスクリプトである為, `--cbc` オプションをシェルスクリプト内に書き加えることで, Perl6, NQPがそれぞれCbCで起動する |
375 | |
376 ``` | |
377 #!/bin/sh | |
378 exec /mnt/dalmore-home/one/src/Perl6/Optimize/llvm/build_perl6/bin/moar --cbc \ | |
379 --libpath=/mnt/dalmore-home/one/src/Perl6/Optimize/llvm/build_perl6/share/nqp/lib \ | |
380 /mnt/dalmore-home/one/src/Perl6/Optimize/llvm/build_perl6/share/nqp/lib/nqp.moarvm "$@" | |
381 ``` | |
85 | 382 |
383 ## CbCMoarVMの利点 | |
384 | |
385 - バイトコードインタプリタの箇所をモジュール化する事が可能となり, CodeGearの再利用性や記述生が高まる | |
386 - デバッグ時にラベルではなくCodeGearにbreakpointを設定可能となり,デバッグが安易となる | |
387 - ThreadedCodeを実装する場合, CodeGearを組み合わせることにより実装する事が可能となる | |
388 | |
389 ## CbCMoarVMの欠点 | |
390 | |
391 - CbCコンパイラがバグを発生させやすく, 意図しない挙動を示す事がある | |
88 | 392 - CbCコンパイラ自体のバグも存在する |
85 | 393 - MoarVMのオリジナルの更新頻度が高い為, 追従していく必要がある |
394 - CodeGear側からCに戻る際に手順が複雑となる | |
395 - CodeGearを単位として用いる事で複雑なプログラミングが要求される. | |
396 | |
88 | 397 ## ThreadedCodeの実装 |
398 | |
399 - MoarVM内のオペコードに対応する処理が分離出来たことにより, オペコードに該当するCodeGearを書き連ねることによってThreadedCodeが実装可能となる | |
400 | |
401 | |
85 | 402 ## CbCMoarVMと通常のMoarVMの比較 |
403 | |
404 - CbCMoarVMと通常のMoarVMの速度比較を行った | |
88 | 405 - 対象として, 単純なループで数値をインクリメントする例題と, フィボナッチ数列を求める例題を選択した |
406 - NQPで実装した場合とPerl6で実装した場合の速度を計測した | |
85 | 407 |
408 ``` | |
409 #! nqp | |
88 | 410 |
411 my $count := 100_000_000; | |
85 | 412 |
413 my $i := 0; | |
88 | 414 |
415 while ++$i <= $count { | |
85 | 416 } |
417 ``` | |
418 | |
419 ``` | |
88 | 420 #! nqp |
421 | |
422 sub fib($n) { | |
423 $n < 2 ?? $n !! fib($n-1) + fib($n - 2); | |
424 } | |
85 | 425 |
88 | 426 my $N := 29; |
85 | 427 |
88 | 428 my $t0 := nqp::time_n(); |
429 my $z := fib($N); | |
430 my $t1 := nqp::time_n(); | |
431 | |
432 say("fib($N) = " ~ fib($N)); | |
433 say("time = " ~ ($t1-$t0)); | |
85 | 434 |
435 ``` | |
88 | 436 # フィボナッチの例題 |
437 | |
438 - フィボナッチの例題ではCbCMoarVMが劣る結果となった | |
439 | |
440 | |
441 ## 単純ループ | |
442 | |
443 - オリジナル | |
444 - 7.499 sec | |
445 - 7.844 sec | |
446 - 6.074 sec | |
447 - CbCMoarVM | |
448 - 6.135 sec | |
449 - 6.362 sec | |
450 - 6.074 sec | |
451 | |
452 - 単純ループではCbCMoarVMの方が高速に動作する場合もある | |
453 | |
454 ## まとめ | |
455 | |
456 - 速度を計測した所, 現在はCbCMoarVMの方が僅かに劣る結果となった | |
457 - ただしフィボナッチを求める例題などで, ケースによってはCbCMoarVMの方が高速に動作する場合もある | |
458 | |
459 | |
460 ## まとめと今後の課題 | |
461 - 継続と基本としたC言語 Continuation Based Cを用いてPerl6の処理系の一部を書き直した | |
462 - CbCの持つCodeGearによって, 本来はモジュール化出来ない箇所をモジュール化する事が出来た | |
463 - MoarVMの速度改善にはThreadedCodeが期待でき, CodeGearベースの命令ディスパッチとThreadedCodeは相性が良いと考えられる | |
464 - 今後は実行するバイトコードによりThreadedCode箇所と通常の配列を読み取り, 次のCodeGearを計算する処理を両立させていく | |
465 |