annotate resume/A-6-1-065746.tex @ 4:e7afb57e4d2d

resume part2 fix
author aaa
date Thu, 11 Feb 2010 11:47:08 +0900
parents 87dcdee06b05
children 0e2dc887acbc
Ignore whitespace changes - Everywhere: Within whitespace: At end of lines:
rev   line source
3
87dcdee06b05 add resume
aaa
parents:
diff changeset
1 \documentclass[twocolumn,twoside,9.5pt]{jarticle}
87dcdee06b05 add resume
aaa
parents:
diff changeset
2 % \usepackage[dvips]{graphicx}
87dcdee06b05 add resume
aaa
parents:
diff changeset
3 \usepackage[dvipdfm]{graphicx}
87dcdee06b05 add resume
aaa
parents:
diff changeset
4 \usepackage{fancyhdr,picins}
87dcdee06b05 add resume
aaa
parents:
diff changeset
5 \pagestyle{fancy}
87dcdee06b05 add resume
aaa
parents:
diff changeset
6 \lhead{\parpic{
87dcdee06b05 add resume
aaa
parents:
diff changeset
7 \includegraphics[height=1zw,clip,keepaspectratio]{pic/emblem-bitmap.pdf}}
87dcdee06b05 add resume
aaa
parents:
diff changeset
8 琉球大学主催 工学部情報工学科 卒業研究発表会}
87dcdee06b05 add resume
aaa
parents:
diff changeset
9 \rhead{}
87dcdee06b05 add resume
aaa
parents:
diff changeset
10 \cfoot{}
87dcdee06b05 add resume
aaa
parents:
diff changeset
11
87dcdee06b05 add resume
aaa
parents:
diff changeset
12 \setlength{\topmargin}{-1in \addtolength{\topmargin}{15mm}}
87dcdee06b05 add resume
aaa
parents:
diff changeset
13 \setlength{\headheight}{0mm}
87dcdee06b05 add resume
aaa
parents:
diff changeset
14 \setlength{\headsep}{5mm}
87dcdee06b05 add resume
aaa
parents:
diff changeset
15 \setlength{\oddsidemargin}{-1in \addtolength{\oddsidemargin}{11mm}}
87dcdee06b05 add resume
aaa
parents:
diff changeset
16 \setlength{\evensidemargin}{-1in \addtolength{\evensidemargin}{21mm}}
87dcdee06b05 add resume
aaa
parents:
diff changeset
17 \setlength{\textwidth}{181mm}
87dcdee06b05 add resume
aaa
parents:
diff changeset
18 \setlength{\textheight}{261mm}
87dcdee06b05 add resume
aaa
parents:
diff changeset
19 \setlength{\footskip}{0mm}
87dcdee06b05 add resume
aaa
parents:
diff changeset
20 \pagestyle{empty}
87dcdee06b05 add resume
aaa
parents:
diff changeset
21
87dcdee06b05 add resume
aaa
parents:
diff changeset
22 \begin{document}
87dcdee06b05 add resume
aaa
parents:
diff changeset
23 \title{SceneGraph を用いた\\マルチコア CPU 向けゲームの処理}
87dcdee06b05 add resume
aaa
parents:
diff changeset
24 \author{065746J 仲宗根広樹 指導教員 : 河野真治}
87dcdee06b05 add resume
aaa
parents:
diff changeset
25 \date{\today}
87dcdee06b05 add resume
aaa
parents:
diff changeset
26 \maketitle
87dcdee06b05 add resume
aaa
parents:
diff changeset
27 \thispagestyle{fancy}
87dcdee06b05 add resume
aaa
parents:
diff changeset
28
87dcdee06b05 add resume
aaa
parents:
diff changeset
29 \section{概要}
87dcdee06b05 add resume
aaa
parents:
diff changeset
30 近年のゲームマシンは高度な並列性を持つようになっており、
87dcdee06b05 add resume
aaa
parents:
diff changeset
31 ゲームプログラムでの様々なレベルでの並列処理が必須となっている。
87dcdee06b05 add resume
aaa
parents:
diff changeset
32 プログラムの一部を並列処理するのではなく、定常的な並列度を提供する
87dcdee06b05 add resume
aaa
parents:
diff changeset
33 必要がある。しかし、
87dcdee06b05 add resume
aaa
parents:
diff changeset
34 データが処理される順番を把握することができないので出力結果などが特定しづらく、
87dcdee06b05 add resume
aaa
parents:
diff changeset
35 逐次型に比べて難易度が高い
87dcdee06b05 add resume
aaa
parents:
diff changeset
36 データ転送やタスクの生成、管理等の技術が多く存在する。
87dcdee06b05 add resume
aaa
parents:
diff changeset
37 短期間の学生実験では新しい技術を習得することに時間を割かれ、ゲームの完成度を上げることが難しくなる。
87dcdee06b05 add resume
aaa
parents:
diff changeset
38
87dcdee06b05 add resume
aaa
parents:
diff changeset
39 そこで本研究では、
87dcdee06b05 add resume
aaa
parents:
diff changeset
40 SceneGraph と言うゲーム中の1つの場面(Scene) を構成するオブジェクトやその振る舞い、ゲームのルールの集合を導入する。
87dcdee06b05 add resume
aaa
parents:
diff changeset
41 SceneGraph の処理を自動的に並列に行なうことにより、並列処理と、習得の早い
87dcdee06b05 add resume
aaa
parents:
diff changeset
42 ゲームプログラミングの両立を可能にする。
87dcdee06b05 add resume
aaa
parents:
diff changeset
43
87dcdee06b05 add resume
aaa
parents:
diff changeset
44 \section{SceneGraph を使ったゲーム作成}
87dcdee06b05 add resume
aaa
parents:
diff changeset
45 SceneGraph のノードは親子関係を持つ tree で構成される(図\ref{fig:SceneGraph})。
87dcdee06b05 add resume
aaa
parents:
diff changeset
46
87dcdee06b05 add resume
aaa
parents:
diff changeset
47 SceneGraph を使用すると、ゲーム内のオブジェクトは個別に SceneGraph ノードに分けられているので、ノードを別個に処理すると自然と並列度がでてくる。
87dcdee06b05 add resume
aaa
parents:
diff changeset
48
87dcdee06b05 add resume
aaa
parents:
diff changeset
49 SceneGraph ノード は以下のようなデータと動作を持つ。
87dcdee06b05 add resume
aaa
parents:
diff changeset
50 \begin{itemize}
87dcdee06b05 add resume
aaa
parents:
diff changeset
51 \item データ
87dcdee06b05 add resume
aaa
parents:
diff changeset
52 \begin{enumerate}
87dcdee06b05 add resume
aaa
parents:
diff changeset
53 \item Vertex :ポリゴンオブジェクトの頂点座標
87dcdee06b05 add resume
aaa
parents:
diff changeset
54 \item Texture:ポリゴンオブジェクトのテクスチャ座標
87dcdee06b05 add resume
aaa
parents:
diff changeset
55 \item TextureImage:テクスチャイメージ
87dcdee06b05 add resume
aaa
parents:
diff changeset
56 \item TransMatrix :ポリゴンオブジェクトの変換行列
87dcdee06b05 add resume
aaa
parents:
diff changeset
57 \item Coordinates :オブジェクトの座標
87dcdee06b05 add resume
aaa
parents:
diff changeset
58 \item Angle:オブジェクトの角度
87dcdee06b05 add resume
aaa
parents:
diff changeset
59 \item Property:オブジェクトのゲームに係わる内部状態
87dcdee06b05 add resume
aaa
parents:
diff changeset
60 \end{enumerate}
87dcdee06b05 add resume
aaa
parents:
diff changeset
61 \item 動作
87dcdee06b05 add resume
aaa
parents:
diff changeset
62 \begin{enumerate}
87dcdee06b05 add resume
aaa
parents:
diff changeset
63 \item Move:自律的なオブジェクトの動き
87dcdee06b05 add resume
aaa
parents:
diff changeset
64 \item Collision:他のノードとの衝突判定をする
87dcdee06b05 add resume
aaa
parents:
diff changeset
65 \end{enumerate}
87dcdee06b05 add resume
aaa
parents:
diff changeset
66 \end{itemize}
87dcdee06b05 add resume
aaa
parents:
diff changeset
67
4
e7afb57e4d2d resume part2 fix
aaa
parents: 3
diff changeset
68 SceneGraph の親子関係に沿って TransMatrix を計算し、Move, Collision を実行することで SceneGraph 内のオブジェクトが変化する。Collision によって Move が変更され、Move によって Coordinates や Angle が変更される。これらをどのように変更させるかがゲームのルールになる。
e7afb57e4d2d resume part2 fix
aaa
parents: 3
diff changeset
69
3
87dcdee06b05 add resume
aaa
parents:
diff changeset
70 %現在はゲームの main loop (PPE) で SceneGraph ノードのリストを辿り、シーケンシャルに Move, Collision を実行している。
4
e7afb57e4d2d resume part2 fix
aaa
parents: 3
diff changeset
71 %ゲームは各ノードの Move, Collision を実行して SceneGraph の描画を繰り返す事で進行する。
3
87dcdee06b05 add resume
aaa
parents:
diff changeset
72 %Move, Collision はノードの数だけ実行されるので、ゲームの規模が大きくなればそれに比例して増大する。制御系プロセッサ PPE に膨大な量の演算をさせるのは好ましくない。
87dcdee06b05 add resume
aaa
parents:
diff changeset
73 %本研究では Move, Collision の処理を複数のコアを用いて処理させて全てのコアが常に busy 状態になることを目標とする。
87dcdee06b05 add resume
aaa
parents:
diff changeset
74
87dcdee06b05 add resume
aaa
parents:
diff changeset
75 \begin{figure}[htb]
87dcdee06b05 add resume
aaa
parents:
diff changeset
76 \begin{center}
87dcdee06b05 add resume
aaa
parents:
diff changeset
77 \includegraphics[scale=0.4]{image/SceneGraph.pdf}
4
e7afb57e4d2d resume part2 fix
aaa
parents: 3
diff changeset
78 \caption{tree 構造の SceneGraph}
3
87dcdee06b05 add resume
aaa
parents:
diff changeset
79 \label{fig:SceneGraph}
87dcdee06b05 add resume
aaa
parents:
diff changeset
80 \end{center}
87dcdee06b05 add resume
aaa
parents:
diff changeset
81 \end{figure}
87dcdee06b05 add resume
aaa
parents:
diff changeset
82
87dcdee06b05 add resume
aaa
parents:
diff changeset
83 %Cerium の並列度の向上を計り、プレイヤーが満足できるゲームの処理速度を実現させる。
87dcdee06b05 add resume
aaa
parents:
diff changeset
84 %家庭用ゲーム機 PlayStation 3 には Cell というヘテロジニアスマルチコアプロセッサが搭載されている。
87dcdee06b05 add resume
aaa
parents:
diff changeset
85 %当研究室では Cell 上でゲームプログラミングができる Cell Task Manager Cerium を開発した。
87dcdee06b05 add resume
aaa
parents:
diff changeset
86 %Cerium は TaskManager, SceneGraph, Rendering Engine の3つの機能に分けられる。
87dcdee06b05 add resume
aaa
parents:
diff changeset
87
87dcdee06b05 add resume
aaa
parents:
diff changeset
88 %Cerium の並列度の向上を計り、プレイヤーが満足できる処理速度を実現させる
87dcdee06b05 add resume
aaa
parents:
diff changeset
89 %当研究室では家庭用ゲーム機 PlayStation 3 上でゲームプログラミングができる Cell Task Manager Cerium を開発した。
87dcdee06b05 add resume
aaa
parents:
diff changeset
90 %現在、PlayStation 3 の GPU にアクセスする API は公開されていないため Cerium は独自に Rendering Engine を持っている。
87dcdee06b05 add resume
aaa
parents:
diff changeset
91 %Cerium は TaskManager, Rendering, SceneGraph の三つで構成されている。
87dcdee06b05 add resume
aaa
parents:
diff changeset
92
87dcdee06b05 add resume
aaa
parents:
diff changeset
93
87dcdee06b05 add resume
aaa
parents:
diff changeset
94
87dcdee06b05 add resume
aaa
parents:
diff changeset
95 \section{Cell Broadband Engine} \label{sec:cell}
87dcdee06b05 add resume
aaa
parents:
diff changeset
96 Cell\cite{cell} は1基の PowerPC Processor Element (PPE) と8基の Synergistic Processor Element (SPE) で構成されるヘテロジニアスマルチコアプロセッサである。各プロセッサは高速バスで接続されている。本研究では6基の SPE が使用可能となっている。
87dcdee06b05 add resume
aaa
parents:
diff changeset
97
87dcdee06b05 add resume
aaa
parents:
diff changeset
98 % PPE は汎用プロセッサでありオペレーティングシステムやアプリケーションの実行、SPE を制御する役割を持っている。SPE は演算を繰り返すマルチメディア系の処理を得意とする演算系プロセッサである。SPE は 演算処理を行う SPU、256 KByte の Local Store、メインメモリや他の SPE とデータをやり取りする Memory Flow Controller の3つで構成されている。
87dcdee06b05 add resume
aaa
parents:
diff changeset
99
87dcdee06b05 add resume
aaa
parents:
diff changeset
100 \section{Cerium}
87dcdee06b05 add resume
aaa
parents:
diff changeset
101 Cerium とは当研究室で開発した Cell 上で動作するゲームフレームワークである。
87dcdee06b05 add resume
aaa
parents:
diff changeset
102 Cerium は SceneGraph、OSMesa に代表される Rendering Engine、そしてそれらの実行単位を Task とし、動的に全てのコアが動作する様な割り振りを行うカーネル TaskManager で構成されている。
87dcdee06b05 add resume
aaa
parents:
diff changeset
103
87dcdee06b05 add resume
aaa
parents:
diff changeset
104 現在、Cerium では SceneGraph の Move, Collision を PPE でシーケンシャルに処理しているので、この部分の処理を SPE を用いて並列に処理するように変更する。
87dcdee06b05 add resume
aaa
parents:
diff changeset
105
87dcdee06b05 add resume
aaa
parents:
diff changeset
106 %ゲーム内で使用するオブジェクトは Cerium 独自の xml 形式で書かれており、xml ファイルを読込んで SceneGraph を生成する。
87dcdee06b05 add resume
aaa
parents:
diff changeset
107 %Rendering に関しては処理を Task 単位に分割して SPE に投入して処理しているが、SceneGraph の処理は PPE 1つで行っている。
87dcdee06b05 add resume
aaa
parents:
diff changeset
108 %SceneGraph の move, collision の処理は PPE で行っている。しかし PPE に単純な演算の繰り返しをさせるのは好ましくない。
87dcdee06b05 add resume
aaa
parents:
diff changeset
109 %そこで、SceneGraph の処理も Task に分割して SPE に投入し、Rendering と並行に走らせる事で処理速度の向上を計る。
87dcdee06b05 add resume
aaa
parents:
diff changeset
110
87dcdee06b05 add resume
aaa
parents:
diff changeset
111 \section{SceneGraph の並列処理}
87dcdee06b05 add resume
aaa
parents:
diff changeset
112 Rendering と SceneGraph の処理を並行に実行するためには SceneGraph の tree と後述する Property のバッファは2つずつ用意する必要がある。
87dcdee06b05 add resume
aaa
parents:
diff changeset
113 一方の SceneGraph tree と Property を Rendering で使用し、もう一方を Move, Collision で使用し、両方の処理が終わったら、相互にバッファを切り替える。切替える時に二つのタスクは同期する必要がある。
87dcdee06b05 add resume
aaa
parents:
diff changeset
114 %ゲーム内のオブジェクトは個別に SceneGraph ノードに分けられているので、SceneGraph を別個に処理するだけで並列処理になる。
87dcdee06b05 add resume
aaa
parents:
diff changeset
115 \subsection{vacuum}
87dcdee06b05 add resume
aaa
parents:
diff changeset
116 SceneGraph の処理の例題として、学生実験で作成されたゲーム vacuum を使用する。
87dcdee06b05 add resume
aaa
parents:
diff changeset
117 vacuum には自機と吸収ブロック、敵ブロックの3種類のオブジェクトがあり、自機を上下左右に移動させ、ボタンを押している間は自機の周りのブロックを引き寄せ、うまく吸収ブロックだけを自機と衝突させるゲームである。このゲームのMoveとCollisionは以下のようになる。
87dcdee06b05 add resume
aaa
parents:
diff changeset
118
87dcdee06b05 add resume
aaa
parents:
diff changeset
119 \begin{figure}[htb]
87dcdee06b05 add resume
aaa
parents:
diff changeset
120 \begin{center}
87dcdee06b05 add resume
aaa
parents:
diff changeset
121 \includegraphics[scale=0.7]{image/vacuum.png}
87dcdee06b05 add resume
aaa
parents:
diff changeset
122 \caption{vacuum のゲーム画面}
87dcdee06b05 add resume
aaa
parents:
diff changeset
123 \label{fig:vacuum}
87dcdee06b05 add resume
aaa
parents:
diff changeset
124 \end{center}
87dcdee06b05 add resume
aaa
parents:
diff changeset
125 \end{figure}
87dcdee06b05 add resume
aaa
parents:
diff changeset
126
87dcdee06b05 add resume
aaa
parents:
diff changeset
127 %SceneGraph ノードにはポリゴンを形成するための点やテクスチャの座標等が含まれている。これらの情報を全て SPE に送ると Local Store に入りきらない。そのため Move、Collision に必要な Coordinates, Angle, 親子関係の情報、生成消滅の情報を持つ Property の配列を作成する。
87dcdee06b05 add resume
aaa
parents:
diff changeset
128 %SceneGraph の tree と Property のバッファは二つ用意する。
87dcdee06b05 add resume
aaa
parents:
diff changeset
129
87dcdee06b05 add resume
aaa
parents:
diff changeset
130 % \subsection{Move}
87dcdee06b05 add resume
aaa
parents:
diff changeset
131 [Move] vacuum のオブジェクトは全て独立して動くので、使用する SPE に均等に Property を割り振る。
87dcdee06b05 add resume
aaa
parents:
diff changeset
132 SPE でオブジェクトの種類毎の Move 処理を行い、Property を更新して PPE に返す。
87dcdee06b05 add resume
aaa
parents:
diff changeset
133
87dcdee06b05 add resume
aaa
parents:
diff changeset
134 \if0
87dcdee06b05 add resume
aaa
parents:
diff changeset
135 \begin{figure}[htb]
87dcdee06b05 add resume
aaa
parents:
diff changeset
136 \begin{center}
87dcdee06b05 add resume
aaa
parents:
diff changeset
137 \includegraphics[scale=0.43]{image/Move.pdf}
87dcdee06b05 add resume
aaa
parents:
diff changeset
138 \caption{vacuum の Move}
87dcdee06b05 add resume
aaa
parents:
diff changeset
139 \label{fig:Move}
87dcdee06b05 add resume
aaa
parents:
diff changeset
140 \end{center}
87dcdee06b05 add resume
aaa
parents:
diff changeset
141 \end{figure}
87dcdee06b05 add resume
aaa
parents:
diff changeset
142 \fi
87dcdee06b05 add resume
aaa
parents:
diff changeset
143
87dcdee06b05 add resume
aaa
parents:
diff changeset
144 % \subsection{Collision}
87dcdee06b05 add resume
aaa
parents:
diff changeset
145 [Collision]
87dcdee06b05 add resume
aaa
parents:
diff changeset
146 vaccum の Collision は自機と吸収ブロック(Collision A)、自機と敵ブロック(Collision B)の二つがある。
87dcdee06b05 add resume
aaa
parents:
diff changeset
147 Collision の種類毎に SPE で動作する Collision Task を作成する。どちらの Collision も自機とブロックの衝突判定しか行わないので SPE には自機とブロックの Property を送り、SPE で2者間の衝突判定を行い、Property を更新して PPE に返す。(図\ref{fig:Collision})\\
87dcdee06b05 add resume
aaa
parents:
diff changeset
148
87dcdee06b05 add resume
aaa
parents:
diff changeset
149 \begin{figure}[htb]
87dcdee06b05 add resume
aaa
parents:
diff changeset
150 \begin{center}
87dcdee06b05 add resume
aaa
parents:
diff changeset
151 \includegraphics[scale=0.43]{image/Collision.pdf}
87dcdee06b05 add resume
aaa
parents:
diff changeset
152 \caption{Collision に使う Property を各 SPE に渡す}
87dcdee06b05 add resume
aaa
parents:
diff changeset
153 \label{fig:Collision}
87dcdee06b05 add resume
aaa
parents:
diff changeset
154 \end{center}
87dcdee06b05 add resume
aaa
parents:
diff changeset
155 \end{figure}
87dcdee06b05 add resume
aaa
parents:
diff changeset
156
87dcdee06b05 add resume
aaa
parents:
diff changeset
157 Move, Collision を SPE で処理する際に、SPE には SceneGraph ノードは送らない。代わりに vacuum の Move, Collision に必要な情報をまとめた Property を送る。
87dcdee06b05 add resume
aaa
parents:
diff changeset
158 Property は SceneGraph ノードと1対1で対応しており、Coordinates, Angle, 親子関係の情報, ノードの生成消滅の情報を持つ。
87dcdee06b05 add resume
aaa
parents:
diff changeset
159 PPE 側では返されてきた Property を元に SceneGraph を作成し Tree を再構成して Rendering に渡す。
87dcdee06b05 add resume
aaa
parents:
diff changeset
160
87dcdee06b05 add resume
aaa
parents:
diff changeset
161 \section{まとめと今後の課題}
87dcdee06b05 add resume
aaa
parents:
diff changeset
162 \begin{itemize}
87dcdee06b05 add resume
aaa
parents:
diff changeset
163 \item 現在は SPE 1基で SceneGraph を処理する例題の作成途中なので、複数 SPE に均等に処理を割り振る例題の作成。
87dcdee06b05 add resume
aaa
parents:
diff changeset
164 \item Property から SceneGraph を生成し tree を構築する部分において、SceneGraph の新規生成と削除を考慮した設計を行う。
87dcdee06b05 add resume
aaa
parents:
diff changeset
165 \item xml から作成された SceneGraph はオリジナルとして配列に順次格納されている。現在は SceneGraph を create する場合はオリジナルの配列をリニアサーチしてきた物をコピーしている。このオリジナルの配列を Texture を管理している hash テーブルを用いてまとめて管理できるようにする。
87dcdee06b05 add resume
aaa
parents:
diff changeset
166 \end{itemize}
87dcdee06b05 add resume
aaa
parents:
diff changeset
167
87dcdee06b05 add resume
aaa
parents:
diff changeset
168 \thispagestyle{fancy}
87dcdee06b05 add resume
aaa
parents:
diff changeset
169 \begin{thebibliography}{9}
87dcdee06b05 add resume
aaa
parents:
diff changeset
170
87dcdee06b05 add resume
aaa
parents:
diff changeset
171 \bibitem{cell}Sony Corporation.
87dcdee06b05 add resume
aaa
parents:
diff changeset
172
87dcdee06b05 add resume
aaa
parents:
diff changeset
173 Cell BroadbandEngine \texttrademark アーキテクチャ, 2006
87dcdee06b05 add resume
aaa
parents:
diff changeset
174
87dcdee06b05 add resume
aaa
parents:
diff changeset
175 \bibitem{spursengine}TOSHIBA: SpursEngine
87dcdee06b05 add resume
aaa
parents:
diff changeset
176
87dcdee06b05 add resume
aaa
parents:
diff changeset
177 \verb|http://www.semicon.toshiba.co.jp|\\
87dcdee06b05 add resume
aaa
parents:
diff changeset
178 \verb|/product/assp/selection/spursengine/index.html|
87dcdee06b05 add resume
aaa
parents:
diff changeset
179
87dcdee06b05 add resume
aaa
parents:
diff changeset
180 \bibitem{cerium} SourceForge.JP: Cerium Rendering Engine
87dcdee06b05 add resume
aaa
parents:
diff changeset
181
87dcdee06b05 add resume
aaa
parents:
diff changeset
182 \verb|https//sourceforge.jp/projects/cerium/|
87dcdee06b05 add resume
aaa
parents:
diff changeset
183
87dcdee06b05 add resume
aaa
parents:
diff changeset
184 \bibitem{opencl} OpenCL
87dcdee06b05 add resume
aaa
parents:
diff changeset
185
87dcdee06b05 add resume
aaa
parents:
diff changeset
186 \verb|http://www.khronos.org/opencl/|
87dcdee06b05 add resume
aaa
parents:
diff changeset
187
87dcdee06b05 add resume
aaa
parents:
diff changeset
188 \bibitem{wataru} Wataru MIYAGUNI.
87dcdee06b05 add resume
aaa
parents:
diff changeset
189
87dcdee06b05 add resume
aaa
parents:
diff changeset
190 Cell 用の Fine-Grain Task Manager の実装, 2009
87dcdee06b05 add resume
aaa
parents:
diff changeset
191
87dcdee06b05 add resume
aaa
parents:
diff changeset
192 \end{thebibliography}
87dcdee06b05 add resume
aaa
parents:
diff changeset
193 \end{document}