3
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
1 \documentclass[twocolumn,twoside,9.5pt]{jarticle}
|
|
53
|
2 \usepackage[dvipdfm]{graphicx}
|
3
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
3 \usepackage{picins}
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
4 \usepackage{fancyhdr}
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
5 \pagestyle{fancy}
|
|
53
|
6 \lhead{\parpic{\includegraphics[height=1zw,clip,keepaspectratio]{pic/emblem-bitmap.pdf}}琉球大学主催 工学部情報工学科 卒業研究発表会}
|
3
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
7 \rhead{}
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
8 \cfoot{}
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
9
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
10 \setlength{\topmargin}{-1in \addtolength{\topmargin}{15mm}}
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
11 \setlength{\headheight}{0mm}
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
12 \setlength{\headsep}{5mm}
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
13 \setlength{\oddsidemargin}{-1in \addtolength{\oddsidemargin}{11mm}}
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
14 \setlength{\evensidemargin}{-1in \addtolength{\evensidemargin}{21mm}}
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
15 \setlength{\textwidth}{181mm}
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
16 \setlength{\textheight}{261mm}
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
17 \setlength{\footskip}{0mm}
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
18 \pagestyle{empty}
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
19
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
20 \begin{document}
|
|
54
|
21 \title{Cerium による並列処理向け I/O の設計と実装}
|
3
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
22 \author{085726C {古波倉}{正隆} 指導教員 : 河野真治}
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
23 \date{}
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
24 \maketitle
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
25 \thispagestyle{fancy}
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
26
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
27 \section{はじめに}
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
28 \subsection{研究背景}
|
|
53
|
29 近年、CPU 1 コア当たりのクロック数が頭打ちとなっているので、シングルコアでの処理能力はほとんど上がっていない。
|
3
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
30 それを解決した結果、シングルコアからマルチコアへの移行によって CPU 性能が向上している。
|
|
53
|
31 しかし、マルチコア CPU を最大限に活かすためには、プログラムの並列度を向上させなければならない。
|
|
|
32 そこで当研究室では Cerium Library を提供することによって並列プログラミングを容易にしている。
|
3
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
33
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
34 \subsection{研究目的}
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
35 先行研究による Task の並列化によって、プログラム全体の処理速度は飛躍的に向上しているが\cite{kinjyo} 、
|
|
53
|
36 ファイル読み込み等の I/O と Task が並列で動作するようには実装されていない。
|
|
|
37 ファイル読み込みと Task を並列化させることにより、さらなる処理速度の向上が見込まれる。
|
|
|
38 I/O と Task が並列に動作し、高速かつ容易に記述できるような API を Cerium Library が提供することにより、様々な人が容易に並列プログラミングが記述できるようになるであろうと考えている。
|
3
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
39
|
|
53
|
40 本研究では、 I/O と Task の並列化の設計・実装によって既存の正規表現の処理速度、処理効率を上げることを目指す。
|
3
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
41
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
42 \section{Cerium Task Manager}
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
43 Cerium Task Managerは、並列処理をTask単位で記述する。関数やサブルーチンをTaskとして扱い、そのTaskに対してInput Data、Output Data及び依存関係を設定する。そして、それに基づいた設定の元でTaskに管理し、実行される。本稿で述べるInput Dataとは、検索対象となるテキストファイルのことである。
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
44
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
45 Cerium Task ManagerはPlayStation 3/Cell、Mac OS X及びLinux上で利用することが可能で、近年ではGPUへの利用も可能となった。\cite{tomari}
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
46
|
|
54
|
47 \section{I/O を含む Task の概要}
|
|
57
|
48 ファイルを読み込んで一定の大きさでファイルを分割し (File Read)、それらに対してそれぞれ文字列検索等の処理 (Run Tasks)を行う。
|
|
|
49 そしてそれぞれの処理から返されたの結果 (Output Data)を最後に集計をして結果を返す(Run resultTask)。(図\ref{fig:includeio})
|
3
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
50
|
|
56
|
51 図\ref{fig:includeio}
|
|
|
52
|
|
|
53 \begin{figure}[htbp]
|
|
|
54 \begin{center}
|
|
|
55 \includegraphics[width=0.4\textwidth]{pic/includeio.pdf}
|
|
|
56 \end{center}
|
|
57
|
57 \caption{I/O を含む Task}
|
|
56
|
58 \label{fig:includeio}
|
|
|
59 \end{figure}
|
|
|
60
|
|
57
|
61 先行研究では、File Readの部分は mmap 関数を使用して実装していた。mmap 関数での実装の場合はコードの記述が容易である。
|
|
56
|
62
|
|
|
63 \section{並列処理向け I/O の設計と実装}
|
|
|
64
|
|
57
|
65 \subsection{mmap での実装の問題点}
|
|
|
66
|
|
|
67 mmap でファイルを読み込むタイミングは、mmap 関数が呼ばれたときではなく、mmap した領域に対して何らかのアクセスをしたときに初めてファイルが読み込まれる。
|
|
|
68 つまり、分割された Task は文字列検索をすぐに行うのではなく、文字列検索を行おうとした時に初めてファイルが格納される。
|
|
|
69 Task は複数一斉に実行されることが望ましいが、mmap だとそれぞれの Task で読み込みが起こってしまうので、I/O ネックによる Task の待ちが発生する恐れがある。
|
|
55
|
70
|
|
57
|
71 \subsection{Blocked Read の設計と実装}
|
|
|
72 Blocked Read とは、あるサイズずつで読み込む処理と、それらに文字列検索行う処理を分離させるための実装方法である。
|
|
|
73 この方法では、読み込み専用の Blocked Read と、文字列検索を行う Task Blocks をを別々に生成し処理を行う。
|
|
|
74 Read Task はファイル全体を一度に読み込むのではなく、ある程度の大きさで分割を行い、読み込みされ次第それぞれの文字列検索が行われる。
|
|
55
|
75
|
|
57
|
76 Task は 1つずつ起動すると、起動した Task でメモリを圧迫してしまうため、Task を複数まとめたブロック単位で起動を行う。
|
|
|
77 この1つのブロックで処理されるテキストファイルを、Blocked Read で読み込んでいき、読み込みが終わったら読み込まれた範囲の Task Blocks を起動する。
|
|
|
78 もし、Blocked Read で読み込まれる前にその範囲を担当する Task が起動してしまうと、正しい結果が返ってこない。
|
|
|
79 それを防止するために、Task Blocks は必ず Blocked Read が行われてから起動するように wait をかけている。
|
|
|
80 (図\ref{fig:blockedreadwait})
|
|
55
|
81
|
|
|
82 \begin{figure}[htbp]
|
|
|
83 \begin{center}
|
|
|
84 \includegraphics[width=0.4\textwidth]{pic/blockedreadwait.pdf}
|
|
|
85 \end{center}
|
|
|
86 \caption{Wait for Blocked Read}
|
|
|
87 \label{fig:blockedreadwait}
|
|
|
88 \end{figure}
|
|
|
89
|
|
57
|
90 \subsection{I/O 専用 thread の実装}
|
|
|
91 Cerium Task Manager では Task 単位で CPU Type の設定を変更することができる。
|
|
|
92 SPE\_ANY という CPU Type を設定すると、Cerium Task Manager 側が自動的に CPU を割り振ってくれる。
|
|
|
93 しかし、今回の実装でこのCPU Type を使用してしまうと、Blocked Read Task の隙間時間に Task が割り振られてしまう問題がある。
|
|
|
94 (図\ref{fig:speany})
|
|
55
|
95
|
|
57
|
96 \begin{figure}[htbp]
|
|
|
97 \begin{center}
|
|
|
98 \includegraphics[width=0.4\textwidth]{pic/speany.pdf}
|
|
|
99 \end{center}
|
|
|
100 \caption{SPE\_ANYでの設定時}
|
|
|
101 \label{fig:speany}
|
|
|
102 \end{figure}
|
|
|
103
|
|
|
104 その問題を解決するために、IO\_0 という CPU Type を新しく実装した。
|
|
|
105 IO\_0 は他の CPU Type よりも priority を高く設定しているので、他の Task に割り込まれることがないようにした。
|
|
|
106 (図\ref{fig:io0})
|
|
55
|
107
|
|
|
108 \begin{figure}[htbp]
|
|
|
109 \begin{center}
|
|
|
110 \includegraphics[width=0.4\textwidth]{pic/io0.pdf}
|
|
|
111 \end{center}
|
|
57
|
112 \caption{IO\_0 での実装時}
|
|
55
|
113 \label{fig:io0}
|
|
|
114 \end{figure}
|
|
|
115
|
|
57
|
116 \section{ベンチマーク}
|
|
55
|
117
|
|
57
|
118 \subsection{実験環境}
|
|
|
119 \begin{itemize}
|
|
|
120 \item Mac OS X Mavericks (10.9.1)
|
|
|
121 \item HDD 1TB、Memory 16GB、CPU 2*2.66 GHz 6-Core Intel Xeon
|
|
|
122 \item ファイルサイズ 10GBに対して検索文字列がいくつ含まれるのかカウント
|
|
|
123 \end{itemize}
|
|
|
124 \subsection{実験結果}
|
|
55
|
125
|
|
57
|
126 \begin{tiny}
|
|
|
127 \begin{table}[ht]
|
|
|
128 \begin{center}
|
|
|
129 \label{table:preaddata}
|
|
|
130 \small
|
|
|
131 \begin{tabular}[t]{c|l}
|
|
|
132 \hline
|
|
|
133 読み込み方法 & 実行速度(s)\\
|
|
|
134 \hline
|
|
|
135 mmap & XX.XXX \\
|
|
|
136 \hline
|
|
|
137 Blocked Read \& SPE\_ANY & XX.XXX \\
|
|
|
138 \hline
|
|
|
139 Blocked Read \& IO\_0 & XX.XXX \\
|
|
|
140 \hline
|
|
|
141 \end{tabular}
|
|
|
142 \caption{file read の実行結果}
|
|
|
143 \end{center}
|
|
|
144 \end{table}
|
|
|
145 \end{tiny}
|
3
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
146
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
147
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
148 \section{まとめと今後の課題}
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
149
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
150 \thispagestyle{fancy}
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
151 \begin{thebibliography}{9}
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
152
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
153 \bibitem{kinjyo}金城裕、河野真治、多賀野海人、小林佑亮 (琉球大学)\\
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
154 ゲームフレームワーク Cerium Task Manager の改良\\
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
155 情報処理学会システムソフトウェアとオペレーティング・システム研究会 (OS), April 2011
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
156
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
157 \bibitem{tomari}渡真利 勇飛、河野 真治(琉球大学)\\
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
158 Cerium Task Manager の GPGPU への対応\\
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
159 情報処理学会システムソフトウェアとオペレーティング・システム研究会(OS)、May 2013
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
160
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
161 \end{thebibliography}
|
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff
changeset
|
162 \end{document}
|
