|
0
|
1 #include <stdio.h>
|
|
|
2 #include <stdlib.h>
|
|
|
3 #include <string.h>
|
|
|
4 #include <sys/mman.h>
|
|
|
5 #include <sys/types.h>
|
|
|
6 #include <sys/stat.h>
|
|
|
7 #include <fcntl.h>
|
|
|
8 #include <unistd.h>
|
|
|
9 #include "TaskManager.h"
|
|
|
10 #include "SchedTask.h"
|
|
|
11 #include "Func.h"
|
|
|
12 #include "WordGrep.h"
|
|
|
13 extern void task_init();
|
|
|
14
|
|
|
15 int all = 0;
|
|
|
16 int use_task_array = 0;
|
|
|
17 int use_compat = 0;
|
|
|
18 int array_task_num = 8;
|
|
|
19 int spe_num = 1;
|
|
|
20 int num = 0;
|
|
|
21
|
|
|
22 //static int blocks = 48;
|
|
|
23 //static int division = 1024*10;
|
|
|
24 //static int division_int = 4096;
|
|
|
25
|
|
|
26
|
|
|
27 static int blocks = 2;
|
|
|
28 static int division = 5;
|
|
|
29 static int division_int = 5;
|
|
|
30
|
|
|
31 int first_over_lap;
|
|
|
32 int over_lap;
|
|
|
33
|
|
|
34 #define READBUF 1024*16
|
|
|
35
|
|
|
36 const char *usr_help_str = "Usage: ./word_count [-file filename]\n";
|
|
|
37
|
|
|
38 SchedDefineTask1(RUN_TASK_BLOCKS,run16);
|
|
|
39
|
|
|
40 typedef struct {
|
|
|
41 caddr_t file_mmap;
|
|
|
42 off_t size;
|
|
|
43 }st_mmap_t;
|
|
|
44
|
|
|
45 /*与えられたsizeをfix_byte_sizeの倍数にする*/
|
|
|
46 static int fix_byte(int size,int fix_byte_size){
|
|
|
47 size = (size/fix_byte_size)*fix_byte_size +
|
|
|
48 ((size%fix_byte_size)!= 0)*fix_byte_size;
|
|
|
49 return size;
|
|
|
50 }
|
|
|
51
|
|
|
52 static st_mmap_t my_mmap(char *filename){
|
|
|
53 /*マッピングしてその場所を返す*/
|
|
|
54 int fd = -1;
|
|
|
55 int map = MAP_PRIVATE;
|
|
|
56 st_mmap_t st_mmap;
|
|
|
57 struct stat sb;
|
|
|
58 /*ファイルオープン*/
|
|
|
59 if ((fd=open(filename,O_RDONLY,0666))==0){
|
|
|
60 fprintf(stderr,"can't open %s\n",filename);
|
|
|
61 } /*ファイルが使われていないか*/
|
|
|
62 if (fstat(fd,&sb)) {
|
|
|
63 fprintf(stderr,"can't fstat %s\n",filename);
|
|
|
64 } /*sizeをページングサイズの倍数にあわせる*/
|
|
|
65 st_mmap.size = fix_byte(sb.st_size,division_int);
|
|
|
66 /*マッピングしてその場所を返す*/
|
|
|
67 st_mmap.file_mmap =
|
|
|
68 (char*)mmap(NULL,st_mmap.size,PROT_READ,map,fd,(off_t)0);
|
|
|
69 if (st_mmap.file_mmap == (caddr_t)-1) {
|
|
|
70 perror(NULL); exit(0);
|
|
|
71 }
|
|
|
72 return st_mmap;
|
|
|
73 }
|
|
|
74
|
|
|
75
|
|
|
76
|
|
|
77 /*タスク生成*/
|
|
|
78 static void run_tasks(SchedTask *manager, WordGrep *w, int task_count, HTaskPtr t_next, int size) {
|
|
|
79 over_lap = first_over_lap;
|
|
|
80 /*タスク数が１つのspeで処理する数より少なければその数を処理する*/
|
|
|
81 if (task_count < array_task_num) {
|
|
|
82 array_task_num = task_count;
|
|
|
83 }
|
|
|
84 //全タスクのループ
|
|
|
85 for (int i = 0; i < task_count;i+= array_task_num) {
|
|
|
86 HTask *h_exec = 0;
|
|
|
87 //blockごとのループ
|
|
|
88 for (int j = 0; j < array_task_num;j++) {
|
|
|
89 int i = w->task_spawned++;
|
|
|
90
|
|
|
91 //タスクが最後の場合その分だけ処理
|
|
|
92 if (w->size <= size + over_lap) {
|
|
|
93 size = w->size;
|
|
|
94 over_lap = 0;
|
|
|
95 }
|
|
|
96 if (size==0) break;
|
|
|
97 /*オーバーラップした文字列を生成してタスク生成*/
|
|
|
98 h_exec = manager->create_task(TASK_EXEC);
|
|
|
99 h_exec->set_inData(
|
|
|
100 0,w->file_mmap + i*w->division_size,
|
|
|
101 size+over_lap);
|
|
|
102 h_exec->set_outData(
|
|
|
103 0,w->o_data + i*w->out_size,
|
|
|
104 w->division_out_size);
|
|
|
105 t_next->wait_for(h_exec);
|
|
|
106 /*タスク実行*/
|
|
|
107 h_exec->set_cpu(SPE_ANY);
|
|
|
108 h_exec->spawn();
|
|
|
109 /*終了した分サイズをタスク数を引く*/
|
|
|
110 w->size -= size;
|
|
|
111 w->task_num--;
|
|
|
112 }
|
|
|
113 }
|
|
|
114 }
|
|
|
115
|
|
|
116 /** * このTaskは、PPE上で実行されるので、並列に実行されることはない
|
|
|
117 * 二つ実行されていて、Task が足りなくなることがないようにしている。
|
|
|
118 */
|
|
|
119
|
|
|
120 static int run16(SchedTask *manager, void *in, void *out){
|
|
|
121 WordGrep *w = *(WordGrep **)in;
|
|
|
122 /*タスク数が１ブロックで処理できる数よりも少ない場合*/
|
|
|
123 /*if (!(w->size > w->division_size))でも同じ*/
|
|
|
124 if(w->task_num <= w->task_blocks) {
|
|
|
125 if (w->size == w->division_size) {
|
|
|
126 run_tasks(manager,w,w->task_num,
|
|
|
127 w->t_print, w->division_size);
|
|
|
128 } else {
|
|
|
129 run_tasks(manager,w,1, w->t_print, w->size);
|
|
|
130 }
|
|
|
131 } else {
|
|
|
132 HTaskPtr t_next = manager->create_task(RUN_TASK_BLOCKS,
|
|
|
133 (memaddr)&w->self,sizeof(memaddr),0,0);
|
|
|
134 w->t_print->wait_for(t_next);
|
|
|
135 run_tasks(manager,w, w->task_blocks, t_next, w->division_size);
|
|
|
136 t_next->spawn();
|
|
|
137 }
|
|
|
138 return 0;
|
|
|
139 }
|
|
|
140
|
|
|
141
|
|
|
142
|
|
|
143 static void run_start(TaskManager *manager, char *filename){
|
|
|
144 HTaskPtr t_print;
|
|
|
145 st_mmap_t st_mmap;
|
|
|
146 st_mmap = my_mmap(filename);
|
|
|
147 WordGrep *w = (WordGrep*)manager->allocate(sizeof(WordGrep));
|
|
|
148 w->self = w;
|
|
|
149 w->task_spawned = 0;
|
|
|
150
|
|
|
151 /*sizeはdivision_sizeの倍数にしている。*/
|
|
|
152 w->size = w->file_size = st_mmap.size;
|
|
|
153 w->file_mmap = st_mmap.file_mmap;
|
|
|
154 /* 1task分のデータサイズ(byte) */
|
|
|
155 if (w->size >= division){
|
|
|
156 w->division_size = division;
|
|
|
157 } else {
|
|
|
158 w->division_size = w->size;
|
|
|
159 }
|
|
|
160 /* "word num" and "line num" */
|
|
|
161 //w->status_num = 2;
|
|
|
162 /*taskの数 */
|
|
|
163 w->task_num = w->size / w->division_size;
|
|
|
164 w->task_num = w->task_num + (w->division_size*w->task_num < w->size);
|
|
|
165
|
|
|
166 int out_task_num = w->task_num;
|
|
|
167 w->out_task_num = out_task_num;
|
|
|
168 w->task_blocks = blocks;
|
|
|
169
|
|
|
170 /* out用のdivision_size.statusが1つなので、最大16byteになるように*/
|
|
|
171 w->division_out_size = sizeof(unsigned long long)*4;
|
|
|
172 int out_size = w->division_out_size*out_task_num;
|
|
|
173 w->o_data = (int*)manager->allocate(out_size);
|
|
|
174 w->out_size = 4;
|
|
|
175
|
|
|
176
|
|
|
177 /*各SPEの結果を合計して出力するタスク*/
|
|
|
178 t_print = manager->create_task(
|
|
|
179 TASK_PRINT,(memaddr)&w->self,sizeof(memaddr),0,0);
|
|
|
180 w->t_print = t_print;
|
|
|
181 for(int i = 0;i<1;i++) {
|
|
|
182 /* Task を task_blocks ずつ起動する Task */
|
|
|
183 /*serialize されていると仮定する... */
|
|
|
184 HTaskPtr t_exec= manager->create_task(
|
|
|
185 RUN_TASK_BLOCKS,(memaddr)&w->self,sizeof(memaddr),0,0);
|
|
|
186 t_print->wait_for(t_exec);
|
|
|
187 t_exec->spawn();
|
|
|
188 }
|
|
|
189 t_print->spawn();
|
|
|
190 }
|
|
|
191
|
|
|
192 static char* init(int argc, char **argv){
|
|
|
193 char *filename = 0;
|
|
|
194 use_task_array = 0;
|
|
|
195 for (int i = 1; argv[i]; ++i) {
|
|
|
196 if (strcmp(argv[i], "-file") == 0) {
|
|
|
197 filename = argv[i+1];
|
|
|
198 } else if (strcmp(argv[i], "-cpu") == 0) {
|
|
|
199 spe_num = atoi(argv[i+1]);
|
|
|
200 }
|
|
|
201 }
|
|
|
202 first_over_lap = 2;
|
|
|
203 over_lap = first_over_lap;
|
|
|
204 if (filename==0) {
|
|
|
205 puts(usr_help_str);
|
|
|
206 exit(1);
|
|
|
207 }
|
|
|
208 return filename;
|
|
|
209 }
|
|
|
210
|
|
|
211
|
|
|
212 int TMmain(TaskManager *manager, int argc, char *argv[]){
|
|
|
213 char *filename = 0; //引数の入力
|
|
|
214 filename = init(argc, argv);
|
|
|
215 if (filename < 0) {
|
|
|
216 return -1;
|
|
|
217 }
|
|
|
218 task_init();
|
|
|
219 run_start(manager, filename);
|
|
|
220 return 0;
|
|
|
221 }
|
