Mercurial > hg > Members > e085722 > Cerium
comparison example/grep/main.cc @ 0:04e28d8d3c6f
first commit
author | Daiki KINJYO <e085722@ie.u-ryukyu.ac.jp> |
---|---|
date | Mon, 08 Nov 2010 01:23:25 +0900 |
parents | |
children |
comparison
equal
deleted
inserted
replaced
-1:000000000000 | 0:04e28d8d3c6f |
---|---|
1 #include <stdio.h> | |
2 #include <stdlib.h> | |
3 #include <string.h> | |
4 #include <sys/mman.h> | |
5 #include <sys/types.h> | |
6 #include <sys/stat.h> | |
7 #include <fcntl.h> | |
8 #include <unistd.h> | |
9 #include "TaskManager.h" | |
10 #include "SchedTask.h" | |
11 #include "Func.h" | |
12 #include "WordGrep.h" | |
13 extern void task_init(); | |
14 | |
15 int all = 0; | |
16 int use_task_array = 0; | |
17 int use_compat = 0; | |
18 int array_task_num = 8; | |
19 int spe_num = 1; | |
20 int num = 0; | |
21 | |
22 //static int blocks = 48; | |
23 //static int division = 1024*10; | |
24 //static int division_int = 4096; | |
25 | |
26 | |
27 static int blocks = 2; | |
28 static int division = 5; | |
29 static int division_int = 5; | |
30 | |
31 int first_over_lap; | |
32 int over_lap; | |
33 | |
34 #define READBUF 1024*16 | |
35 | |
36 const char *usr_help_str = "Usage: ./word_count [-file filename]\n"; | |
37 | |
38 SchedDefineTask1(RUN_TASK_BLOCKS,run16); | |
39 | |
40 typedef struct { | |
41 caddr_t file_mmap; | |
42 off_t size; | |
43 }st_mmap_t; | |
44 | |
45 /*与えられたsizeをfix_byte_sizeの倍数にする*/ | |
46 static int fix_byte(int size,int fix_byte_size){ | |
47 size = (size/fix_byte_size)*fix_byte_size + | |
48 ((size%fix_byte_size)!= 0)*fix_byte_size; | |
49 return size; | |
50 } | |
51 | |
52 static st_mmap_t my_mmap(char *filename){ | |
53 /*マッピングしてその場所を返す*/ | |
54 int fd = -1; | |
55 int map = MAP_PRIVATE; | |
56 st_mmap_t st_mmap; | |
57 struct stat sb; | |
58 /*ファイルオープン*/ | |
59 if ((fd=open(filename,O_RDONLY,0666))==0){ | |
60 fprintf(stderr,"can't open %s\n",filename); | |
61 } /*ファイルが使われていないか*/ | |
62 if (fstat(fd,&sb)) { | |
63 fprintf(stderr,"can't fstat %s\n",filename); | |
64 } /*sizeをページングサイズの倍数にあわせる*/ | |
65 st_mmap.size = fix_byte(sb.st_size,division_int); | |
66 /*マッピングしてその場所を返す*/ | |
67 st_mmap.file_mmap = | |
68 (char*)mmap(NULL,st_mmap.size,PROT_READ,map,fd,(off_t)0); | |
69 if (st_mmap.file_mmap == (caddr_t)-1) { | |
70 perror(NULL); exit(0); | |
71 } | |
72 return st_mmap; | |
73 } | |
74 | |
75 | |
76 | |
77 /*タスク生成*/ | |
78 static void run_tasks(SchedTask *manager, WordGrep *w, int task_count, HTaskPtr t_next, int size) { | |
79 over_lap = first_over_lap; | |
80 /*タスク数が1つのspeで処理する数より少なければその数を処理する*/ | |
81 if (task_count < array_task_num) { | |
82 array_task_num = task_count; | |
83 } | |
84 //全タスクのループ | |
85 for (int i = 0; i < task_count;i+= array_task_num) { | |
86 HTask *h_exec = 0; | |
87 //blockごとのループ | |
88 for (int j = 0; j < array_task_num;j++) { | |
89 int i = w->task_spawned++; | |
90 | |
91 //タスクが最後の場合その分だけ処理 | |
92 if (w->size <= size + over_lap) { | |
93 size = w->size; | |
94 over_lap = 0; | |
95 } | |
96 if (size==0) break; | |
97 /*オーバーラップした文字列を生成してタスク生成*/ | |
98 h_exec = manager->create_task(TASK_EXEC); | |
99 h_exec->set_inData( | |
100 0,w->file_mmap + i*w->division_size, | |
101 size+over_lap); | |
102 h_exec->set_outData( | |
103 0,w->o_data + i*w->out_size, | |
104 w->division_out_size); | |
105 t_next->wait_for(h_exec); | |
106 /*タスク実行*/ | |
107 h_exec->set_cpu(SPE_ANY); | |
108 h_exec->spawn(); | |
109 /*終了した分サイズをタスク数を引く*/ | |
110 w->size -= size; | |
111 w->task_num--; | |
112 } | |
113 } | |
114 } | |
115 | |
116 /** * このTaskは、PPE上で実行されるので、並列に実行されることはない | |
117 * 二つ実行されていて、Task が足りなくなることがないようにしている。 | |
118 */ | |
119 | |
120 static int run16(SchedTask *manager, void *in, void *out){ | |
121 WordGrep *w = *(WordGrep **)in; | |
122 /*タスク数が1ブロックで処理できる数よりも少ない場合*/ | |
123 /*if (!(w->size > w->division_size))でも同じ*/ | |
124 if(w->task_num <= w->task_blocks) { | |
125 if (w->size == w->division_size) { | |
126 run_tasks(manager,w,w->task_num, | |
127 w->t_print, w->division_size); | |
128 } else { | |
129 run_tasks(manager,w,1, w->t_print, w->size); | |
130 } | |
131 } else { | |
132 HTaskPtr t_next = manager->create_task(RUN_TASK_BLOCKS, | |
133 (memaddr)&w->self,sizeof(memaddr),0,0); | |
134 w->t_print->wait_for(t_next); | |
135 run_tasks(manager,w, w->task_blocks, t_next, w->division_size); | |
136 t_next->spawn(); | |
137 } | |
138 return 0; | |
139 } | |
140 | |
141 | |
142 | |
143 static void run_start(TaskManager *manager, char *filename){ | |
144 HTaskPtr t_print; | |
145 st_mmap_t st_mmap; | |
146 st_mmap = my_mmap(filename); | |
147 WordGrep *w = (WordGrep*)manager->allocate(sizeof(WordGrep)); | |
148 w->self = w; | |
149 w->task_spawned = 0; | |
150 | |
151 /*sizeはdivision_sizeの倍数にしている。*/ | |
152 w->size = w->file_size = st_mmap.size; | |
153 w->file_mmap = st_mmap.file_mmap; | |
154 /* 1task分のデータサイズ(byte) */ | |
155 if (w->size >= division){ | |
156 w->division_size = division; | |
157 } else { | |
158 w->division_size = w->size; | |
159 } | |
160 /* "word num" and "line num" */ | |
161 //w->status_num = 2; | |
162 /*taskの数 */ | |
163 w->task_num = w->size / w->division_size; | |
164 w->task_num = w->task_num + (w->division_size*w->task_num < w->size); | |
165 | |
166 int out_task_num = w->task_num; | |
167 w->out_task_num = out_task_num; | |
168 w->task_blocks = blocks; | |
169 | |
170 /* out用のdivision_size.statusが1つなので、最大16byteになるように*/ | |
171 w->division_out_size = sizeof(unsigned long long)*4; | |
172 int out_size = w->division_out_size*out_task_num; | |
173 w->o_data = (int*)manager->allocate(out_size); | |
174 w->out_size = 4; | |
175 | |
176 | |
177 /*各SPEの結果を合計して出力するタスク*/ | |
178 t_print = manager->create_task( | |
179 TASK_PRINT,(memaddr)&w->self,sizeof(memaddr),0,0); | |
180 w->t_print = t_print; | |
181 for(int i = 0;i<1;i++) { | |
182 /* Task を task_blocks ずつ起動する Task */ | |
183 /*serialize されていると仮定する... */ | |
184 HTaskPtr t_exec= manager->create_task( | |
185 RUN_TASK_BLOCKS,(memaddr)&w->self,sizeof(memaddr),0,0); | |
186 t_print->wait_for(t_exec); | |
187 t_exec->spawn(); | |
188 } | |
189 t_print->spawn(); | |
190 } | |
191 | |
192 static char* init(int argc, char **argv){ | |
193 char *filename = 0; | |
194 use_task_array = 0; | |
195 for (int i = 1; argv[i]; ++i) { | |
196 if (strcmp(argv[i], "-file") == 0) { | |
197 filename = argv[i+1]; | |
198 } else if (strcmp(argv[i], "-cpu") == 0) { | |
199 spe_num = atoi(argv[i+1]); | |
200 } | |
201 } | |
202 first_over_lap = 2; | |
203 over_lap = first_over_lap; | |
204 if (filename==0) { | |
205 puts(usr_help_str); | |
206 exit(1); | |
207 } | |
208 return filename; | |
209 } | |
210 | |
211 | |
212 int TMmain(TaskManager *manager, int argc, char *argv[]){ | |
213 char *filename = 0; //引数の入力 | |
214 filename = init(argc, argv); | |
215 if (filename < 0) { | |
216 return -1; | |
217 } | |
218 task_init(); | |
219 run_start(manager, filename); | |
220 return 0; | |
221 } |