Mercurial > hg > Applications > Grep
annotate regexParser/TODO @ 295:0c663f46954d
todo
author | Shinji KONO <kono@ie.u-ryukyu.ac.jp> |
---|---|
date | Tue, 02 Feb 2016 11:24:29 +0900 |
parents | 948428caf616 |
children | 28c695dac305 |
rev | line source |
---|---|
295 | 1 Tue Feb 2 11:21:14 JST 2016 |
2 | |
3 あとは word の処理だけだ | |
4 charClassMergeをなおさないといけない | |
5 merge で文字列のlistにする | |
6 長いものは分割 | |
7 部分文字列は分解する? | |
8 | |
293
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
9 Tue Feb 2 09:55:40 JST 2016 |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
10 |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
11 % ./regexParser -subst -regex '(a|b)*a(a|b)(a|b)' |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
12 ---Print Node---- |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
13 a(1)->(1) |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
14 | |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
15 b(1)->(1) |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
16 * |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
17 + |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
18 a(4)->(4) |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
19 + |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
20 a(4)->(8) |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
21 | |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
22 b(4)->(8) |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
23 + |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
24 a(8)->(2) |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
25 | |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
26 b(8)->(2) |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
27 ----------------- |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
28 state : 1 |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
29 node : + 1 -> 1 |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
30 [a-a] (5) |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
31 [b-b] (1) |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
32 |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
33 state : 2* |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
34 node : e 2 -> 1 |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
35 |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
36 state : 4 |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
37 node : | 4 -> 1 |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
38 [a-a] (8) |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
39 [b-b] (8) |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
40 |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
41 state : 8 |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
42 node : | 8 -> 1 |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
43 [a-a] (2) |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
44 [b-b] (2) |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
45 |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
46 state : 5 |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
47 [a-a] (1) |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
48 [b-b] (9) |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
49 |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
50 state : 9 |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
51 [a-a] (1) <---- 間違い 2 とmergeしているはずだが... |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
52 [b-b] (3) |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
53 |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
54 state : 3* |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
55 [a-a] (5) |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
56 [b-b] (1) |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
57 |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
58 やはり charClassMerge のbugだった。 |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
59 |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
60 createCharClassRangeで、同じものだったら新しく作らないってのがあると良い |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
61 charClassMerg が同じものを返す場合があるってことね |
295 | 62 同じレンジで同じ状態のものだけなので、それほどあるとは思えないが。 |
293
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
63 |
948428caf616
NFA maximum match worked
Shinji KONO <kono@ie.u-ryukyu.ac.jp>
parents:
291
diff
changeset
|
64 |
289 | 65 Mon Feb 1 01:51:10 JST 2016 kono |
66 | |
67 非決定性がある時の maxmum match がよろしくない | |
68 これ以上拡張できないという終了条件の実現は? | |
69 | |
70 ./regexParser -ts -subset -regex '(a|b)*a' -file ahoaho.txt | |
71 | |
72 で、bの後にaが来なくなると、bの手前までをacceptする | |
73 | |
291 | 74 subset construction はいじらない方針で。 |
75 | |
76 | |
77 state : 1 | |
78 node : + 1 -> 1 | |
79 [a-a] (3) | |
80 [b-b] (1) | |
81 | |
82 state : 2* | |
83 node : e 2 -> 1 | |
84 | |
85 state : 3* | |
86 [a-a] (3) | |
87 [b-b] (1) | |
88 | |
89 * はaccept state。 | |
90 | |
91 [a-a] (3) で stateMatch で良いが、maxmum だと match している間は stateMatch はしない。 | |
92 現状は、*の付いているstateで、条件にmatchしない時に stateMatch してる。 | |
93 これだと state 3 で b で satete 1 に行ってしまい、b 以降に a がない時に失敗する。b に行く前の state 3 で stateMatchするべき。 | |
94 | |
95 matchする可能性がなくなったところで、前の部分でmatchさせる必要がある。 | |
96 * match してなければ、match top をupdate | |
97 * match している間は直前matchをupdate | |
98 * match fail したところで、直前のmatch があれば、それを返す | |
99 という感じか? | |
100 | |
101 minimum match は | |
102 * match してなければ、match top をupdate | |
103 * match したところで、直前のmatch があれば、それを返す | |
104 か? | |
105 | |
106 ソース生成を CbC に対応させる。(でないと動かないらしい) | |
289 | 107 |
108 | |
284 | 109 Sun Jan 31 20:37:49 JST 2016 masa |
289 | 110 並列処理時のバグ Ok |
111 (mili|have) のsubset construction のミス Ok | |
112 tSearch の segv Ok | |
284 | 113 |
289 | 114 '(main|int) ' .. Ok |
115 '(main|int)\(' .. Ok | |
287 | 116 |
117 とかが動かない。 | |
118 | |
291 | 119 start state に accept flag が立っていると''にmatchしてしまう。それは別に生成する。 |
120 | |
221 | 121 Sat Jan 2 15:29:16 JST 2016 kono |
122 | |
123 stateよりもstate transitionの方が大きいので、subset contructionで CharClassWalkするのは良くない。 | |
124 mergeTransition した時に、state listに新しいものを接続してやれば、CharClassWalkの必要はない。 | |
125 その時に、stateArray には入れないでおく。sateArrayは処理済みなので。 | |
126 | |
127 EOF stateには cc がないので特別扱いする必要がある。 | |
128 | |
129 Tue Dec 29 17:55:17 JST 2015 kono | |
215 | 130 |
131 Todo は上に付け加えていく。 | |
132 | |
133 abc*d + | |
134 / \ | |
135 + d | |
136 / \ | |
137 + * | |
138 / \ | | |
139 a b c | |
140 | |
141 Parserを書き換えて、 | |
142 | |
143 abc*d + | |
144 / \ | |
145 a + | |
146 / \ | |
147 b + | |
148 / \ | |
149 * d | |
150 | | |
151 c | |
152 | |
153 とすることもできる。たぶん、こっちの方が良い。でも、 | |
154 ((ab)(c*))d | |
155 と書いても良いはずで、しかも、これは abc*d とおなじになるので解決になってない。 | |
156 | |
157 sub treeは、最初の状態を返す必要がある。そうでないと、 | |
158 (ab*|bc*) | |
159 とかがうまく動かない。 | |
160 | |
161 最後が*で終わっている時には、次の式と重ねる必要がある。なので、 | |
162 最後の*があれば、それを持ち歩く | |
163 方式が良いと思います。 | |
164 | |
165 stateAllocateをgenerateTransitionは1 passにすると stateArrayの大きさを徐々に増やす必要がある。 | |
166 少なくともループは一つにした方が間違いが少ないだろう。 | |
167 | |
210
e8aa8a1ea749
add benchmark TODO
Masataka Kohagura <kohagura@cr.ie.u-ryukyu.ac.jp>
parents:
204
diff
changeset
|
168 |
e8aa8a1ea749
add benchmark TODO
Masataka Kohagura <kohagura@cr.ie.u-ryukyu.ac.jp>
parents:
204
diff
changeset
|
169 2015年 12月27日 日曜日 19時31分03秒 JST |
e8aa8a1ea749
add benchmark TODO
Masataka Kohagura <kohagura@cr.ie.u-ryukyu.ac.jp>
parents:
204
diff
changeset
|
170 例題 特定の IP のアクセス数をカウントする |
e8aa8a1ea749
add benchmark TODO
Masataka Kohagura <kohagura@cr.ie.u-ryukyu.ac.jp>
parents:
204
diff
changeset
|
171 concordance |
e8aa8a1ea749
add benchmark TODO
Masataka Kohagura <kohagura@cr.ie.u-ryukyu.ac.jp>
parents:
204
diff
changeset
|
172 regex をつかった条件付き concordance |
e8aa8a1ea749
add benchmark TODO
Masataka Kohagura <kohagura@cr.ie.u-ryukyu.ac.jp>
parents:
204
diff
changeset
|
173 regex をつかった条件付き wordcount |
e8aa8a1ea749
add benchmark TODO
Masataka Kohagura <kohagura@cr.ie.u-ryukyu.ac.jp>
parents:
204
diff
changeset
|
174 これを行う perl スクリプトと比較 |
215 | 175 |
176 2015年 12月26日 土曜日 18時07分00秒 JST | |
177 TODO CharClassWalker の routine test を作成する | |
178 TODO CharClassMerge の routine test を作成する | |
179 TODO searchBit の routine test を作成する | |
180 TODO subsetConstraction の routine test を作成する | |
181 |