Mercurial > hg > Members > masakoha > masa

annotate 2014/February/memo/03rd.txt @ 32:07176dd2dddc

Find changesets by keywords (author, files, the commit message), revision number or hash, or revset expression.
add 03rd.txt
author Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
date Mon, 03 Feb 2014 20:35:58 +0900
parents 5c7d17c36564
children 37d843c14923
Ignore whitespace changes - Everywhere: Within whitespace: At end of lines:
rev   line source
32
07176dd2dddc add 03rd.txt
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents: 31
diff changeset
1 2014/02/03 (Mon)
29
444b0ca6ff2c add OUTLINE & 01st.txt
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff changeset
2 [program]
32
07176dd2dddc add 03rd.txt
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents: 31
diff changeset
3 とりあえず、manager->allocate の内部実装を int -> long long に変更した。
07176dd2dddc add 03rd.txt
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents: 31
diff changeset
4 regex_mas 2GB 以上の file を読み込ますと、mmap と divide read の違いで結果が違ってしまう。 -> 多分、ちゃんと読み込みされていないのでは??
07176dd2dddc add 03rd.txt
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents: 31
diff changeset
5
07176dd2dddc add 03rd.txt
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents: 31
diff changeset
6 grep -c "doing" 2g.txt -> 5209072
07176dd2dddc add 03rd.txt
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents: 31
diff changeset
7 ./regex -file 2g.txt -sw doing -cpu 4 -> 5209072
07176dd2dddc add 03rd.txt
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents: 31
diff changeset
8 ./regex -file 2g.txt -sw doing -cpu 4 -dr -> 5190577
29
444b0ca6ff2c add OUTLINE & 01st.txt
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
diff changeset
9
32
07176dd2dddc add 03rd.txt
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents: 31
diff changeset
10 ./regex -file 3g.txt -sw doing -cpu 4 -> 7799680
07176dd2dddc add 03rd.txt
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents: 31
diff changeset
11 ./regex -file 3g.txt -sw doing -cpu 4 -dr -> 5190577
07176dd2dddc add 03rd.txt
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents: 31
diff changeset
12
07176dd2dddc add 03rd.txt
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents: 31
diff changeset
13 やっぱり 2GB の壁くさい
30
7884e1b44177 add 02nd.txt
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents: 29
diff changeset
14
32
07176dd2dddc add 03rd.txt
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents: 31
diff changeset
15 segmentation fault が起こらないということは、ちゃんと allocate はされているっぽい。
07176dd2dddc add 03rd.txt
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents: 31
diff changeset
16 ということは、やはり read 関係のどこかで 2GB 制限がかかってるのではないか。
07176dd2dddc add 03rd.txt
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents: 31
diff changeset
17 (API を int -> long long にかえないといけない部分がまだ存在すると思われる。
07176dd2dddc add 03rd.txt
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents: 31
diff changeset
18
07176dd2dddc add 03rd.txt
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents: 31
diff changeset
19 divide read mode 時、wbuf の address の動きが怪しい
07176dd2dddc add 03rd.txt
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents: 31
diff changeset
20 long だと MAX が約2GB。つまりどこかで long long にしないとこれは直らない。