diff 14/February/memo/03rd.txt @ 51:d8f499590d82

rename 201* to 1*
author Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
date Sun, 16 Mar 2014 13:36:04 +0900
parents 2014/February/memo/03rd.txt@37d843c14923
children
line wrap: on
line diff
--- /dev/null	Thu Jan 01 00:00:00 1970 +0000
+++ b/14/February/memo/03rd.txt	Sun Mar 16 13:36:04 2014 +0900
@@ -0,0 +1,71 @@
+2014/02/03 (Mon)
+    [program]
+        とりあえず、manager->allocate の内部実装を int -> long long に変更した。
+        regex_mas 2GB 以上の file を読み込ますと、mmap と divide read の違いで結果が違ってしまう。 -> 多分、ちゃんと読み込みされていないのでは??
+
+        grep -c "doing" 2g.txt  -> 5209072
+        ./regex -file 2g.txt -sw doing -cpu 4      -> 5209072
+        ./regex -file 2g.txt -sw doing -cpu 4 -dr  -> 5190577
+
+        ./regex -file 3g.txt -sw doing -cpu 4      -> 7799680
+        ./regex -file 3g.txt -sw doing -cpu 4 -dr  -> 5190577
+
+        やっぱり 2GB の壁くさい
+
+        segmentation fault が起こらないということは、ちゃんと allocate はされているっぽい。
+        ということは、やはり read 関係のどこかで 2GB 制限がかかってるのではないか。
+        (API を int -> long long にかえないといけない部分がまだ存在すると思われる。
+
+        divide read mode 時、wbuf の address の動きが怪しい
+        long だと MAX が約2GB。つまりどこかで long long にしないとこれは直らない。
+
+        read_run 内の
+        read->set_outData(0,w->file_mmap + w->read_task_number*w->read_division_size, w->read_division_size);
+        第二引数 の値がおかしくなっていることが発覚
+
+        実行結果
+
+            ----------------------
+            set_outData buf          : 0x24367a000
+            w->file_mmap             : 0x1c467a000
+            w->read_task_number      : 127
+            w->read_division_size    : 16777216
+            ----------------------
+            [read No 105 : wbuf addr 0x22d67a000]
+            [read No 106 : wbuf addr 0x22e67a000]
+            [read No 107 : wbuf addr 0x22f67a000]
+                        ・・・
+            [read No 120 : wbuf addr 0x23c67a000]
+            [read No 121 : wbuf addr 0x23d67a000]
+            ----------------------
+            set_outData buf          : 0x14467a000
+            w->file_mmap             : 0x1c467a000
+            w->read_task_number      : 128
+            w->read_division_size    : 16777216
+            ----------------------
+            ----------------------
+            set_outData buf          : 0x14567a000
+            w->file_mmap             : 0x1c467a000
+            w->read_task_number      : 129
+            w->read_division_size    : 16777216
+            ----------------------
+
+        再実行
+            [read No 124 : wbuf addr 0x24067a000]
+            [read No 125 : wbuf addr 0x24167a000]
+            [read No 126 : wbuf addr 0x24267a000]
+            [read No 127 : wbuf addr 0x24367a000]
+            [read No 128 : wbuf addr 0x14467a000]
+            [read No 129 : wbuf addr 0x14567a000]
+            [read No 130 : wbuf addr 0x14667a000]
+                                       876543210 
+        16^8 = 2^4^8 = 2^32
+
+           Address が 2^32 分落ちてしまっている。
+           (オーバーフローしている)
+
+        原因究明
+            (char*)w->file_mmap + (int)w->read_task_number*(int)w->read_division_size
+            (int)w->read_task_number*(int)w->read_division_size
+
+            int に 2GB 以上の数値を突っ込んでいたので、オーバーフローしていた