kouyさんの「100万字日本語かなn-gramデータ」の1-gramの情報を整理してみた

kouyさんの「ローマ字入力でもなく、かな入力でもなく : 100万字日本語かなn-gramデータ」の1-gramについて、累積度数や割合を見やすく整理してみた。まずエクセルファイルのデータを整形してから*1 csv形式のファイルに変換し、それをRで処理した。

> ## ローマ字入力でもなく、かな入力でもなく : 100万字日本語かなn-gramデータ
> ## http://kouy.exblog.jp/9731073/
> x <- read.csv("z:/1-gram.csv"
+               , header=F
+               , col.names=c("freq","char"))
> freq <- x$freq
> totalfreq <- sum(freq)
> totalfreq
[1] 1190182
> proportion <- round((freq / totalfreq) * 100, 2)
> cumfreq <- cumsum(freq)
> cumproportion <- round((cumfreq / totalfreq) * 100, 2)
> cbind(x, proportion, cumproportion)
    freq char proportion cumproportion
1  74569   い       6.27          6.27
2  59235   う       4.98         11.24
3  58709   ん       4.93         16.18
4  48069   し       4.04         20.21
5  39537   か       3.32         23.54
6  38367   の       3.22         26.76
7  37984   と       3.19         29.95
8  33853   た       2.84         32.80
9  28750   、       2.42         35.21
10 27725   て       2.33         37.54
11 27579   く       2.32         39.86
12 27521   な       2.31         42.17
13 27389   に       2.30         44.47
14 26011   き       2.19         46.66
15 24910   は       2.09         48.75
16 24434   こ       2.05         50.80
17 24368   る       2.05         52.85
18 23560   。       1.98         54.83
19 23074   が       1.94         56.77
20 21789   で       1.83         58.60
21 21418   っ       1.80         60.40
22 21319   ょ       1.79         62.19
23 21000   す       1.76         63.95
24 19322   ま       1.62         65.58
25 18329   じ       1.54         67.12
26 17904   り       1.50         68.62
27 17888   も       1.50         70.12
28 16984   つ       1.43         71.55
29 16377   お       1.38         72.93
30 16103   ら       1.35         74.28
31 15893   を       1.34         75.62
32 15693   さ       1.32         76.93
33 15658   あ       1.32         78.25
34 14594   れ       1.23         79.48
35 13722   だ       1.15         80.63
36 13140   ち       1.10         81.73
37 12513   せ       1.05         82.78
38 11952   け       1.00         83.79
39 11000   ー       0.92         84.71
40 10960   よ       0.92         85.63
41 10627   ど       0.89         86.53
42 10151   ゅ       0.85         87.38
43  9878   そ       0.83         88.21
44  9211   え       0.77         88.98
45  8665   わ       0.73         89.71
46  7980   み       0.67         90.38
47  7755   め       0.65         91.03
48  7729   ひ       0.65         91.68
49  6925   ば       0.58         92.27
50  6876   や       0.58         92.84
51  6643   ろ       0.56         93.40
52  6605   ほ       0.55         93.96
53  5639   ふ       0.47         94.43
54  5322   ゃ       0.45         94.88
55  5232   ぶ       0.44         95.32
56  4595   ね       0.39         95.70
57  4406   ご       0.37         96.07
58  4353   ぎ       0.37         96.44
59  4068   げ       0.34         96.78
60  3725   む       0.31         97.09
61  3173   ず       0.27         97.36
62  3029   び       0.25         97.61
63  2565   ざ       0.22         97.83
64  2422   ぐ       0.20         98.03
65  2360   ぜ       0.20         98.23
66  2323   へ       0.20         98.43
67  2275   べ       0.19         98.62
68  2174   ゆ       0.18         98.80
69  1974   ぼ       0.17         98.97
70  1949   ぷ       0.16         99.13
71  1793   ぞ       0.15         99.28
72  1747   ぱ       0.15         99.43
73  1201   ぃ       0.10         99.53
74  1193   ぽ       0.10         99.63
75   806   ぇ       0.07         99.70
76   781   づ       0.07         99.76
77   732   ぴ       0.06         99.82
78   681   ぁ       0.06         99.88
79   575   ぬ       0.05         99.93
80   482   ぺ       0.04         99.97
81   163   ぉ       0.01         99.98
82    83   ヴ       0.01         99.99
83    78   ぢ       0.01        100.00
84    36   ぅ       0.00        100.00
> plot(
+   cumproportion, type = "p", col = "#666666", pch=20,
+   panel.first = grid(NA, NULL, lty = 1, col = "#E9E9E9")
+   +  grid(NULL, NA, lty = 1, col = "#E9E9E9")
+ )
> title("cumulative proportion of 1-gram")