kouyさんの「100万字日本語かなn-gramデータ」の1-gramの情報を整理してみた
kouyさんの「ローマ字入力でもなく、かな入力でもなく : 100万字日本語かなn-gramデータ」の1-gramについて、累積度数や割合を見やすく整理してみた。まずエクセルファイルのデータを整形してから*1csv形式のファイルに変換し、それをRで処理した。
> ## ローマ字入力でもなく、かな入力でもなく : 100万字日本語かなn-gramデータ > ## http://kouy.exblog.jp/9731073/ > x <- read.csv("z:/1-gram.csv" + , header=F + , col.names=c("freq","char")) > freq <- x$freq > totalfreq <- sum(freq) > totalfreq [1] 1190182 > proportion <- round((freq / totalfreq) * 100, 2) > cumfreq <- cumsum(freq) > cumproportion <- round((cumfreq / totalfreq) * 100, 2) > cbind(x, proportion, cumproportion) freq char proportion cumproportion 1 74569 い 6.27 6.27 2 59235 う 4.98 11.24 3 58709 ん 4.93 16.18 4 48069 し 4.04 20.21 5 39537 か 3.32 23.54 6 38367 の 3.22 26.76 7 37984 と 3.19 29.95 8 33853 た 2.84 32.80 9 28750 、 2.42 35.21 10 27725 て 2.33 37.54 11 27579 く 2.32 39.86 12 27521 な 2.31 42.17 13 27389 に 2.30 44.47 14 26011 き 2.19 46.66 15 24910 は 2.09 48.75 16 24434 こ 2.05 50.80 17 24368 る 2.05 52.85 18 23560 。 1.98 54.83 19 23074 が 1.94 56.77 20 21789 で 1.83 58.60 21 21418 っ 1.80 60.40 22 21319 ょ 1.79 62.19 23 21000 す 1.76 63.95 24 19322 ま 1.62 65.58 25 18329 じ 1.54 67.12 26 17904 り 1.50 68.62 27 17888 も 1.50 70.12 28 16984 つ 1.43 71.55 29 16377 お 1.38 72.93 30 16103 ら 1.35 74.28 31 15893 を 1.34 75.62 32 15693 さ 1.32 76.93 33 15658 あ 1.32 78.25 34 14594 れ 1.23 79.48 35 13722 だ 1.15 80.63 36 13140 ち 1.10 81.73 37 12513 せ 1.05 82.78 38 11952 け 1.00 83.79 39 11000 ー 0.92 84.71 40 10960 よ 0.92 85.63 41 10627 ど 0.89 86.53 42 10151 ゅ 0.85 87.38 43 9878 そ 0.83 88.21 44 9211 え 0.77 88.98 45 8665 わ 0.73 89.71 46 7980 み 0.67 90.38 47 7755 め 0.65 91.03 48 7729 ひ 0.65 91.68 49 6925 ば 0.58 92.27 50 6876 や 0.58 92.84 51 6643 ろ 0.56 93.40 52 6605 ほ 0.55 93.96 53 5639 ふ 0.47 94.43 54 5322 ゃ 0.45 94.88 55 5232 ぶ 0.44 95.32 56 4595 ね 0.39 95.70 57 4406 ご 0.37 96.07 58 4353 ぎ 0.37 96.44 59 4068 げ 0.34 96.78 60 3725 む 0.31 97.09 61 3173 ず 0.27 97.36 62 3029 び 0.25 97.61 63 2565 ざ 0.22 97.83 64 2422 ぐ 0.20 98.03 65 2360 ぜ 0.20 98.23 66 2323 へ 0.20 98.43 67 2275 べ 0.19 98.62 68 2174 ゆ 0.18 98.80 69 1974 ぼ 0.17 98.97 70 1949 ぷ 0.16 99.13 71 1793 ぞ 0.15 99.28 72 1747 ぱ 0.15 99.43 73 1201 ぃ 0.10 99.53 74 1193 ぽ 0.10 99.63 75 806 ぇ 0.07 99.70 76 781 づ 0.07 99.76 77 732 ぴ 0.06 99.82 78 681 ぁ 0.06 99.88 79 575 ぬ 0.05 99.93 80 482 ぺ 0.04 99.97 81 163 ぉ 0.01 99.98 82 83 ヴ 0.01 99.99 83 78 ぢ 0.01 100.00 84 36 ぅ 0.00 100.00 > plot( + cumproportion, type = "p", col = "#666666", pch=20, + panel.first = grid(NA, NULL, lty = 1, col = "#E9E9E9") + + grid(NULL, NA, lty = 1, col = "#E9E9E9") + ) > title("cumulative proportion of 1-gram")
このデータにおいて、日本語かなの文字（句読点を含む）についてはつぎのことが言える。
- 出現頻度1-10位の文字数が、全体の文字数の4割弱を占めている
- 出現頻度1-20位の文字数が、全体の文字数の6割弱を占めている
- 出現頻度1-50位の文字数が、全体の文字数の9割強を占めている
キーボード配列を自作しようとする人は、日本語かなの文字の出現頻度に関しておおよその傾向をおさえておけばよいだろう。
*1:つぎの画像のように整形した。[f:id:blechmusik2:20120531033635p:image]