doc/index.html

   1 <html>
   2 <head>
   3 <title>Ruby/CHISE</title>
   4 <link rel="stylesheet" type="text/css" href="style.css">
   5 </head>
   6
   7 <body>
   8 <div class="center">
   9
  10 <h1><span class="e">Ruby/CHISE</span></h1>
  11
  12 <div class=linkbox>
  13 <a href="#download">download</a>,
  14 <a href="#install">install</a>,
  15 <a href="#howto">howto</a>,
  16 <a href="#links">links</a>
  17 </div>
  18
  19 <div class="w40em">
  20
  21 <div class=box>
  22 <h2>■<span class="e">Ruby/CHISE</span>とはなにか</h2>
  23 <p>Ruby/CHISEは、XEmacs CHISEにおけるChaon実装を<br>
  24 Rubyへ移植することを試みたモジュールである。<br>
  25
  26 <h3>■Chaonモデルとはなにか</h3>
  27
  28 <p>Chaonモデルとは、文字を符号ではなく属性によって扱う方法を意味する。
  29 <p>Ruby/CHISEではそれを拡張し、文字をオブジェクトとして扱っている。
  30
  31 </div>
  32
  33 <div class=box>
  34 <a name="download"></a>
  35 <h2 class="e">■download & history</h2>
  36 <ul>
  37 <li>2003-0110   テスト公開
  38 <li>2003-0112   XString追加
  39 <li>2003-0115   IDSの読み込み機能β版
  40 <li>2003-0116   IDSの読み込み機能1.0
  41 <li>2003-0117   XStringを廃止し、Stringに一本化。IDSの読み込み機能を強化。
  42 <li>2003-0120   IDS_Treeの読み込み機能を追加。木構造の整合性checkを追加。
  43 <li>2003-0130   IDSの逆変換機能などを追加。
  44 <li>2003-0213   <a href="http://eto.com/2003/ruby/ruby-chise-20030213.tar.bz2" class="s">ruby-chise-20030213.tar.bz2</a><br>
  45 名称をRuby/UTF-2000からRuby/CHISEへと変更。
  46 </ul>
  47 <hr>
  48 <h3>■CVS</h3>
  49 <p><a href="http://cvs.m17n.org/cgi-bin/viewcvs/ruby/?cvsroot=chise">CVS access</a>
  50 </div>
  51
  52 <div class=box>
  53 <a name="install"></a>
  54 <h2 class="e">■install</h2>
  55 <p>展開して、<b>make install</b>する。
  56 <p>通常、<b>/usr/local/lib/ruby/site_ruby/</b>以下にinstallされる。
  57
  58 <hr>
  59 <h3 class="e">■config</h3>
  60 <p><b>src/chise.rb</b>内
  61 <p><b>DB_DIR = '/usr/local/lib/xemacs-21.4.10/i686-pc-linux/char-db'</b><br>
  62 必要に応じて変更する。
  63 <p><b>IDS_DB_DIR = '/home/eto/work/chise/ids/''</b><br>
  64 IDSのテキストファイルが置かれているディレクトリーを指す。(下記の字形分解・合成についてを参照)
  65
  66 <hr>
  67 <h3 class="e">■依存関係</h3>
  68 <p>下記のパッケージが必要。
  69 <ul>
  70 <li><a href="http://www.sleepycat.com/" class="b">db3-3.2.9</a>
  71 <li><a href="http://www.ruby-lang.org/~eban/ruby/binaries/mingw/ext/" class="b">bdb-0.3.6</a> (bdb-0.3.8などそれ以上でも可)
  72 <li><a href="http://www.yoshidam.net/Ruby_ja.html#uconv" class="b">uconv-0.4.11</a>
  73 <li><a href="http://www.ruby-lang.org/ja/" class="b">ruby 1.6.7</a> これはRuby本体。
  74 </ul>
  75
  76 <p>一般にRubyのパッケージは
  77 <a href="http://www.ruby-lang.org/raa/"><b>RAA</b></a>を使って探すことができる。
  78
  79 <hr>
  80 <h3 class="e">■Unicode</h3>
  81 <p>現状では、Ruby/CHISEに渡す文字コードはUTF-8のUnicodeにしておくと便利である。
  82 <p>これは望ましいものではなく、将来的にはプログラム自体がSJIS、EUCなどで書かれていても
  83 問題なく処理できるようにする予定である。
  84 <p>WindowsでUnicodeを使えるエディターとして、私はMeadow + Mule-UCSを使っている。
  85 <p>他、Windows付属のメモ帳を使うことができる。
  86 <p>また、見るだけであればIEに落すと表示される。
  87 <p>フリーのUnicode対応エディターとして他にYuditがあるが、まだよく使い方はわからない。
  88 </div>
  89
  90 <div class=box>
  91 <a name="howto"></a>
  92 <h2>■使い方</h2>
  93 <p>
  94
  95 <h3>■全体的な使い方</h3>
  96 <pre>
  97 require 'chise'
  98 include CHISE
  99
 100 str = "字" #Stringを拡張している。UTF8で与えること。
 101 p str.ucs #とすると、その文字のucsの値が表示される
 102 p str.total_strokes #画数が表示される
 103 p str.chinese_gb2312 #などなど
 104 str.char.alist.each {|a, v| #こんな感じで全属性を表示できる
 105   print a, ': ', v, "\n"
 106 }
 107 p str.inspect_x #Characterについての情報が表示される。
 108 p str.inspect_all #持っている属性情報を全て表示する。
 109
 110 str = "文字列" #もちろん一文字でなく文字列も扱える。UTF-8で与える。
 111 p str.inspect_x #各文字の情報が表示される。
 112 p str.inspect_all #各文字の属性情報を全て表示する。
 113 </pre>
 114
 115 <hr>
 116 <h3>■様々な用例案</h3>
 117 <p>下記のような文章を入力、表示できるようになることを例として考える。
 118 <ul>
 119 <li>「電話は中国繁体字だと電話と書き、中国簡体字だと電話と書く」
 120 <li>「吉野屋の吉は、土吉の吉である。」
 121 <li>「高橋さんは高橋さんと表記されるのを嫌う。」
 122 <li>「日本語の骨を、中国簡体字だと骨と書く」
 123 </ul>
 124 <p>が、まだ入力できません。未完成です。
 125 </div>
 126
 127 <div class=box>
 128 <h2>■字形分解・合成</h2>
 129 <p>Ruby/CHISEは、もともと字形分解・合成を扱うために作られたため、その機能が強化されている。
 130
 131 <p>字形分解・合成は、現在はUnicodeにおけるIDS(Ideographic Description Structure)という仕様に準拠している。
 132 U+2FF0〜U+2FFBで表わされるIDC(Ideographic Description Characters)によって合成方法を指定し、
 133 これに続く二文字から三文字の文字を合成して表示する。
 134
 135 <p>これは元々必要な漢字が文字コードに無い場合にその代替物として表記するために考えられた仕様だ。
 136 もし文字表示機能が字形合成に対応している場合は、その合成された字を表示する。
 137 もし字形合成の機能が無い場合は、IDC自体を目に見えるように表示し、
 138 ユーザーの想像力に任せることになる。
 139
 140 <p>実際のところ、IDSを使った字形合成機能を持つ文字表示エンジンが存在するとは聞いたことがない。
 141 そのため現状ではこの仕様は絵に書いた餅になっている。
 142
 143 <p>ここではその仕様を転用し、漢字の字形を指示するために使っている。
 144
 145 <p>ちょっと想像してみればわかるが、IDSはまともな実装が存在していないことからもわかる通り、
 146 普通には使えない仕様である。実際に漢字の字形を合成して表示するといっても、
 147 縦とか横につらなるなどといった単純な情報だけでは不十分で、もっと多様な情報が必要である。
 148 部品間の大きさのバランスなど、ついheuristicな方法で対処できるのではないかと考えてしまいがちだが、
 149 実際に見ておかしくない字を作るためには現状ではまだ人手によってデザインする必要がある。
 150 ここではその仕様を転じて、字形の成立ちを説明するために使っているが、
 151 このような使い道なら使えるようだ。
 152
 153 <hr>
 154 <h3 class="e">■IDSを使うための準備</h3>
 155
 156 <p>下記のようにして、IDSのテキストファイル群を持ってくる。
 157 <pre><small>% cd ~/work/chise (このディレクトリーは適宜変更する)
 158 % cvs -d :pserver:anonymous@cvs.m17n.org:/cvs/root login
 159 password: (何も入れずにただもう一度return)
 160
 161 % cvs -d :pserver:anonymous@cvs.m17n.org:/cvs/chise co -d ids ids
 162 </small></pre>
 163
 164 <p>このようにすると、IDSのテキストファイル群を持ってくることができる。
 165
 166 <p>その後、<b>src/chise.rb</b>内<br>
 167 <b>IDS_DB_DIR = '/home/eto/work/chise/ids/''</b><br>
 168 ここに、上記のIDSテキストファイル群を持ってきたディレクトリーを入れる。
 169 必要であれば、再度<b>make install</b>する。
 170 このようにして適切に<b>IDS_DB_DIR</b>を設定し、
 171 <b>./tools/idsdbdumpall.rb</b>を実行する。(かなり時間がかかる)
 172 これで、文字属性として新たにids, ids-decomposeが加わった。
 173 それぞれ、IDSの文字列、それを再帰的に分解しきったものを意味する。
 174
 175 <p>実用上は差し支えない範囲だが、IDSテキストファイルにはまだ入力されて
 176 いない字もある。<b>./tools/idscheckintegrity.rb</b>を実行する(かなり時
 177 間がかかる)と、IDSの木構造の整合性をチェックし、整合性がとれていない字
 178 を表示する。
 179
 180 <hr>
 181 <h3 class="e">■字形分解</h3>
 182 <p>Stringに、decompose, decompose_allという二つのメソッドがある。
 183 decomposeは一段階だけ分解する。decompose_allはそれを再帰的に行う。
 184 <pre>
 185 p "字".decompose
 186 p "字".decompose_all
 187 p "榊".decompose
 188 p "榊".decompose_all
 189 p "終了".decompose
 190 p "終了".decompose_all
 191 p "鬱".decompose
 192 p "鬱".decompose_all
 193 </pre>
 194
 195 <p>最初の説明から、字形分解されて出てきた結果の文字列には、
 196 IDSキャラクターが含まれているため、場合によってはうまく表示されない。
 197 メモ帳だと表示できるだろう。
 198
 199 <hr>
 200 <h3 class="e">■字形合成</h3>
 201 <p>分解の逆に合成することもできる。ことにしようと思っているが、まだできていない。
 202 <!-- 逆変換、compose機能はまだできていない。-->
 203
 204 </div>
 205
 206 <div class=box>
 207 <h2>■説明</h2>
 208 <p>まじめなメソッドの説明を書く。(未完)
 209 <pre>
 210 class String
 211         char    先頭の文字をCharacterに変換したものを返す
 212 →method_missingで、存在しないmethodを指定すると、自動的に先頭の文字を
 213 Characterに変換してそれへのmethodとして呼ぶ。
 214
 215 class Character
 216         get     ある文字をgetする。(flyweightパターン)
 217         []      ある属性をgetする。get_char_attributeも使える。
 218                 またmethod_missingも使える。
 219         []=     ある属性をputする。put_char_attributeも使える。
 220                 またmethod_missingによる入力も使える。
 221 存在しない属性を参照したときは、nilが返る。
 222 </pre>
 223
 224 <hr>
 225 <h3>■tools</h3>
 226 <p>詳しくは<b>tools/README</b>を参照。
 227 <ul>
 228 <li><b>dbdumpall.rb</b>, char-dbのBDBファイル群の中身をテキストとして展開する。
 229 <li><b>idsdumpall.rb</b>, IDSのテキストファイル群を読みこみ、BDB化する。再帰的に展開したids-decomposeも作る。
 230 <li><b>idscheckintegrity.rb</b>, IDSの木構造の整合性をチェックする。
 231 <li><b>mkdbtarball.rb</b>, UNIXで作ったBDBファイル群をWindowsに持っていくときに使う。
 232 Windowsでtar.gzを展開するには、<a href="http://member.nifty.ne.jp/beambitious/">eo</a>がおすすめ。
 233 <li>trim_bom.rb, Unicodeファイルを作ったときの先頭についてくるBOM(byte order mark)を削除する。
 234 </ul>
 235 </div>
 236
 237 <div class=box>
 238 <h2>■悩みどころ</h2>
 239
 240 <dl>
 241 <dt>iso-2022へのencodeはどう実現すればよいのか?
 242 <dd>Characterはどうencodeするかの属性を持っていて、
 243 XStringはその実際のencodeの処理を行うという分離でいいかな。
 244
 245 <dt>iso-2022-jpの処理はどうすればいいのか?
 246 <dd>iso-2022-jpは行末ではASCIIに戻すという行単位の扱いが必要になるが、
 247 XStringの中からはその判断はできない。
 248 class IOを拡張するのがいいのか?
 249 </dl>
 250
 251 <hr>
 252 <h3>■字形合成</h3>
 253 <dl>
 254
 255 <dt>"+木木"(+はU+2FF0を意味する)という文字列が
 256 あるとして、しかしこれは実は"林"という一文字を表している。
 257 この二重性をどう取り扱うか?
 258 <dd>newされた時点で問答無用で"+木木"を"林"というCharacter一文字に変換
 259 してしまうと、その時点で区別ができなくなってしまう。つまり必要に応じて
 260 composeするべきである。しかしその必要に応じてというのはどのように判定
 261 すればいいのだろうか? 明示的に指定するしかないということか。
 262
 263 <dd>Unicode対応のeditorはどうとりあつかっているのだろうか?
 264 Unicodeの規定によれば、このIDSによって指定された文字列は、合成された文字そのものを
 265 表すと規定されている。合成された文字を表示可能である場合は、IDS自体を表示してはいけない。
 266 逆に合成した文字を表示できない場合は、IDS自体を見えるように表示しないといけない。
 267 とすると、Unicode対応のeditorが適切な文字合成の機能を持っていた場合、
 268 それは合成された結果の文字を表示するのがいいのか? 合成される前の文字列を
 269 表示するのがいいのか? 結局ユーザーが明示して切り替えられるようにするのがいいのか?
 270
 271 <dt>もしエラーが含まれていた場合は?
 272 <dd>"+木".to_x.compose_ids
 273 とした場合は、オペレータの対象が一文字しか無いので、処理できない。
 274 これは例外をraiseするか、元の文字列をそのまま返すか、悩みどころ。
 275
 276 <dt>もし文字が存在しなかった場合は?
 277 <dd>"+林林"とかした場合は、"木"が横に四つ並んでる漢字は存在しない(と思う)ので、
 278 これも例外とするか、元の文字列をそのまま返すか悩みどころ。
 279 どの文字コード体系にも存在しないような文字を表示できる字形合成エンジンがあると
 280 仮定して、そのエンジンに手渡されるまでは、情報が失われないように処理
 281 するべきである。
 282
 283 <dd>また、本来Chaonモデルはこのような「存在しない文字」をとりあつかえるように
 284 するためのモデルなので、こういった文字もシームレスに扱えるようにするべきである。
 285 しかしどのようにすればいいのかわからない。
 286
 287 </dl>
 288
 289 <hr>
 290 <h3 class="e">■Ruby/M17Nとの整合性</h3>
 291 <p>Ruby/M17Nとの整合性をどうとればいいか。
 292 <ul>
 293 <li><a href="http://www.inac.co.jp/~maki/ruby/ruby-i18n.html">M17N/I18N for Ruby</a>
 294 <li><a href="http://www.inac.co.jp/~maki/ruby/matz-000516.html">Matz によるI18Nに関するコメント(2000/05/16) </a>
 295 <li><a href="http://ns1.php.gr.jp/pipermail/php-dev/2002-April/000274.html">高橋征義氏による、Ruby M17Nの解説</a>
 296 <li><a href="http://cvs.ruby-lang.org/~knu/cgi-bin/cvsweb.cgi/ruby/?only_with_tag=ruby_m17n">Ruby/M17N</a>
 297 </ul>
 298
 299 <p>Ruby/M17Nブランチが本体に反映されるのは、ruby-1.8以降が予定されている。
 300
 301 <p>ソースコード中のm17n.c, m17n.hが該当個所。
 302 内部的にはUTF-8として扱えるので、それを拡張すればいいか?
 303 UTF-8の処理への追加という形で実装できる?
 304
 305 </div>
 306
 307 <div class=box>
 308 <a name="links"></a>
 309 <h2 class="e">■links</h2>
 310 <p>
 311 <h3 class="e">■CHISE project</h3>
 312 <ul>
 313 <li><a href="http://cvs.m17n.org/chise/">CHISE project</a>
 314 (<a href="http://www.kanji.zinbun.kyoto-u.ac.jp/projects/chise/">kyoto-u</a>,
 315 <a href="http://mousai.as.wakwak.ne.jp/projects/chise/">mousai</a>)
 316 <li><a href="http://cvs.m17n.org/chise/ruby/index.html.ja.iso-2022-jp">Ruby/CHISE page at CHISE project</a>
 317 <li><a href="http://cvs.m17n.org/cgi-bin/viewcvs/perl/?cvsroot=chise">師茂樹氏 Perl/CHISE → CHISE.pm</a>
 318 </ul>
 319
 320 <h3 class="e">■Ruby</h3>
 321 <ul>
 322 <li><a href="http://www.ruby-lang.org/ja/">Ruby</a>
 323 <li><a href="http://blade.nagaokaut.ac.jp/cgi-bin/scat.rb/ruby/ruby-dev/11450">akr氏によるRuby/CHISE仕様案</a>
 324 <li><a href="http://moulon.inra.fr/ruby/bdb.html">Ruby/BDB</a>
 325 <li><a href="http://www.ruby-lang.org/~eban/ruby/binaries/mingw/ext/">eban氏によるコンパイル済みの拡張ライブラリー</a>
 326 </ul>
 327 </div>
 328
 329 </div>
 330
 331 <address><a href="http://eto.com/"><span class="white">Kouichirou Eto</span></a>, 2003 at eto.com</address>
 332
 333 </body>
 334 </html>