doc/index.html

   1 <html>
   2 <head>
   3 <title>Ruby/CHISE</title>
   4 <link rel="stylesheet" type="text/css" href="style.css">
   5 </head>
   6
   7 <body>
   8 <div class="center">
   9
  10 <h1><span class="e">Ruby/CHISE</span></h1>
  11
  12 <div class=linkbox>
  13 <a href="#download">download</a>,
  14 <a href="#install">install</a>,
  15 <a href="#howto">howto</a>,
  16 <a href="#links">links</a>
  17 </div>
  18
  19 <div class="w40em">
  20
  21 <div class=box>
  22 <h2>■<span class="e">Ruby/CHISE</span>とはなにか</h2>
  23 <p>Ruby/CHISEは、XEmacs CHISEにおけるChaon実装を<br>
  24 Rubyへ移植することを試みたモジュールである。<br>
  25
  26 <h3>■Chaonモデルとはなにか</h3>
  27
  28 <p>Chaonモデルとは、文字を符号ではなく属性によって扱う方法を意味する。
  29 <p>Ruby/CHISEではそれを拡張し、文字をオブジェクトとして扱っている。
  30
  31 </div>
  32
  33 <div class=box>
  34 <a name="download"></a>
  35 <h2 class="e">■download & history</h2>
  36 <ul>
  37 <li>2003-0110   テスト公開
  38 <li>2003-0112   XString追加
  39 <li>2003-0115   IDSの読み込み機能β版
  40 <li>2003-0116   IDSの読み込み機能1.0
  41 <li>2003-0117   XStringを廃止し、Stringに一本化。IDSの読み込み機能を強化。
  42 <li>2003-0120   IDS_Treeの読み込み機能を追加。木構造の整合性checkを追加。
  43 <li>2003-0130   IDSの逆変換機能などを追加。
  44 <li>2003-0213   <a href="http://eto.com/2003/ruby/ruby-chise-20030213.tar.bz2" class="s">ruby-chise-20030213.tar.bz2</a><br>
  45 名称をRuby/UTF-2000からRuby/CHISEへと変更。
  46 </ul>
  47 </div>
  48
  49 <div class=box>
  50 <a name="install"></a>
  51 <h2 class="e">■install</h2>
  52 <p>展開して、<b>make install</b>する。
  53 <p>通常、<b>/usr/local/lib/ruby/site_ruby/</b>以下にinstallされる。
  54
  55 <hr>
  56 <h3 class="e">■config</h3>
  57 <p><b>src/chise.rb</b>内
  58 <p><b>DB_DIR = '/usr/local/lib/xemacs-21.4.10/i686-pc-linux/char-db'</b><br>
  59 必要に応じて変更する。
  60 <p><b>IDS_DB_DIR = '/home/eto/work/chise/ids/''</b><br>
  61 IDSのテキストファイルが置かれているディレクトリーを指す。(下記の字形分解・合成についてを参照)
  62
  63 <hr>
  64 <h3 class="e">■依存関係</h3>
  65 <p>下記のパッケージが必要。
  66 <ul>
  67 <li><a href="http://www.sleepycat.com/" class="b">db3-3.2.9</a>
  68 <li><a href="http://www.ruby-lang.org/~eban/ruby/binaries/mingw/ext/" class="b">bdb-0.3.6</a> (bdb-0.3.8などそれ以上でも可)
  69 <li><a href="http://www.yoshidam.net/Ruby_ja.html#uconv" class="b">uconv-0.4.11</a>
  70 <li><a href="http://www.ruby-lang.org/ja/" class="b">ruby 1.6.7</a> これはRuby本体。
  71 </ul>
  72
  73 <p>一般にRubyのパッケージは
  74 <a href="http://www.ruby-lang.org/raa/"><b>RAA</b></a>を使って探すことができる。
  75
  76 <hr>
  77 <h3 class="e">■Unicode</h3>
  78 <p>現状では、Ruby/CHISEに渡す文字コードはUTF-8のUnicodeにしておくと便利である。
  79 <p>これは望ましいものではなく、将来的にはプログラム自体がSJIS、EUCなどで書かれていても
  80 問題なく処理できるようにする予定である。
  81 <p>WindowsでUnicodeを使えるエディターとして、私はMeadow + Mule-UCSを使っている。
  82 <p>他、Windows付属のメモ帳を使うことができる。
  83 <p>また、見るだけであればIEに落すと表示される。
  84 <p>フリーのUnicode対応エディターとして他にYuditがあるが、まだよく使い方はわからない。
  85 </div>
  86
  87 <div class=box>
  88 <a name="howto"></a>
  89 <h2>■使い方</h2>
  90 <p>
  91
  92 <h3>■全体的な使い方</h3>
  93 <pre>
  94 require 'chise'
  95 include CHISE
  96
  97 str = "字" #Stringを拡張している。UTF8で与えること。
  98 p str.ucs #とすると、その文字のucsの値が表示される
  99 p str.total_strokes #画数が表示される
 100 p str.chinese_gb2312 #などなど
 101 str.char.alist.each {|a, v| #こんな感じで全属性を表示できる
 102   print a, ': ', v, "\n"
 103 }
 104 p str.inspect_x #Characterについての情報が表示される。
 105 p str.inspect_all #持っている属性情報を全て表示する。
 106
 107 str = "文字列" #もちろん一文字でなく文字列も扱える。UTF-8で与える。
 108 p str.inspect_x #各文字の情報が表示される。
 109 p str.inspect_all #各文字の属性情報を全て表示する。
 110 </pre>
 111
 112 <hr>
 113 <h3>■様々な用例案</h3>
 114 <p>下記のような文章を入力、表示できるようになることを例として考える。
 115 <ul>
 116 <li>「電話は中国繁体字だと電話と書き、中国簡体字だと電話と書く」
 117 <li>「吉野屋の吉は、土吉の吉である。」
 118 <li>「高橋さんは高橋さんと表記されるのを嫌う。」
 119 <li>「日本語の骨を、中国簡体字だと骨と書く」
 120 </ul>
 121 <p>が、まだ入力できません。未完成です。
 122 </div>
 123
 124 <div class=box>
 125 <h2>■字形分解・合成</h2>
 126 <p>Ruby/CHISEは、もともと字形分解・合成を扱うために作られたため、その機能が強化されている。
 127
 128 <p>字形分解・合成は、現在はUnicodeにおけるIDS(Ideographic Description Structure)という仕様に準拠している。
 129 U+2FF0〜U+2FFBで表わされるIDC(Ideographic Description Characters)によって合成方法を指定し、
 130 これに続く二文字から三文字の文字を合成して表示する。
 131
 132 <p>これは元々必要な漢字が文字コードに無い場合にその代替物として表記するために考えられた仕様だ。
 133 もし文字表示機能が字形合成に対応している場合は、その合成された字を表示する。
 134 もし字形合成の機能が無い場合は、IDC自体を目に見えるように表示し、
 135 ユーザーの想像力に任せることになる。
 136
 137 <p>実際のところ、IDSを使った字形合成機能を持つ文字表示エンジンが存在するとは聞いたことがない。
 138 そのため現状ではこの仕様は絵に書いた餅になっている。
 139
 140 <p>ここではその仕様を転用し、漢字の字形を指示するために使っている。
 141
 142 <p>ちょっと想像してみればわかるが、IDSはまともな実装が存在していないことからもわかる通り、
 143 普通には使えない仕様である。実際に漢字の字形を合成して表示するといっても、
 144 縦とか横につらなるなどといった単純な情報だけでは不十分で、もっと多様な情報が必要である。
 145 部品間の大きさのバランスなど、ついheuristicな方法で対処できるのではないかと考えてしまいがちだが、
 146 実際に見ておかしくない字を作るためには現状ではまだ人手によってデザインする必要がある。
 147 ここではその仕様を転じて、字形の成立ちを説明するために使っているが、
 148 このような使い道なら使えるようだ。
 149
 150 <hr>
 151 <h3 class="e">■IDSを使うための準備</h3>
 152
 153 <p>下記のようにして、IDSのテキストファイル群を持ってくる。
 154 <pre><small>% cd ~/work/chise (このディレクトリーは適宜変更する)
 155 % cvs -d :pserver:anonymous@cvs.m17n.org:/cvs/root login
 156 password: (何も入れずにただもう一度return)
 157
 158 % cvs -d :pserver:anonymous@cvs.m17n.org:/cvs/chise co -d ids ids
 159 </small></pre>
 160
 161 <p>このようにすると、IDSのテキストファイル群を持ってくることができる。
 162
 163 <p>その後、<b>src/chise.rb</b>内<br>
 164 <b>IDS_DB_DIR = '/home/eto/work/chise/ids/''</b><br>
 165 ここに、上記のIDSテキストファイル群を持ってきたディレクトリーを入れる。
 166 必要であれば、再度<b>make install</b>する。
 167 このようにして適切に<b>IDS_DB_DIR</b>を設定し、
 168 <b>./tools/idsdbdumpall.rb</b>を実行する。(かなり時間がかかる)
 169 これで、文字属性として新たにids, ids-decomposeが加わった。
 170 それぞれ、IDSの文字列、それを再帰的に分解しきったものを意味する。
 171
 172 <p>実用上は差し支えない範囲だが、IDSテキストファイルにはまだ入力されて
 173 いない字もある。<b>./tools/idscheckintegrity.rb</b>を実行する(かなり時
 174 間がかかる)と、IDSの木構造の整合性をチェックし、整合性がとれていない字
 175 を表示する。
 176
 177 <hr>
 178 <h3 class="e">■字形分解</h3>
 179 <p>Stringに、decompose, decompose_allという二つのメソッドがある。
 180 decomposeは一段階だけ分解する。decompose_allはそれを再帰的に行う。
 181 <pre>
 182 p "字".decompose
 183 p "字".decompose_all
 184 p "榊".decompose
 185 p "榊".decompose_all
 186 p "終了".decompose
 187 p "終了".decompose_all
 188 p "鬱".decompose
 189 p "鬱".decompose_all
 190 </pre>
 191
 192 <p>最初の説明から、字形分解されて出てきた結果の文字列には、
 193 IDSキャラクターが含まれているため、場合によってはうまく表示されない。
 194 メモ帳だと表示できるだろう。
 195
 196 <hr>
 197 <h3 class="e">■字形合成</h3>
 198 <p>分解の逆に合成することもできる。ことにしようと思っているが、まだできていない。
 199 <!-- 逆変換、compose機能はまだできていない。-->
 200
 201 </div>
 202
 203 <div class=box>
 204 <h2>■説明</h2>
 205 <p>まじめなメソッドの説明を書く。(未完)
 206 <pre>
 207 class String
 208         char    先頭の文字をCharacterに変換したものを返す
 209 →method_missingで、存在しないmethodを指定すると、自動的に先頭の文字を
 210 Characterに変換してそれへのmethodとして呼ぶ。
 211
 212 class Character
 213         get     ある文字をgetする。(flyweightパターン)
 214         []      ある属性をgetする。get_char_attributeも使える。
 215                 またmethod_missingも使える。
 216         []=     ある属性をputする。put_char_attributeも使える。
 217                 またmethod_missingによる入力も使える。
 218 存在しない属性を参照したときは、nilが返る。
 219 </pre>
 220
 221 <hr>
 222 <h3>■tools</h3>
 223 <p>詳しくは<b>tools/README</b>を参照。
 224 <ul>
 225 <li><b>dbdumpall.rb</b>, char-dbのBDBファイル群の中身をテキストとして展開する。
 226 <li><b>idsdumpall.rb</b>, IDSのテキストファイル群を読みこみ、BDB化する。再帰的に展開したids-decomposeも作る。
 227 <li><b>idscheckintegrity.rb</b>, IDSの木構造の整合性をチェックする。
 228 <li><b>mkdbtarball.rb</b>, UNIXで作ったBDBファイル群をWindowsに持っていくときに使う。
 229 Windowsでtar.gzを展開するには、<a href="http://member.nifty.ne.jp/beambitious/">eo</a>がおすすめ。
 230 <li>trim_bom.rb, Unicodeファイルを作ったときの先頭についてくるBOM(byte order mark)を削除する。
 231 </ul>
 232 </div>
 233
 234 <div class=box>
 235 <h2>■悩みどころ</h2>
 236
 237 <dl>
 238 <dt>iso-2022へのencodeはどう実現すればよいのか?
 239 <dd>Characterはどうencodeするかの属性を持っていて、
 240 XStringはその実際のencodeの処理を行うという分離でいいかな。
 241
 242 <dt>iso-2022-jpの処理はどうすればいいのか?
 243 <dd>iso-2022-jpは行末ではASCIIに戻すという行単位の扱いが必要になるが、
 244 XStringの中からはその判断はできない。
 245 class IOを拡張するのがいいのか?
 246 </dl>
 247
 248 <hr>
 249 <h3>■字形合成</h3>
 250 <dl>
 251
 252 <dt>"+木木"(+はU+2FF0を意味する)という文字列が
 253 あるとして、しかしこれは実は"林"という一文字を表している。
 254 この二重性をどう取り扱うか?
 255 <dd>newされた時点で問答無用で"+木木"を"林"というCharacter一文字に変換
 256 してしまうと、その時点で区別ができなくなってしまう。つまり必要に応じて
 257 composeするべきである。しかしその必要に応じてというのはどのように判定
 258 すればいいのだろうか? 明示的に指定するしかないということか。
 259
 260 <dd>Unicode対応のeditorはどうとりあつかっているのだろうか?
 261 Unicodeの規定によれば、このIDSによって指定された文字列は、合成された文字そのものを
 262 表すと規定されている。合成された文字を表示可能である場合は、IDS自体を表示してはいけない。
 263 逆に合成した文字を表示できない場合は、IDS自体を見えるように表示しないといけない。
 264 とすると、Unicode対応のeditorが適切な文字合成の機能を持っていた場合、
 265 それは合成された結果の文字を表示するのがいいのか? 合成される前の文字列を
 266 表示するのがいいのか? 結局ユーザーが明示して切り替えられるようにするのがいいのか?
 267
 268 <dt>もしエラーが含まれていた場合は?
 269 <dd>"+木".to_x.compose_ids
 270 とした場合は、オペレータの対象が一文字しか無いので、処理できない。
 271 これは例外をraiseするか、元の文字列をそのまま返すか、悩みどころ。
 272
 273 <dt>もし文字が存在しなかった場合は?
 274 <dd>"+林林"とかした場合は、"木"が横に四つ並んでる漢字は存在しない(と思う)ので、
 275 これも例外とするか、元の文字列をそのまま返すか悩みどころ。
 276 どの文字コード体系にも存在しないような文字を表示できる字形合成エンジンがあると
 277 仮定して、そのエンジンに手渡されるまでは、情報が失われないように処理
 278 するべきである。
 279
 280 <dd>また、本来Chaonモデルはこのような「存在しない文字」をとりあつかえるように
 281 するためのモデルなので、こういった文字もシームレスに扱えるようにするべきである。
 282 しかしどのようにすればいいのかわからない。
 283
 284 </dl>
 285
 286 <hr>
 287 <h3 class="e">■Ruby/M17Nとの整合性</h3>
 288 <p>Ruby/M17Nとの整合性をどうとればいいか。
 289 <ul>
 290 <li><a href="http://www.inac.co.jp/~maki/ruby/ruby-i18n.html">M17N/I18N for Ruby</a>
 291 <li><a href="http://www.inac.co.jp/~maki/ruby/matz-000516.html">Matz によるI18Nに関するコメント(2000/05/16) </a>
 292 <li><a href="http://ns1.php.gr.jp/pipermail/php-dev/2002-April/000274.html">高橋征義氏による、Ruby M17Nの解説</a>
 293 <li><a href="http://cvs.ruby-lang.org/~knu/cgi-bin/cvsweb.cgi/ruby/?only_with_tag=ruby_m17n">Ruby/M17N</a>
 294 </ul>
 295
 296 <p>Ruby/M17Nブランチが本体に反映されるのは、ruby-1.8以降が予定されている。
 297
 298 <p>ソースコード中のm17n.c, m17n.hが該当個所。
 299 内部的にはUTF-8として扱えるので、それを拡張すればいいか?
 300 UTF-8の処理への追加という形で実装できる?
 301
 302 </div>
 303
 304 <div class=box>
 305 <a name="links"></a>
 306 <h2 class="e">■links</h2>
 307 <p>
 308 <h3 class="e">■CHISE project</h3>
 309 <ul>
 310 <li><a href="http://cvs.m17n.org/chise/">CHISE project</a>
 311 (<a href="http://www.kanji.zinbun.kyoto-u.ac.jp/projects/chise/">kyoto-u</a>,
 312 <a href="http://mousai.as.wakwak.ne.jp/projects/chise/">mousai</a>)
 313 <li><a href="http://cvs.m17n.org/chise/ruby/index.html.ja.iso-2022-jp">Ruby/CHISE page at CHISE project</a>
 314 <li><a href="http://cvs.m17n.org/cgi-bin/viewcvs/perl/?cvsroot=chise">師茂樹氏 Perl/CHISE → CHISE.pm</a>
 315 </ul>
 316
 317 <h3 class="e">■Ruby</h3>
 318 <ul>
 319 <li><a href="http://www.ruby-lang.org/ja/">Ruby</a>
 320 <li><a href="http://blade.nagaokaut.ac.jp/cgi-bin/scat.rb/ruby/ruby-dev/11450">akr氏によるRuby/CHISE仕様案</a>
 321 <li><a href="http://moulon.inra.fr/ruby/bdb.html">Ruby/BDB</a>
 322 <li><a href="http://www.ruby-lang.org/~eban/ruby/binaries/mingw/ext/">eban氏によるコンパイル済みの拡張ライブラリー</a>
 323 </ul>
 324 </div>
 325
 326 </div>
 327
 328 <address><a href="http://eto.com/"><span class="white">Kouichirou Eto</span></a>, 2003 at eto.com</address>
 329
 330 </body>
 331 </html>