src/chise.rb

   1 #!/usr/bin/env ruby
   2 # Ruby/CHISE module by eto 2002-1114
   3
   4 require 'bdb'
   5 require 'uconv'
   6 require 'singleton'
   7 require 'rbchise'
   8 require 'db'
   9 require 'ids'
  10
  11 $KCODE = 'u' #今のところこれ以外では動かない。String.splitが影響大。inspectも影響。
  12 $debug = false #これはテスト用
  13 $debug = true #これはテスト用
  14 $stdout.binmode if $debug
  15 $stdout.sync = true if $debug
  16
  17 class String #======================================================================
  18   def to_a() self.split(//) end #$KCODEが設定されているので、UTF-8的な一文字づつがchにはいる
  19   def each_char() to_a.each {|ch| yield ch } end
  20   def each_character() to_a.each {|ch| yield ch.char } end
  21   def char_length() to_a.length end
  22   def char_at(n) to_a()[n] end
  23   def char() Character.get(to_a[0]) end
  24   #alias to_c char #悩み中
  25   #def char_id() char.char_id() end #なんとなく廃止
  26   #def get_char_attribute(a) char.get_char_attribute(a) end #なんとなく廃止
  27   #def ucs() char.ucs() end
  28   def to_utf8()
  29     return to_a.map {|ch|
  30       ch.char.to_utf8
  31     }.join('')
  32   end
  33
  34   def map_char(block = Proc.new)
  35     return unless block_given?
  36     return self.to_a.map {|ch| (block.call(ch)).to_s }.join("")
  37   end
  38   def map_char!(block = Proc.new)
  39     return unless block_given?
  40     self.replace(self.map_char {|ch| block.call(ch)})
  41   end
  42   def map_character(block = Proc.new)
  43     return unless block_given?
  44     return self.to_a.map {|ch| (block.call(ch.char)).to_s }.join("")
  45   end
  46   def map_character!(block = Proc.new)
  47     return unless block_given?
  48     self.replace(self.map_char {|ch| block.call(ch.char)})
  49   end
  50
  51   def method_missing(mid, *args)
  52     if char_length == 1 #省略形が有効なのは、一文字の時だけ
  53       char.method_missing(mid, *args)
  54     else
  55       raise NameError, "undefined method `#{mid.id2name}'", caller(1)
  56     end
  57   end
  58
  59   def map_utf8() map_char {|ch| ch.char.map_utf8 } end
  60   alias map_ucs map_utf8
  61   def map_ucs_er() map_char {|ch| ch.char.map_ucs_er } end
  62   def to_er() map_char {|ch| ch.char.to_er } end
  63
  64   #put関係、[]関係は用意しないことにした。
  65   def de_er!() #EntityReferenceを取り除く
  66     return self unless self =~ Regexp.new(EntityReference::REGEXP_PART) #それらしいのが無ければ何もしない
  67     er = "&"+$1+";"
  68     self.sub!(Regexp.new(Regexp.escape(er)), Character.new(er).mcs_utf8) #変換自体はCharacterにまかせる
  69     return self.de_er! if self =~ Regexp.new(EntityReference::REGEXP_PART) #まだあったら再帰
  70     return self
  71   end
  72   def de_er() return self.dup.de_er!; end
  73
  74   def inspect_all() map_char {|ch| ch.char.inspect_all } end
  75   def inspect_x()   map_char {|ch| ch.char.inspect_x   } end
  76
  77   def to_euc()   map_char {|ch| ch.char.to_euc   } end
  78   def map_euc()  map_char {|ch| ch.char.map_euc  } end
  79   def to_sjis()  map_char {|ch| ch.char.to_sjis  } end
  80   def map_sjis() map_char {|ch| ch.char.map_sjis } end
  81
  82   def decompose() map_char {|ch| ch.char.decompose } end
  83   def decompose!() self.replace(self.decompose); self; end
  84   def decompose_all_nu(level=nil)
  85     level = 0 if level.nil?
  86     if 10 < level
  87       p ['too many recursive', self]
  88       exit
  89     end
  90     de = self.decompose
  91     return de.decompose_all(level+1) if de != self #なにか変化があったから再帰
  92     de #もうこれ以上変化は無さそうだぞと。
  93   end
  94   def decompose_all() map_char {|ch| ch.char.decompose_all } end
  95   def decompose_all!() self.replace(self.decompose_all); self; end
  96
  97   def find() #"日雲"→"曇"とかいう感じの操作
  98     ar = []
  99     length = char_length()
 100     each_char {|ch|
 101       char = ch.char
 102       ar << char.ids_contained #その文字を含んでいる漢字のリスト
 103     }
 104     h = Hash.new(0)
 105     ar.each {|list|
 106       next if list.nil?
 107       list.each_char {|ch|
 108         h[ch] += 1
 109       }
 110     }
 111     str = ""
 112     h.each {|k, v|
 113       #      p [k, v]
 114       if length == v #全部に顔を出していたら
 115         str += k
 116       end
 117     }
 118     #    p str
 119     str
 120   end
 121   def compose()
 122     db = CodesysDB.instance
 123     composed = db.get('ids', self)
 124     return "" if composed.nil? #なかったよと。
 125     return "" if composed.char_length == 0 #なにごと?
 126     return composed if composed.char_length == 1
 127     composed.each_char {|ch|
 128       char = ch.char
 129       return ch if char.has_attribute? #とりあえず最初にみつかったものを返すというヌルい仕様
 130     }
 131     return "" #attributeを持つものが一つも無かったら、""にする
 132   end
 133   def aggregate()
 134     #selfである文字列をIDSだと仮定し、それを完全にcomposeしきらないで、
 135     #その部分集合だけをとりだして、compose可能であればできるだけcomposeする。
 136     tree = IDS_Tree.new(self)
 137     return self if tree.depth <= 1 #sub_nodesが無い場合はここでさよなら
 138     tree.sub_nodes.each {|node|
 139       c = node.compose
 140       next if c.nil? || c == ""
 141       #      print "#{self}     #{node} #{c}\n"
 142       #      p [self, node, c]
 143       n = self.gsub(node, c)
 144       return n.aggregate
 145     }
 146     return self #おきかえられるものがまったくなかったら、自分をかえす。
 147   end
 148 end
 149
 150 module CHISE #======================================================================
 151   def windows?()
 152     (RUBY_PLATFORM =~ /cygwin/ || RUBY_PLATFORM =~ /mswin32/ || RUBY_PLATFORM =~ /mingw32/)
 153   end
 154   module_function :windows?
 155   if windows?()
 156     DB_DIR = 'd:/work/chise/char-db' #この後に/sysmtem-char-id/ucsという感じに続く
 157     IDS_DB_DIR = 'd:/work/chise/ids/' #この後にIDS-JIS-X0208-1990.txtという感じに続く
 158   else
 159     DB_DIR = '/usr/local/lib/xemacs-21.4.10/i686-pc-linux/char-db' #この後に/sysmtem-char-id/ucsという感じに続く
 160     IDS_DB_DIR = '/home/eto/work/chise/ids/' #この後にIDS-JIS-X0208-1990.txtという感じに続く
 161   end
 162
 163   class EntityReference #======================================================================
 164     #状況によってどのERに変換するかが異なる可能性があるので、普通のclassとして実装したほうがいい?
 165     CODESYS_TABLE = [
 166       %w( chinese-big5-cdp      CDP- 4 X),
 167       %w( ideograph-daikanwa    M-   5 d),
 168       %w( ideograph-cbeta       CB   5 d),
 169       %w( ideograph-gt          GT-  5 d),
 170       %w( ideograph-gt-k        GT-K 5 d),
 171       %w( japanese-jisx0208-1990 J90- 4 X),
 172       %w( japanese-jisx0208     J83- 4 X),
 173       %w( japanese-jisx0213-1   JX1- 4 X),
 174       %w( japanese-jisx0213-2   JX2- 4 X),
 175       %w( japanese-jisx0212     JSP- 4 X),
 176       %w( japanese-jisx0208-1978 J78- 4 X),
 177       %w( chinese-cns11643-1    C1-  4 X),
 178       %w( chinese-cns11643-2    C2-  4 X),
 179       %w( chinese-cns11643-3    C3-  4 X),
 180       %w( chinese-cns11643-4    C4-  4 X),
 181       %w( chinese-cns11643-5    C5-  4 X),
 182       %w( chinese-cns11643-6    C6-  4 X),
 183       %w( chinese-cns11643-7    C7-  4 X),
 184       %w( korean-ksc5601        K0- 4 X),
 185     ]
 186     CODESYS_ORDER = %w(japanese chinese korean ideograph)
 187     REGEXP_PART = "&([-+0-9A-Za-z#]+);"
 188     REGEXP_ALL = "^#{REGEXP_PART}$"
 189
 190     def self.match?(er) (er =~ Regexp.new(REGEXP_PART)) != nil end
 191
 192     def self.parse(er) #char_idをFIXNUMで返す
 193       return "" unless er =~ Regexp.new(REGEXP_ALL) #なんか、間違ってる?
 194       er = $1 #ついでに中身の部分を取り出す
 195       return $1.hex if er =~ /^MCS-([0-9A-Fa-f]+)/ #MCS
 196       #      if er =~ /^U[-+]?([0-9A-Fa-f]+)/ #Unicode直打ち
 197       if er =~ /^U[-+]?([0-9A-Fa-f]+)/ || er =~ /^#x([0-9A-Fa-f]+)/ #Unicode直打ち
 198         return $1.hex
 199       end
 200
 201       er.sub!(/^I-/, '') if er =~ /^I-/ #I-がついてるとどう違うのかはよくわからない
 202       each_codesys {|codesys, er_prefix, keta, numtype| #p [codesys, er_prefix, keta, numtype]
 203         numtyperegex = '\d' #if numtype == 'd'
 204         numtyperegex = '[0-9A-Fa-f]' if numtype == 'X'
 205         regexpstr = "^#{er_prefix}(#{numtyperegex}{#{keta},#{keta}})$"  #p regexpstr
 206         if er =~ Regexp.new(regexpstr)
 207           codestr = $1
 208           code = codestr.to_i #if numtype == 'd'
 209           code = codestr.hex if numtype == 'X'
 210           char_id_u8 = EntityReference.get_database(codesys, code)
 211           char_id_num = Character.parse_char_id(char_id_u8)
 212           return char_id_num
 213         end
 214       }
 215       return ""
 216     end
 217
 218     def self.each_codesys()
 219       CODESYS_ORDER.each {|lang|
 220         CODESYS_TABLE.each {|codesys, er_prefix, keta, numtype| #普通こういう書き方はしない。ループ一個にする。
 221           next unless codesys =~ lang
 222           yield(codesys, er_prefix, keta, numtype)
 223         }
 224       }
 225     end
 226     def self.get_database(codesys, code)
 227       c = CodesysDB.instance.get(codesys, code)
 228       return c if c != nil
 229       if codesys =~ /-jisx0208/
 230         #return self.get_database("=jis-x0208", code) #再帰でどうだ?
 231         c = CodesysDB.instance.get("=jis-x0208", code)
 232         return c
 233       end
 234       return nil
 235     end
 236   end
 237
 238   class CharacterFactory #============================================文字オブジェクトの生成、cache
 239     include Singleton
 240     MAX = 10000
 241     def initialize
 242       @max = MAX
 243       reset()
 244     end
 245     def get(char_id)
 246       check_max()
 247       n = Character.parse_char_id(char_id)
 248       c = @chars[n]
 249       @chars[n] = Character.new(n) if @chars[n] == nil
 250       return @chars[n]
 251     end
 252     def reset()
 253       @chars = nil
 254       @chars = Hash.new
 255       GC.start #ガーベージコレクション
 256     end
 257     def length() @chars.length; end
 258     def check_max()
 259       reset if @max < @chars.length #MAXを超えたらresetしてしまう。乱暴じゃがcacheなのでこれでいいのだ。
 260     end
 261   end
 262
 263   class Character #=============================================================== 文字オブジェクト
 264     def initialize(char_id=nil)
 265       @char_id = Character.parse_char_id(char_id)
 266       @attributes = Hash.new
 267       @check_all_database = false
 268     end
 269     attr_reader :char_id
 270     def to_i() @char_id end
 271     def mcs_utf8() Character.u4itou8(@char_id) end
 272     def mcs_hex() sprintf("%x", @char_id) end
 273
 274     #----------------------------------------------------------------------
 275     def self.get(char_id) CharacterFactory.instance.get(char_id) end #flyweightパターン
 276
 277     #----------------------------------------------------------------------
 278     def normalize_attribute_name(b)
 279       a = b.dup
 280       a.gsub!(/_/, '-') #underlineは-に置換
 281       a.sub!(/^map-/,  '=>')
 282       a.sub!(/^to-/,   '->')
 283       a.sub!(/^from-/, '<-')
 284       a
 285     end
 286     def get_char_attribute(b) # XEmacs UTF-2000互換API群
 287       a = normalize_attribute_name(b)
 288       #p [a, b]
 289       atr = @attributes[a]
 290       return atr if atr != nil
 291       atr = check_database(a)
 292       @attributes[a] = atr if atr != nil
 293       return get_char_attribute("=jis-x0208") if a =~ /jisx0208/ #ここだけ特殊形
 294       return @attributes[a]
 295     end
 296     def put_char_attribute(b,v)
 297       a = normalize_attribute_name(b)
 298       @attributes[a] = v;
 299       CharDB.instance.put(a, mcs_utf8(), v)
 300     end
 301     def char_attribute_alist() check_all_database(); @attributes; end
 302     def char_attribute_list()  check_all_database(); @attributes.keys; end
 303     alias [] get_char_attribute  #その略称
 304     alias []= put_char_attribute
 305     alias alist char_attribute_alist
 306     alias list  char_attribute_list
 307
 308     def method_missing(mid, *args) #参考:ostruct.rb
 309       mname = mid.id2name
 310       return get_char_attribute(mname) if args.length == 0
 311       put_char_attribute(mname.chop, args[0]) if mname =~ /=$/ #代入
 312     end
 313
 314     def has_attribute?() #意味のあるattributeを持ってますか?
 315       keys = list
 316       keys.delete_if {|k|
 317         k =~ /ids/
 318       }
 319       return (keys.length != 0)
 320     end
 321
 322     #----------------------------------------------------------------------
 323     def ==(ch)
 324       return false if ch == nil
 325       return false unless ch.is_a? Character
 326       self.char_id == ch.char_id
 327     end
 328
 329     #----------------------------------------------------------------------
 330     def self.parse_char_id(char_id) #FIXNUMを返す
 331       return nil if char_id == nil
 332       if char_id.is_a?(Numeric) #p [char_id]
 333         char_id = 0x80000000 + char_id if char_id < 0  #補数表現
 334         return char_id.to_i
 335       elsif char_id.is_a?(String)
 336         return char_id.to_i if char_id =~ /^\d+$/ && 1 < char_id.length #文字列による数字だったら数値化してreturn
 337         return EntityReference.parse(char_id) if char_id =~ Regexp.new(EntityReference::REGEXP_ALL) #実体参照?
 338         char_id.sub!(/^\?/, '') if char_id =~ /^\?/ #もし先頭に?がついていたら削除
 339         #このへん本当はもっとちゃんとチェックするべし
 340         begin
 341           u4 = Uconv.u8tou4(char_id) #UCS-4文字列に変換
 342         rescue
 343           p $!
 344           p char_id
 345           return 0
 346         end
 347         return Character.u4tou4i(u4) #UCS-4数値にしてreturn
 348       else
 349         raise ArgumentError, "unknown object for char_id", caller(1)
 350       end
 351     end
 352     def self.u4tou4i(u4)
 353       return 0 if u4 == nil || u4 == ""
 354       return (u4[3] << 24 | u4[2] << 16 | u4[1] << 8 | u4[0]) #UCS-4数値にしてreturn
 355     end
 356     def self.u4itou4(num)
 357       return "" unless num.is_a?(Integer)
 358       return sprintf("%c%c%c%c", num&0xff, (num >> 8)&0xff, (num >> 16)&0xff, (num >> 24)&0xff) #UCS-4数値を文字列にしてreturn
 359     end
 360     def self.u4itou8(char_id) #ucsの数値を受けとり、UTF-8の文字一文字を返す
 361       begin
 362         u4 = Character.u4itou4(char_id)
 363         u8 = Uconv.u4tou8(u4)
 364         return u8
 365       rescue
 366         #raise ArgumentError, "invalid char_id (#{char_id})", caller(1)
 367         #print "error\n"
 368         return ""
 369       end
 370     end
 371
 372     #----------------------------------------------------------------------
 373     def check_database(a)
 374       db = CharDB.instance
 375       u8 = mcs_utf8()
 376       v = db.get(a, u8) #u8で表される文字のaアトリビュートを調べる。
 377       return v
 378     end
 379     def check_all_database() #現在の@char_idから、文字データベースを参照する
 380       return if @check_all_database
 381       return if @char_id == nil
 382       db = CharDB.instance
 383       u8 = mcs_utf8()
 384       atrs = db.get_all(u8) #u8で表される文字のアトリビュートを全部持ってこい
 385       atrs.each {|a,v|
 386         @attributes[a] = v #とかいう感じで代入するのでええかな?
 387       }
 388       @check_all_database = true #重い処理なので一応checkする
 389     end
 390
 391     #----------------------------------------------------------------------
 392     def ucs()      #p 'ucs'
 393       #ar = %w{ucs ucs-big5 ucs-cdp ucs-cns ucs-jis ucs-ks =>ucs =>ucs* =>ucs-jis}
 394       #ar = %w{ucs ucs-jis ucs-big5 ucs-cdp ucs-cns ucs-ks =>ucs =>ucs* =>ucs-jis}
 395       ar = %w{ucs-jis ucs =>ucs-jis}
 396       #並び順は恣意的で、ucs-jisを先に出している。本来はこれも指定できるようにするべき。
 397       ar.each {|a|      #p [a]
 398         u = get_char_attribute(a)
 399         return u if u != nil
 400       }
 401       return nil
 402     end
 403
 404     #----------------------------------------------------------------------CCS関係
 405     def to_utf8() Uconv.u4tou8(Character.u4itou4(ucs())) end #UTF8文字列を返す
 406     #alias to_s to_utf8
 407     alias to_s mcs_utf8
 408     def map_utf8()
 409       u = ucs()
 410       if u.nil? || 0xffff < u
 411         return to_er()
 412       else
 413         return to_utf8()
 414       end
 415     end
 416     alias map_ucs map_utf8
 417     def map_ucs_er()
 418       u = ucs()
 419       if u.nil? || 0xffff < u
 420         return to_er()
 421       else
 422         return Character.get(u).to_er()
 423       end
 424     end
 425     def to_euc()
 426       u = ucs()
 427       return "" if u.nil? || 0xffff < u
 428       Uconv.u16toeuc(Uconv.u4tou16(Character.u4itou4(ucs())))
 429     end
 430     def map_euc()
 431       e = to_euc()
 432       return e if e != ""
 433       return to_er()
 434     end
 435     def to_sjis()
 436       u = ucs()
 437       return "" if u.nil? || 0xffff < u
 438       Uconv.u16tosjis(Uconv.u4tou16(Character.u4itou4(ucs())))
 439     end
 440     def map_sjis()
 441       e = to_sjis()
 442       return e if e != ""
 443       return to_er()
 444     end
 445
 446     #----------------------------------------------------------------------
 447     def to_er(codesys=nil) #実体参照を返す、希望するcodesysが引数(未実装)
 448       return "" if @char_id == nil
 449       return sprintf("&#x%04x;", @char_id) if @char_id <= 0xffff
 450       return sprintf("&#x%05x;", @char_id) if @char_id <= 0xfffff
 451       EntityReference.each_codesys {|codesys, er_prefix, keta, numtype|
 452         code = self[codesys]
 453         next if code == nil
 454         return sprintf("&#{er_prefix}%0#{keta}#{numtype};", code)
 455       }
 456       return sprintf("&MCS-%08X;", @char_id) #本当はこれは無しにしたい
 457     end
 458     def to_er_list()
 459       ar = []
 460       EntityReference.each_codesys {|codesys, er_prefix, keta, numtype|
 461         er = to_er(codesys)
 462         ar << er if er != nil
 463       }
 464       ar
 465     end
 466
 467     def inspect_x()
 468       return "<>" if @char_id == nil
 469       ar = [to_utf8(), to_er().sub(/^&/,'').chop]
 470       "<"+ar.join(',')+">"
 471     end
 472     alias inspect inspect_x
 473     def inspect_all_codesys() #未完成
 474       #to_erを全てのcodesysにおいて実行する。その結果をコンパクトにまとめる
 475     end
 476     def inspect_all()
 477       ar = [inspect.chop]
 478       alist.to_a.sort.each {|a, v| ar << "#{a}:#{v}" }
 479       return ar.join(',')+">"
 480     end
 481     def dump_all()
 482       ar = [inspect]
 483       alist.to_a.sort.each {|a, v| ar << "#{a}:#{v}" }
 484       return ar.join('\n')+'\n'
 485     end
 486     def get_attributes()
 487       str = ""
 488       alist.to_a.sort.each {|a, v|
 489         str += "#{a}: #{v}\n"
 490       }
 491       str
 492     end
 493
 494     def inspect_ids(hex_flag=false)
 495       ids = decompose
 496       ar = []
 497       ar << (hex_flag ? "x"+mcs_hex : to_utf8)
 498       if to_s != ids #idsが部品そのものだったら部品追加はしない
 499         ids.each_char {|ch|
 500           char = ch.char
 501           next if char.is_ids?
 502           if hex_flag then
 503             ar << "x"+char.mcs_hex
 504           else
 505             u = char.to_utf8
 506             if u != ""
 507               ar << u
 508             else
 509               ar << char.to_er
 510             end
 511           end
 512         }
 513       end
 514       return "("+ar.join("\t")+")"
 515     end
 516
 517     #----------------------------------------------------------------------IDS関係
 518     def decompose
 519       k = self.to_s
 520       #       idss = self['ids']
 521       #       return idss if idss
 522       #       return k if self.is_basic_kanji? #基本漢字はstop kanjiとするぞと。
 523       return self['ids-represent'] if self['ids-represent'] #ids_representを持っている場合はその値とする。
 524       return self['ids-element'] if self['ids-element'] #ids_elementを持っている場合はその値とする。
 525
 526       idss = self['ids-meaning']
 527       return idss if idss != nil && 0 < idss.length && k != idss
 528       idss = self['ids-aggregated']
 529       return idss if idss != nil && 0 < idss.length && k != idss
 530       idss = self['ids']
 531       return idss if idss != nil && 0 < idss.length && k != idss
 532       return k
 533       #       return k if idss.nil? || idss.length == 0 || k == idss
 534       #       if idss.char_length == 2
 535       # p ['What???', k, idss, k.inspect_all]
 536       #  #return idssx[1] #二個目だけ返すとか?
 537       #  return k #IDSに展開する方法が無いと。
 538       #       end
 539       #       return k if k == idss
 540       #       if idss.include?(k) #<C5-4C4D><C6-4A37>この二文字のBUG対策
 541       #  #return idss.sub(k, '')
 542       #  return k #IDSに展開する方法が無いと。
 543       #       end
 544       #       return idss
 545     end
 546     def decompose_all
 547       pde = ""
 548       de = self.decompose #出発点
 549       level = 0
 550       while true
 551         pde = de
 552         de = pde.decompose #もう一度分解をしてみる。
 553         break if pde == de #ループを抜けだす
 554         exit if 10 < level #p ['too many recursive', self]
 555         level += 1
 556       end
 557       return de
 558     end
 559     def decompose_all_nu(level=nil)
 560       level = 0 if level.nil?
 561       if 10 < level
 562         p ['too many recursive', self]
 563         exit
 564       end
 565       de = self.decompose
 566       return de.decompose_all(level+1) if de != self #なにか変化があったから再帰
 567       return de #もうこれ以上変化は無さそうだぞと。
 568     end
 569     def is_ids?() 0x2ff0 <= @char_id && @char_id <= 0x2fff end
 570     def ids_operator_argc()
 571       return 0 unless is_ids?
 572       return 3 if @char_id == 0x2ff2 || @char_id == 0x2ff3
 573       return 2
 574     end
 575   end
 576
 577 end
 578
 579 #----------------------------------------------------------------------終了