src/chise.rb

   1 #!/usr/bin/env ruby
   2 # Ruby/CHISE module by eto 2002-1114
   3
   4 require 'bdb'
   5 require 'uconv'
   6 require 'singleton'
   7 require 'rbchise'
   8 require 'db'
   9 require 'ids'
  10
  11 $KCODE = 'u' #今のところこれ以外では動かない。String.splitが影響大。inspectも影響。
  12 $debug = false #これはテスト用
  13 $debug = true #これはテスト用
  14 $stdout.binmode if $debug
  15 $stdout.sync = true if $debug
  16
  17 class String #======================================================================
  18   def to_a() self.split(//) end #$KCODEが設定されているので、UTF-8的な一文字づつがchにはいる
  19   def each_char() to_a.each {|ch| yield ch } end
  20   def each_character() to_a.each {|ch| yield ch.char } end
  21   def char_length() to_a.length end
  22   def char_at(n) to_a()[n] end
  23   def char() Character.get(to_a[0]) end
  24   #alias to_c char #悩み中
  25   #def char_id() char.char_id() end #なんとなく廃止
  26   #def get_char_attribute(a) char.get_char_attribute(a) end #なんとなく廃止
  27   #def ucs() char.ucs() end
  28   def to_utf8()
  29     return to_a.map {|ch|
  30       ch.char.to_utf8
  31     }.join('')
  32   end
  33
  34   def map_char(block = Proc.new)
  35     return unless block_given?
  36     return self.to_a.map {|ch| (block.call(ch)).to_s }.join("")
  37   end
  38   def map_char!(block = Proc.new)
  39     return unless block_given?
  40     self.replace(self.map_char {|ch| block.call(ch)})
  41   end
  42   def map_character(block = Proc.new)
  43     return unless block_given?
  44     return self.to_a.map {|ch| (block.call(ch.char)).to_s }.join("")
  45   end
  46   def map_character!(block = Proc.new)
  47     return unless block_given?
  48     self.replace(self.map_char {|ch| block.call(ch.char)})
  49   end
  50
  51   def method_missing(mid, *args)
  52     if char_length == 1 #省略形が有効なのは、一文字の時だけ
  53       char.method_missing(mid, *args)
  54     else
  55       raise NameError, "undefined method `#{mid.id2name}'", caller(1)
  56     end
  57   end
  58
  59   def map_utf8() map_char {|ch| ch.char.map_utf8 } end
  60   alias map_ucs map_utf8
  61   def map_ucs_er() map_char {|ch| ch.char.map_ucs_er } end
  62   def to_er() map_char {|ch| ch.char.to_er } end
  63
  64   #put関係、[]関係は用意しないことにした。
  65   def de_er!() #EntityReferenceを取り除く
  66     return self unless self =~ Regexp.new(EntityReference::REGEXP_PART) #それらしいのが無ければ何もしない
  67     er = "&"+$1+";"
  68     self.sub!(Regexp.new(Regexp.escape(er)), Character.new(er).mcs_utf8) #変換自体はCharacterにまかせる
  69     return self.de_er! if self =~ Regexp.new(EntityReference::REGEXP_PART) #まだあったら再帰
  70     return self
  71   end
  72   def de_er() return self.dup.de_er!; end
  73
  74   def inspect_all() map_char {|ch| ch.char.inspect_all } end
  75   def inspect_x()   map_char {|ch| ch.char.inspect_x   } end
  76
  77   def to_euc()   map_char {|ch| ch.char.to_euc   } end
  78   def map_euc()  map_char {|ch| ch.char.map_euc  } end
  79   def to_sjis()  map_char {|ch| ch.char.to_sjis  } end
  80   def map_sjis() map_char {|ch| ch.char.map_sjis } end
  81
  82   def decompose() map_char {|ch| ch.char.decompose } end
  83   def decompose!() self.replace(self.decompose); self; end
  84   def decompose_all_nu(level=nil)
  85     level = 0 if level.nil?
  86     if 10 < level
  87       p ['too many recursive', self]
  88       exit
  89     end
  90     de = self.decompose
  91     return de.decompose_all(level+1) if de != self #なにか変化があったから再帰
  92     de #もうこれ以上変化は無さそうだぞと。
  93   end
  94   def decompose_all() map_char {|ch| ch.char.decompose_all } end
  95   def decompose_all!() self.replace(self.decompose_all); self; end
  96
  97   def find() #"日雲"→"曇"とかいう感じの操作
  98     ar = []
  99     length = char_length()
 100     each_char {|ch|
 101       char = ch.char
 102       ar << char.ids_contained #その文字を含んでいる漢字のリスト
 103     }
 104     h = Hash.new(0)
 105     ar.each {|list|
 106       next if list.nil?
 107       list.each_char {|ch|
 108         h[ch] += 1
 109       }
 110     }
 111     str = ""
 112     h.each {|k, v|
 113       #      p [k, v]
 114       if length == v #全部に顔を出していたら
 115         str += k
 116       end
 117     }
 118     #    p str
 119     str
 120   end
 121   def compose()
 122     db = CodesysDB.instance
 123     composed = db.get('ids', self)
 124     return "" if composed.nil? #なかったよと。
 125     return "" if composed.char_length == 0 #なにごと?
 126     return composed if composed.char_length == 1
 127     composed.each_char {|ch|
 128       char = ch.char
 129       return ch if char.has_attribute? #とりあえず最初にみつかったものを返すというヌルい仕様
 130     }
 131     return "" #attributeを持つものが一つも無かったら、""にする
 132   end
 133   def aggregate()
 134     #selfである文字列をIDSだと仮定し、それを完全にcomposeしきらないで、
 135     #その部分集合だけをとりだして、compose可能であればできるだけcomposeする。
 136     tree = IDS_Tree.new(self)
 137     return self if tree.depth <= 1 #sub_nodesが無い場合はここでさよなら
 138     tree.sub_nodes.each {|node|
 139       c = node.compose
 140       next if c.nil? || c == ""
 141       #      print "#{self}     #{node} #{c}\n"
 142       #      p [self, node, c]
 143       n = self.gsub(node, c)
 144       return n.aggregate
 145     }
 146     return self #おきかえられるものがまったくなかったら、自分をかえす。
 147   end
 148 end
 149
 150 module CHISE #======================================================================
 151   def windows?()
 152     (RUBY_PLATFORM =~ /cygwin/ || RUBY_PLATFORM =~ /mswin32/ || RUBY_PLATFORM =~ /mingw32/)
 153   end
 154   module_function :windows?
 155   if windows?()
 156     DB_DIR = 'd:/work/chise/char-db' #この後に/sysmtem-char-id/ucsという感じに続く
 157     IDS_DB_DIR = 'd:/work/chise/ids/' #この後にIDS-JIS-X0208-1990.txtという感じに続く
 158   else
 159     DB_DIR = '/usr/local/lib/xemacs-21.4.10/i686-pc-linux/char-db' #この後に/sysmtem-char-id/ucsという感じに続く
 160     IDS_DB_DIR = '/home/eto/work/chise/ids/' #この後にIDS-JIS-X0208-1990.txtという感じに続く
 161   end
 162
 163   class EntityReference #======================================================================
 164     #状況によってどのERに変換するかが異なる可能性があるので、普通のclassとして実装したほうがいい?
 165     CODESYS_TABLE = [
 166       %w( chinese-big5-cdp      CDP- 4 X),
 167       %w( ideograph-daikanwa    M-   5 d),
 168       %w( ideograph-cbeta       CB   5 d),
 169       %w( ideograph-gt          GT-  5 d),
 170       %w( ideograph-gt-k        GT-K 5 d),
 171       %w( japanese-jisx0208-1990 J90- 4 X),
 172       %w( japanese-jisx0208     J83- 4 X),
 173       %w( japanese-jisx0213-1   JX1- 4 X),
 174       %w( japanese-jisx0213-2   JX2- 4 X),
 175       %w( japanese-jisx0212     JSP- 4 X),
 176       %w( japanese-jisx0208-1978 J78- 4 X),
 177       %w( chinese-cns11643-1    C1-  4 X),
 178       %w( chinese-cns11643-2    C2-  4 X),
 179       %w( chinese-cns11643-3    C3-  4 X),
 180       %w( chinese-cns11643-4    C4-  4 X),
 181       %w( chinese-cns11643-5    C5-  4 X),
 182       %w( chinese-cns11643-6    C6-  4 X),
 183       %w( chinese-cns11643-7    C7-  4 X),
 184       %w( korean-ksc5601        K0- 4 X),
 185     ]
 186     CODESYS_ORDER = %w(japanese chinese korean ideograph)
 187     REGEXP_PART = "&([-+0-9A-Za-z#]+);"
 188     REGEXP_ALL = "^#{REGEXP_PART}$"
 189
 190     def self.match?(er) (er =~ Regexp.new(REGEXP_PART)) != nil end
 191
 192     def self.parse(er) #char_idをFIXNUMで返す
 193       return "" unless er =~ Regexp.new(REGEXP_ALL) #なんか、間違ってる?
 194       er = $1 #ついでに中身の部分を取り出す
 195       return $1.hex if er =~ /^MCS-([0-9A-Fa-f]+)/ #MCS
 196       #      if er =~ /^U[-+]?([0-9A-Fa-f]+)/ #Unicode直打ち
 197       if er =~ /^U[-+]?([0-9A-Fa-f]+)/ || er =~ /^#x([0-9A-Fa-f]+)/ #Unicode直打ち
 198         return $1.hex
 199       end
 200
 201       er.sub!(/^I-/, '') if er =~ /^I-/ #I-がついてるとどう違うのかはよくわからない
 202       each_codesys {|codesys, er_prefix, keta, numtype| #p [codesys, er_prefix, keta, numtype]
 203         numtyperegex = '\d' #if numtype == 'd'
 204         numtyperegex = '[0-9A-Fa-f]' if numtype == 'X'
 205         regexpstr = "^#{er_prefix}(#{numtyperegex}{#{keta},#{keta}})$"  #p regexpstr
 206         if er =~ Regexp.new(regexpstr)
 207           codestr = $1
 208           code = codestr.to_i #if numtype == 'd'
 209           code = codestr.hex if numtype == 'X'
 210           char_id_u8 = EntityReference.get_database(codesys, code)
 211           char_id_num = Character.parse_char_id(char_id_u8)
 212           return char_id_num
 213         end
 214       }
 215       return ""
 216     end
 217
 218     def self.each_codesys()
 219       CODESYS_ORDER.each {|lang|
 220         CODESYS_TABLE.each {|codesys, er_prefix, keta, numtype| #普通こういう書き方はしない。ループ一個にする。
 221           next unless codesys =~ lang
 222           yield(codesys, er_prefix, keta, numtype)
 223         }
 224       }
 225     end
 226     def self.get_database(codesys, code)
 227       c = CodesysDB.instance.get(codesys, code)
 228       return c if c != nil
 229       if codesys =~ /-jisx0208/
 230         #return self.get_database("=jis-x0208", code) #再帰でどうだ?
 231         c = CodesysDB.instance.get("=jis-x0208", code)
 232         return c
 233       end
 234       return nil
 235     end
 236   end
 237
 238   class CharacterFactory #============================================文字オブジェクトの生成、cache
 239     include Singleton
 240     MAX = 10000
 241     def initialize
 242       @max = MAX
 243       reset()
 244     end
 245     def get(char_id)
 246       check_max()
 247       n = Character.parse_char_id(char_id)
 248       c = @chars[n]
 249       @chars[n] = Character.new(n) if @chars[n] == nil
 250       return @chars[n]
 251     end
 252     def reset()
 253       @chars = nil
 254       @chars = Hash.new
 255       GC.start #ガーベージコレクション
 256     end
 257     def length() @chars.length; end
 258     def check_max()
 259       reset if @max < @chars.length #MAXを超えたらresetしてしまう。乱暴じゃがcacheなのでこれでいいのだ。
 260     end
 261   end
 262
 263   class Character #=============================================================== 文字オブジェクト
 264     def initialize(char_id=nil)
 265       @char_id = Character.parse_char_id(char_id)
 266       @attributes = Hash.new
 267       @check_all_database = false
 268     end
 269     attr_reader :char_id
 270     def to_i() @char_id end
 271     def mcs_utf8() Character.u4itou8(@char_id) end
 272     def mcs_hex() sprintf("%x", @char_id) end
 273
 274     #----------------------------------------------------------------------
 275     def self.get(char_id) CharacterFactory.instance.get(char_id) end #flyweightパターン
 276
 277     #----------------------------------------------------------------------
 278     def normalize_attribute_name(b)
 279       a = b.dup
 280       a.gsub!(/_/, '-') #underlineは-に置換
 281       a.sub!(/-at-/,  '@')
 282       a.sub!(/^map-/,  '=>')
 283       a.sub!(/^to-/,   '->')
 284       a.sub!(/^from-/, '<-')
 285       a
 286     end
 287     def get_char_attribute(b) # XEmacs UTF-2000互換API群
 288       a = normalize_attribute_name(b)
 289       #p [a, b]
 290       atr = @attributes[a]
 291       return atr if atr
 292       atr = check_database(a)
 293       if atr
 294         @attributes[a] = atr
 295         return atr
 296       end
 297       return get_char_attribute("="+a) unless a =~ /^=/ #頭に=がついてない場合はそれが省略されていることを仮定して、再帰する
 298       nil
 299     end
 300     def put_char_attribute(b,v)
 301       a = normalize_attribute_name(b)
 302       @attributes[a] = v;
 303       CharDB.instance.put(a, mcs_utf8(), v)
 304     end
 305     def char_attribute_alist() check_all_database(); @attributes; end
 306     def char_attribute_list()  check_all_database(); @attributes.keys; end
 307     alias [] get_char_attribute  #その略称
 308     alias []= put_char_attribute
 309     alias alist char_attribute_alist
 310     alias list  char_attribute_list
 311
 312     def method_missing(mid, *args) #参考:ostruct.rb
 313       mname = mid.id2name
 314       return get_char_attribute(mname) if args.length == 0
 315       put_char_attribute(mname.chop, args[0]) if mname =~ /=$/ #代入
 316     end
 317
 318     def has_attribute?() #意味のあるattributeを持ってますか?
 319       keys = list
 320       keys.delete_if {|k|
 321         k =~ /ids/
 322       }
 323       return (keys.length != 0)
 324     end
 325
 326     #----------------------------------------------------------------------
 327     def ==(ch)
 328       return false if ch == nil
 329       return false unless ch.is_a? Character
 330       self.char_id == ch.char_id
 331     end
 332
 333     #----------------------------------------------------------------------
 334     def self.parse_char_id(char_id) #FIXNUMを返す
 335       return nil if char_id == nil
 336       if char_id.is_a?(Numeric) #p [char_id]
 337         char_id = 0x80000000 + char_id if char_id < 0  #補数表現
 338         return char_id.to_i
 339       elsif char_id.is_a?(String)
 340         return char_id.to_i if char_id =~ /^\d+$/ && 1 < char_id.length #文字列による数字だったら数値化してreturn
 341         return EntityReference.parse(char_id) if char_id =~ Regexp.new(EntityReference::REGEXP_ALL) #実体参照?
 342         char_id.sub!(/^\?/, '') if char_id =~ /^\?/ #もし先頭に?がついていたら削除
 343         #このへん本当はもっとちゃんとチェックするべし
 344         begin
 345           u4 = Uconv.u8tou4(char_id) #UCS-4文字列に変換
 346         rescue
 347           p $!
 348           p char_id
 349           return 0
 350         end
 351         return Character.u4tou4i(u4) #UCS-4数値にしてreturn
 352       else
 353         raise ArgumentError, "unknown object for char_id", caller(1)
 354       end
 355     end
 356     def self.u4tou4i(u4)
 357       return 0 if u4 == nil || u4 == ""
 358       return (u4[3] << 24 | u4[2] << 16 | u4[1] << 8 | u4[0]) #UCS-4数値にしてreturn
 359     end
 360     def self.u4itou4(num)
 361       return "" unless num.is_a?(Integer)
 362       return sprintf("%c%c%c%c", num&0xff, (num >> 8)&0xff, (num >> 16)&0xff, (num >> 24)&0xff) #UCS-4数値を文字列にしてreturn
 363     end
 364     def self.u4itou8(char_id) #ucsの数値を受けとり、UTF-8の文字一文字を返す
 365       begin
 366         u4 = Character.u4itou4(char_id)
 367         u8 = Uconv.u4tou8(u4)
 368         return u8
 369       rescue
 370         #raise ArgumentError, "invalid char_id (#{char_id})", caller(1)
 371         #print "error\n"
 372         return ""
 373       end
 374     end
 375
 376     #----------------------------------------------------------------------
 377     def check_database(a)
 378       db = CharDB.instance
 379       u8 = mcs_utf8()
 380       v = db.get(a, u8) #u8で表される文字のaアトリビュートを調べる。
 381       return v
 382     end
 383     def check_all_database() #現在の@char_idから、文字データベースを参照する
 384       return if @check_all_database
 385       return if @char_id == nil
 386       db = CharDB.instance
 387       u8 = mcs_utf8()
 388       atrs = db.get_all(u8) #u8で表される文字のアトリビュートを全部持ってこい
 389       atrs.each {|a,v|
 390         @attributes[a] = v #とかいう感じで代入するのでええかな?
 391       }
 392       @check_all_database = true #重い処理なので一応checkする
 393     end
 394
 395     #----------------------------------------------------------------------
 396     def ucs()      #p 'ucs'
 397       #ar = %w{ucs ucs-big5 ucs-cdp ucs-cns ucs-jis ucs-ks =>ucs =>ucs* =>ucs-jis}
 398       #ar = %w{ucs ucs-jis ucs-big5 ucs-cdp ucs-cns ucs-ks =>ucs =>ucs* =>ucs-jis}
 399       ar = %w{ucs-jis ucs =>ucs-jis}
 400       #並び順は恣意的で、ucs-jisを先に出している。本来はこれも指定できるようにするべき。
 401       ar.each {|a|      #p [a]
 402         u = get_char_attribute(a)
 403         return u if u != nil
 404       }
 405       return nil
 406     end
 407
 408     #----------------------------------------------------------------------CCS関係
 409     def to_utf8() Uconv.u4tou8(Character.u4itou4(ucs())) end #UTF8文字列を返す
 410     #alias to_s to_utf8
 411     alias to_s mcs_utf8
 412     def map_utf8()
 413       u = ucs()
 414       if u.nil? || 0xffff < u
 415         return to_er()
 416       else
 417         return to_utf8()
 418       end
 419     end
 420     alias map_ucs map_utf8
 421     def map_ucs_er()
 422       u = ucs()
 423       if u.nil? || 0xffff < u
 424         return to_er()
 425       else
 426         return Character.get(u).to_er()
 427       end
 428     end
 429     def to_euc()
 430       u = ucs()
 431       return "" if u.nil? || 0xffff < u
 432       Uconv.u16toeuc(Uconv.u4tou16(Character.u4itou4(ucs())))
 433     end
 434     def map_euc()
 435       e = to_euc()
 436       return e if e != ""
 437       return to_er()
 438     end
 439     def to_sjis()
 440       u = ucs()
 441       return "" if u.nil? || 0xffff < u
 442       Uconv.u16tosjis(Uconv.u4tou16(Character.u4itou4(ucs())))
 443     end
 444     def map_sjis()
 445       e = to_sjis()
 446       return e if e != ""
 447       return to_er()
 448     end
 449
 450     #----------------------------------------------------------------------
 451     def to_er(codesys=nil) #実体参照を返す、希望するcodesysが引数(未実装)
 452       return "" if @char_id == nil
 453       return sprintf("&#x%04x;", @char_id) if @char_id <= 0xffff
 454       return sprintf("&#x%05x;", @char_id) if @char_id <= 0xfffff
 455       EntityReference.each_codesys {|codesys, er_prefix, keta, numtype|
 456         code = self[codesys]
 457         next if code == nil
 458         return sprintf("&#{er_prefix}%0#{keta}#{numtype};", code)
 459       }
 460       return sprintf("&MCS-%08X;", @char_id) #本当はこれは無しにしたい
 461     end
 462     def to_er_list()
 463       ar = []
 464       EntityReference.each_codesys {|codesys, er_prefix, keta, numtype|
 465         er = to_er(codesys)
 466         ar << er if er != nil
 467       }
 468       ar
 469     end
 470
 471     def inspect_x()
 472       return "<>" if @char_id == nil
 473       ar = [to_utf8(), to_er().sub(/^&/,'').chop]
 474       "<"+ar.join(',')+">"
 475     end
 476     alias inspect inspect_x
 477     def inspect_all_codesys() #未完成
 478       #to_erを全てのcodesysにおいて実行する。その結果をコンパクトにまとめる
 479     end
 480     def inspect_all()
 481       ar = [inspect.chop]
 482       alist.to_a.sort.each {|a, v| ar << "#{a}:#{v}" }
 483       return ar.join(',')+">"
 484     end
 485     def dump_all()
 486       ar = [inspect]
 487       alist.to_a.sort.each {|a, v| ar << "#{a}:#{v}" }
 488       return ar.join('\n')+'\n'
 489     end
 490     def get_attributes()
 491       str = ""
 492       alist.to_a.sort.each {|a, v|
 493         str += "#{a}: #{v}\n"
 494       }
 495       str
 496     end
 497
 498     def inspect_ids(hex_flag=false)
 499       ids = decompose
 500       ar = []
 501       ar << (hex_flag ? "x"+mcs_hex : to_utf8)
 502       if to_s != ids #idsが部品そのものだったら部品追加はしない
 503         ids.each_char {|ch|
 504           char = ch.char
 505           next if char.is_ids?
 506           if hex_flag then
 507             ar << "x"+char.mcs_hex
 508           else
 509             u = char.to_utf8
 510             if u != ""
 511               ar << u
 512             else
 513               ar << char.to_er
 514             end
 515           end
 516         }
 517       end
 518       return "("+ar.join("\t")+")"
 519     end
 520
 521     #----------------------------------------------------------------------IDS関係
 522     def decompose
 523       k = self.to_s
 524       #       idss = self['ids']
 525       #       return idss if idss
 526       #       return k if self.is_basic_kanji? #基本漢字はstop kanjiとするぞと。
 527       return self['ids-represent'] if self['ids-represent'] #ids_representを持っている場合はその値とする。
 528       return self['ids-element'] if self['ids-element'] #ids_elementを持っている場合はその値とする。
 529
 530       idss = self['ids-meaning']
 531       return idss if idss != nil && 0 < idss.length && k != idss
 532       idss = self['ids-aggregated']
 533       return idss if idss != nil && 0 < idss.length && k != idss
 534       idss = self['ids']
 535       return idss if idss != nil && 0 < idss.length && k != idss
 536       return k
 537       #       return k if idss.nil? || idss.length == 0 || k == idss
 538       #       if idss.char_length == 2
 539       # p ['What???', k, idss, k.inspect_all]
 540       #  #return idssx[1] #二個目だけ返すとか?
 541       #  return k #IDSに展開する方法が無いと。
 542       #       end
 543       #       return k if k == idss
 544       #       if idss.include?(k) #<C5-4C4D><C6-4A37>この二文字のBUG対策
 545       #  #return idss.sub(k, '')
 546       #  return k #IDSに展開する方法が無いと。
 547       #       end
 548       #       return idss
 549     end
 550     def decompose_all
 551       pde = ""
 552       de = self.decompose #出発点
 553       level = 0
 554       while true
 555         pde = de
 556         de = pde.decompose #もう一度分解をしてみる。
 557         break if pde == de #ループを抜けだす
 558         exit if 10 < level #p ['too many recursive', self]
 559         level += 1
 560       end
 561       return de
 562     end
 563     def decompose_all_nu(level=nil)
 564       level = 0 if level.nil?
 565       if 10 < level
 566         p ['too many recursive', self]
 567         exit
 568       end
 569       de = self.decompose
 570       return de.decompose_all(level+1) if de != self #なにか変化があったから再帰
 571       return de #もうこれ以上変化は無さそうだぞと。
 572     end
 573     def is_ids?() 0x2ff0 <= @char_id && @char_id <= 0x2fff end
 574     def ids_operator_argc()
 575       return 0 unless is_ids?
 576       return 3 if @char_id == 0x2ff2 || @char_id == 0x2ff3
 577       return 2
 578     end
 579   end
 580
 581 end
 582
 583 #----------------------------------------------------------------------終了