Sync up with r21-4-11-chise-0_20-=ucs-big5.
[chise/xemacs-chise.git-] / src / mule-charset.c
index 9e3207b..9399ee4 100644 (file)
@@ -1,7 +1,7 @@
 /* Functions to handle multilingual characters.
    Copyright (C) 1992, 1995 Free Software Foundation, Inc.
    Copyright (C) 1995 Sun Microsystems, Inc.
-   Copyright (C) 1999,2000,2001,2002 MORIOKA Tomohiko
+   Copyright (C) 1999,2000,2001,2002,2003 MORIOKA Tomohiko
 
 This file is part of XEmacs.
 
@@ -68,44 +68,12 @@ Lisp_Object Vcharset_ucs;
 Lisp_Object Vcharset_ucs_bmp;
 Lisp_Object Vcharset_ucs_smp;
 Lisp_Object Vcharset_ucs_sip;
-Lisp_Object Vcharset_ucs_cns;
-Lisp_Object Vcharset_ucs_jis;
-Lisp_Object Vcharset_ucs_ks;
-Lisp_Object Vcharset_ucs_big5;
 Lisp_Object Vcharset_latin_viscii;
 Lisp_Object Vcharset_latin_tcvn5712;
 Lisp_Object Vcharset_latin_viscii_lower;
 Lisp_Object Vcharset_latin_viscii_upper;
+Lisp_Object Vcharset_jis_x0208;
 Lisp_Object Vcharset_chinese_big5;
-/* Lisp_Object Vcharset_chinese_big5_cdp; */
-Lisp_Object Vcharset_ideograph_hanziku_1;
-Lisp_Object Vcharset_ideograph_hanziku_2;
-Lisp_Object Vcharset_ideograph_hanziku_3;
-Lisp_Object Vcharset_ideograph_hanziku_4;
-Lisp_Object Vcharset_ideograph_hanziku_5;
-Lisp_Object Vcharset_ideograph_hanziku_6;
-Lisp_Object Vcharset_ideograph_hanziku_7;
-Lisp_Object Vcharset_ideograph_hanziku_8;
-Lisp_Object Vcharset_ideograph_hanziku_9;
-Lisp_Object Vcharset_ideograph_hanziku_10;
-Lisp_Object Vcharset_ideograph_hanziku_11;
-Lisp_Object Vcharset_ideograph_hanziku_12;
-Lisp_Object Vcharset_china3_jef;
-Lisp_Object Vcharset_ideograph_cbeta;
-Lisp_Object Vcharset_ideograph_gt;
-Lisp_Object Vcharset_ideograph_gt_pj_1;
-Lisp_Object Vcharset_ideograph_gt_pj_2;
-Lisp_Object Vcharset_ideograph_gt_pj_3;
-Lisp_Object Vcharset_ideograph_gt_pj_4;
-Lisp_Object Vcharset_ideograph_gt_pj_5;
-Lisp_Object Vcharset_ideograph_gt_pj_6;
-Lisp_Object Vcharset_ideograph_gt_pj_7;
-Lisp_Object Vcharset_ideograph_gt_pj_8;
-Lisp_Object Vcharset_ideograph_gt_pj_9;
-Lisp_Object Vcharset_ideograph_gt_pj_10;
-Lisp_Object Vcharset_ideograph_gt_pj_11;
-Lisp_Object Vcharset_ideograph_daikanwa_2;
-Lisp_Object Vcharset_ideograph_daikanwa;
 Lisp_Object Vcharset_ethiopic_ucs;
 #endif
 Lisp_Object Vcharset_chinese_big5_1;
@@ -130,7 +98,7 @@ struct charset_lookup *chlook;
 static const struct lrecord_description charset_lookup_description_1[] = {
   { XD_LISP_OBJECT_ARRAY, offsetof (struct charset_lookup, charset_by_leading_byte),
 #ifdef UTF2000
-    128+4*128
+    NUM_LEADING_BYTES+4*128
 #else
     128+4*128*2 
 #endif
@@ -176,20 +144,6 @@ const Bytecount rep_bytes_by_first_byte[0xA0] =
 
 #ifdef UTF2000
 
-INLINE_HEADER int CHARSET_BYTE_SIZE (Lisp_Charset* cs);
-INLINE_HEADER int
-CHARSET_BYTE_SIZE (Lisp_Charset* cs)
-{
-  /* ad-hoc method for `ascii' */
-  if ((CHARSET_CHARS (cs) == 94) &&
-      (CHARSET_BYTE_OFFSET (cs) != 33))
-    return 128 - CHARSET_BYTE_OFFSET (cs);
-  else
-    return CHARSET_CHARS (cs);
-}
-
-#define XCHARSET_BYTE_SIZE(ccs)        CHARSET_BYTE_SIZE (XCHARSET (ccs))
-
 int decoding_table_check_elements (Lisp_Object v, int dim, int ccs_len);
 int
 decoding_table_check_elements (Lisp_Object v, int dim, int ccs_len)
@@ -218,70 +172,15 @@ decoding_table_check_elements (Lisp_Object v, int dim, int ccs_len)
   return 0;
 }
 
-INLINE_HEADER void
-decoding_table_remove_char (Lisp_Object v, int dim, int byte_offset,
-                           int code_point);
-INLINE_HEADER void
-decoding_table_remove_char (Lisp_Object v, int dim, int byte_offset,
-                           int code_point)
-{
-  int i = -1;
-
-  while (dim > 0)
-    {
-      Lisp_Object nv;
-
-      dim--;
-      i = ((code_point >> (8 * dim)) & 255) - byte_offset;
-      nv = XVECTOR_DATA(v)[i];
-      if (!VECTORP (nv))
-       break;
-      v = nv;
-    }
-  if (i >= 0)
-    XVECTOR_DATA(v)[i] = Qnil;
-}
-
-INLINE_HEADER void
-decoding_table_put_char (Lisp_Object v, int dim, int byte_offset,
-                        int code_point, Lisp_Object character);
-INLINE_HEADER void
-decoding_table_put_char (Lisp_Object v, int dim, int byte_offset,
-                        int code_point, Lisp_Object character)
-{
-  int i = -1;
-  Lisp_Object nv;
-  int ccs_len = XVECTOR_LENGTH (v);
-
-  while (dim > 0)
-    {
-      dim--;
-      i = ((code_point >> (8 * dim)) & 255) - byte_offset;
-      nv = XVECTOR_DATA(v)[i];
-      if (dim > 0)
-       {
-         if (!VECTORP (nv))
-           nv = (XVECTOR_DATA(v)[i] = make_vector (ccs_len, Qnil));
-         v = nv;
-       }
-      else
-       break;
-    }
-  XVECTOR_DATA(v)[i] = character;
-}
-
 Lisp_Object
 put_char_ccs_code_point (Lisp_Object character,
                         Lisp_Object ccs, Lisp_Object value)
 {
-  if (!EQ (XCHARSET_NAME (ccs), Qucs)
+  if (!EQ (XCHARSET_NAME (ccs), Qmap_ucs)
       || !INTP (value)
       || (XCHAR (character) != XINT (value)))
     {
       Lisp_Object v = XCHARSET_DECODING_TABLE (ccs);
-      int dim = XCHARSET_DIMENSION (ccs);
-      int ccs_len = XCHARSET_BYTE_SIZE (ccs);
-      int byte_offset = XCHARSET_BYTE_OFFSET (ccs);
       int code_point;
 
       if (CONSP (value))
@@ -331,16 +230,10 @@ put_char_ccs_code_point (Lisp_Object character,
          Lisp_Object cpos = Fget_char_attribute (character, ccs, Qnil);
          if (INTP (cpos))
            {
-             decoding_table_remove_char (v, dim, byte_offset, XINT (cpos));
+             decoding_table_remove_char (ccs, XINT (cpos));
            }
        }
-      else
-       {
-         XCHARSET_DECODING_TABLE (ccs)
-           = v = make_vector (ccs_len, Qnil);
-       }
-
-      decoding_table_put_char (v, dim, byte_offset, code_point, character);
+      decoding_table_put_char (ccs, code_point, character);
     }
   return value;
 }
@@ -357,15 +250,12 @@ remove_char_ccs (Lisp_Object character, Lisp_Object ccs)
 
       if (!NILP (cpos))
        {
-         decoding_table_remove_char (decoding_table,
-                                     XCHARSET_DIMENSION (ccs),
-                                     XCHARSET_BYTE_OFFSET (ccs),
-                                     XINT (cpos));
+         decoding_table_remove_char (ccs, XINT (cpos));
        }
     }
   if (CHAR_TABLEP (encoding_table))
     {
-      put_char_id_table (XCHAR_TABLE(encoding_table), character, Qnil);
+      put_char_id_table (XCHAR_TABLE(encoding_table), character, Qunbound);
     }
   return Qt;
 }
@@ -407,56 +297,24 @@ Lisp_Object Qascii,
   Qchinese_gb2312,
   Qchinese_gb12345,
   Qjapanese_jisx0208,
-  Qjapanese_jisx0208_1990,
   Qkorean_ksc5601,
   Qjapanese_jisx0212,
   Qchinese_cns11643_1,
   Qchinese_cns11643_2,
 #ifdef UTF2000
-  Qucs,
+  Qmap_ucs, Qucs,
   Qucs_bmp,
   Qucs_smp,
   Qucs_sip,
-  Qucs_cns,
-  Qucs_jis,
-  Qucs_ks,
-  Qucs_big5,
   Qlatin_viscii,
   Qlatin_tcvn5712,
   Qlatin_viscii_lower,
   Qlatin_viscii_upper,
   Qvietnamese_viscii_lower,
   Qvietnamese_viscii_upper,
+  Qmap_jis_x0208,
+  Qmap_jis_x0208_1990,
   Qchinese_big5,
-  /*  Qchinese_big5_cdp, */
-  Qideograph_hanziku_1,
-  Qideograph_hanziku_2,
-  Qideograph_hanziku_3,
-  Qideograph_hanziku_4,
-  Qideograph_hanziku_5,
-  Qideograph_hanziku_6,
-  Qideograph_hanziku_7,
-  Qideograph_hanziku_8,
-  Qideograph_hanziku_9,
-  Qideograph_hanziku_10,
-  Qideograph_hanziku_11,
-  Qideograph_hanziku_12,
-  Qchina3_jef,
-  Qideograph_cbeta,
-  Qideograph_daikanwa_2,
-  Qideograph_daikanwa,
-  Qideograph_gt,
-  Qideograph_gt_pj_1,
-  Qideograph_gt_pj_2,
-  Qideograph_gt_pj_3,
-  Qideograph_gt_pj_4,
-  Qideograph_gt_pj_5,
-  Qideograph_gt_pj_6,
-  Qideograph_gt_pj_7,
-  Qideograph_gt_pj_8,
-  Qideograph_gt_pj_9,
-  Qideograph_gt_pj_10,
-  Qideograph_gt_pj_11,
   Qethiopic_ucs,
 #endif
   Qchinese_big5_1,
@@ -895,7 +753,7 @@ make_charset (Charset_ID id, Lisp_Object name,
   CHARSET_CCL_PROGRAM  (cs) = Qnil;
   CHARSET_REVERSE_DIRECTION_CHARSET (cs) = Qnil;
 #ifdef UTF2000
-  CHARSET_DECODING_TABLE(cs) = Qnil;
+  CHARSET_DECODING_TABLE(cs) = Qunbound;
   CHARSET_MIN_CODE     (cs) = min_code;
   CHARSET_MAX_CODE     (cs) = max_code;
   CHARSET_CODE_OFFSET  (cs) = code_offset;
@@ -984,79 +842,105 @@ get_unallocated_leading_byte (int dimension)
 #define BIG5_SAME_ROW (0xFF - 0xA1 + 0x7F - 0x40)
 
 Emchar
-decode_builtin_char (Lisp_Object charset, int code_point)
+decode_defined_char (Lisp_Object ccs, int code_point)
 {
-  Lisp_Object mother = XCHARSET_MOTHER (charset);
-  int final;
+  int dim = XCHARSET_DIMENSION (ccs);
+  Lisp_Object decoding_table = XCHARSET_DECODING_TABLE (ccs);
+  Emchar char_id = -1;
+  Lisp_Object mother;
 
-  if ( CHARSETP (mother) )
+  while (dim > 0)
     {
-      int code = code_point;
-
-      if ( XCHARSET_CONVERSION (charset) == CONVERSION_94x60 )
-       {
-         int row = code_point >> 8;
-         int cell = code_point & 255;    
-
-         if (row < 16 + 32)
-           return -1;
-         else if (row < 16 + 32 + 30)
-           code = (row - (16 + 32)) * 94 + cell - 33;
-         else if (row < 18 + 32 + 30)
-           return -1;
-         else if (row < 18 + 32 + 60)
-           code = (row - (18 + 32)) * 94 + cell - 33;
-       }
-      else if ( XCHARSET_CONVERSION (charset) == CONVERSION_94x94x60 )
+      dim--;
+      decoding_table
+       = get_ccs_octet_table (decoding_table, ccs,
+                              (code_point >> (dim * 8)) & 255);
+    }
+  if (CHARP (decoding_table))
+    return XCHAR (decoding_table);
+  if (char_id >= 0)
+    return char_id;
+  else if ( CHARSETP (mother = XCHARSET_MOTHER (ccs)) )
+    {
+      if ( XCHARSET_CONVERSION (ccs) == CONVERSION_IDENTICAL )
        {
-         int plane = code_point >> 16;
-         int row = (code_point >> 8) & 255;
-         int cell = code_point & 255;    
-
-         if (row < 16 + 32)
-           return -1;
-         else if (row < 16 + 32 + 30)
-           code
-             = (plane - 33) * 94 * 60
-             + (row - (16 + 32)) * 94
-             + cell - 33;
-         else if (row < 18 + 32 + 30)
-           return -1;
-         else if (row < 18 + 32 + 60)
-           code
-             = (plane - 33) * 94 * 60
-             + (row - (18 + 32)) * 94
-             + cell - 33;
+         if ( EQ (mother, Vcharset_ucs) )
+           return DECODE_CHAR (mother, code_point);
+         else
+           return decode_defined_char (mother, code_point);
        }
-      return DECODE_CHAR (mother, code + XCHARSET_CODE_OFFSET(charset));
     }
-  else if (EQ (charset, Vcharset_chinese_big5))
+  return -1;
+}
+
+Emchar
+decode_builtin_char (Lisp_Object charset, int code_point)
+{
+  Lisp_Object mother = XCHARSET_MOTHER (charset);
+  int final;
+
+  if ( XCHARSET_MAX_CODE (charset) > 0 )
     {
-      int c1 = code_point >> 8;
-      int c2 = code_point & 0xFF;
-      unsigned int I;
-
-      if ( (  (0xA1 <= c1) && (c1 <= 0xFE)  )
-          &&
-          ( ((0x40 <= c2) && (c2 <= 0x7E)) ||
-            ((0xA1 <= c2) && (c2 <= 0xFE)) ) )
+      if ( CHARSETP (mother) )
        {
-         I = (c1 - 0xA1) * BIG5_SAME_ROW
-           + c2 - (c2 < 0x7F ? 0x40 : 0x62);
+         int code = code_point;
 
-         if (c1 < 0xC9)
+         if ( XCHARSET_CONVERSION (charset) == CONVERSION_94x60 )
            {
-             charset = Vcharset_chinese_big5_1;
+             int row = code_point >> 8;
+             int cell = code_point & 255;        
+
+             if (row < 16 + 32)
+               return -1;
+             else if (row < 16 + 32 + 30)
+               code = (row - (16 + 32)) * 94 + cell - 33;
+             else if (row < 18 + 32 + 30)
+               return -1;
+             else if (row < 18 + 32 + 60)
+               code = (row - (18 + 32)) * 94 + cell - 33;
            }
-         else
+         else if ( XCHARSET_CONVERSION (charset) == CONVERSION_94x94x60 )
            {
-             charset = Vcharset_chinese_big5_2;
-             I -= (BIG5_SAME_ROW) * (0xC9 - 0xA1);
+             int plane = code_point >> 16;
+             int row = (code_point >> 8) & 255;
+             int cell = code_point & 255;        
+
+             if (row < 16 + 32)
+               return -1;
+             else if (row < 16 + 32 + 30)
+               code
+                 = (plane - 33) * 94 * 60
+                 + (row - (16 + 32)) * 94
+                 + cell - 33;
+             else if (row < 18 + 32 + 30)
+               return -1;
+             else if (row < 18 + 32 + 60)
+               code
+                 = (plane - 33) * 94 * 60
+                 + (row - (18 + 32)) * 94
+                 + cell - 33;
            }
-         code_point = ((I / 94 + 33) << 8) | (I % 94 + 33);
+         return
+           decode_builtin_char (mother, code + XCHARSET_CODE_OFFSET(charset));
+       }
+      else
+       {
+         Emchar cid
+           = (XCHARSET_DIMENSION (charset) == 1
+              ?
+              code_point - XCHARSET_BYTE_OFFSET (charset)
+              :
+              ((code_point >> 8) - XCHARSET_BYTE_OFFSET (charset))
+              * XCHARSET_CHARS (charset)
+              + (code_point & 0xFF) - XCHARSET_BYTE_OFFSET (charset))
+           + XCHARSET_CODE_OFFSET (charset);
+         if ((cid < XCHARSET_MIN_CODE (charset))
+             || (XCHARSET_MAX_CODE (charset) < cid))
+           return -1;
+         return cid;
        }
     }
-  if ((final = XCHARSET_FINAL (charset)) >= '0')
+  else if ((final = XCHARSET_FINAL (charset)) >= '0')
     {
       if (XCHARSET_DIMENSION (charset) == 1)
        {
@@ -1093,28 +977,12 @@ decode_builtin_char (Lisp_Object charset, int code_point)
            }
        }
     }
-  else if (XCHARSET_MAX_CODE (charset))
-    {
-      Emchar cid
-       = (XCHARSET_DIMENSION (charset) == 1
-          ?
-          code_point - XCHARSET_BYTE_OFFSET (charset)
-          :
-          ((code_point >> 8) - XCHARSET_BYTE_OFFSET (charset))
-          * XCHARSET_CHARS (charset)
-          + (code_point & 0xFF) - XCHARSET_BYTE_OFFSET (charset))
-       + XCHARSET_CODE_OFFSET (charset);
-      if ((cid < XCHARSET_MIN_CODE (charset))
-         || (XCHARSET_MAX_CODE (charset) < cid))
-       return -1;
-      return cid;
-    }
   else
     return -1;
 }
 
 int
-charset_code_point (Lisp_Object charset, Emchar ch)
+charset_code_point (Lisp_Object charset, Emchar ch, int defined_only)
 {
   Lisp_Object encoding_table = XCHARSET_ENCODING_TABLE (charset);
   Lisp_Object ret;
@@ -1128,17 +996,33 @@ charset_code_point (Lisp_Object charset, Emchar ch)
       Lisp_Object mother = XCHARSET_MOTHER (charset);
       int min = XCHARSET_MIN_CODE (charset);
       int max = XCHARSET_MAX_CODE (charset);
-      int code;
+      int code = -1;
 
       if ( CHARSETP (mother) )
-       code = charset_code_point (mother, ch);
-      else
+       {
+         if (XCHARSET_FINAL (charset) >= '0')
+           code = charset_code_point (mother, ch, 1);
+         else
+           code = charset_code_point (mother, ch, defined_only);
+       }
+      else if (defined_only)
+       return -1;
+      else if ( ((max == 0) && CHARSETP (mother)
+                && (XCHARSET_FINAL (charset) == 0))
+               || ((min <= ch) && (ch <= max)) )
        code = ch;
-      if ( (min <= code) && (code <= max) )
+      if ( ((max == 0) && CHARSETP (mother) && (code >= 0))
+          || ((min <= code) && (code <= max)) )
        {
          int d = code - XCHARSET_CODE_OFFSET (charset);
 
-         if ( XCHARSET_CONVERSION (charset) == CONVERSION_94x60 )
+         if ( XCHARSET_CONVERSION (charset) == CONVERSION_IDENTICAL )
+           return d;
+         else if ( XCHARSET_CONVERSION (charset) == CONVERSION_94 )
+           return d + 33;
+         else if ( XCHARSET_CONVERSION (charset) == CONVERSION_96 )
+           return d + 32;
+         else if ( XCHARSET_CONVERSION (charset) == CONVERSION_94x60 )
            {
              int row  = d / 94;
              int cell = d % 94 + 33;
@@ -1149,6 +1033,10 @@ charset_code_point (Lisp_Object charset, Emchar ch)
                row += 18 + 32;
              return (row << 8) | cell;
            }
+         else if ( XCHARSET_CONVERSION (charset) == CONVERSION_94x94 )
+           return ((d / 94 + 33) << 8) | (d % 94 + 33);
+         else if ( XCHARSET_CONVERSION (charset) == CONVERSION_96x96 )
+           return ((d / 96 + 32) << 8) | (d % 96 + 32);
          else if ( XCHARSET_CONVERSION (charset) == CONVERSION_94x94x60 )
            {
              int plane =  d / (94 * 60) + 33;
@@ -1161,48 +1049,42 @@ charset_code_point (Lisp_Object charset, Emchar ch)
                row += 18 + 32;
              return (plane << 16) | (row << 8) | cell;
            }
-         else if (XCHARSET_CHARS (charset) == 94)
-           {
-             if (XCHARSET_DIMENSION (charset) == 1)
-               return d + 33;
-             else if (XCHARSET_DIMENSION (charset) == 2)
-               return ((d / 94 + 33) << 8) | (d % 94 + 33);
-             else if (XCHARSET_DIMENSION (charset) == 3)
-               return
-                 (   (d / (94 * 94) + 33) << 16)
-                 |  ((d / 94 % 94   + 33) <<  8)
-                 |   (d % 94        + 33);
-             else /* if (XCHARSET_DIMENSION (charset) == 4) */
-               return
-                 (  (d / (94 * 94 * 94) + 33) << 24)
-                 | ((d / (94 * 94) % 94 + 33) << 16)
-                 | ((d / 94 % 94        + 33) <<  8)
-                 |  (d % 94             + 33);
-           }
-         else if (XCHARSET_CHARS (charset) == 96)
+         else if ( XCHARSET_CONVERSION (charset) == CONVERSION_94x94x94 )
+           return
+             (   (d / (94 * 94) + 33) << 16)
+             |  ((d / 94 % 94   + 33) <<  8)
+             |   (d % 94        + 33);
+         else if ( XCHARSET_CONVERSION (charset) == CONVERSION_96x96x96 )
+           return
+             (   (d / (96 * 96) + 32) << 16)
+             |  ((d / 96 % 96   + 32) <<  8)
+             |   (d % 96        + 32);
+         else if ( XCHARSET_CONVERSION (charset) == CONVERSION_94x94x94x94 )
+           return
+             (  (d / (94 * 94 * 94) + 33) << 24)
+             | ((d / (94 * 94) % 94 + 33) << 16)
+             | ((d / 94 % 94        + 33) <<  8)
+             |  (d % 94             + 33);
+         else if ( XCHARSET_CONVERSION (charset) == CONVERSION_96x96x96x96 )
+           return
+             (  (d / (96 * 96 * 96) + 32) << 24)
+             | ((d / (96 * 96) % 96 + 32) << 16)
+             | ((d / 96 % 96        + 32) <<  8)
+             |  (d % 96             + 32);
+         else
            {
-             if (XCHARSET_DIMENSION (charset) == 1)
-               return d + 32;
-             else if (XCHARSET_DIMENSION (charset) == 2)
-               return ((d / 96 + 32) << 8) | (d % 96 + 32);
-             else if (XCHARSET_DIMENSION (charset) == 3)
-               return
-                 (   (d / (96 * 96) + 32) << 16)
-                 |  ((d / 96 % 96   + 32) <<  8)
-                 |   (d % 96        + 32);
-             else /* if (XCHARSET_DIMENSION (charset) == 4) */
-               return
-                 (  (d / (96 * 96 * 96) + 32) << 24)
-                 | ((d / (96 * 96) % 96 + 32) << 16)
-                 | ((d / 96 % 96        + 32) <<  8)
-                 |  (d % 96             + 32);
+             printf ("Unknown CCS-conversion %d is specified!",
+                     XCHARSET_CONVERSION (charset));
+             exit (-1);
            }
-         else
-           return code - XCHARSET_CODE_OFFSET (charset);
        }
-      else if ( (XCHARSET_CODE_OFFSET (charset) == 0) ||
+      else if ( ( XCHARSET_FINAL (charset) >= '0' ) &&
+               ( XCHARSET_MIN_CODE (charset) == 0 )
+              /*
+               (XCHARSET_CODE_OFFSET (charset) == 0) ||
                (XCHARSET_CODE_OFFSET (charset)
-                == XCHARSET_MIN_CODE (charset)) )
+                == XCHARSET_MIN_CODE (charset))
+              */ )
        {
          int d;
 
@@ -1308,16 +1190,6 @@ encode_builtin_char_1 (Emchar c, Lisp_Object* charset)
       *charset = Vcharset_ucs_sip;
       return c - MIN_CHAR_SIP;
     }
-  else if (c < MIN_CHAR_DAIKANWA)
-    {
-      *charset = Vcharset_ucs;
-      return c;
-    }
-  else if (c <= MAX_CHAR_DAIKANWA)
-    {
-      *charset = Vcharset_ideograph_daikanwa;
-      return c - MIN_CHAR_DAIKANWA;
-    }
   else if (c < MIN_CHAR_94)
     {
       *charset = Vcharset_ucs;
@@ -2026,7 +1898,7 @@ Set mapping-table of CHARSET to TABLE.
        (charset, table))
 {
   struct Lisp_Charset *cs;
-  size_t i;
+  int i;
   int byte_offset;
 
   charset = Fget_charset (charset);
@@ -2079,7 +1951,7 @@ Set mapping-table of CHARSET to TABLE.
 
          if (VECTORP (v))
            {
-             size_t j;
+             int j;
 
              for (j = 0; j < XVECTOR_LENGTH (v); j++)
                {
@@ -2126,7 +1998,7 @@ If corresponding character is not found, nil is returned.
   if (NILP (defined_only))
     c = DECODE_CHAR (charset, c);
   else
-    c = DECODE_DEFINED_CHAR (charset, c);
+    c = decode_defined_char (charset, c);
   return c >= 0 ? make_char (c) : Qnil;
 }
 
@@ -2266,16 +2138,17 @@ N defaults to 0 if omitted.
 }
 
 #ifdef UTF2000
-DEFUN ("encode-char", Fencode_char, 2, 2, 0, /*
+DEFUN ("encode-char", Fencode_char, 2, 3, 0, /*
 Return code-point of CHARACTER in specified CHARSET.
 */
-       (character, charset))
+       (character, charset, defined_only))
 {
   int code_point;
 
   CHECK_CHAR_COERCE_INT (character);
   charset = Fget_charset (charset);
-  code_point = charset_code_point (charset, XCHAR (character));
+  code_point = charset_code_point (charset, XCHAR (character),
+                                  !NILP (defined_only));
   if (code_point >= 0)
     return make_int (code_point);
   else
@@ -2492,56 +2365,25 @@ syms_of_mule_charset (void)
   defsymbol (&Qchinese_gb2312,         "chinese-gb2312");
   defsymbol (&Qchinese_gb12345,                "chinese-gb12345");
   defsymbol (&Qjapanese_jisx0208,      "japanese-jisx0208");
-  defsymbol (&Qjapanese_jisx0208_1990,         "japanese-jisx0208-1990");
   defsymbol (&Qkorean_ksc5601,         "korean-ksc5601");
   defsymbol (&Qjapanese_jisx0212,      "japanese-jisx0212");
   defsymbol (&Qchinese_cns11643_1,     "chinese-cns11643-1");
   defsymbol (&Qchinese_cns11643_2,     "chinese-cns11643-2");
 #ifdef UTF2000
+  defsymbol (&Qmap_ucs,                        "=ucs");
   defsymbol (&Qucs,                    "ucs");
   defsymbol (&Qucs_bmp,                        "ucs-bmp");
   defsymbol (&Qucs_smp,                        "ucs-smp");
   defsymbol (&Qucs_sip,                        "ucs-sip");
-  defsymbol (&Qucs_cns,                        "ucs-cns");
-  defsymbol (&Qucs_jis,                        "ucs-jis");
-  defsymbol (&Qucs_ks,                 "ucs-ks");
-  defsymbol (&Qucs_big5,               "ucs-big5");
   defsymbol (&Qlatin_viscii,           "latin-viscii");
   defsymbol (&Qlatin_tcvn5712,         "latin-tcvn5712");
   defsymbol (&Qlatin_viscii_lower,     "latin-viscii-lower");
   defsymbol (&Qlatin_viscii_upper,     "latin-viscii-upper");
   defsymbol (&Qvietnamese_viscii_lower,        "vietnamese-viscii-lower");
   defsymbol (&Qvietnamese_viscii_upper,        "vietnamese-viscii-upper");
-  defsymbol (&Qideograph_gt,           "ideograph-gt");
-  defsymbol (&Qideograph_gt_pj_1,      "ideograph-gt-pj-1");
-  defsymbol (&Qideograph_gt_pj_2,      "ideograph-gt-pj-2");
-  defsymbol (&Qideograph_gt_pj_3,      "ideograph-gt-pj-3");
-  defsymbol (&Qideograph_gt_pj_4,      "ideograph-gt-pj-4");
-  defsymbol (&Qideograph_gt_pj_5,      "ideograph-gt-pj-5");
-  defsymbol (&Qideograph_gt_pj_6,      "ideograph-gt-pj-6");
-  defsymbol (&Qideograph_gt_pj_7,      "ideograph-gt-pj-7");
-  defsymbol (&Qideograph_gt_pj_8,      "ideograph-gt-pj-8");
-  defsymbol (&Qideograph_gt_pj_9,      "ideograph-gt-pj-9");
-  defsymbol (&Qideograph_gt_pj_10,     "ideograph-gt-pj-10");
-  defsymbol (&Qideograph_gt_pj_11,     "ideograph-gt-pj-11");
-  defsymbol (&Qideograph_daikanwa_2,   "ideograph-daikanwa-2");
-  defsymbol (&Qideograph_daikanwa,     "ideograph-daikanwa");
+  defsymbol (&Qmap_jis_x0208,          "=jis-x0208");
+  defsymbol (&Qmap_jis_x0208_1990,     "=jis-x0208-1990");
   defsymbol (&Qchinese_big5,           "chinese-big5");
-  /*  defsymbol (&Qchinese_big5_cdp,   "chinese-big5-cdp"); */
-  defsymbol (&Qideograph_hanziku_1,    "ideograph-hanziku-1");
-  defsymbol (&Qideograph_hanziku_2,    "ideograph-hanziku-2");
-  defsymbol (&Qideograph_hanziku_3,    "ideograph-hanziku-3");
-  defsymbol (&Qideograph_hanziku_4,    "ideograph-hanziku-4");
-  defsymbol (&Qideograph_hanziku_5,    "ideograph-hanziku-5");
-  defsymbol (&Qideograph_hanziku_6,    "ideograph-hanziku-6");
-  defsymbol (&Qideograph_hanziku_7,    "ideograph-hanziku-7");
-  defsymbol (&Qideograph_hanziku_8,    "ideograph-hanziku-8");
-  defsymbol (&Qideograph_hanziku_9,    "ideograph-hanziku-9");
-  defsymbol (&Qideograph_hanziku_10,   "ideograph-hanziku-10");
-  defsymbol (&Qideograph_hanziku_11,   "ideograph-hanziku-11");
-  defsymbol (&Qideograph_hanziku_12,   "ideograph-hanziku-12");
-  defsymbol (&Qchina3_jef,             "china3-jef");
-  defsymbol (&Qideograph_cbeta,                "ideograph-cbeta");
   defsymbol (&Qethiopic_ucs,           "ethiopic-ucs");
 #endif
   defsymbol (&Qchinese_big5_1,         "chinese-big5-1");
@@ -2615,13 +2457,13 @@ complex_vars_of_mule_charset (void)
 #ifdef UTF2000
   staticpro (&Vcharset_ucs);
   Vcharset_ucs =
-    make_charset (LEADING_BYTE_UCS, Qucs, 256, 4,
+    make_charset (LEADING_BYTE_UCS, Qmap_ucs, 256, 4,
                  1, 2, 0, CHARSET_LEFT_TO_RIGHT,
                  build_string ("UCS"),
                  build_string ("UCS"),
                  build_string ("ISO/IEC 10646"),
                  build_string (""),
-                 Qnil, 0, 0xFFFFFFF, 0, 0, Qnil, CONVERSION_IDENTICAL);
+                 Qnil, 0, 0x7FFFFFFF, 0, 0, Qnil, CONVERSION_IDENTICAL);
   staticpro (&Vcharset_ucs_bmp);
   Vcharset_ucs_bmp =
     make_charset (LEADING_BYTE_UCS_BMP, Qucs_bmp, 256, 2,
@@ -2652,43 +2494,6 @@ complex_vars_of_mule_charset (void)
                  build_string ("\\(ISO10646.*-2\\|UCS00-2\\)"),
                  Qnil, MIN_CHAR_SIP, MAX_CHAR_SIP,
                  MIN_CHAR_SIP, 0, Qnil, CONVERSION_IDENTICAL);
-  staticpro (&Vcharset_ucs_cns);
-  Vcharset_ucs_cns =
-    make_charset (LEADING_BYTE_UCS_CNS, Qucs_cns, 256, 3,
-                 2, 2, 0, CHARSET_LEFT_TO_RIGHT,
-                 build_string ("UCS for CNS"),
-                 build_string ("UCS for CNS 11643"),
-                 build_string ("ISO/IEC 10646 for CNS 11643"),
-                 build_string (""),
-                 Qnil, 0, 0, 0, 0,
-                 Qnil, CONVERSION_IDENTICAL);
-  staticpro (&Vcharset_ucs_jis);
-  Vcharset_ucs_jis =
-    make_charset (LEADING_BYTE_UCS_JIS, Qucs_jis, 256, 3,
-                 2, 2, 0, CHARSET_LEFT_TO_RIGHT,
-                 build_string ("UCS for JIS"),
-                 build_string ("UCS for JIS X 0208, 0212 and 0213"),
-                 build_string ("ISO/IEC 10646 for JIS X 0208, 0212 and 0213"),
-                 build_string (""),
-                 Qnil, 0, 0, 0, 0, Qnil, CONVERSION_IDENTICAL);
-  staticpro (&Vcharset_ucs_ks);
-  Vcharset_ucs_ks =
-    make_charset (LEADING_BYTE_UCS_KS, Qucs_ks, 256, 3,
-                 2, 2, 0, CHARSET_LEFT_TO_RIGHT,
-                 build_string ("UCS for KS"),
-                 build_string ("UCS for CCS defined by KS"),
-                 build_string ("ISO/IEC 10646 for Korean Standards"),
-                 build_string (""),
-                 Qnil, 0, 0, 0, 0, Qnil, CONVERSION_IDENTICAL);
-  staticpro (&Vcharset_ucs_big5);
-  Vcharset_ucs_big5 =
-    make_charset (LEADING_BYTE_UCS_BIG5, Qucs_big5, 256, 3,
-                 2, 2, 0, CHARSET_LEFT_TO_RIGHT,
-                 build_string ("UCS for Big5"),
-                 build_string ("UCS for Big5"),
-                 build_string ("ISO/IEC 10646 for Big5"),
-                 build_string (""),
-                 Qnil, 0, 0, 0, 0, Qnil, CONVERSION_IDENTICAL);
 #else
 # define MIN_CHAR_THAI 0
 # define MAX_CHAR_THAI 0
@@ -2759,8 +2564,7 @@ complex_vars_of_mule_charset (void)
                  build_string ("TIS620 (Thai)"),
                  build_string ("TIS620.2529 (Thai)"),
                  build_string ("tis620"),
-                 Qnil, MIN_CHAR_THAI, MAX_CHAR_THAI,
-                 MIN_CHAR_THAI, 32, Qnil, CONVERSION_IDENTICAL);
+                 Qnil, 0, 0, 0, 32, Qnil, CONVERSION_IDENTICAL);
   staticpro (&Vcharset_greek_iso8859_7);
   Vcharset_greek_iso8859_7 =
     make_charset (LEADING_BYTE_GREEK_ISO8859_7, Qgreek_iso8859_7, 96, 1,
@@ -2827,6 +2631,21 @@ complex_vars_of_mule_charset (void)
                  build_string ("ISO8859-9 (Latin-5)"),
                  build_string ("iso8859-9"),
                  Qnil, 0, 0, 0, 32, Qnil, CONVERSION_IDENTICAL);
+#ifdef UTF2000
+  staticpro (&Vcharset_jis_x0208);
+  Vcharset_jis_x0208 =
+    make_charset (LEADING_BYTE_JIS_X0208,
+                 Qmap_jis_x0208, 94, 2,
+                 2, 0, 'B', CHARSET_LEFT_TO_RIGHT,
+                 build_string ("JIS X0208"),
+                 build_string ("JIS X0208 Common"),
+                 build_string ("JIS X0208 Common part"),
+                 build_string ("jisx0208\\.1990"),
+                 Qnil,
+                 MIN_CHAR_JIS_X0208_1990,
+                 MAX_CHAR_JIS_X0208_1990, MIN_CHAR_JIS_X0208_1990, 33,
+                 Qnil, CONVERSION_94x94);
+#endif
   staticpro (&Vcharset_japanese_jisx0208_1978);
   Vcharset_japanese_jisx0208_1978 =
     make_charset (LEADING_BYTE_JAPANESE_JISX0208_1978,
@@ -2837,7 +2656,13 @@ complex_vars_of_mule_charset (void)
                  build_string
                  ("JIS X0208:1978 Japanese Kanji (so called \"old JIS\")"),
                  build_string ("\\(jisx0208\\|jisc6226\\)\\.1978"),
-                 Qnil, 0, 0, 0, 33, Qnil, CONVERSION_IDENTICAL);
+                 Qnil, 0, 0, 0, 33,
+#ifdef UTF2000
+                 Vcharset_jis_x0208,
+#else
+                 Qnil,
+#endif
+                 CONVERSION_IDENTICAL);
   staticpro (&Vcharset_chinese_gb2312);
   Vcharset_chinese_gb2312 =
     make_charset (LEADING_BYTE_CHINESE_GB2312, Qchinese_gb2312, 94, 2,
@@ -2864,21 +2689,29 @@ complex_vars_of_mule_charset (void)
                  build_string ("JIS X0208:1983 (Japanese)"),
                  build_string ("JIS X0208:1983 Japanese Kanji"),
                  build_string ("jisx0208\\.1983"),
-                 Qnil, 0, 0, 0, 33, Qnil, CONVERSION_IDENTICAL);
+                 Qnil, 0, 0, 0, 33,
+#ifdef UTF2000
+                 Vcharset_jis_x0208,
+#else
+                 Qnil,
+#endif
+                 CONVERSION_IDENTICAL);
 #ifdef UTF2000
   staticpro (&Vcharset_japanese_jisx0208_1990);
   Vcharset_japanese_jisx0208_1990 =
     make_charset (LEADING_BYTE_JAPANESE_JISX0208_1990,
-                 Qjapanese_jisx0208_1990, 94, 2,
+                 Qmap_jis_x0208_1990, 94, 2,
                  2, 0, 0, CHARSET_LEFT_TO_RIGHT,
                  build_string ("JISX0208-1990"),
                  build_string ("JIS X0208:1990 (Japanese)"),
                  build_string ("JIS X0208:1990 Japanese Kanji"),
                  build_string ("jisx0208\\.1990"),
                  Qnil,
-                 MIN_CHAR_JIS_X0208_1990,
-                 MAX_CHAR_JIS_X0208_1990, MIN_CHAR_JIS_X0208_1990, 33,
-                 Qnil, CONVERSION_IDENTICAL);
+                 0x2121 /* MIN_CHAR_JIS_X0208_1990 */,
+                 0x7426 /* MAX_CHAR_JIS_X0208_1990 */,
+                 0 /* MIN_CHAR_JIS_X0208_1990 */, 33,
+                 Vcharset_jis_x0208 /* Qnil */,
+                 CONVERSION_IDENTICAL /* CONVERSION_94x94 */);
 #endif
   staticpro (&Vcharset_korean_ksc5601);
   Vcharset_korean_ksc5601 =
@@ -2964,121 +2797,10 @@ complex_vars_of_mule_charset (void)
                  build_string ("Big5"),
                  build_string ("Big5"),
                  build_string ("Big5 Chinese traditional"),
-                 build_string ("big5"),
+                 build_string ("big5-0"),
                  Qnil,
-                 0 /* MIN_CHAR_BIG5_CDP */,
-                 0 /* MAX_CHAR_BIG5_CDP */, 0, 0,
-                 Qnil, CONVERSION_IDENTICAL);
-#if 0
-  staticpro (&Vcharset_chinese_big5_cdp);
-  Vcharset_chinese_big5_cdp =
-    make_charset (LEADING_BYTE_CHINESE_BIG5_CDP, Qchinese_big5_cdp, 256, 2,
-                 2, 2, 0, CHARSET_LEFT_TO_RIGHT,
-                 build_string ("Big5-CDP"),
-                 build_string ("Big5 + CDP extension"),
-                 build_string ("Big5 with CDP extension"),
-                 build_string ("big5\\.cdp-0"),
-                 Qnil, MIN_CHAR_BIG5_CDP, MAX_CHAR_BIG5_CDP,
+                 MIN_CHAR_BIG5_CDP, MAX_CHAR_BIG5_CDP,
                  MIN_CHAR_BIG5_CDP, 0, Qnil, CONVERSION_IDENTICAL);
-#endif
-#define DEF_HANZIKU(n)                                                 \
-  staticpro (&Vcharset_ideograph_hanziku_##n);                         \
-  Vcharset_ideograph_hanziku_##n =                                     \
-    make_charset (LEADING_BYTE_HANZIKU_##n, Qideograph_hanziku_##n, 256, 2, \
-                 2, 2, 0, CHARSET_LEFT_TO_RIGHT,                       \
-                 build_string ("HZK-"#n),                              \
-                 build_string ("HANZIKU-"#n),  \
-                 build_string ("HANZIKU (pseudo BIG5 encoding) part "#n), \
-                 build_string                                          \
-                 ("hanziku-"#n"$"),                                    \
-                 Qnil, MIN_CHAR_HANZIKU_##n, MAX_CHAR_HANZIKU_##n,     \
-                 MIN_CHAR_HANZIKU_##n, 0, Qnil, CONVERSION_IDENTICAL);
-  DEF_HANZIKU (1);
-  DEF_HANZIKU (2);
-  DEF_HANZIKU (3);
-  DEF_HANZIKU (4);
-  DEF_HANZIKU (5);
-  DEF_HANZIKU (6);
-  DEF_HANZIKU (7);
-  DEF_HANZIKU (8);
-  DEF_HANZIKU (9);
-  DEF_HANZIKU (10);
-  DEF_HANZIKU (11);
-  DEF_HANZIKU (12);
-  staticpro (&Vcharset_china3_jef);
-  Vcharset_china3_jef =
-    make_charset (LEADING_BYTE_CHINA3_JEF, Qchina3_jef, 256, 2,
-                 2, 2, 0, CHARSET_LEFT_TO_RIGHT,
-                 build_string ("JC3"),
-                 build_string ("JEF + CHINA3"),
-                 build_string ("JEF + CHINA3 private characters"),
-                 build_string ("china3jef-0"),
-                 Qnil, MIN_CHAR_CHINA3_JEF, MAX_CHAR_CHINA3_JEF,
-                 MIN_CHAR_CHINA3_JEF, 0, Qnil, CONVERSION_IDENTICAL);
-  staticpro (&Vcharset_ideograph_cbeta);
-  Vcharset_ideograph_cbeta =
-    make_charset (LEADING_BYTE_CBETA, Qideograph_cbeta, 256, 2,
-                 2, 2, 0, CHARSET_LEFT_TO_RIGHT,
-                 build_string ("CB"),
-                 build_string ("CBETA"),
-                 build_string ("CBETA private characters"),
-                 build_string ("cbeta-0"),
-                 Qnil, MIN_CHAR_CBETA, MAX_CHAR_CBETA,
-                 MIN_CHAR_CBETA, 0, Qnil, CONVERSION_IDENTICAL);
-  staticpro (&Vcharset_ideograph_gt);
-  Vcharset_ideograph_gt =
-    make_charset (LEADING_BYTE_GT, Qideograph_gt, 256, 3,
-                 2, 2, 0, CHARSET_LEFT_TO_RIGHT,
-                 build_string ("GT"),
-                 build_string ("GT"),
-                 build_string ("GT"),
-                 build_string (""),
-                 Qnil, MIN_CHAR_GT, MAX_CHAR_GT,
-                 MIN_CHAR_GT, 0, Qnil, CONVERSION_IDENTICAL);
-#define DEF_GT_PJ(n)                                                   \
-  staticpro (&Vcharset_ideograph_gt_pj_##n);                           \
-  Vcharset_ideograph_gt_pj_##n =                                       \
-    make_charset (LEADING_BYTE_GT_PJ_##n, Qideograph_gt_pj_##n, 94, 2, \
-                 2, 0, 0, CHARSET_LEFT_TO_RIGHT,                       \
-                 build_string ("GT-PJ-"#n),                            \
-                 build_string ("GT (pseudo JIS encoding) part "#n),    \
-                 build_string ("GT 2000 (pseudo JIS encoding) part "#n), \
-                 build_string                                          \
-                 ("\\(GTpj-"#n "\\|jisx0208\\.GT-"#n "\\)$"),  \
-                 Qnil, 0, 0, 0, 33, Qnil, CONVERSION_IDENTICAL);
-  DEF_GT_PJ (1);
-  DEF_GT_PJ (2);
-  DEF_GT_PJ (3);
-  DEF_GT_PJ (4);
-  DEF_GT_PJ (5);
-  DEF_GT_PJ (6);
-  DEF_GT_PJ (7);
-  DEF_GT_PJ (8);
-  DEF_GT_PJ (9);
-  DEF_GT_PJ (10);
-  DEF_GT_PJ (11);
-
-  staticpro (&Vcharset_ideograph_daikanwa_2);
-  Vcharset_ideograph_daikanwa_2 =
-    make_charset (LEADING_BYTE_DAIKANWA_2, Qideograph_daikanwa_2, 256, 2,
-                 2, 2, 0, CHARSET_LEFT_TO_RIGHT,
-                 build_string ("Daikanwa Rev."),
-                 build_string ("Morohashi's Daikanwa Rev."),
-                 build_string
-                 ("Daikanwa dictionary (revised version)"),
-                 build_string ("Daikanwa\\(\\.[0-9]+\\)?-2"),
-                 Qnil, 0, 0, 0, 0, Qnil, CONVERSION_IDENTICAL);
-  staticpro (&Vcharset_ideograph_daikanwa);
-  Vcharset_ideograph_daikanwa =
-    make_charset (LEADING_BYTE_DAIKANWA_3, Qideograph_daikanwa, 256, 2,
-                 2, 2, 0, CHARSET_LEFT_TO_RIGHT,
-                 build_string ("Daikanwa"),
-                 build_string ("Morohashi's Daikanwa Rev.2"),
-                 build_string
-                 ("Daikanwa dictionary (second revised version)"),
-                 build_string ("Daikanwa\\(\\.[0-9]+\\)?-3"),
-                 Qnil, MIN_CHAR_DAIKANWA, MAX_CHAR_DAIKANWA,
-                 MIN_CHAR_DAIKANWA, 0, Qnil, CONVERSION_IDENTICAL);
 
   staticpro (&Vcharset_ethiopic_ucs);
   Vcharset_ethiopic_ucs =