(byte_table_same_value_p): Use `internal_equal' instead of `EQ'.
[chise/xemacs-chise.git-] / src / mule-charset.c
index cf3b4ac..222ce97 100644 (file)
@@ -25,6 +25,9 @@ Boston, MA 02111-1307, USA.  */
 /* Rewritten by Ben Wing <ben@xemacs.org>. */
 
 #include <config.h>
+#ifdef UTF2000
+#include <limits.h>
+#endif
 #include "lisp.h"
 
 #include "buffer.h"
@@ -63,9 +66,11 @@ Lisp_Object Vcharset_chinese_cns11643_2;
 Lisp_Object Vcharset_ucs;
 Lisp_Object Vcharset_ucs_bmp;
 Lisp_Object Vcharset_latin_viscii;
+Lisp_Object Vcharset_latin_tcvn5712;
 Lisp_Object Vcharset_latin_viscii_lower;
 Lisp_Object Vcharset_latin_viscii_upper;
 Lisp_Object Vcharset_ideograph_daikanwa;
+Lisp_Object Vcharset_mojikyo;
 Lisp_Object Vcharset_mojikyo_pj_1;
 Lisp_Object Vcharset_mojikyo_pj_2;
 Lisp_Object Vcharset_mojikyo_pj_3;
@@ -109,7 +114,7 @@ static int composite_char_col_next;
 struct charset_lookup *chlook;
 
 static const struct lrecord_description charset_lookup_description_1[] = {
-  { XD_LISP_OBJECT, offsetof(struct charset_lookup, charset_by_leading_byte),
+  { XD_LISP_OBJECT_ARRAY, offsetof (struct charset_lookup, charset_by_leading_byte),
 #ifdef UTF2000
     128+4*128
 #else
@@ -119,7 +124,7 @@ static const struct lrecord_description charset_lookup_description_1[] = {
 };
 
 static const struct struct_description charset_lookup_description = {
-  sizeof(struct charset_lookup),
+  sizeof (struct charset_lookup),
   charset_lookup_description_1
 };
 
@@ -157,263 +162,703 @@ const Bytecount rep_bytes_by_first_byte[0xA0] =
 
 #ifdef UTF2000
 
+#define BT_UINT8_MIN           0
+#define BT_UINT8_MAX   (UCHAR_MAX - 3)
+#define BT_UINT8_t     (UCHAR_MAX - 2)
+#define BT_UINT8_nil   (UCHAR_MAX - 1)
+#define BT_UINT8_unbound UCHAR_MAX
+
+INLINE_HEADER int INT_UINT8_P (Lisp_Object obj);
+INLINE_HEADER int UINT8_VALUE_P (Lisp_Object obj);
+INLINE_HEADER unsigned char UINT8_ENCODE (Lisp_Object obj);
+INLINE_HEADER Lisp_Object UINT8_DECODE (unsigned char n);
+INLINE_HEADER unsigned short UINT8_TO_UINT16 (unsigned char n);
+
+INLINE_HEADER int
+INT_UINT8_P (Lisp_Object obj)
+{
+  if (INTP (obj))
+    {
+      int num = XINT (obj);
+
+      return (BT_UINT8_MIN <= num) && (num <= BT_UINT8_MAX);
+    }
+  else
+    return 0;
+}
+
+INLINE_HEADER int
+UINT8_VALUE_P (Lisp_Object obj)
+{
+  return EQ (obj, Qunbound)
+    || EQ (obj, Qnil) || EQ (obj, Qt) || INT_UINT8_P (obj);
+}
+
+INLINE_HEADER unsigned char
+UINT8_ENCODE (Lisp_Object obj)
+{
+  if (EQ (obj, Qunbound))
+    return BT_UINT8_unbound;
+  else if (EQ (obj, Qnil))
+    return BT_UINT8_nil;
+  else if (EQ (obj, Qt))
+    return BT_UINT8_t;
+  else
+    return XINT (obj);
+}
+
+INLINE_HEADER Lisp_Object
+UINT8_DECODE (unsigned char n)
+{
+  if (n == BT_UINT8_unbound)
+    return Qunbound;
+  else if (n == BT_UINT8_nil)
+    return Qnil;
+  else if (n == BT_UINT8_t)
+    return Qt;
+  else
+    return make_int (n);
+}
+
 static Lisp_Object
-mark_char_byte_table (Lisp_Object obj)
+mark_uint8_byte_table (Lisp_Object obj)
 {
-  struct Lisp_Char_Byte_Table *cte = XCHAR_BYTE_TABLE (obj);
+  return Qnil;
+}
+
+static void
+print_uint8_byte_table (Lisp_Object obj,
+                        Lisp_Object printcharfun, int escapeflag)
+{
+  Lisp_Uint8_Byte_Table *bte = XUINT8_BYTE_TABLE (obj);
   int i;
+  struct gcpro gcpro1, gcpro2;
+  GCPRO2 (obj, printcharfun);
 
+  write_c_string ("\n#<uint8-byte-table", printcharfun);
   for (i = 0; i < 256; i++)
     {
-      mark_object (cte->property[i]);
+      unsigned char n = bte->property[i];
+      if ( (i & 15) == 0 )
+       write_c_string ("\n  ", printcharfun);
+      write_c_string (" ", printcharfun);
+      if (n == BT_UINT8_unbound)
+       write_c_string ("void", printcharfun);
+      else if (n == BT_UINT8_nil)
+       write_c_string ("nil", printcharfun);
+      else if (n == BT_UINT8_t)
+       write_c_string ("t", printcharfun);
+      else
+       {
+         char buf[4];
+
+         sprintf (buf, "%hd", n);
+         write_c_string (buf, printcharfun);
+       }
     }
-  return Qnil;
+  UNGCPRO;
+  write_c_string (">", printcharfun);
 }
 
 static int
-char_byte_table_equal (Lisp_Object obj1, Lisp_Object obj2, int depth)
+uint8_byte_table_equal (Lisp_Object obj1, Lisp_Object obj2, int depth)
 {
-  struct Lisp_Char_Byte_Table *cte1 = XCHAR_BYTE_TABLE (obj1);
-  struct Lisp_Char_Byte_Table *cte2 = XCHAR_BYTE_TABLE (obj2);
+  Lisp_Uint8_Byte_Table *te1 = XUINT8_BYTE_TABLE (obj1);
+  Lisp_Uint8_Byte_Table *te2 = XUINT8_BYTE_TABLE (obj2);
   int i;
 
   for (i = 0; i < 256; i++)
-    if (CHAR_BYTE_TABLE_P (cte1->property[i]))
-      {
-       if (CHAR_BYTE_TABLE_P (cte2->property[i]))
-         {
-           if (!char_byte_table_equal (cte1->property[i],
-                                       cte2->property[i], depth + 1))
-             return 0;
-         }
-       else
-         return 0;
-      }
-    else
-      if (!internal_equal (cte1->property[i], cte2->property[i], depth + 1))
-       return 0;
+    if (te1->property[i] != te2->property[i])
+      return 0;
   return 1;
 }
 
 static unsigned long
-char_byte_table_hash (Lisp_Object obj, int depth)
+uint8_byte_table_hash (Lisp_Object obj, int depth)
 {
-  struct Lisp_Char_Byte_Table *cte = XCHAR_BYTE_TABLE (obj);
+  Lisp_Uint8_Byte_Table *te = XUINT8_BYTE_TABLE (obj);
+  int i;
+  hashcode_t hash = 0;
 
-  return internal_array_hash (cte->property, 256, depth);
+  for (i = 0; i < 256; i++)
+    hash = HASH2 (hash, te->property[i]);
+  return hash;
 }
 
-static const struct lrecord_description char_byte_table_description[] = {
-  { XD_LISP_OBJECT, offsetof(struct Lisp_Char_Byte_Table, property), 256 },
-  { XD_END }
-};
-
-DEFINE_LRECORD_IMPLEMENTATION ("char-byte-table", char_byte_table,
-                               mark_char_byte_table,
-                              internal_object_printer,
-                              0, char_byte_table_equal,
-                              char_byte_table_hash,
-                              char_byte_table_description,
-                              struct Lisp_Char_Byte_Table);
+DEFINE_LRECORD_IMPLEMENTATION ("uint8-byte-table", uint8_byte_table,
+                               mark_uint8_byte_table,
+                              print_uint8_byte_table,
+                              0, uint8_byte_table_equal,
+                              uint8_byte_table_hash,
+                              0 /* uint8_byte_table_description */,
+                              Lisp_Uint8_Byte_Table);
 
 static Lisp_Object
-make_char_byte_table (Lisp_Object initval)
+make_uint8_byte_table (unsigned char initval)
 {
   Lisp_Object obj;
   int i;
-  struct Lisp_Char_Byte_Table *cte =
-    alloc_lcrecord_type (struct Lisp_Char_Byte_Table,
-                        &lrecord_char_byte_table);
+  Lisp_Uint8_Byte_Table *cte;
+
+  cte = alloc_lcrecord_type (Lisp_Uint8_Byte_Table,
+                            &lrecord_uint8_byte_table);
 
   for (i = 0; i < 256; i++)
     cte->property[i] = initval;
 
-  XSETCHAR_BYTE_TABLE (obj, cte);
+  XSETUINT8_BYTE_TABLE (obj, cte);
   return obj;
 }
 
+static int
+uint8_byte_table_same_value_p (Lisp_Object obj)
+{
+  Lisp_Uint8_Byte_Table *bte = XUINT8_BYTE_TABLE (obj);
+  unsigned char v0 = bte->property[0];
+  int i;
+
+  for (i = 1; i < 256; i++)
+    {
+      if (bte->property[i] != v0)
+       return 0;
+    }
+  return -1;
+}
+
+
+#define BT_UINT16_MIN          0
+#define BT_UINT16_MAX   (USHRT_MAX - 3)
+#define BT_UINT16_t     (USHRT_MAX - 2)
+#define BT_UINT16_nil   (USHRT_MAX - 1)
+#define BT_UINT16_unbound USHRT_MAX
+
+INLINE_HEADER int INT_UINT16_P (Lisp_Object obj);
+INLINE_HEADER int UINT16_VALUE_P (Lisp_Object obj);
+INLINE_HEADER unsigned short UINT16_ENCODE (Lisp_Object obj);
+INLINE_HEADER Lisp_Object UINT16_DECODE (unsigned short us);
+
+INLINE_HEADER int
+INT_UINT16_P (Lisp_Object obj)
+{
+  if (INTP (obj))
+    {
+      int num = XINT (obj);
+
+      return (BT_UINT16_MIN <= num) && (num <= BT_UINT16_MAX);
+    }
+  else
+    return 0;
+}
+
+INLINE_HEADER int
+UINT16_VALUE_P (Lisp_Object obj)
+{
+  return EQ (obj, Qunbound)
+    || EQ (obj, Qnil) || EQ (obj, Qt) || INT_UINT16_P (obj);
+}
+
+INLINE_HEADER unsigned short
+UINT16_ENCODE (Lisp_Object obj)
+{
+  if (EQ (obj, Qunbound))
+    return BT_UINT16_unbound;
+  else if (EQ (obj, Qnil))
+    return BT_UINT16_nil;
+  else if (EQ (obj, Qt))
+    return BT_UINT16_t;
+  else
+    return XINT (obj);
+}
+
+INLINE_HEADER Lisp_Object
+UINT16_DECODE (unsigned short n)
+{
+  if (n == BT_UINT16_unbound)
+    return Qunbound;
+  else if (n == BT_UINT16_nil)
+    return Qnil;
+  else if (n == BT_UINT16_t)
+    return Qt;
+  else
+    return make_int (n);
+}
+
+INLINE_HEADER unsigned short
+UINT8_TO_UINT16 (unsigned char n)
+{
+  if (n == BT_UINT8_unbound)
+    return BT_UINT16_unbound;
+  else if (n == BT_UINT8_nil)
+    return BT_UINT16_nil;
+  else if (n == BT_UINT8_t)
+    return BT_UINT16_t;
+  else
+    return n;
+}
+
 static Lisp_Object
-copy_char_byte_table (Lisp_Object entry)
+mark_uint16_byte_table (Lisp_Object obj)
 {
-  struct Lisp_Char_Byte_Table *cte = XCHAR_BYTE_TABLE (entry);
-  Lisp_Object obj;
+  return Qnil;
+}
+
+static void
+print_uint16_byte_table (Lisp_Object obj,
+                        Lisp_Object printcharfun, int escapeflag)
+{
+  Lisp_Uint16_Byte_Table *bte = XUINT16_BYTE_TABLE (obj);
   int i;
-  struct Lisp_Char_Byte_Table *ctenew =
-    alloc_lcrecord_type (struct Lisp_Char_Byte_Table,
-                        &lrecord_char_byte_table);
+  struct gcpro gcpro1, gcpro2;
+  GCPRO2 (obj, printcharfun);
 
+  write_c_string ("\n#<uint16-byte-table", printcharfun);
   for (i = 0; i < 256; i++)
     {
-      Lisp_Object new = cte->property[i];
-      if (CHAR_BYTE_TABLE_P (new))
-       ctenew->property[i] = copy_char_byte_table (new);
+      unsigned short n = bte->property[i];
+      if ( (i & 15) == 0 )
+       write_c_string ("\n  ", printcharfun);
+      write_c_string (" ", printcharfun);
+      if (n == BT_UINT16_unbound)
+       write_c_string ("void", printcharfun);
+      else if (n == BT_UINT16_nil)
+       write_c_string ("nil", printcharfun);
+      else if (n == BT_UINT16_t)
+       write_c_string ("t", printcharfun);
       else
-       ctenew->property[i] = new;
+       {
+         char buf[7];
+
+         sprintf (buf, "%hd", n);
+         write_c_string (buf, printcharfun);
+       }
     }
+  UNGCPRO;
+  write_c_string (">", printcharfun);
+}
+
+static int
+uint16_byte_table_equal (Lisp_Object obj1, Lisp_Object obj2, int depth)
+{
+  Lisp_Uint16_Byte_Table *te1 = XUINT16_BYTE_TABLE (obj1);
+  Lisp_Uint16_Byte_Table *te2 = XUINT16_BYTE_TABLE (obj2);
+  int i;
+
+  for (i = 0; i < 256; i++)
+    if (te1->property[i] != te2->property[i])
+      return 0;
+  return 1;
+}
+
+static unsigned long
+uint16_byte_table_hash (Lisp_Object obj, int depth)
+{
+  Lisp_Uint16_Byte_Table *te = XUINT16_BYTE_TABLE (obj);
+  int i;
+  hashcode_t hash = 0;
+
+  for (i = 0; i < 256; i++)
+    hash = HASH2 (hash, te->property[i]);
+  return hash;
+}
 
-  XSETCHAR_BYTE_TABLE (obj, ctenew);
+DEFINE_LRECORD_IMPLEMENTATION ("uint16-byte-table", uint16_byte_table,
+                               mark_uint16_byte_table,
+                              print_uint16_byte_table,
+                              0, uint16_byte_table_equal,
+                              uint16_byte_table_hash,
+                              0 /* uint16_byte_table_description */,
+                              Lisp_Uint16_Byte_Table);
+
+static Lisp_Object
+make_uint16_byte_table (unsigned short initval)
+{
+  Lisp_Object obj;
+  int i;
+  Lisp_Uint16_Byte_Table *cte;
+
+  cte = alloc_lcrecord_type (Lisp_Uint16_Byte_Table,
+                            &lrecord_uint16_byte_table);
+
+  for (i = 0; i < 256; i++)
+    cte->property[i] = initval;
+
+  XSETUINT16_BYTE_TABLE (obj, cte);
   return obj;
 }
 
+static int
+uint16_byte_table_same_value_p (Lisp_Object obj)
+{
+  Lisp_Uint16_Byte_Table *bte = XUINT16_BYTE_TABLE (obj);
+  unsigned short v0 = bte->property[0];
+  int i;
+
+  for (i = 1; i < 256; i++)
+    {
+      if (bte->property[i] != v0)
+       return 0;
+    }
+  return -1;
+}
+
 
 static Lisp_Object
-mark_char_code_table (Lisp_Object obj)
+mark_byte_table (Lisp_Object obj)
 {
-  struct Lisp_Char_Code_Table *cte = XCHAR_CODE_TABLE (obj);
+  Lisp_Byte_Table *cte = XBYTE_TABLE (obj);
+  int i;
 
-  return cte->table;
+  for (i = 0; i < 256; i++)
+    {
+      mark_object (cte->property[i]);
+    }
+  return Qnil;
+}
+
+static void
+print_byte_table (Lisp_Object obj, Lisp_Object printcharfun, int escapeflag)
+{
+  Lisp_Byte_Table *bte = XBYTE_TABLE (obj);
+  int i;
+  struct gcpro gcpro1, gcpro2;
+  GCPRO2 (obj, printcharfun);
+
+  write_c_string ("\n#<byte-table", printcharfun);
+  for (i = 0; i < 256; i++)
+    {
+      Lisp_Object elt = bte->property[i];
+      if ( (i & 15) == 0 )
+       write_c_string ("\n  ", printcharfun);
+      write_c_string (" ", printcharfun);
+      if (EQ (elt, Qunbound))
+       write_c_string ("void", printcharfun);
+      else
+       print_internal (elt, printcharfun, escapeflag);
+    }
+  UNGCPRO;
+  write_c_string (">", printcharfun);
 }
 
 static int
-char_code_table_equal (Lisp_Object obj1, Lisp_Object obj2, int depth)
+byte_table_equal (Lisp_Object obj1, Lisp_Object obj2, int depth)
 {
-  struct Lisp_Char_Code_Table *cte1 = XCHAR_CODE_TABLE (obj1);
-  struct Lisp_Char_Code_Table *cte2 = XCHAR_CODE_TABLE (obj2);
+  Lisp_Byte_Table *cte1 = XBYTE_TABLE (obj1);
+  Lisp_Byte_Table *cte2 = XBYTE_TABLE (obj2);
+  int i;
 
-  return char_byte_table_equal (cte1->table, cte2->table, depth + 1);
+  for (i = 0; i < 256; i++)
+    if (BYTE_TABLE_P (cte1->property[i]))
+      {
+       if (BYTE_TABLE_P (cte2->property[i]))
+         {
+           if (!byte_table_equal (cte1->property[i],
+                                  cte2->property[i], depth + 1))
+             return 0;
+         }
+       else
+         return 0;
+      }
+    else
+      if (!internal_equal (cte1->property[i], cte2->property[i], depth + 1))
+       return 0;
+  return 1;
 }
 
 static unsigned long
-char_code_table_hash (Lisp_Object obj, int depth)
+byte_table_hash (Lisp_Object obj, int depth)
 {
-  struct Lisp_Char_Code_Table *cte = XCHAR_CODE_TABLE (obj);
+  Lisp_Byte_Table *cte = XBYTE_TABLE (obj);
 
-  return char_code_table_hash (cte->table, depth + 1);
+  return internal_array_hash (cte->property, 256, depth);
 }
 
-static const struct lrecord_description char_code_table_description[] = {
-  { XD_LISP_OBJECT, offsetof(struct Lisp_Char_Code_Table, table), 1 },
+static const struct lrecord_description byte_table_description[] = {
+  { XD_LISP_OBJECT_ARRAY, offsetof(Lisp_Byte_Table, property), 256 },
   { XD_END }
 };
 
-DEFINE_LRECORD_IMPLEMENTATION ("char-code-table", char_code_table,
-                               mark_char_code_table,
-                              internal_object_printer,
-                              0, char_code_table_equal,
-                              char_code_table_hash,
-                              char_code_table_description,
-                              struct Lisp_Char_Code_Table);
+DEFINE_LRECORD_IMPLEMENTATION ("byte-table", byte_table,
+                               mark_byte_table,
+                              print_byte_table,
+                              0, byte_table_equal,
+                              byte_table_hash,
+                              byte_table_description,
+                              Lisp_Byte_Table);
 
 static Lisp_Object
-make_char_code_table (Lisp_Object initval)
+make_byte_table (Lisp_Object initval)
 {
   Lisp_Object obj;
-  struct Lisp_Char_Code_Table *cte =
-    alloc_lcrecord_type (struct Lisp_Char_Code_Table,
-                        &lrecord_char_code_table);
+  int i;
+  Lisp_Byte_Table *cte;
+
+  cte = alloc_lcrecord_type (Lisp_Byte_Table, &lrecord_byte_table);
 
-  cte->table = make_char_byte_table (initval);
+  for (i = 0; i < 256; i++)
+    cte->property[i] = initval;
 
-  XSETCHAR_CODE_TABLE (obj, cte);
+  XSETBYTE_TABLE (obj, cte);
   return obj;
 }
 
-static Lisp_Object
-copy_char_code_table (Lisp_Object entry)
+static int
+byte_table_same_value_p (Lisp_Object obj)
 {
-  struct Lisp_Char_Code_Table *cte = XCHAR_CODE_TABLE (entry);
-  Lisp_Object obj;
-  struct Lisp_Char_Code_Table *ctenew =
-    alloc_lcrecord_type (struct Lisp_Char_Code_Table,
-                        &lrecord_char_code_table);
+  Lisp_Byte_Table *bte = XBYTE_TABLE (obj);
+  Lisp_Object v0 = bte->property[0];
+  int i;
 
-  ctenew->table = copy_char_byte_table (cte->table);
-  XSETCHAR_CODE_TABLE (obj, ctenew);
-  return obj;
+  for (i = 1; i < 256; i++)
+    {
+      if (!internal_equal (bte->property[i], v0, 0))
+       return 0;
+    }
+  return -1;
 }
 
 
+Lisp_Object get_byte_table (Lisp_Object table, unsigned char idx);
+Lisp_Object put_byte_table (Lisp_Object table, unsigned char idx,
+                           Lisp_Object value);
+
 Lisp_Object
-get_char_code_table (Emchar ch, Lisp_Object table)
+get_byte_table (Lisp_Object table, unsigned char idx)
 {
-  unsigned int code = ch;
-  struct Lisp_Char_Byte_Table* cpt
-    = XCHAR_BYTE_TABLE (XCHAR_CODE_TABLE (table)->table);
-  Lisp_Object ret = cpt->property [(unsigned char)(code >> 24)];
-
-  if (CHAR_BYTE_TABLE_P (ret))
-    cpt = XCHAR_BYTE_TABLE (ret);
+  if (UINT8_BYTE_TABLE_P (table))
+    return UINT8_DECODE (XUINT8_BYTE_TABLE(table)->property[idx]);
+  else if (UINT16_BYTE_TABLE_P (table))
+    return UINT16_DECODE (XUINT16_BYTE_TABLE(table)->property[idx]);
+  else if (BYTE_TABLE_P (table))
+    return XBYTE_TABLE(table)->property[idx];
   else
-    return ret;
-
-  ret = cpt->property [(unsigned char) (code >> 16)];
-  if (CHAR_BYTE_TABLE_P (ret))
-    cpt = XCHAR_BYTE_TABLE (ret);
-  else
-    return ret;
-
-  ret = cpt->property [(unsigned char) (code >> 8)];
-  if (CHAR_BYTE_TABLE_P (ret))
-    cpt = XCHAR_BYTE_TABLE (ret);
-  else
-    return ret;
-  
-  return cpt->property [(unsigned char) code];
+    return table;
 }
 
-void
-put_char_code_table (Emchar ch, Lisp_Object value, Lisp_Object table)
+Lisp_Object
+put_byte_table (Lisp_Object table, unsigned char idx, Lisp_Object value)
 {
-  unsigned int code = ch;
-  struct Lisp_Char_Byte_Table* cpt1
-    = XCHAR_BYTE_TABLE (XCHAR_CODE_TABLE (table)->table);
-  Lisp_Object ret = cpt1->property[(unsigned char)(code >> 24)];
+  if (UINT8_BYTE_TABLE_P (table))
+    {
+      if (UINT8_VALUE_P (value))
+       {
+         XUINT8_BYTE_TABLE(table)->property[idx] = UINT8_ENCODE (value);
+         if (!UINT8_BYTE_TABLE_P (value) &&
+             !UINT16_BYTE_TABLE_P (value) && !BYTE_TABLE_P (value)
+             && uint8_byte_table_same_value_p (table))
+           {
+             return value;
+           }
+       }
+      else if (UINT16_VALUE_P (value))
+       {
+         Lisp_Object new = make_uint16_byte_table (Qnil);
+         int i;
+
+         for (i = 0; i < 256; i++)
+           {
+             XUINT16_BYTE_TABLE(new)->property[i]
+               = UINT8_TO_UINT16 (XUINT8_BYTE_TABLE(table)->property[i]);
+           }
+         XUINT16_BYTE_TABLE(new)->property[idx] = UINT16_ENCODE (value);
+         return new;
+       }
+      else
+       {
+         Lisp_Object new = make_byte_table (Qnil);
+         int i;
 
-  if (CHAR_BYTE_TABLE_P (ret))
+         for (i = 0; i < 256; i++)
+           {
+             XBYTE_TABLE(new)->property[i]
+               = UINT8_DECODE (XUINT8_BYTE_TABLE(table)->property[i]);
+           }
+         XBYTE_TABLE(new)->property[idx] = value;
+         return new;
+       }
+    }
+  else if (UINT16_BYTE_TABLE_P (table))
     {
-      struct Lisp_Char_Byte_Table* cpt2 = XCHAR_BYTE_TABLE (ret);
-      
-      ret = cpt2->property[(unsigned char)(code >> 16)];
-      if (CHAR_BYTE_TABLE_P (ret))
+      if (UINT16_VALUE_P (value))
        {
-         struct Lisp_Char_Byte_Table* cpt3 = XCHAR_BYTE_TABLE (ret);
-         
-         ret = cpt3->property[(unsigned char)(code >> 8)];
-         if (CHAR_BYTE_TABLE_P (ret))
+         XUINT16_BYTE_TABLE(table)->property[idx] = UINT16_ENCODE (value);
+         if (!UINT8_BYTE_TABLE_P (value) &&
+             !UINT16_BYTE_TABLE_P (value) && !BYTE_TABLE_P (value)
+             && uint16_byte_table_same_value_p (table))
            {
-             struct Lisp_Char_Byte_Table* cpt4
-               = XCHAR_BYTE_TABLE (ret);
-             
-             cpt4->property[(unsigned char)code] = value;
+             return value;
            }
-         else if (!EQ (ret, value))
+       }
+      else
+       {
+         Lisp_Object new = make_byte_table (Qnil);
+         int i;
+
+         for (i = 0; i < 256; i++)
            {
-             Lisp_Object cpt4 = make_char_byte_table (ret);
-             
-             XCHAR_BYTE_TABLE(cpt4)->property[(unsigned char)code] = value;
-             cpt3->property[(unsigned char)(code >> 8)] = cpt4;
+             XBYTE_TABLE(new)->property[i]
+               = UINT16_DECODE (XUINT16_BYTE_TABLE(table)->property[i]);
            }
+         XBYTE_TABLE(new)->property[idx] = value;
+         return new;
        }
-      else if (!EQ (ret, value))
+    }
+  else if (BYTE_TABLE_P (table))
+    {
+      XBYTE_TABLE(table)->property[idx] = value;
+      if (!UINT8_BYTE_TABLE_P (value) &&
+         !UINT16_BYTE_TABLE_P (value) && !BYTE_TABLE_P (value)
+         && byte_table_same_value_p (table))
        {
-         Lisp_Object cpt3 = make_char_byte_table (ret);
-         Lisp_Object cpt4 = make_char_byte_table (ret);
-         
-         XCHAR_BYTE_TABLE(cpt4)->property[(unsigned char)code] = value;
-         XCHAR_BYTE_TABLE(cpt3)->property[(unsigned char)(code >> 8)]
-           = cpt4;
-         cpt2->property[(unsigned char)(code >> 16)] = cpt3;
+         return value;
        }
     }
-  else if (!EQ (ret, value))
+  else if (!internal_equal (table, value, 0))
     {
-      Lisp_Object cpt2 = make_char_byte_table (ret);
-      Lisp_Object cpt3 = make_char_byte_table (ret);
-      Lisp_Object cpt4 = make_char_byte_table (ret);
-      
-      XCHAR_BYTE_TABLE(cpt4)->property[(unsigned char)code] = value;
-      XCHAR_BYTE_TABLE(cpt3)->property[(unsigned char)(code >>  8)] = cpt4;
-      XCHAR_BYTE_TABLE(cpt2)->property[(unsigned char)(code >> 16)] = cpt3;
-      cpt1->property[(unsigned char)(code >> 24)] = cpt2;
+      if (UINT8_VALUE_P (table) && UINT8_VALUE_P (value))
+       {
+         table = make_uint8_byte_table (UINT8_ENCODE (table));
+         XUINT8_BYTE_TABLE(table)->property[idx] = UINT8_ENCODE (value);
+       }
+      else if (UINT16_VALUE_P (table) && UINT16_VALUE_P (value))
+       {
+         table = make_uint16_byte_table (UINT16_ENCODE (table));
+         XUINT16_BYTE_TABLE(table)->property[idx] = UINT16_ENCODE (value);
+       }
+      else
+       {
+         table = make_byte_table (table);
+         XBYTE_TABLE(table)->property[idx] = value;
+       }
     }
+  return table;
 }
 
+static Lisp_Object
+mark_char_id_table (Lisp_Object obj)
+{
+  Lisp_Char_ID_Table *cte = XCHAR_ID_TABLE (obj);
+
+  return cte->table;
+}
+
+static void
+print_char_id_table (Lisp_Object obj, Lisp_Object printcharfun, int escapeflag)
+{
+  Lisp_Object table = XCHAR_ID_TABLE (obj)->table;
+  int i;
+  struct gcpro gcpro1, gcpro2;
+  GCPRO2 (obj, printcharfun);
+
+  write_c_string ("#<char-id-table ", printcharfun);
+  for (i = 0; i < 256; i++)
+    {
+      Lisp_Object elt = get_byte_table (table, i);
+      if (i != 0) write_c_string ("\n  ", printcharfun);
+      if (EQ (elt, Qunbound))
+       write_c_string ("void", printcharfun);
+      else
+       print_internal (elt, printcharfun, escapeflag);
+    }
+  UNGCPRO;
+  write_c_string (">", printcharfun);
+}
+
+static int
+char_id_table_equal (Lisp_Object obj1, Lisp_Object obj2, int depth)
+{
+  Lisp_Object table1 = XCHAR_ID_TABLE (obj1)->table;
+  Lisp_Object table2 = XCHAR_ID_TABLE (obj2)->table;
+  int i;
+
+  for (i = 0; i < 256; i++)
+    {
+      if (!internal_equal (get_byte_table (table1, i),
+                         get_byte_table (table2, i), 0))
+       return 0;
+    }
+  return -1;
+}
 
-Lisp_Object Vcharacter_attribute_table;
+static unsigned long
+char_id_table_hash (Lisp_Object obj, int depth)
+{
+  Lisp_Char_ID_Table *cte = XCHAR_ID_TABLE (obj);
+
+  return char_id_table_hash (cte->table, depth + 1);
+}
+
+static const struct lrecord_description char_id_table_description[] = {
+  { XD_LISP_OBJECT, offsetof(Lisp_Char_ID_Table, table) },
+  { XD_END }
+};
+
+DEFINE_LRECORD_IMPLEMENTATION ("char-id-table", char_id_table,
+                               mark_char_id_table,
+                              print_char_id_table,
+                              0, char_id_table_equal,
+                              char_id_table_hash,
+                              char_id_table_description,
+                              Lisp_Char_ID_Table);
+
+static Lisp_Object
+make_char_id_table (Lisp_Object initval)
+{
+  Lisp_Object obj;
+  Lisp_Char_ID_Table *cte;
+
+  cte = alloc_lcrecord_type (Lisp_Char_ID_Table, &lrecord_char_id_table);
+
+  cte->table = make_byte_table (initval);
+
+  XSETCHAR_ID_TABLE (obj, cte);
+  return obj;
+}
+
+
+Lisp_Object
+get_char_id_table (Emchar ch, Lisp_Object table)
+{
+  unsigned int code = ch;
+
+  return
+    get_byte_table
+    (get_byte_table
+     (get_byte_table
+      (get_byte_table
+       (XCHAR_ID_TABLE (table)->table,
+       (unsigned char)(code >> 24)),
+       (unsigned char) (code >> 16)),
+      (unsigned char)  (code >> 8)),
+     (unsigned char)    code);
+}
+
+void put_char_id_table (Emchar ch, Lisp_Object value, Lisp_Object table);
+void
+put_char_id_table (Emchar ch, Lisp_Object value, Lisp_Object table)
+{
+  unsigned int code = ch;
+  Lisp_Object table1, table2, table3, table4;
+
+  table1 = XCHAR_ID_TABLE (table)->table;
+  table2 = get_byte_table (table1, (unsigned char)(code >> 24));
+  table3 = get_byte_table (table2, (unsigned char)(code >> 16));
+  table4 = get_byte_table (table3, (unsigned char)(code >> 8));
+
+  table4 = put_byte_table (table4, (unsigned char)code,         value);
+  table3 = put_byte_table (table3, (unsigned char)(code >> 8),  table4);
+  table2 = put_byte_table (table2, (unsigned char)(code >> 16), table3);
+  XCHAR_ID_TABLE (table)->table
+    = put_byte_table (table1, (unsigned char)(code >> 24), table2);
+}
+
+
+Lisp_Object Vchar_attribute_hash_table;
 Lisp_Object Vcharacter_composition_table;
 Lisp_Object Vcharacter_variant_table;
 
+Lisp_Object Qideograph_daikanwa;
 Lisp_Object Q_decomposition;
+Lisp_Object Qucs;
 Lisp_Object Q_ucs;
 Lisp_Object Qcompat;
 Lisp_Object Qisolated;
@@ -432,8 +877,14 @@ Lisp_Object Qnarrow;
 Lisp_Object Qsmall;
 Lisp_Object Qfont;
 
+Emchar to_char_id (Lisp_Object v, char* err_msg, Lisp_Object err_arg);
+
+Lisp_Object put_char_ccs_code_point (Lisp_Object character,
+                                    Lisp_Object ccs, Lisp_Object value);
+Lisp_Object remove_char_ccs (Lisp_Object character, Lisp_Object ccs);
+
 Emchar
-to_char_code (Lisp_Object v, char* err_msg, Lisp_Object err_arg)
+to_char_id (Lisp_Object v, char* err_msg, Lisp_Object err_arg)
 {
   if (INTP (v))
     return XINT (v);
@@ -480,127 +931,450 @@ Return character corresponding with list.
 */
        (list))
 {
-  Lisp_Object table = Vcharacter_composition_table;
-  Lisp_Object rest = list;
+  Lisp_Object table = Vcharacter_composition_table;
+  Lisp_Object rest = list;
+
+  while (CONSP (rest))
+    {
+      Lisp_Object v = Fcar (rest);
+      Lisp_Object ret;
+      Emchar c = to_char_id (v, "Invalid value for composition", list);
+
+      ret = get_char_id_table (c, table);
+
+      rest = Fcdr (rest);
+      if (NILP (rest))
+       {
+         if (!CHAR_ID_TABLE_P (ret))
+           return ret;
+         else
+           return Qt;
+       }
+      else if (!CONSP (rest))
+       break;
+      else if (CHAR_ID_TABLE_P (ret))
+       table = ret;
+      else
+       signal_simple_error ("Invalid table is found with", list);
+    }
+  signal_simple_error ("Invalid value for composition", list);
+}
+
+DEFUN ("char-variants", Fchar_variants, 1, 1, 0, /*
+Return variants of CHARACTER.
+*/
+       (character))
+{
+  CHECK_CHAR (character);
+  return Fcopy_list (get_char_id_table (XCHAR (character),
+                                       Vcharacter_variant_table));
+}
+
+
+/* We store the char-attributes in hash tables with the names as the
+   key and the actual char-id-table object as the value.  Occasionally
+   we need to use them in a list format.  These routines provide us
+   with that. */
+struct char_attribute_list_closure
+{
+  Lisp_Object *char_attribute_list;
+};
+
+static int
+add_char_attribute_to_list_mapper (Lisp_Object key, Lisp_Object value,
+                                  void *char_attribute_list_closure)
+{
+  /* This function can GC */
+  struct char_attribute_list_closure *calcl
+    = (struct char_attribute_list_closure*) char_attribute_list_closure;
+  Lisp_Object *char_attribute_list = calcl->char_attribute_list;
+
+  *char_attribute_list = Fcons (key, *char_attribute_list);
+  return 0;
+}
+
+DEFUN ("char-attribute-list", Fchar_attribute_list, 0, 0, 0, /*
+Return the list of all existing character attributes except coded-charsets.
+*/
+       ())
+{
+  Lisp_Object char_attribute_list = Qnil;
+  struct gcpro gcpro1;
+  struct char_attribute_list_closure char_attribute_list_closure;
+  
+  GCPRO1 (char_attribute_list);
+  char_attribute_list_closure.char_attribute_list = &char_attribute_list;
+  elisp_maphash (add_char_attribute_to_list_mapper,
+                Vchar_attribute_hash_table,
+                &char_attribute_list_closure);
+  UNGCPRO;
+  return char_attribute_list;
+}
+
+DEFUN ("find-char-attribute-table", Ffind_char_attribute_table, 1, 1, 0, /*
+Return char-id-table corresponding to ATTRIBUTE.
+*/
+       (attribute))
+{
+  return Fgethash (attribute, Vchar_attribute_hash_table, Qnil);
+}
+
+
+/* We store the char-id-tables in hash tables with the attributes as
+   the key and the actual char-id-table object as the value.  Each
+   char-id-table stores values of an attribute corresponding with
+   characters.  Occasionally we need to get attributes of a character
+   in a association-list format.  These routines provide us with
+   that. */
+struct char_attribute_alist_closure
+{
+  Emchar char_id;
+  Lisp_Object *char_attribute_alist;
+};
+
+static int
+add_char_attribute_alist_mapper (Lisp_Object key, Lisp_Object value,
+                                void *char_attribute_alist_closure)
+{
+  /* This function can GC */
+  struct char_attribute_alist_closure *caacl =
+    (struct char_attribute_alist_closure*) char_attribute_alist_closure;
+  Lisp_Object ret = get_char_id_table (caacl->char_id, value);
+  if (!UNBOUNDP (ret))
+    {
+      Lisp_Object *char_attribute_alist = caacl->char_attribute_alist;
+      *char_attribute_alist
+       = Fcons (Fcons (key, ret), *char_attribute_alist);
+    }
+  return 0;
+}
+
+DEFUN ("char-attribute-alist", Fchar_attribute_alist, 1, 1, 0, /*
+Return the alist of attributes of CHARACTER.
+*/
+       (character))
+{
+  Lisp_Object alist = Qnil;
+  int i;
+
+  CHECK_CHAR (character);
+  {
+    struct gcpro gcpro1;
+    struct char_attribute_alist_closure char_attribute_alist_closure;
+  
+    GCPRO1 (alist);
+    char_attribute_alist_closure.char_id = XCHAR (character);
+    char_attribute_alist_closure.char_attribute_alist = &alist;
+    elisp_maphash (add_char_attribute_alist_mapper,
+                  Vchar_attribute_hash_table,
+                  &char_attribute_alist_closure);
+    UNGCPRO;
+  }
+
+  for (i = 0; i < countof (chlook->charset_by_leading_byte); i++)
+    {
+      Lisp_Object ccs = chlook->charset_by_leading_byte[i];
+
+      if (!NILP (ccs))
+       {
+         Lisp_Object encoding_table = XCHARSET_ENCODING_TABLE (ccs);
+         Lisp_Object cpos;
+
+         if ( CHAR_ID_TABLE_P (encoding_table)
+              && INTP (cpos = get_char_id_table (XCHAR (character),
+                                                 encoding_table)) )
+           {
+             alist = Fcons (Fcons (ccs, cpos), alist);
+           }
+       }
+    }
+  return alist;
+}
+
+DEFUN ("get-char-attribute", Fget_char_attribute, 2, 2, 0, /*
+Return the value of CHARACTER's ATTRIBUTE.
+*/
+       (character, attribute))
+{
+  Lisp_Object ccs;
+
+  CHECK_CHAR (character);
+  if (!NILP (ccs = Ffind_charset (attribute)))
+    {
+      Lisp_Object encoding_table = XCHARSET_ENCODING_TABLE (ccs);
+
+      if (CHAR_ID_TABLE_P (encoding_table))
+       return get_char_id_table (XCHAR (character), encoding_table);
+      else
+       return Qnil;
+    }
+  else
+    {
+      Lisp_Object table = Fgethash (attribute,
+                                   Vchar_attribute_hash_table,
+                                   Qunbound);
+      if (!UNBOUNDP (table))
+       {
+         Lisp_Object ret = get_char_id_table (XCHAR (character), table);
+         if (!UNBOUNDP (ret))
+           return ret;
+       }
+    }
+  return Qnil;
+}
+
+DEFUN ("put-char-attribute", Fput_char_attribute, 3, 3, 0, /*
+Store CHARACTER's ATTRIBUTE with VALUE.
+*/
+       (character, attribute, value))
+{
+  Lisp_Object ccs;
 
-  while (CONSP (rest))
+  CHECK_CHAR (character);
+  ccs = Ffind_charset (attribute);
+  if (!NILP (ccs))
     {
-      Lisp_Object v = Fcar (rest);
-      Lisp_Object ret;
-      Emchar c = to_char_code (v, "Invalid value for composition", list);
+      return put_char_ccs_code_point (character, ccs, value);
+    }
+  else if (EQ (attribute, Q_decomposition))
+    {
+      Lisp_Object seq;
 
-      ret = get_char_code_table (c, table);
+      if (!CONSP (value))
+       signal_simple_error ("Invalid value for ->decomposition",
+                            value);
 
-      rest = Fcdr (rest);
-      if (NILP (rest))
+      if (CONSP (Fcdr (value)))
        {
-         if (!CHAR_CODE_TABLE_P (ret))
-           return ret;
-         else
-           return Qt;
+         Lisp_Object rest = value;
+         Lisp_Object table = Vcharacter_composition_table;
+         size_t len;
+         int i = 0;
+
+         GET_EXTERNAL_LIST_LENGTH (rest, len);
+         seq = make_vector (len, Qnil);
+
+         while (CONSP (rest))
+           {
+             Lisp_Object v = Fcar (rest);
+             Lisp_Object ntable;
+             Emchar c
+               = to_char_id (v, "Invalid value for ->decomposition", value);
+
+             if (c < 0)
+               XVECTOR_DATA(seq)[i++] = v;
+             else
+               XVECTOR_DATA(seq)[i++] = make_char (c);
+             rest = Fcdr (rest);
+             if (!CONSP (rest))
+               {
+                 put_char_id_table (c, character, table);
+                 break;
+               }
+             else
+               {
+                 ntable = get_char_id_table (c, table);
+                 if (!CHAR_ID_TABLE_P (ntable))
+                   {
+                     ntable = make_char_id_table (Qnil);
+                     put_char_id_table (c, ntable, table);
+                   }
+                 table = ntable;
+               }
+           }
        }
-      else if (!CONSP (rest))
-       break;
-      else if (CHAR_CODE_TABLE_P (ret))
-       table = ret;
       else
-       signal_simple_error ("Invalid table is found with", list);
+       {
+         Lisp_Object v = Fcar (value);
+
+         if (INTP (v))
+           {
+             Emchar c = XINT (v);
+             Lisp_Object ret
+               = get_char_id_table (c, Vcharacter_variant_table);
+
+             if (NILP (Fmemq (v, ret)))
+               {
+                 put_char_id_table (c, Fcons (character, ret),
+                                    Vcharacter_variant_table);
+               }
+           }
+         seq = make_vector (1, v);
+       }
+      value = seq;
     }
-  signal_simple_error ("Invalid value for composition", list);
-}
+  else if (EQ (attribute, Q_ucs))
+    {
+      Lisp_Object ret;
+      Emchar c;
 
-DEFUN ("char-variants", Fchar_variants, 1, 1, 0, /*
-Return variants of CHARACTER.
+      if (!INTP (value))
+       signal_simple_error ("Invalid value for ->ucs", value);
+
+      c = XINT (value);
+
+      ret = get_char_id_table (c, Vcharacter_variant_table);
+      if (NILP (Fmemq (character, ret)))
+       {
+         put_char_id_table (c, Fcons (character, ret),
+                            Vcharacter_variant_table);
+       }
+    }
+  {
+    Lisp_Object table = Fgethash (attribute,
+                                 Vchar_attribute_hash_table,
+                                 Qnil);
+
+    if (NILP (table))
+      {
+       table = make_char_id_table (Qunbound);
+       Fputhash (attribute, table, Vchar_attribute_hash_table);
+      }
+    put_char_id_table (XCHAR (character), value, table);
+    return value;
+  }
+}
+  
+DEFUN ("remove-char-attribute", Fremove_char_attribute, 2, 2, 0, /*
+Remove CHARACTER's ATTRIBUTE.
 */
-       (character))
+       (character, attribute))
 {
+  Lisp_Object ccs;
+
   CHECK_CHAR (character);
-  return Fcopy_list (get_char_code_table (XCHAR (character),
-                                         Vcharacter_variant_table));
+  ccs = Ffind_charset (attribute);
+  if (!NILP (ccs))
+    {
+      return remove_char_ccs (character, ccs);
+    }
+  else
+    {
+      Lisp_Object table = Fgethash (attribute,
+                                   Vchar_attribute_hash_table,
+                                   Qunbound);
+      if (!UNBOUNDP (table))
+       {
+         put_char_id_table (XCHAR (character), Qunbound, table);
+         return Qt;
+       }
+    }
+  return Qnil;
 }
 
-DEFUN ("char-attribute-alist", Fchar_attribute_alist, 1, 1, 0, /*
-Return the alist of attributes of CHARACTER.
-*/
-       (character))
+INLINE_HEADER int CHARSET_BYTE_SIZE (Lisp_Charset* cs);
+INLINE_HEADER int
+CHARSET_BYTE_SIZE (Lisp_Charset* cs)
 {
-  CHECK_CHAR (character);
-  return Fcopy_alist (get_char_code_table (XCHAR (character),
-                                          Vcharacter_attribute_table));
+  /* ad-hoc method for `ascii' */
+  if ((CHARSET_CHARS (cs) == 94) &&
+      (CHARSET_BYTE_OFFSET (cs) != 33))
+    return 128 - CHARSET_BYTE_OFFSET (cs);
+  else
+    return CHARSET_CHARS (cs);
 }
 
-DEFUN ("get-char-attribute", Fget_char_attribute, 2, 2, 0, /*
-Return the value of CHARACTER's ATTRIBUTE.
-*/
-       (character, attribute))
+#define XCHARSET_BYTE_SIZE(ccs)        CHARSET_BYTE_SIZE (XCHARSET (ccs))
+
+int decoding_table_check_elements (Lisp_Object v, int dim, int ccs_len);
+int
+decoding_table_check_elements (Lisp_Object v, int dim, int ccs_len)
 {
-  Lisp_Object ret;
-  Lisp_Object ccs;
+  int i;
 
-  CHECK_CHAR (character);
-  ret = get_char_code_table (XCHAR (character),
-                            Vcharacter_attribute_table);
-  if (EQ (ret, Qnil))
-    return Qnil;
+  if (XVECTOR_LENGTH (v) > ccs_len)
+    return -1;
 
-  if (!NILP (ccs = Ffind_charset (attribute)))
-    attribute = ccs;
+  for (i = 0; i < XVECTOR_LENGTH (v); i++)
+    {
+      Lisp_Object c = XVECTOR_DATA(v)[i];
 
-  return Fcdr (Fassq (attribute, ret));
+      if (!NILP (c) && !CHARP (c))
+       {
+         if (VECTORP (c))
+           {
+             int ret = decoding_table_check_elements (c, dim - 1, ccs_len);
+             if (ret)
+               return ret;
+           }
+         else
+           return -2;
+       }
+    }
+  return 0;
 }
 
-Lisp_Object
-put_char_attribute (Lisp_Object character, Lisp_Object attribute,
-                   Lisp_Object value)
+INLINE_HEADER void
+decoding_table_remove_char (Lisp_Object v, int dim, int byte_offset,
+                           int code_point);
+INLINE_HEADER void
+decoding_table_remove_char (Lisp_Object v, int dim, int byte_offset,
+                           int code_point)
 {
-  Emchar char_code = XCHAR (character);
-  Lisp_Object ret
-    = get_char_code_table (char_code, Vcharacter_attribute_table);
-  Lisp_Object cell;
-
-  cell = Fassq (attribute, ret);
+  int i = -1;
 
-  if (NILP (cell))
+  while (dim > 0)
     {
-      ret = Fcons (Fcons (attribute, value), ret);
+      Lisp_Object nv;
+
+      dim--;
+      i = ((code_point >> (8 * dim)) & 255) - byte_offset;
+      nv = XVECTOR_DATA(v)[i];
+      if (!VECTORP (nv))
+       break;
+      v = nv;
     }
-  else if (!EQ (Fcdr (cell), value))
+  if (i >= 0)
+    XVECTOR_DATA(v)[i] = Qnil;
+}
+
+INLINE_HEADER void
+decoding_table_put_char (Lisp_Object v, int dim, int byte_offset,
+                        int code_point, Lisp_Object character);
+INLINE_HEADER void
+decoding_table_put_char (Lisp_Object v, int dim, int byte_offset,
+                        int code_point, Lisp_Object character)
+{
+  int i = -1;
+  Lisp_Object nv;
+  int ccs_len = XVECTOR_LENGTH (v);
+
+  while (dim > 0)
     {
-      Fsetcdr (cell, value);
+      dim--;
+      i = ((code_point >> (8 * dim)) & 255) - byte_offset;
+      nv = XVECTOR_DATA(v)[i];
+      if (dim > 0)
+       {
+         if (!VECTORP (nv))
+           nv = (XVECTOR_DATA(v)[i] = make_older_vector (ccs_len, Qnil));
+         v = nv;
+       }
+      else
+       break;
     }
-  put_char_code_table (char_code, ret, Vcharacter_attribute_table);
-  return ret;
+  XVECTOR_DATA(v)[i] = character;
 }
-  
-DEFUN ("put-char-attribute", Fput_char_attribute, 3, 3, 0, /*
-Store CHARACTER's ATTRIBUTE with VALUE.
-*/
-       (character, attribute, value))
+
+Lisp_Object
+put_char_ccs_code_point (Lisp_Object character,
+                        Lisp_Object ccs, Lisp_Object value)
 {
-  Lisp_Object ccs;
+  Lisp_Object encoding_table;
 
-  CHECK_CHAR (character);
-  ccs = Ffind_charset (attribute);
-  if (!NILP (ccs))
+  if (!EQ (XCHARSET_NAME (ccs), Qucs)
+      || (XCHAR (character) != XINT (value)))
     {
-      Lisp_Object cpos, rest;
       Lisp_Object v = XCHARSET_DECODING_TABLE (ccs);
-      Lisp_Object nv;
-      int i = -1;
-      int ccs_len;
-      int dim;
+      int dim = XCHARSET_DIMENSION (ccs);
+      int ccs_len = XCHARSET_BYTE_SIZE (ccs);
+      int byte_offset = XCHARSET_BYTE_OFFSET (ccs);
       int code_point;
-             
-      /* ad-hoc method for `ascii' */
-      if ((XCHARSET_CHARS (ccs) == 94) &&
-         (XCHARSET_BYTE_OFFSET (ccs) != 33))
-       ccs_len = 128 - XCHARSET_BYTE_OFFSET (ccs);
-      else
-       ccs_len = XCHARSET_CHARS (ccs);
-         
+
       if (CONSP (value))
-       {
+       { /* obsolete representation: value must be a list of bytes */
          Lisp_Object ret = Fcar (value);
+         Lisp_Object rest;
 
          if (!INTP (ret))
            signal_simple_error ("Invalid value for coded-charset", value);
@@ -610,132 +1384,85 @@ Store CHARACTER's ATTRIBUTE with VALUE.
          rest = Fcdr (value);
          while (!NILP (rest))
            {
-             int i;
+             int j;
 
              if (!CONSP (rest))
-               signal_simple_error ("Invalid value for coded-charset", value);
+               signal_simple_error ("Invalid value for coded-charset",
+                                    value);
              ret = Fcar (rest);
              if (!INTP (ret))
-               signal_simple_error ("Invalid value for coded-charset", value);
-             i = XINT (ret);
+               signal_simple_error ("Invalid value for coded-charset",
+                                    value);
+             j = XINT (ret);
              if (XCHARSET_GRAPHIC (ccs) == 1)
-               i &= 0x7F;
-             code_point = (code_point << 8) | i;
+               j &= 0x7F;
+             code_point = (code_point << 8) | j;
              rest = Fcdr (rest);
            }
          value = make_int (code_point);
        }
       else if (INTP (value))
        {
+         code_point = XINT (value);
          if (XCHARSET_GRAPHIC (ccs) == 1)
-           value = make_int (XINT (value) & 0x7F7F7F7F);
+           {
+             code_point &= 0x7F7F7F7F;
+             value = make_int (code_point);
+           }
        }
       else
        signal_simple_error ("Invalid value for coded-charset", value);
 
-      attribute = ccs;
-      cpos = Fget_char_attribute (character, attribute);
       if (VECTORP (v))
        {
+         Lisp_Object cpos = Fget_char_attribute (character, ccs);
          if (!NILP (cpos))
            {
-             dim = XCHARSET_DIMENSION (ccs);
-             code_point = XINT (cpos);
-             while (dim > 0)
-               {
-                 dim--;
-                 i = ((code_point >> (8 * dim)) & 255)
-                   - XCHARSET_BYTE_OFFSET (ccs);
-                 nv = XVECTOR_DATA(v)[i];
-                 if (!VECTORP (nv))
-                   break;
-                 v = nv;
-               }
-             if (i >= 0)
-               XVECTOR_DATA(v)[i] = Qnil;
-             v = XCHARSET_DECODING_TABLE (ccs);
+             decoding_table_remove_char (v, dim, byte_offset, XINT (cpos));
            }
        }
       else
        {
-         XCHARSET_DECODING_TABLE (ccs) = v = make_vector (ccs_len, Qnil);
+         XCHARSET_DECODING_TABLE (ccs)
+           = v = make_older_vector (ccs_len, Qnil);
        }
 
-      dim = XCHARSET_DIMENSION (ccs);
-      code_point = XINT (value);
-      i = -1;
-      while (dim > 0)
-       {
-         dim--;
-         i = ((code_point >> (8 * dim)) & 255) - XCHARSET_BYTE_OFFSET (ccs);
-         nv = XVECTOR_DATA(v)[i];
-         if (dim > 0)
-           {
-             if (!VECTORP (nv))
-               nv = (XVECTOR_DATA(v)[i] = make_vector (ccs_len, Qnil));
-             v = nv;
-           }
-         else
-           break;
-       }
-      XVECTOR_DATA(v)[i] = character;
+      decoding_table_put_char (v, dim, byte_offset, code_point, character);
     }
-  else if (EQ (attribute, Q_decomposition))
+  if (NILP (encoding_table = XCHARSET_ENCODING_TABLE (ccs)))
     {
-      Lisp_Object rest = value;
-      Lisp_Object table = Vcharacter_composition_table;
-
-      if (!CONSP (value))
-       signal_simple_error ("Invalid value for ->decomposition",
-                            value);
-
-      while (CONSP (rest))
-       {
-         Lisp_Object v = Fcar (rest);
-         Lisp_Object ntable;
-         Emchar c
-           = to_char_code (v, "Invalid value for ->decomposition", value);
-
-         rest = Fcdr (rest);
-         if (!CONSP (rest))
-           {
-             put_char_code_table (c, character, table);
-             break;
-           }
-         else
-           {
-             ntable = get_char_code_table (c, table);
-             if (!CHAR_CODE_TABLE_P (ntable))
-               {
-                 ntable = make_char_code_table (Qnil);
-                 put_char_code_table (c, ntable, table);
-               }
-             table = ntable;
-           }
-       }
+      XCHARSET_ENCODING_TABLE (ccs)
+       = encoding_table = make_char_id_table (Qnil);
     }
-  else if (EQ (attribute, Q_ucs))
-    {
-      Lisp_Object ret;
-      Emchar c;
+  put_char_id_table (XCHAR (character), value, encoding_table);
+  return Qt;
+}
 
-      if (!INTP (value))
-       signal_simple_error ("Invalid value for ->ucs", value);
+Lisp_Object
+remove_char_ccs (Lisp_Object character, Lisp_Object ccs)
+{
+  Lisp_Object decoding_table = XCHARSET_DECODING_TABLE (ccs);
+  Lisp_Object encoding_table = XCHARSET_ENCODING_TABLE (ccs);
 
-      c = XINT (value);
+  if (VECTORP (decoding_table))
+    {
+      Lisp_Object cpos = Fget_char_attribute (character, ccs);
 
-      ret = get_char_code_table (c, Vcharacter_variant_table);
-      if (NILP (Fmemq (character, ret)))
+      if (!NILP (cpos))
        {
-         put_char_code_table (c, Fcons (character, ret),
-                              Vcharacter_variant_table);
+         decoding_table_remove_char (decoding_table,
+                                     XCHARSET_DIMENSION (ccs),
+                                     XCHARSET_BYTE_OFFSET (ccs),
+                                     XINT (cpos));
        }
     }
-  return put_char_attribute (character, attribute, value);
+  if (CHAR_ID_TABLE_P (encoding_table))
+    {
+      put_char_id_table (XCHAR (character), Qnil, encoding_table);
+    }
+  return Qt;
 }
 
-Lisp_Object Qucs;
-
 EXFUN (Fmake_char, 3);
 EXFUN (Fdecode_char, 2);
 
@@ -747,6 +1474,9 @@ Store character's ATTRIBUTES.
   Lisp_Object rest = attributes;
   Lisp_Object code = Fcdr (Fassq (Qucs, attributes));
   Lisp_Object character;
+#if 0
+  Lisp_Object daikanwa = Qnil;
+#endif
 
   if (NILP (code))
     {
@@ -757,7 +1487,9 @@ Store character's ATTRIBUTES.
 
          if (!LISTP (cell))
            signal_simple_error ("Invalid argument", attributes);
-         if (!NILP (ccs = Ffind_charset (Fcar (cell))))
+         if (!NILP (ccs = Ffind_charset (Fcar (cell)))
+             && ((XCHARSET_FINAL (ccs) != 0) ||
+                 (XCHARSET_UCS_MAX (ccs) > 0)) )
            {
              cell = Fcdr (cell);
              if (CONSP (cell))
@@ -788,14 +1520,39 @@ Store character's ATTRIBUTES.
   while (CONSP (rest))
     {
       Lisp_Object cell = Fcar (rest);
+#if 0
+      Lisp_Object key = Fcar (cell);
+      Lisp_Object value = Fcdr (cell);
+#endif
 
       if (!LISTP (cell))
        signal_simple_error ("Invalid argument", attributes);
+
+#if 0
+      if (EQ (key, Qmorohashi_daikanwa))
+       {
+         size_t len;
+         GET_EXTERNAL_LIST_LENGTH (value, len);
+
+         if (len == 1)
+           {
+             if (NILP (daikanwa))
+               daikanwa = Fcdr (Fassq (Qideograph_daikanwa, rest));
+             if (EQ (Fcar (value), daikanwa))
+               goto ignored;
+           }
+       }
+      else if (EQ (key, Qideograph_daikanwa))
+       daikanwa = value;
+#endif
+
       Fput_char_attribute (character, Fcar (cell), Fcdr (cell));
+#if 0
+    ignored:
+#endif
       rest = Fcdr (rest);
     }
-  return
-    get_char_code_table (XCHAR (character), Vcharacter_attribute_table);
+  return character;
 }
 
 Lisp_Object Vutf_2000_version;
@@ -839,11 +1596,12 @@ Lisp_Object Qascii,
 #ifdef UTF2000
   Qucs_bmp,
   Qlatin_viscii,
+  Qlatin_tcvn5712,
   Qlatin_viscii_lower,
   Qlatin_viscii_upper,
   Qvietnamese_viscii_lower,
   Qvietnamese_viscii_upper,
-  Qideograph_daikanwa,
+  Qmojikyo,
   Qmojikyo_pj_1,
   Qmojikyo_pj_2,
   Qmojikyo_pj_3,
@@ -875,13 +1633,6 @@ Lisp_Object Ql2r, Qr2l;
 
 Lisp_Object Vcharset_hash_table;
 
-#ifdef UTF2000
-static Charset_ID next_allocated_leading_byte;
-#else
-static Charset_ID next_allocated_1_byte_leading_byte;
-static Charset_ID next_allocated_2_byte_leading_byte;
-#endif
-
 /* Composite characters are characters constructed by overstriking two
    or more regular characters.
 
@@ -992,7 +1743,7 @@ non_ascii_set_charptr_emchar (Bufbyte *str, Emchar c)
    Use the macro charptr_emchar() instead. */
 
 Emchar
-non_ascii_charptr_emchar (CONST Bufbyte *str)
+non_ascii_charptr_emchar (const Bufbyte *str)
 {
 #ifdef UTF2000
   Bufbyte b;
@@ -1148,7 +1899,7 @@ non_ascii_valid_char_p (Emchar ch)
    charptr_copy_char() instead. */
 
 Bytecount
-non_ascii_charptr_copy_char (CONST Bufbyte *ptr, Bufbyte *str)
+non_ascii_charptr_copy_char (const Bufbyte *ptr, Bufbyte *str)
 {
   Bufbyte *strptr = str;
   *strptr = *ptr++;
@@ -1241,7 +1992,7 @@ Lstream_funget_emchar (Lstream *stream, Emchar ch)
 static Lisp_Object
 mark_charset (Lisp_Object obj)
 {
-  struct Lisp_Charset *cs = XCHARSET (obj);
+  Lisp_Charset *cs = XCHARSET (obj);
 
   mark_object (cs->short_name);
   mark_object (cs->long_name);
@@ -1249,7 +2000,8 @@ mark_charset (Lisp_Object obj)
   mark_object (cs->registry);
   mark_object (cs->ccl_program);
 #ifdef UTF2000
-  mark_object (cs->decoding_table);
+  mark_object (cs->encoding_table);
+  /* mark_object (cs->decoding_table); */
 #endif
   return cs->name;
 }
@@ -1257,7 +2009,7 @@ mark_charset (Lisp_Object obj)
 static void
 print_charset (Lisp_Object obj, Lisp_Object printcharfun, int escapeflag)
 {
-  struct Lisp_Charset *cs = XCHARSET (obj);
+  Lisp_Charset *cs = XCHARSET (obj);
   char buf[200];
 
   if (print_readably)
@@ -1287,9 +2039,16 @@ print_charset (Lisp_Object obj, Lisp_Object printcharfun, int escapeflag)
 }
 
 static const struct lrecord_description charset_description[] = {
-  { XD_LISP_OBJECT, offsetof(struct Lisp_Charset, name), 7 },
+  { XD_LISP_OBJECT, offsetof (Lisp_Charset, name) },
+  { XD_LISP_OBJECT, offsetof (Lisp_Charset, doc_string) },
+  { XD_LISP_OBJECT, offsetof (Lisp_Charset, registry) },
+  { XD_LISP_OBJECT, offsetof (Lisp_Charset, short_name) },
+  { XD_LISP_OBJECT, offsetof (Lisp_Charset, long_name) },
+  { XD_LISP_OBJECT, offsetof (Lisp_Charset, reverse_direction_charset) },
+  { XD_LISP_OBJECT, offsetof (Lisp_Charset, ccl_program) },
 #ifdef UTF2000
-  { XD_LISP_OBJECT, offsetof(struct Lisp_Charset, decoding_table), 2 },
+  { XD_LISP_OBJECT, offsetof (Lisp_Charset, decoding_table) },
+  { XD_LISP_OBJECT, offsetof (Lisp_Charset, encoding_table) },
 #endif
   { XD_END }
 };
@@ -1297,7 +2056,7 @@ static const struct lrecord_description charset_description[] = {
 DEFINE_LRECORD_IMPLEMENTATION ("charset", charset,
                                mark_charset, print_charset, 0, 0, 0,
                               charset_description,
-                              struct Lisp_Charset);
+                              Lisp_Charset);
 /* Make a new charset. */
 
 static Lisp_Object
@@ -1313,8 +2072,10 @@ make_charset (Charset_ID id, Lisp_Object name,
 {
   unsigned char type = 0;
   Lisp_Object obj;
-  struct Lisp_Charset *cs =
-    alloc_lcrecord_type (struct Lisp_Charset, &lrecord_charset);
+  Lisp_Charset *cs = alloc_lcrecord_type (Lisp_Charset, &lrecord_charset);
+
+  zero_lcrecord (cs);
+
   XSETCHARSET (obj, cs);
 
   CHARSET_ID           (cs) = id;
@@ -1333,6 +2094,7 @@ make_charset (Charset_ID id, Lisp_Object name,
   CHARSET_REVERSE_DIRECTION_CHARSET (cs) = Qnil;
 #ifdef UTF2000
   CHARSET_DECODING_TABLE(cs) = Qnil;
+  CHARSET_ENCODING_TABLE(cs) = Qnil;
   CHARSET_UCS_MIN(cs) = ucs_min;
   CHARSET_UCS_MAX(cs) = ucs_max;
   CHARSET_CODE_OFFSET(cs) = code_offset;
@@ -1434,24 +2196,24 @@ get_unallocated_leading_byte (int dimension)
   Charset_ID lb;
 
 #ifdef UTF2000
-  if (next_allocated_leading_byte > MAX_LEADING_BYTE_PRIVATE)
+  if (chlook->next_allocated_leading_byte > MAX_LEADING_BYTE_PRIVATE)
     lb = 0;
   else
-    lb = next_allocated_leading_byte++;
+    lb = chlook->next_allocated_leading_byte++;
 #else
   if (dimension == 1)
     {
-      if (next_allocated_1_byte_leading_byte > MAX_LEADING_BYTE_PRIVATE_1)
+      if (chlook->next_allocated_1_byte_leading_byte > MAX_LEADING_BYTE_PRIVATE_1)
        lb = 0;
       else
-       lb = next_allocated_1_byte_leading_byte++;
+       lb = chlook->next_allocated_1_byte_leading_byte++;
     }
   else
     {
-      if (next_allocated_2_byte_leading_byte > MAX_LEADING_BYTE_PRIVATE_2)
+      if (chlook->next_allocated_2_byte_leading_byte > MAX_LEADING_BYTE_PRIVATE_2)
        lb = 0;
       else
-       lb = next_allocated_2_byte_leading_byte++;
+       lb = chlook->next_allocated_2_byte_leading_byte++;
     }
 #endif
 
@@ -1618,12 +2380,12 @@ encode_builtin_char_1 (Emchar c, Lisp_Object* charset)
       *charset = Vcharset_latin_iso8859_1;
       return c & 0x7F;
     }
+  /*
   else if ((MIN_CHAR_GREEK <= c) && (c <= MAX_CHAR_GREEK))
     {
       *charset = Vcharset_greek_iso8859_7;
       return c - MIN_CHAR_GREEK + 0x20;
     }
-  /*
   else if ((MIN_CHAR_CYRILLIC <= c) && (c <= MAX_CHAR_CYRILLIC))
     {
       *charset = Vcharset_cyrillic_iso8859_5;
@@ -1658,11 +2420,18 @@ encode_builtin_char_1 (Emchar c, Lisp_Object* charset)
       *charset = Vcharset_ucs;
       return c;
     }
+  /*
   else if (c <= MAX_CHAR_DAIKANWA)
     {
       *charset = Vcharset_ideograph_daikanwa;
       return c - MIN_CHAR_DAIKANWA;
     }
+  */
+  else if (c <= MAX_CHAR_MOJIKYO)
+    {
+      *charset = Vcharset_mojikyo;
+      return c - MIN_CHAR_MOJIKYO;
+    }
   else if (c < MIN_CHAR_94)
     {
       *charset = Vcharset_ucs;
@@ -1793,7 +2562,7 @@ add_charset_to_list_mapper (Lisp_Object key, Lisp_Object value,
     (struct charset_list_closure*) charset_list_closure;
   Lisp_Object *charset_list = chcl->charset_list;
 
-  *charset_list = Fcons (XCHARSET_NAME (value), *charset_list);
+  *charset_list = Fcons (key /* XCHARSET_NAME (value) */, *charset_list);
   return 0;
 }
 
@@ -2038,7 +2807,7 @@ NEW-NAME is the name of the new charset.  Return the new charset.
   int id, chars, dimension, columns, graphic, final;
   int direction;
   Lisp_Object registry, doc_string, short_name, long_name;
-  struct Lisp_Charset *cs;
+  Lisp_Charset *cs;
 
   charset = Fget_charset (charset);
   if (!NILP (XCHARSET_REVERSE_DIRECTION_CHARSET (charset)))
@@ -2207,7 +2976,7 @@ Recognized properties are those listed in `make-charset', as well as
 */
        (charset, prop))
 {
-  struct Lisp_Charset *cs;
+  Lisp_Charset *cs;
 
   charset = Fget_charset (charset);
   cs = XCHARSET (charset);
@@ -2302,39 +3071,42 @@ Set mapping-table of CHARSET to TABLE.
        (charset, table))
 {
   struct Lisp_Charset *cs;
-  Lisp_Object old_table;
   size_t i;
+  int byte_offset;
 
   charset = Fget_charset (charset);
   cs = XCHARSET (charset);
 
-  if (EQ (table, Qnil))
+  if (NILP (table))
     {
-      CHARSET_DECODING_TABLE(cs) = table;
+      if (VECTORP (CHARSET_DECODING_TABLE(cs)))
+       make_vector_newer (CHARSET_DECODING_TABLE(cs));
+      CHARSET_DECODING_TABLE(cs) = Qnil;
       return table;
     }
   else if (VECTORP (table))
     {
-      int ccs_len;
-
-      /* ad-hoc method for `ascii' */
-      if ((CHARSET_CHARS (cs) == 94) &&
-         (CHARSET_BYTE_OFFSET (cs) != 33))
-       ccs_len = 128 - CHARSET_BYTE_OFFSET (cs);
-      else
-       ccs_len = CHARSET_CHARS (cs);
-
-      if (XVECTOR_LENGTH (table) > ccs_len)
-       args_out_of_range (table, make_int (CHARSET_CHARS (cs)));
-      old_table = CHARSET_DECODING_TABLE(cs);
-      CHARSET_DECODING_TABLE(cs) = table;
+      int ccs_len = CHARSET_BYTE_SIZE (cs);
+      int ret = decoding_table_check_elements (table,
+                                              CHARSET_DIMENSION (cs),
+                                              ccs_len);
+      if (ret)
+       {
+         if (ret == -1)
+           signal_simple_error ("Too big table", table);
+         else if (ret == -2)
+           signal_simple_error ("Invalid element is found", table);
+         else
+           signal_simple_error ("Something wrong", table);
+       }
+      CHARSET_DECODING_TABLE(cs) = Qnil;
     }
   else
     signal_error (Qwrong_type_argument,
                  list2 (build_translated_string ("vector-or-nil-p"),
                         table));
-  /* signal_simple_error ("Wrong type argument: vector-or-nil-p", table); */
 
+  byte_offset = CHARSET_BYTE_OFFSET (cs);
   switch (CHARSET_DIMENSION (cs))
     {
     case 1:
@@ -2343,9 +3115,8 @@ Set mapping-table of CHARSET to TABLE.
          Lisp_Object c = XVECTOR_DATA(table)[i];
 
          if (CHARP (c))
-           put_char_attribute
-             (c, charset,
-              make_int (i + CHARSET_BYTE_OFFSET (cs)));
+           put_char_ccs_code_point (c, charset,
+                                    make_int (i + byte_offset));
        }
       break;
     case 2:
@@ -2357,25 +3128,21 @@ Set mapping-table of CHARSET to TABLE.
            {
              size_t j;
 
-             if (XVECTOR_LENGTH (v) > CHARSET_CHARS (cs))
-               {
-                 CHARSET_DECODING_TABLE(cs) = old_table;
-                 args_out_of_range (v, make_int (CHARSET_CHARS (cs)));
-               }
              for (j = 0; j < XVECTOR_LENGTH (v); j++)
                {
                  Lisp_Object c = XVECTOR_DATA(v)[j];
 
                  if (CHARP (c))
-                   put_char_attribute
+                   put_char_ccs_code_point
                      (c, charset,
-                      make_int ( ((i + CHARSET_BYTE_OFFSET (cs)) << 8)
-                                 | (j + CHARSET_BYTE_OFFSET (cs)) ));
+                      make_int ( ( (i + byte_offset) << 8 )
+                                 | (j + byte_offset)
+                                 ) );
                }
            }
          else if (CHARP (v))
-           put_char_attribute (v, charset,
-                               make_int (i + CHARSET_BYTE_OFFSET (cs)));
+           put_char_ccs_code_point (v, charset,
+                                    make_int (i + byte_offset));
        }
       break;
     }
@@ -2397,11 +3164,83 @@ Make a character from CHARSET and code-point CODE.
   int c;
 
   charset = Fget_charset (charset);
+  CHECK_INT (code);
   c = XINT (code);
   if (XCHARSET_GRAPHIC (charset) == 1)
     c &= 0x7F7F7F7F;
   return make_char (DECODE_CHAR (charset, c));
 }
+
+DEFUN ("decode-builtin-char", Fdecode_builtin_char, 2, 2, 0, /*
+Make a builtin character from CHARSET and code-point CODE.
+*/
+       (charset, code))
+{
+  int c;
+  int final;
+
+  charset = Fget_charset (charset);
+  CHECK_INT (code);
+  c = XINT (code);
+
+  if ((final = XCHARSET_FINAL (charset)) >= '0')
+    {
+      if (XCHARSET_DIMENSION (charset) == 1)
+       {
+         switch (XCHARSET_CHARS (charset))
+           {
+           case 94:
+             return
+               make_char (MIN_CHAR_94 + (final - '0') * 94
+                          + ((c & 0x7F) - 33));
+           case 96:
+             return
+               make_char (MIN_CHAR_96 + (final - '0') * 96
+                          + ((c & 0x7F) - 32));
+           default:
+             return Fdecode_char (charset, code);
+           }
+       }
+      else
+       {
+         switch (XCHARSET_CHARS (charset))
+           {
+           case 94:
+             return
+               make_char (MIN_CHAR_94x94
+                          + (final - '0') * 94 * 94
+                          + (((c >> 8) & 0x7F) - 33) * 94
+                          + ((c & 0x7F) - 33));
+           case 96:
+             return
+               make_char (MIN_CHAR_96x96
+                          + (final - '0') * 96 * 96
+                          + (((c >> 8) & 0x7F) - 32) * 96
+                          + ((c & 0x7F) - 32));
+           default:
+             return Fdecode_char (charset, code);
+           }
+       }
+    }
+  else if (XCHARSET_UCS_MAX (charset))
+    {
+      Emchar cid
+       = (XCHARSET_DIMENSION (charset) == 1
+          ?
+          c - XCHARSET_BYTE_OFFSET (charset)
+          :
+          ((c >> 8) - XCHARSET_BYTE_OFFSET (charset))
+          * XCHARSET_CHARS (charset)
+          + (c & 0xFF) - XCHARSET_BYTE_OFFSET (charset))
+       - XCHARSET_CODE_OFFSET (charset) + XCHARSET_UCS_MIN (charset);
+      if ((cid < XCHARSET_UCS_MIN (charset))
+         || (XCHARSET_UCS_MAX (charset) < cid))
+       return Fdecode_char (charset, code);
+      return make_char (cid);
+    }
+  else
+    return Fdecode_char (charset, code);
+}
 #endif
 
 DEFUN ("make-char", Fmake_char, 2, 3, 0, /*
@@ -2412,7 +3251,7 @@ character s with caron.
 */
        (charset, arg1, arg2))
 {
-  struct Lisp_Charset *cs;
+  Lisp_Charset *cs;
   int a1, a2;
   int lowlim, highlim;
 
@@ -2623,6 +3462,14 @@ Return a string of the characters comprising a composite character.
 void
 syms_of_mule_charset (void)
 {
+#ifdef UTF2000
+  INIT_LRECORD_IMPLEMENTATION (uint8_byte_table);
+  INIT_LRECORD_IMPLEMENTATION (uint16_byte_table);
+  INIT_LRECORD_IMPLEMENTATION (byte_table);
+  INIT_LRECORD_IMPLEMENTATION (char_id_table);
+#endif
+  INIT_LRECORD_IMPLEMENTATION (charset);
+
   DEFSUBR (Fcharsetp);
   DEFSUBR (Ffind_charset);
   DEFSUBR (Fget_charset);
@@ -2642,9 +3489,12 @@ syms_of_mule_charset (void)
   DEFSUBR (Fset_charset_ccl_program);
   DEFSUBR (Fset_charset_registry);
 #ifdef UTF2000
+  DEFSUBR (Fchar_attribute_list);
+  DEFSUBR (Ffind_char_attribute_table);
   DEFSUBR (Fchar_attribute_alist);
   DEFSUBR (Fget_char_attribute);
   DEFSUBR (Fput_char_attribute);
+  DEFSUBR (Fremove_char_attribute);
   DEFSUBR (Fdefine_char);
   DEFSUBR (Fchar_variants);
   DEFSUBR (Fget_composite_char);
@@ -2654,6 +3504,7 @@ syms_of_mule_charset (void)
 
 #ifdef UTF2000
   DEFSUBR (Fdecode_char);
+  DEFSUBR (Fdecode_builtin_char);
 #endif
   DEFSUBR (Fmake_char);
   DEFSUBR (Fchar_charset);
@@ -2723,11 +3574,13 @@ syms_of_mule_charset (void)
   defsymbol (&Qucs,                    "ucs");
   defsymbol (&Qucs_bmp,                        "ucs-bmp");
   defsymbol (&Qlatin_viscii,           "latin-viscii");
+  defsymbol (&Qlatin_tcvn5712,         "latin-tcvn5712");
   defsymbol (&Qlatin_viscii_lower,     "latin-viscii-lower");
   defsymbol (&Qlatin_viscii_upper,     "latin-viscii-upper");
   defsymbol (&Qvietnamese_viscii_lower,        "vietnamese-viscii-lower");
   defsymbol (&Qvietnamese_viscii_upper,        "vietnamese-viscii-upper");
   defsymbol (&Qideograph_daikanwa,     "ideograph-daikanwa");
+  defsymbol (&Qmojikyo,                        "mojikyo");
   defsymbol (&Qmojikyo_pj_1,           "mojikyo-pj-1");
   defsymbol (&Qmojikyo_pj_2,           "mojikyo-pj-2");
   defsymbol (&Qmojikyo_pj_3,           "mojikyo-pj-3");
@@ -2786,10 +3639,10 @@ vars_of_mule_charset (void)
 #endif
 
 #ifdef UTF2000
-  next_allocated_leading_byte = MIN_LEADING_BYTE_PRIVATE;
+  chlook->next_allocated_leading_byte = MIN_LEADING_BYTE_PRIVATE;
 #else
-  next_allocated_1_byte_leading_byte = MIN_LEADING_BYTE_PRIVATE_1;
-  next_allocated_2_byte_leading_byte = MIN_LEADING_BYTE_PRIVATE_2;
+  chlook->next_allocated_1_byte_leading_byte = MIN_LEADING_BYTE_PRIVATE_1;
+  chlook->next_allocated_2_byte_leading_byte = MIN_LEADING_BYTE_PRIVATE_2;
 #endif
 
 #ifndef UTF2000
@@ -2801,19 +3654,16 @@ Leading-code of private TYPE9N charset of column-width 1.
 #endif
 
 #ifdef UTF2000
-  Vutf_2000_version = build_string("0.14 (Kawachi-Katakami)");
+  Vutf_2000_version = build_string("0.16 (Ōji)");
   DEFVAR_LISP ("utf-2000-version", &Vutf_2000_version /*
 Version number of UTF-2000.
 */ );
 
-  staticpro (&Vcharacter_attribute_table);
-  Vcharacter_attribute_table = make_char_code_table (Qnil);
-
   staticpro (&Vcharacter_composition_table);
-  Vcharacter_composition_table = make_char_code_table (Qnil);
+  Vcharacter_composition_table = make_char_id_table (Qnil);
 
   staticpro (&Vcharacter_variant_table);
-  Vcharacter_variant_table = make_char_code_table (Qnil);
+  Vcharacter_variant_table = make_char_id_table (Qnil);
 
   Vdefault_coded_charset_priority_list = Qnil;
   DEFVAR_LISP ("default-coded-charset-priority-list",
@@ -2834,6 +3684,10 @@ complex_vars_of_mule_charset (void)
      ease of access. */
 
 #ifdef UTF2000
+  staticpro (&Vchar_attribute_hash_table);
+  Vchar_attribute_hash_table
+    = make_lisp_hash_table (16, HASH_TABLE_NON_WEAK, HASH_TABLE_EQ);
+
   staticpro (&Vcharset_ucs);
   Vcharset_ucs =
     make_charset (LEADING_BYTE_UCS, Qucs, 256, 4,
@@ -2855,14 +3709,10 @@ complex_vars_of_mule_charset (void)
 #else
 # define MIN_CHAR_THAI 0
 # define MAX_CHAR_THAI 0
-# define MIN_CHAR_GREEK 0
-# define MAX_CHAR_GREEK 0
 # define MIN_CHAR_HEBREW 0
 # define MAX_CHAR_HEBREW 0
 # define MIN_CHAR_HALFWIDTH_KATAKANA 0
 # define MAX_CHAR_HALFWIDTH_KATAKANA 0
-# define MIN_CHAR_CYRILLIC 0
-# define MAX_CHAR_CYRILLIC 0
 #endif
   staticpro (&Vcharset_ascii);
   Vcharset_ascii =
@@ -2935,7 +3785,9 @@ complex_vars_of_mule_charset (void)
                  build_string ("ISO8859-7 (Greek)"),
                  build_string ("ISO8859-7 (Greek)"),
                  build_string ("iso8859-7"),
-                 Qnil, MIN_CHAR_GREEK, MAX_CHAR_GREEK, 0, 32);
+                 Qnil,
+                 0 /* MIN_CHAR_GREEK */,
+                 0 /* MAX_CHAR_GREEK */, 0, 32);
   staticpro (&Vcharset_arabic_iso8859_6);
   Vcharset_arabic_iso8859_6 =
     make_charset (LEADING_BYTE_ARABIC_ISO8859_6, Qarabic_iso8859_6, 96, 1,
@@ -3076,6 +3928,15 @@ complex_vars_of_mule_charset (void)
                  build_string (CHINESE_CNS_PLANE_RE("2")),
                  Qnil, 0, 0, 0, 33);
 #ifdef UTF2000
+  staticpro (&Vcharset_latin_tcvn5712);
+  Vcharset_latin_tcvn5712 =
+    make_charset (LEADING_BYTE_LATIN_TCVN5712, Qlatin_tcvn5712, 96, 1,
+                 1, 1, 'Z', CHARSET_LEFT_TO_RIGHT,
+                 build_string ("TCVN 5712"),
+                 build_string ("TCVN 5712 (VSCII-2)"),
+                 build_string ("Vietnamese TCVN 5712:1983 (VSCII-2)"),
+                 build_string ("tcvn5712-1"),
+                 Qnil, 0, 0, 0, 32);
   staticpro (&Vcharset_latin_viscii_lower);
   Vcharset_latin_viscii_lower =
     make_charset (LEADING_BYTE_LATIN_VISCII_LOWER, Qlatin_viscii_lower, 96, 1,
@@ -3112,6 +3973,15 @@ complex_vars_of_mule_charset (void)
                  build_string ("Daikanwa dictionary by MOROHASHI Tetsuji"),
                  build_string ("Daikanwa"),
                  Qnil, MIN_CHAR_DAIKANWA, MAX_CHAR_DAIKANWA, 0, 0);
+  staticpro (&Vcharset_mojikyo);
+  Vcharset_mojikyo =
+    make_charset (LEADING_BYTE_MOJIKYO, Qmojikyo, 256, 3,
+                 2, 2, 0, CHARSET_LEFT_TO_RIGHT,
+                 build_string ("Mojikyo"),
+                 build_string ("Mojikyo"),
+                 build_string ("Konjaku-Mojikyo"),
+                 build_string (""),
+                 Qnil, MIN_CHAR_MOJIKYO, MAX_CHAR_MOJIKYO, 0, 0);
   staticpro (&Vcharset_mojikyo_pj_1);
   Vcharset_mojikyo_pj_1 =
     make_charset (LEADING_BYTE_MOJIKYO_PJ_1, Qmojikyo_pj_1, 94, 2,