(charset_get_byte1): New function.
[chise/xemacs-chise.git-] / src / char-ucs.h
index aa78574..e404fc7 100644 (file)
@@ -29,6 +29,27 @@ Boston, MA 02111-1307, USA.  */
 #define CHAR_ASCII_P(ch) ((ch) <= 0x7F)
 
 \f
+typedef struct
+{
+  unsigned char *base;
+  size_t  offset;
+  size_t  size;
+} Emchar_to_byte_table;
+
+unsigned char
+get_byte_from_character_table (Emchar ch, Emchar_to_byte_table* table);
+
+
+extern Lisp_Object Vcharset_ucs_bmp;
+extern Lisp_Object Vcharset_latin_jisx0201;
+extern Lisp_Object Vcharset_latin_iso8859_2;
+extern Lisp_Object Vcharset_latin_iso8859_3;
+extern Lisp_Object Vcharset_latin_iso8859_4;
+extern Lisp_Object Vcharset_latin_iso8859_9;
+extern Lisp_Object Vcharset_latin_viscii_lower;
+extern Lisp_Object Vcharset_latin_viscii_upper;
+
+\f
 /************************************************************************/
 /*                    Definition of leading bytes                       */
 /************************************************************************/
@@ -41,7 +62,7 @@ typedef int Charset_ID;
 #define LEADING_BYTE_CONTROL_1         0x81 /* represent normal 80-9F */
 
 
-#define CHARSET_ID_OFFSET_94           0x60
+#define CHARSET_ID_OFFSET_94           0x55
 
 #define MIN_CHARSET_ID_PRIVATE_94      (CHARSET_ID_OFFSET_94 + '0')
 #define MAX_CHARSET_ID_PRIVATE_94      (CHARSET_ID_OFFSET_94 + '?')
@@ -58,6 +79,9 @@ typedef int Charset_ID;
 
 #define CHARSET_ID_OFFSET_96           0x70
 
+#define LEADING_BYTE_LATIN_VISCII_LOWER        (CHARSET_ID_OFFSET_96 + '1')
+#define LEADING_BYTE_LATIN_VISCII_UPPER        (CHARSET_ID_OFFSET_96 + '2')
+
 /* Right half of ISO 8859-1 */
 #define LEADING_BYTE_LATIN_ISO8859_1   (CHARSET_ID_OFFSET_96 + 'A')
 
@@ -172,11 +196,6 @@ struct Lisp_Charset
   /* Final byte of this character set in ISO2022 designating escape sequence */
   Bufbyte final;
 
-  /* Number of bytes (1 - 4) required in the internal representation
-     for characters in this character set.  This is *not* the
-     same as the dimension of the character set). */
-  unsigned int rep_bytes;
-
   /* Number of columns a character in this charset takes up, on TTY
      devices.  Not used for X devices. */
   unsigned int columns;
@@ -195,6 +214,13 @@ struct Lisp_Charset
 
   /* Which half of font to be used to display this character set */
   unsigned int graphic;
+
+  /* byte->character mapping table */
+  Emchar* decoding_table;
+
+  /* character->byte mapping table */
+  Emchar_to_byte_table* to_byte1_table;
+  Emchar_to_byte_table* to_byte2_table;
 };
 
 DECLARE_LRECORD (charset, struct Lisp_Charset);
@@ -221,7 +247,6 @@ DECLARE_LRECORD (charset, struct Lisp_Charset);
 #define CHARSET_NAME(cs)        ((cs)->name)
 #define CHARSET_SHORT_NAME(cs)  ((cs)->short_name)
 #define CHARSET_LONG_NAME(cs)   ((cs)->long_name)
-#define CHARSET_REP_BYTES(cs)   ((cs)->rep_bytes)
 #define CHARSET_COLUMNS(cs)     ((cs)->columns)
 #define CHARSET_GRAPHIC(cs)     ((cs)->graphic)
 #define CHARSET_TYPE(cs)        ((cs)->type)
@@ -233,14 +258,15 @@ DECLARE_LRECORD (charset, struct Lisp_Charset);
 #define CHARSET_DIMENSION(cs)   ((cs)->dimension)
 #define CHARSET_CHARS(cs)       ((cs)->chars)
 #define CHARSET_REVERSE_DIRECTION_CHARSET(cs) ((cs)->reverse_direction_charset)
+#define CHARSET_DECODING_TABLE(cs) ((cs)->decoding_table)
+#define CHARSET_TO_BYTE1_TABLE(cs) ((cs)->to_byte1_table)
+#define CHARSET_TO_BYTE2_TABLE(cs) ((cs)->to_byte2_table)
 
 
 #define XCHARSET_ID(cs)                  CHARSET_ID           (XCHARSET (cs))
 #define XCHARSET_NAME(cs)        CHARSET_NAME         (XCHARSET (cs))
 #define XCHARSET_SHORT_NAME(cs)          CHARSET_SHORT_NAME   (XCHARSET (cs))
 #define XCHARSET_LONG_NAME(cs)   CHARSET_LONG_NAME    (XCHARSET (cs))
-#define XCHARSET_REP_BYTES(cs)   CHARSET_REP_BYTES    (XCHARSET (cs))
-#define XCHARSET_COLUMNS(cs)     CHARSET_COLUMNS      (XCHARSET (cs))
 #define XCHARSET_GRAPHIC(cs)      CHARSET_GRAPHIC      (XCHARSET (cs))
 #define XCHARSET_TYPE(cs)        CHARSET_TYPE         (XCHARSET (cs))
 #define XCHARSET_DIRECTION(cs)   CHARSET_DIRECTION    (XCHARSET (cs))
@@ -253,6 +279,9 @@ DECLARE_LRECORD (charset, struct Lisp_Charset);
 #define XCHARSET_CHARS(cs)       CHARSET_CHARS        (XCHARSET (cs))
 #define XCHARSET_REVERSE_DIRECTION_CHARSET(cs) \
   CHARSET_REVERSE_DIRECTION_CHARSET (XCHARSET (cs))
+#define XCHARSET_DECODING_TABLE(cs) CHARSET_DECODING_TABLE(XCHARSET(cs))
+#define XCHARSET_TO_BYTE1_TABLE(cs) CHARSET_TO_BYTE1_TABLE(XCHARSET(cs))
+#define XCHARSET_TO_BYTE2_TABLE(cs) CHARSET_TO_BYTE2_TABLE(XCHARSET(cs))
 
 /* Table of charsets indexed by (leading byte - 128). */
 extern Lisp_Object charset_by_leading_byte[NUM_LEADING_BYTES];
@@ -323,16 +352,22 @@ INLINE Emchar MAKE_CHAR (Lisp_Object charset, int c1, int c2);
 INLINE Emchar
 MAKE_CHAR (Lisp_Object charset, int c1, int c2)
 {
-  if (EQ (charset, Vcharset_ascii))
+  Emchar* decoding_table;
+  
+  if ((decoding_table = XCHARSET_DECODING_TABLE (charset)) != NULL)
+    return decoding_table[c1 - (XCHARSET_CHARS (charset) == 94 ? 33 : 32)];
+  else if (EQ (charset, Vcharset_ascii))
     return c1;
   else if (EQ (charset, Vcharset_control_1))
     return c1 | 0x80;
+  else if (EQ (charset, Vcharset_ucs_bmp))
+    return (c1 << 8) | c2;
   else if (EQ (charset, Vcharset_latin_iso8859_1))
     return c1 | 0x80;
-  else if (EQ (charset, Vcharset_greek_iso8859_7))
-    return c1 + MIN_CHAR_GREEK - 0x20;
   else if (EQ (charset, Vcharset_cyrillic_iso8859_5))
     return c1 + MIN_CHAR_CYRILLIC - 0x20;
+  else if (EQ (charset, Vcharset_greek_iso8859_7))
+    return c1 + MIN_CHAR_GREEK - 0x20;
   else if (EQ (charset, Vcharset_hebrew_iso8859_8))
     return c1 + MIN_CHAR_HEBREW - 0x20;
   else if (EQ (charset, Vcharset_thai_tis620))
@@ -341,7 +376,8 @@ MAKE_CHAR (Lisp_Object charset, int c1, int c2)
     if (c1 < 0x60)
       return c1 + MIN_CHAR_HALFWIDTH_KATAKANA - 0x20;
     else
-      return 32;
+      /* return MIN_CHAR_94 + ('I' - '0') * 94 + (c1 - 33); */
+      return ' ';
   else if (XCHARSET_DIMENSION (charset) == 1)
     {
       switch (XCHARSET_CHARS (charset))
@@ -378,6 +414,95 @@ extern Charset_ID    latin_a_char_to_charset[128];
 extern unsigned char latin_a_char_to_byte1[128];
 extern unsigned char latin_a_char_to_byte2[128];
 
+INLINE unsigned char XCHARSET_GET_BYTE1 (Lisp_Object charset, Emchar ch);
+INLINE unsigned char
+XCHARSET_GET_BYTE1 (Lisp_Object charset, Emchar ch)
+{
+  Emchar_to_byte_table* table;
+
+  if ((table = XCHARSET_TO_BYTE1_TABLE (charset)) != NULL)
+    return get_byte_from_character_table (ch, table);
+  else if (EQ (charset, Vcharset_ascii))
+    return ch <= 0x7f ? ch : 0;
+  else if (EQ (charset, Vcharset_control_1))
+    return (0x80 <= ch) && (ch < 0xA0) ? ch & 0x7f : 0;
+  else if (EQ (charset, Vcharset_latin_iso8859_1))
+    return (0xA0 <= ch) && (ch <= 0xff) ? ch & 0x7f : 0;
+  else if (EQ (charset, Vcharset_cyrillic_iso8859_5))
+    return (MIN_CHAR_GREEK <= ch) && (ch <= MAX_CHAR_CYRILLIC) ?
+      ch - MIN_CHAR_CYRILLIC + 0x20 : 0;
+  else if (EQ (charset, Vcharset_greek_iso8859_7))
+    return (MIN_CHAR_GREEK <= ch) && (ch <= MAX_CHAR_GREEK) ?
+      ch - MIN_CHAR_GREEK + 0x20 : 0;
+  else if (EQ (charset, Vcharset_hebrew_iso8859_8))
+    return (MIN_CHAR_HEBREW <= ch) && (ch <= MAX_CHAR_HEBREW) ?
+      ch - MIN_CHAR_HEBREW + 0x20 : 0;
+  else if (EQ (charset, Vcharset_thai_tis620))
+    return (MIN_CHAR_THAI <= ch) && (ch <= MAX_CHAR_THAI) ?
+      ch - MIN_CHAR_THAI + 0x20 : 0;
+  else if (EQ (charset, Vcharset_katakana_jisx0201))
+    return (MIN_CHAR_HALFWIDTH_KATAKANA <= ch)
+      && (ch <= MAX_CHAR_HALFWIDTH_KATAKANA) ?
+      ch - MIN_CHAR_HALFWIDTH_KATAKANA + 0x20 : 0;
+  else if (EQ (charset, Vcharset_ucs_bmp))
+    return ch & 0xff;
+  else if (XCHARSET_DIMENSION (charset) == 1)
+    {
+      if (XCHARSET_CHARS (charset) == 94)
+       return (MIN_CHAR_94 + (XCHARSET_FINAL (charset) - '0') * 94 <= ch)
+         && (ch < MIN_CHAR_94 + (XCHARSET_FINAL (charset) - '0' + 1) * 94) ?
+         ((ch - MIN_CHAR_94) % 94) + 33 : 0;
+      else /* if (XCHARSET_CHARS (charset) == 96) */
+       return (MIN_CHAR_96 + (XCHARSET_FINAL (charset) - '0') * 96 <= ch)
+         && (ch < MIN_CHAR_96 + (XCHARSET_FINAL (charset) - '0' + 1) * 96) ?
+         ((ch - MIN_CHAR_94) % 96) + 32 : 0;
+    }
+  else /* if (XCHARSET_DIMENSION (charset) == 2) */
+    {
+      if (XCHARSET_CHARS (charset) == 94)
+       return (MIN_CHAR_94x94
+               + (XCHARSET_FINAL (charset) - '0') * 94 * 94 <= ch)
+         && (ch < MIN_CHAR_94x94
+             + (XCHARSET_FINAL (charset) - '0' + 1) * 94 * 94) ?
+         (((ch - MIN_CHAR_94x94) / 94) % 94) + 33 : 0;
+      else /* if (XCHARSET_CHARS (charset) == 96) */
+       return (MIN_CHAR_96x96
+               + (XCHARSET_FINAL (charset) - '0') * 96 * 96 <= ch)
+         && (ch < MIN_CHAR_96x96
+             + (XCHARSET_FINAL (charset) - '0' + 1) * 96 * 96) ?
+         (((ch - MIN_CHAR_96x96) / 96) % 96) + 32 : 0;
+    }
+}
+
+INLINE unsigned char XCHARSET_GET_BYTE2 (Lisp_Object charset, Emchar ch);
+INLINE unsigned char
+XCHARSET_GET_BYTE2 (Lisp_Object charset, Emchar ch)
+{
+  if (XCHARSET_DIMENSION (charset) == 1)
+    return 0;
+  else
+    {
+      Emchar_to_byte_table* table;
+
+      if ((table = XCHARSET_TO_BYTE2_TABLE (charset)) != NULL)
+       return get_byte_from_character_table (ch, table);
+      else if (EQ (charset, Vcharset_ucs_bmp))
+       return (ch >> 8) & 0xff;
+      else if (XCHARSET_CHARS (charset) == 94)
+       return (MIN_CHAR_94x94
+               + (XCHARSET_FINAL (charset) - '0') * 94 * 94 <= ch)
+         && (ch < MIN_CHAR_94x94
+             + (XCHARSET_FINAL (charset) - '0' + 1) * 94 * 94) ?
+         ((ch - MIN_CHAR_94x94) % 94) + 33 : 0;
+      else /* if (XCHARSET_CHARS (charset) == 96) */
+       return (MIN_CHAR_96x96
+               + (XCHARSET_FINAL (charset) - '0') * 96 * 96 <= ch)
+         && (ch < MIN_CHAR_96x96
+             + (XCHARSET_FINAL (charset) - '0' + 1) * 96 * 96) ?
+         ((ch - MIN_CHAR_96x96) % 96) + 32 : 0;
+    }
+}
+
 INLINE void breakup_char_1 (Emchar c, Lisp_Object *charset, int *c1, int *c2);
 INLINE void
 breakup_char_1 (Emchar c, Lisp_Object *charset, int *c1, int *c2)
@@ -404,13 +529,42 @@ breakup_char_1 (Emchar c, Lisp_Object *charset, int *c1, int *c2)
     {
       *charset
        = CHARSET_BY_LEADING_BYTE (latin_a_char_to_charset[c - 0x100]);
-      *c1 = latin_a_char_to_byte1[c - 0x100];
-      *c2 = latin_a_char_to_byte2[c - 0x100];
+      if (XCHARSET_TO_BYTE1_TABLE (*charset) != NULL)
+       {
+         *c1 = XCHARSET_GET_BYTE1 (*charset, c);
+         *c2 = 0;
+       }
+      else
+       {
+         *c1 = latin_a_char_to_byte1[c - 0x100];
+         *c2 = latin_a_char_to_byte2[c - 0x100];
+       }
     }
   else if (c < MIN_CHAR_GREEK)
     {
-      printf("not break up u+%x", c);
-      abort ();
+      Lisp_Object charsets = list6 (Vcharset_latin_iso8859_2,
+                                   Vcharset_latin_iso8859_3,
+                                   Vcharset_latin_iso8859_4,
+                                   Vcharset_latin_iso8859_9,
+                                   Vcharset_latin_viscii_lower,
+                                   Vcharset_latin_viscii_upper);
+      while (!EQ (charsets, Qnil))
+       {
+         *charset = Fcar (charsets);
+         if (XCHARSET_TO_BYTE1_TABLE (*charset) != NULL)
+           {
+             if ( (*c1 = XCHARSET_GET_BYTE1 (*charset, c)) )
+               {
+                 *c2 = 0;
+                 return;
+               }
+           }
+         charsets = Fcdr (charsets);         
+       }
+      /* otherwise */
+      *charset = Vcharset_ucs_bmp;
+      *c1 = c >> 8;
+      *c2 = c & 0xff;
     }
   else if (c <= MAX_CHAR_GREEK)
     {
@@ -420,8 +574,9 @@ breakup_char_1 (Emchar c, Lisp_Object *charset, int *c1, int *c2)
     }
   else if (c < MIN_CHAR_CYRILLIC)
     {
-      printf("not break up u+%x", c);
-      abort ();
+      *charset = Vcharset_ucs_bmp;
+      *c1 = c >> 8;
+      *c2 = c & 0xff;
     }
   else if (c <= MAX_CHAR_CYRILLIC)
     {
@@ -431,8 +586,9 @@ breakup_char_1 (Emchar c, Lisp_Object *charset, int *c1, int *c2)
     }
   else if (c < MIN_CHAR_HEBREW)
     {
-      printf("not break up u+%x", c);
-      abort ();
+      *charset = Vcharset_ucs_bmp;
+      *c1 = c >> 8;
+      *c2 = c & 0xff;
     }
   else if (c <= MAX_CHAR_HEBREW)
     {
@@ -442,8 +598,9 @@ breakup_char_1 (Emchar c, Lisp_Object *charset, int *c1, int *c2)
     }
   else if (c < MIN_CHAR_THAI)
     {
-      printf("not break up u+%x", c);
-      abort ();
+      *charset = Vcharset_ucs_bmp;
+      *c1 = c >> 8;
+      *c2 = c & 0xff;
     }
   else if (c <= MAX_CHAR_THAI)
     {
@@ -453,8 +610,26 @@ breakup_char_1 (Emchar c, Lisp_Object *charset, int *c1, int *c2)
     }
   else if (c < MIN_CHAR_HALFWIDTH_KATAKANA)
     {
-      printf("not break up u+%x", c);
-      abort ();
+      Lisp_Object charsets = list3 (Vcharset_latin_jisx0201,
+                                   Vcharset_latin_viscii_lower,
+                                   Vcharset_latin_viscii_upper);
+      while (!EQ (charsets, Qnil))
+       {
+         *charset = Fcar (charsets);
+         if (XCHARSET_TO_BYTE1_TABLE (*charset) != NULL)
+           {
+             if ( (*c1 = XCHARSET_GET_BYTE1 (*charset, c)) )
+               {
+                 *c2 = 0;
+                 return;
+               }
+           }
+         charsets = Fcdr (charsets);         
+       }
+      /* otherwise */
+      *charset = Vcharset_ucs_bmp;
+      *c1 = c >> 8;
+      *c2 = c & 0xff;
     }
   else if (c <= MAX_CHAR_HALFWIDTH_KATAKANA)
     {
@@ -521,15 +696,7 @@ CHAR_CHARSET (Emchar ch)
 
 #define CHAR_LEADING_BYTE(c) (XCHARSET_LEADING_BYTE(CHAR_CHARSET(c)))
 
-\f
-#ifdef ENABLE_COMPOSITE_CHARS
-/************************************************************************/
-/*                           Composite characters                       */
-/************************************************************************/
-
-Emchar lookup_composite_char (Bufbyte *str, int len);
-Lisp_Object composite_char_string (Emchar ch);
-#endif /* ENABLE_COMPOSITE_CHARS */
+#define CHAR_COLUMNS(c)     (CHARSET_COLUMNS(XCHARSET(CHAR_CHARSET(c))))
 
 \f
 /************************************************************************/