src/character.h

   1 /* Header for UCS-4 character representation.
   2    Copyright (C) 1999 Electrotechnical Laboratory, JAPAN.
   3    Licensed to the Free Software Foundation.
   4
   5 This file is part of XEmacs.
   6
   7 XEmacs is free software; you can redistribute it and/or modify it
   8 under the terms of the GNU General Public License as published by the
   9 Free Software Foundation; either version 2, or (at your option) any
  10 later version.
  11
  12 XEmacs is distributed in the hope that it will be useful, but WITHOUT
  13 ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or
  14 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  15 for more details.
  16
  17 You should have received a copy of the GNU General Public License
  18 along with XEmacs; see the file COPYING.  If not, write to
  19 the Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  20 Boston, MA 02111-1307, USA.  */
  21
  22 /* Rewritten by MORIOKA Tomohiko <tomo@m17n.org>. */
  23
  24 #ifndef _XEMACS_CHARACTER_H
  25 #define _XEMACS_CHARACTER_H
  26
  27 #ifndef CHAR_IS_UCS4
  28 #include "mule-charset.h"
  29 #else
  30
  31 /************************************************************************/
  32 /*                    Definition of leading bytes                       */
  33 /************************************************************************/
  34
  35 #define MIN_LEADING_BYTE                0x80
  36 /* These need special treatment in a string and/or character */
  37 #define LEADING_BYTE_ASCII              0x8E /* Omitted in a buffer */
  38 #define LEADING_BYTE_CONTROL_1          0x8F /* represent normal 80-9F */
  39
  40 /** The following are for 1-byte characters in an official charset. **/
  41
  42 #ifdef UTF2000
  43
  44 #define LEADING_BYTE_LATIN_ISO8859_1    0x81 /* Right half of ISO 8859-1 */
  45 #define LEADING_BYTE_LATIN_ISO8859_2    0x82 /* Right half of ISO 8859-2 */
  46 #define LEADING_BYTE_LATIN_ISO8859_3    0x83 /* Right half of ISO 8859-3 */
  47 #define LEADING_BYTE_LATIN_ISO8859_4    0x84 /* Right half of ISO 8859-4 */
  48 #define LEADING_BYTE_THAI_TIS620        0x85 /* TIS620-2533 */
  49 #define LEADING_BYTE_GREEK_ISO8859_7    0x86 /* Right half of ISO 8859-7 */
  50 #define LEADING_BYTE_ARABIC_ISO8859_6   0x87 /* Right half of ISO 8859-6 */
  51 #define LEADING_BYTE_HEBREW_ISO8859_8   0x88 /* Right half of ISO 8859-8 */
  52 #define LEADING_BYTE_KATAKANA_JISX0201  0x89 /* Right half of JIS X0201-1976 */
  53 #define LEADING_BYTE_LATIN_JISX0201     0x8A /* Left  half of JIS X0201-1976 */
  54 #define LEADING_BYTE_CYRILLIC_ISO8859_5 0x8C /* Right half of ISO 8859-5 */
  55 #define LEADING_BYTE_LATIN_ISO8859_9    0x8D /* Right half of ISO 8859-9 */
  56
  57 #define MIN_LEADING_BYTE_OFFICIAL_1     LEADING_BYTE_LATIN_ISO8859_1
  58 #define MAX_LEADING_BYTE_OFFICIAL_1     LEADING_BYTE_LATIN_ISO8859_9
  59
  60 #define LEADING_BYTE_CHINESE_BIG5_1     0xB0    /* Big5 Level 1 */
  61 #define LEADING_BYTE_CHINESE_BIG5_2     0xB1    /* Big5 Level 2 */
  62 #define MIN_LEADING_BYTE_PRIVATE_2      0xB0
  63 #define MAX_LEADING_BYTE_PRIVATE_2      0xBF
  64
  65 /** The following are for 2-byte characters in an official charset. **/
  66
  67 #define LEADING_BYTE_JAPANESE_JISX0208_1978 0xC0/* Japanese JIS X0208-1978 */
  68 #define LEADING_BYTE_CHINESE_GB2312     0xC1    /* Chinese Hanzi GB2312-1980 */
  69 #define LEADING_BYTE_JAPANESE_JISX0208  0xC2    /* Japanese JIS X0208-1983 */
  70 #define LEADING_BYTE_KOREAN_KSC5601     0xC3    /* Hangul KS C5601-1987 */
  71 #define LEADING_BYTE_JAPANESE_JISX0212  0xC4    /* Japanese JIS X0212-1990 */
  72 #define LEADING_BYTE_CHINESE_CCITT_GB   0xC5    /* CCITT Extended GB */
  73 #define LEADING_BYTE_CHINESE_CNS11643_1 0xC7    /* Chinese CNS11643 Set 1 */
  74 #define LEADING_BYTE_CHINESE_CNS11643_2 0xC8    /* Chinese CNS11643 Set 2 */
  75 #define LEADING_BYTE_CHINESE_CNS11643_3 0xC9    /* Chinese CNS11643 Set 3 */
  76 #define LEADING_BYTE_CHINESE_CNS11643_4 0xCA    /* Chinese CNS11643 Set 4 */
  77 #define LEADING_BYTE_CHINESE_CNS11643_5 0xCB    /* Chinese CNS11643 Set 5 */
  78 #define LEADING_BYTE_CHINESE_CNS11643_6 0xCC    /* Chinese CNS11643 Set 6 */
  79 #define LEADING_BYTE_CHINESE_CNS11643_7 0xCD    /* Chinese CNS11643 Set 7 */
  80 #define LEADING_BYTE_KOREAN_KPS9566     0xCE    /* DPRK Hangul KPS 9566-1997 */
  81
  82 #define MIN_LEADING_BYTE_OFFICIAL_2     LEADING_BYTE_JAPANESE_JISX0208_1978
  83 #define MAX_LEADING_BYTE_OFFICIAL_2     LEADING_BYTE_KOREAN_KPS9566
  84
  85 /** The following are for 1- and 2-byte characters in a private charset. **/
  86
  87 #define PRE_LEADING_BYTE_PRIVATE_1      0x120   /* 1-byte char-set */
  88 #define PRE_LEADING_BYTE_PRIVATE_2      0x121   /* 2-byte char-set */
  89
  90 #define MIN_LEADING_BYTE_PRIVATE_1      0x0D0
  91 #define MAX_LEADING_BYTE_PRIVATE_1      0x11f
  92
  93 #else
  94
  95 #define LEADING_BYTE_LATIN_ISO8859_1    0x81 /* Right half of ISO 8859-1 */
  96 #define LEADING_BYTE_LATIN_ISO8859_2    0x82 /* Right half of ISO 8859-2 */
  97 #define LEADING_BYTE_LATIN_ISO8859_3    0x83 /* Right half of ISO 8859-3 */
  98 #define LEADING_BYTE_LATIN_ISO8859_4    0x84 /* Right half of ISO 8859-4 */
  99 #define LEADING_BYTE_THAI_TIS620        0x85 /* TIS620-2533 */
 100 #define LEADING_BYTE_GREEK_ISO8859_7    0x86 /* Right half of ISO 8859-7 */
 101 #define LEADING_BYTE_ARABIC_ISO8859_6   0x87 /* Right half of ISO 8859-6 */
 102 #define LEADING_BYTE_HEBREW_ISO8859_8   0x88 /* Right half of ISO 8859-8 */
 103 #define LEADING_BYTE_KATAKANA_JISX0201  0x89 /* Right half of JIS X0201-1976 */
 104 #define LEADING_BYTE_LATIN_JISX0201     0x8A /* Left  half of JIS X0201-1976 */
 105 #define LEADING_BYTE_CYRILLIC_ISO8859_5 0x8C /* Right half of ISO 8859-5 */
 106 #define LEADING_BYTE_LATIN_ISO8859_9    0x8D /* Right half of ISO 8859-9 */
 107
 108 #define MIN_LEADING_BYTE_OFFICIAL_1     LEADING_BYTE_LATIN_ISO8859_1
 109 #define MAX_LEADING_BYTE_OFFICIAL_1     LEADING_BYTE_LATIN_ISO8859_9
 110
 111 /** The following are for 2-byte characters in an official charset. **/
 112
 113 #define LEADING_BYTE_JAPANESE_JISX0208_1978 0x90/* Japanese JIS X0208-1978 */
 114 #define LEADING_BYTE_CHINESE_GB2312     0x91    /* Chinese Hanzi GB2312-1980 */
 115 #define LEADING_BYTE_JAPANESE_JISX0208  0x92    /* Japanese JIS X0208-1983 */
 116 #define LEADING_BYTE_KOREAN_KSC5601     0x93    /* Hangul KS C5601-1987 */
 117 #define LEADING_BYTE_JAPANESE_JISX0212  0x94    /* Japanese JIS X0212-1990 */
 118 #define LEADING_BYTE_CHINESE_CCITT_GB   0x95    /* CCITT Extended GB */
 119 #define LEADING_BYTE_CHINESE_BIG5_1     0x96    /* Big5 Level 1 */
 120 #define LEADING_BYTE_CHINESE_CNS11643_1 0x97    /* Chinese CNS11643 Set 1 */
 121 #define LEADING_BYTE_CHINESE_CNS11643_2 0x98    /* Chinese CNS11643 Set 2 */
 122 #define LEADING_BYTE_CHINESE_CNS11643_3 0x99    /* Chinese CNS11643 Set 3 */
 123 #define LEADING_BYTE_CHINESE_CNS11643_4 0x9A    /* Chinese CNS11643 Set 4 */
 124 #define LEADING_BYTE_CHINESE_CNS11643_5 0x9B    /* Chinese CNS11643 Set 5 */
 125 #define LEADING_BYTE_CHINESE_CNS11643_6 0x9C    /* Chinese CNS11643 Set 6 */
 126 #define LEADING_BYTE_CHINESE_CNS11643_7 0x9D    /* Chinese CNS11643 Set 7 */
 127 #define LEADING_BYTE_CHINESE_BIG5_2     0x9D    /* Big5 Level 2 */
 128 #define LEADING_BYTE_KOREAN_KPS9566     0x9E    /* DPRK Hangul KPS 9566-1997 */
 129
 130 #define MIN_LEADING_BYTE_OFFICIAL_2     LEADING_BYTE_JAPANESE_JISX0208_1978
 131 #define MAX_LEADING_BYTE_OFFICIAL_2     LEADING_BYTE_CHINESE_BIG5_2
 132
 133 /** The following are for 1- and 2-byte characters in a private charset. **/
 134
 135 #define PRE_LEADING_BYTE_PRIVATE_1      0x9E    /* 1-byte char-set */
 136 #define PRE_LEADING_BYTE_PRIVATE_2      0x9F    /* 2-byte char-set */
 137
 138 #define MIN_LEADING_BYTE_PRIVATE_1      0xA0
 139 #define MAX_LEADING_BYTE_PRIVATE_1      0xEF
 140 #define MIN_LEADING_BYTE_PRIVATE_2      0xF0
 141 #define MAX_LEADING_BYTE_PRIVATE_2      0xFF
 142
 143 #endif
 144
 145 #define NUM_LEADING_BYTES 256
 146
 147 \f
 148 /************************************************************************/
 149 /*                    Operations on leading bytes                       */
 150 /************************************************************************/
 151
 152 /* Is this leading byte for a private charset? */
 153
 154 #ifndef UTF2000
 155 #define LEADING_BYTE_PRIVATE_P(lb) ((lb) >= MIN_LEADING_BYTE_PRIVATE_1)
 156 #endif
 157
 158 /* Is this a prefix for a private leading byte? */
 159
 160 INLINE int LEADING_BYTE_PREFIX_P (unsigned char lb);
 161 INLINE int
 162 LEADING_BYTE_PREFIX_P (unsigned char lb)
 163 {
 164   return (lb == PRE_LEADING_BYTE_PRIVATE_1 ||
 165           lb == PRE_LEADING_BYTE_PRIVATE_2);
 166 }
 167
 168 /* Given a private leading byte, return the leading byte prefix stored
 169    in a string */
 170
 171 #define PRIVATE_LEADING_BYTE_PREFIX(lb) \
 172   ((lb) < MIN_LEADING_BYTE_PRIVATE_2 ?  \
 173    PRE_LEADING_BYTE_PRIVATE_1 :         \
 174    PRE_LEADING_BYTE_PRIVATE_2)
 175
 176 \f
 177 /************************************************************************/
 178 /*                     Operations on individual bytes                   */
 179 /*                             of any format                            */
 180 /************************************************************************/
 181
 182 /* Argument `c' should be (unsigned int) or (unsigned char). */
 183 /* Note that SP and DEL are not included. */
 184
 185 #define BYTE_ASCII_P(c) ((c) < 0x80)
 186 #define BYTE_C0_P(c) ((c) < 0x20)
 187 /* Do some forced casting just to make *sure* things are gotten right. */
 188 #define BYTE_C1_P(c) ((unsigned int) ((unsigned int) (c) - 0x80) < 0x20)
 189
 190 \f
 191 /************************************************************************/
 192 /*                     Operations on individual bytes                   */
 193 /*                       in a Mule-formatted string                     */
 194 /************************************************************************/
 195
 196 /* Does this byte represent the first byte of a character? */
 197
 198 #ifdef UTF2000
 199 INLINE int
 200 BUFBYTE_FIRST_BYTE_P(Bufbyte c)
 201 {
 202   return (c <= 0x7f) || (0xc0 <= c);
 203 }
 204 #else
 205 #define BUFBYTE_FIRST_BYTE_P(c) ((c) < 0xA0)
 206 #endif
 207
 208 /* Does this byte represent the first byte of a multi-byte character? */
 209
 210 #define BUFBYTE_LEADING_BYTE_P(c) BYTE_C1_P (c)
 211
 212 \f
 213 /************************************************************************/
 214 /*            Information about a particular character set              */
 215 /************************************************************************/
 216
 217 struct Lisp_Charset
 218 {
 219   struct lcrecord_header header;
 220
 221   int id;
 222   Lisp_Object name;
 223   Lisp_Object doc_string, registry, short_name, long_name;
 224
 225   Lisp_Object reverse_direction_charset;
 226
 227   Lisp_Object ccl_program;
 228
 229   /* Final byte of this character set in ISO2022 designating escape sequence */
 230   Bufbyte final;
 231
 232   /* Number of bytes (1 - 4) required in the internal representation
 233      for characters in this character set.  This is *not* the
 234      same as the dimension of the character set). */
 235   unsigned int rep_bytes;
 236
 237   /* Number of columns a character in this charset takes up, on TTY
 238      devices.  Not used for X devices. */
 239   unsigned int columns;
 240
 241   /* Direction of this character set */
 242   unsigned int direction;
 243
 244   /* Type of this character set (94, 96, 94x94, 96x96) */
 245   unsigned int type;
 246
 247   /* Number of bytes used in encoding of this character set (1 or 2) */
 248   unsigned int dimension;
 249
 250   /* Number of chars in each dimension (usually 94 or 96) */
 251   unsigned int chars;
 252
 253   /* Which half of font to be used to display this character set */
 254   unsigned int graphic;
 255 };
 256
 257 DECLARE_LRECORD (charset, struct Lisp_Charset);
 258 #define XCHARSET(x) XRECORD (x, charset, struct Lisp_Charset)
 259 #define XSETCHARSET(x, p) XSETRECORD (x, p, charset)
 260 #define CHARSETP(x) RECORDP (x, charset)
 261 #define GC_CHARSETP(x) GC_RECORDP (x, charset)
 262 #define CHECK_CHARSET(x) CHECK_RECORD (x, charset)
 263 #define CONCHECK_CHARSET(x) CONCHECK_RECORD (x, charset)
 264
 265 #define CHARSET_TYPE_94    0    /* This charset includes 94    characters. */
 266 #define CHARSET_TYPE_96    1    /* This charset includes 96    characters. */
 267 #define CHARSET_TYPE_94X94 2    /* This charset includes 94x94 characters. */
 268 #define CHARSET_TYPE_96X96 3    /* This charset includes 96x96 characters. */
 269
 270 #define CHARSET_LEFT_TO_RIGHT   0
 271 #define CHARSET_RIGHT_TO_LEFT   1
 272
 273 /* Leading byte and id have been regrouped. -- OG */
 274 #define CHARSET_ID(cs)           ((cs)->id)
 275 #define CHARSET_LEADING_BYTE(cs) ((Bufbyte)(CHARSET_ID(cs)))
 276 #define CHARSET_NAME(cs)         ((cs)->name)
 277 #define CHARSET_SHORT_NAME(cs)   ((cs)->short_name)
 278 #define CHARSET_LONG_NAME(cs)    ((cs)->long_name)
 279 #define CHARSET_REP_BYTES(cs)    ((cs)->rep_bytes)
 280 #define CHARSET_COLUMNS(cs)      ((cs)->columns)
 281 #define CHARSET_GRAPHIC(cs)      ((cs)->graphic)
 282 #define CHARSET_TYPE(cs)         ((cs)->type)
 283 #define CHARSET_DIRECTION(cs)    ((cs)->direction)
 284 #define CHARSET_FINAL(cs)        ((cs)->final)
 285 #define CHARSET_DOC_STRING(cs)   ((cs)->doc_string)
 286 #define CHARSET_REGISTRY(cs)     ((cs)->registry)
 287 #define CHARSET_CCL_PROGRAM(cs)  ((cs)->ccl_program)
 288 #define CHARSET_DIMENSION(cs)    ((cs)->dimension)
 289 #define CHARSET_CHARS(cs)        ((cs)->chars)
 290 #define CHARSET_REVERSE_DIRECTION_CHARSET(cs) ((cs)->reverse_direction_charset)
 291
 292
 293 #ifdef LEADING_BYTE_PRIVATE_P
 294 #define CHARSET_PRIVATE_P(cs) LEADING_BYTE_PRIVATE_P (CHARSET_LEADING_BYTE (cs))
 295 #endif
 296
 297 #define XCHARSET_ID(cs)           CHARSET_ID           (XCHARSET (cs))
 298 #define XCHARSET_NAME(cs)         CHARSET_NAME         (XCHARSET (cs))
 299 #define XCHARSET_SHORT_NAME(cs)   CHARSET_SHORT_NAME   (XCHARSET (cs))
 300 #define XCHARSET_LONG_NAME(cs)    CHARSET_LONG_NAME    (XCHARSET (cs))
 301 #define XCHARSET_REP_BYTES(cs)    CHARSET_REP_BYTES    (XCHARSET (cs))
 302 #define XCHARSET_COLUMNS(cs)      CHARSET_COLUMNS      (XCHARSET (cs))
 303 #define XCHARSET_GRAPHIC(cs)      CHARSET_GRAPHIC      (XCHARSET (cs))
 304 #define XCHARSET_TYPE(cs)         CHARSET_TYPE         (XCHARSET (cs))
 305 #define XCHARSET_DIRECTION(cs)    CHARSET_DIRECTION    (XCHARSET (cs))
 306 #define XCHARSET_FINAL(cs)        CHARSET_FINAL        (XCHARSET (cs))
 307 #define XCHARSET_DOC_STRING(cs)   CHARSET_DOC_STRING   (XCHARSET (cs))
 308 #define XCHARSET_REGISTRY(cs)     CHARSET_REGISTRY     (XCHARSET (cs))
 309 #define XCHARSET_LEADING_BYTE(cs) CHARSET_LEADING_BYTE (XCHARSET (cs))
 310 #define XCHARSET_CCL_PROGRAM(cs)  CHARSET_CCL_PROGRAM  (XCHARSET (cs))
 311 #define XCHARSET_DIMENSION(cs)    CHARSET_DIMENSION    (XCHARSET (cs))
 312 #define XCHARSET_CHARS(cs)        CHARSET_CHARS        (XCHARSET (cs))
 313 #ifdef CHARSET_PRIVATE_P
 314 #define XCHARSET_PRIVATE_P(cs)    CHARSET_PRIVATE_P    (XCHARSET (cs))
 315 #endif
 316 #define XCHARSET_REVERSE_DIRECTION_CHARSET(cs) \
 317   CHARSET_REVERSE_DIRECTION_CHARSET (XCHARSET (cs))
 318
 319 /* Table of charsets indexed by (leading byte - 128). */
 320 extern Lisp_Object charset_by_leading_byte[NUM_LEADING_BYTES];
 321
 322 /* Table of charsets indexed by type/final-byte/direction. */
 323 extern Lisp_Object charset_by_attributes[4][128][2];
 324
 325 #ifndef UTF2000
 326 /* Table of number of bytes in the string representation of a character
 327    indexed by the first byte of that representation.
 328
 329    This value can be derived other ways -- e.g. something like
 330
 331    (BYTE_ASCII_P (first_byte) ? 1 :
 332     XCHARSET_REP_BYTES (CHARSET_BY_LEADING_BYTE (first_byte)))
 333
 334    but it's faster this way. */
 335 extern Bytecount rep_bytes_by_first_byte[0xA0];
 336 #endif
 337
 338 #ifdef ERROR_CHECK_TYPECHECK
 339 /* int not Bufbyte even though that is the actual type of a leading byte.
 340    This way, out-ot-range values will get caught rather than automatically
 341    truncated. */
 342 INLINE Lisp_Object CHARSET_BY_LEADING_BYTE (int lb);
 343 INLINE Lisp_Object
 344 CHARSET_BY_LEADING_BYTE (int lb)
 345 {
 346   assert (lb >= MIN_LEADING_BYTE &&
 347           lb < (MIN_LEADING_BYTE + NUM_LEADING_BYTES));
 348   return charset_by_leading_byte[lb - MIN_LEADING_BYTE];
 349 }
 350
 351 #else
 352
 353 #define CHARSET_BY_LEADING_BYTE(lb) \
 354   (charset_by_leading_byte[(lb) - MIN_LEADING_BYTE])
 355
 356 #endif
 357
 358 #define CHARSET_BY_ATTRIBUTES(type, final, dir) \
 359   (charset_by_attributes[type][final][dir])
 360
 361 #ifdef UTF2000
 362 INLINE int REP_BYTES_BY_FIRST_BYTE (int fb);
 363 INLINE int
 364 REP_BYTES_BY_FIRST_BYTE (int fb)
 365 {
 366   if ( fb < 0xc0 )
 367     return 1;
 368   else if ( fb < 0xe0 )
 369     return 2;
 370   else if ( fb < 0xf0 )
 371     return 3;
 372   else if ( fb < 0xf8 )
 373     return 4;
 374   else if ( fb < 0xfc )
 375     return 5;
 376   else
 377     return 6;
 378 }
 379 #else /* MULE */
 380 #ifdef ERROR_CHECK_TYPECHECK
 381
 382 /* Number of bytes in the string representation of a character */
 383 INLINE int REP_BYTES_BY_FIRST_BYTE (int fb);
 384 INLINE int
 385 REP_BYTES_BY_FIRST_BYTE (int fb)
 386 {
 387   assert (fb >= 0 && fb < 0xA0);
 388   return rep_bytes_by_first_byte[fb];
 389 }
 390
 391 #else
 392 #define REP_BYTES_BY_FIRST_BYTE(fb) (rep_bytes_by_first_byte[fb])
 393 #endif
 394 #endif /* end MULE */
 395
 396 \f
 397 /************************************************************************/
 398 /*                        Dealing with characters                       */
 399 /************************************************************************/
 400
 401 /* Is this character represented by more than one byte in a string? */
 402
 403 #define CHAR_MULTIBYTE_P(c) ((c) >= 0x80)
 404
 405 #define CHAR_ASCII_P(c) (!CHAR_MULTIBYTE_P (c))
 406
 407 /* The bit fields of character are divided into 3 parts:
 408    FIELD1(5bits):FIELD2(7bits):FIELD3(7bits) */
 409
 410 #define CHAR_FIELD1_MASK (0x7F << 14)
 411 #define CHAR_FIELD2_MASK (0x7F << 7)
 412 #define CHAR_FIELD3_MASK 0x7F
 413
 414 #define MIN_CHAR_GREEK          0x0370
 415 #define MAX_CHAR_GREEK          0x03CF
 416
 417 #define MIN_CHAR_CYRILLIC       0x0400
 418 #define MAX_CHAR_CYRILLIC       0x045F
 419
 420 #define MIN_CHAR_HEBREW         0x0590
 421 #define MAX_CHAR_HEBREW         0x05EF
 422
 423 #define MIN_CHAR_THAI           0x0E00
 424 #define MAX_CHAR_THAI           0x0E5F
 425
 426 #define MIN_CHAR_HALFWIDTH_KATAKANA     0xFF60
 427 #define MAX_CHAR_HALFWIDTH_KATAKANA     0xFF9F
 428
 429 /* Macros to access each field of a character code of C.  */
 430
 431 #define CHAR_FIELD1(c) (((c) & CHAR_FIELD1_MASK) >> 14)
 432 #define CHAR_FIELD2_INTERNAL(c) (((c) & CHAR_FIELD2_MASK) >> 7)
 433 #define CHAR_FIELD3_INTERNAL(c)  ((c) & CHAR_FIELD3_MASK)
 434
 435 /* Field 1, if non-zero, usually holds a leading byte for a
 436    dimension-2 charset.  Field 2, if non-zero, usually holds a leading
 437    byte for a dimension-1 charset. */
 438
 439 /* Converting between field values and leading bytes.  */
 440
 441 #define FIELD2_TO_OFFICIAL_LEADING_BYTE 0x80
 442
 443 #ifdef UTF2000
 444
 445 #define FIELD1_TO_PRIVATE_LEADING_BYTE  0x80
 446 #define FIELD1_TO_OFFICIAL_LEADING_BYTE 0x80
 447 #define FIELD2_TO_PRIVATE_LEADING_BYTE  0xb0
 448
 449 #else
 450
 451 #define FIELD1_TO_PRIVATE_LEADING_BYTE  0xc0
 452 #define FIELD1_TO_OFFICIAL_LEADING_BYTE 0x50
 453 #define FIELD2_TO_PRIVATE_LEADING_BYTE  0x80
 454
 455 #endif
 456
 457 INLINE Emchar
 458 CHAR_FIELD2 (Emchar c)
 459 {
 460   if( (MIN_CHAR_GREEK <= c) && (c <= MAX_CHAR_GREEK) )
 461     return LEADING_BYTE_GREEK_ISO8859_7
 462       - FIELD2_TO_OFFICIAL_LEADING_BYTE;
 463   else if( (MIN_CHAR_CYRILLIC <= c) && (c <= MAX_CHAR_CYRILLIC) )
 464     return LEADING_BYTE_CYRILLIC_ISO8859_5
 465       - FIELD2_TO_OFFICIAL_LEADING_BYTE;
 466   else if( (MIN_CHAR_HEBREW <= c) && (c <= MAX_CHAR_HEBREW) )
 467     return LEADING_BYTE_HEBREW_ISO8859_8
 468       - FIELD2_TO_OFFICIAL_LEADING_BYTE;
 469   else if( (MIN_CHAR_THAI <= c) && (c <= MAX_CHAR_THAI) )
 470     return LEADING_BYTE_THAI_TIS620
 471       - FIELD2_TO_OFFICIAL_LEADING_BYTE;
 472   else if( (MIN_CHAR_HALFWIDTH_KATAKANA <= c)
 473            && (c <= MAX_CHAR_HALFWIDTH_KATAKANA) )
 474     return LEADING_BYTE_KATAKANA_JISX0201
 475       - FIELD2_TO_OFFICIAL_LEADING_BYTE;
 476   else
 477     return CHAR_FIELD2_INTERNAL(c);
 478 }
 479
 480 INLINE Emchar
 481 CHAR_FIELD3 (Emchar c)
 482 {
 483   if( (MIN_CHAR_GREEK <= c) && (c <= MAX_CHAR_GREEK) )
 484     return c - MIN_CHAR_GREEK + 0x20;
 485   else if( (MIN_CHAR_CYRILLIC <= c) && (c <= MAX_CHAR_CYRILLIC) )
 486     return c - MIN_CHAR_CYRILLIC + 0x20;
 487   else if( (MIN_CHAR_HEBREW <= c) && (c <= MAX_CHAR_HEBREW) )
 488     return c - MIN_CHAR_HEBREW + 0x20;
 489   else if( (MIN_CHAR_THAI <= c) && (c <= MAX_CHAR_THAI) )
 490     return c - MIN_CHAR_THAI + 0x20;
 491   else if( (MIN_CHAR_HALFWIDTH_KATAKANA <= c)
 492            && (c <= MAX_CHAR_HALFWIDTH_KATAKANA) )
 493     return c - MIN_CHAR_HALFWIDTH_KATAKANA + 0x20;
 494   else
 495     return CHAR_FIELD3_INTERNAL(c);
 496 }
 497
 498 /* Minimum and maximum allowed values for the fields. */
 499
 500 #define MIN_CHAR_FIELD2_OFFICIAL \
 501   (MIN_LEADING_BYTE_OFFICIAL_1 - FIELD2_TO_OFFICIAL_LEADING_BYTE)
 502 #define MAX_CHAR_FIELD2_OFFICIAL \
 503   (MAX_LEADING_BYTE_OFFICIAL_1 - FIELD2_TO_OFFICIAL_LEADING_BYTE)
 504
 505 #define MIN_CHAR_FIELD1_OFFICIAL \
 506   (MIN_LEADING_BYTE_OFFICIAL_2 - FIELD1_TO_OFFICIAL_LEADING_BYTE)
 507 #define MAX_CHAR_FIELD1_OFFICIAL \
 508   (MAX_LEADING_BYTE_OFFICIAL_2 - FIELD1_TO_OFFICIAL_LEADING_BYTE)
 509
 510 #define MIN_CHAR_FIELD2_PRIVATE \
 511   (MIN_LEADING_BYTE_PRIVATE_1 - FIELD2_TO_PRIVATE_LEADING_BYTE)
 512 #define MAX_CHAR_FIELD2_PRIVATE \
 513   (MAX_LEADING_BYTE_PRIVATE_1 - FIELD2_TO_PRIVATE_LEADING_BYTE)
 514
 515 #define MIN_CHAR_FIELD1_PRIVATE \
 516   (MIN_LEADING_BYTE_PRIVATE_2 - FIELD1_TO_PRIVATE_LEADING_BYTE)
 517 #define MAX_CHAR_FIELD1_PRIVATE \
 518   (MAX_LEADING_BYTE_PRIVATE_2 - FIELD1_TO_PRIVATE_LEADING_BYTE)
 519
 520 /* Minimum character code of each <type> character.  */
 521
 522 #define MULE_CHAR_PRIVATE_OFFSET (0xe0 << 16)
 523
 524 #define MIN_CHAR_OFFICIAL_TYPE9N \
 525   (MULE_CHAR_PRIVATE_OFFSET | (MIN_CHAR_FIELD2_OFFICIAL <<  7))
 526 #define MIN_CHAR_PRIVATE_TYPE9N \
 527   (MULE_CHAR_PRIVATE_OFFSET | (MIN_CHAR_FIELD2_PRIVATE  <<  7))
 528 #define MIN_CHAR_PRIVATE_TYPE9NX9N \
 529   (MULE_CHAR_PRIVATE_OFFSET | (MIN_CHAR_FIELD1_PRIVATE  << 14))
 530 #define MIN_CHAR_OFFICIAL_TYPE9NX9N \
 531   (MULE_CHAR_PRIVATE_OFFSET | (MIN_CHAR_FIELD1_OFFICIAL << 14))
 532 #define MIN_CHAR_COMPOSITION \
 533   (MULE_CHAR_PRIVATE_OFFSET | (0x7f << 14))
 534
 535 /* Leading byte of a character.
 536
 537    NOTE: This takes advantage of the fact that
 538    FIELD2_TO_OFFICIAL_LEADING_BYTE and
 539    FIELD2_TO_PRIVATE_LEADING_BYTE are the same.
 540    */
 541
 542 INLINE Bufbyte CHAR_LEADING_BYTE (Emchar c);
 543 INLINE Bufbyte
 544 CHAR_LEADING_BYTE (Emchar c)
 545 {
 546   if (CHAR_ASCII_P (c))
 547     return LEADING_BYTE_ASCII;
 548   else if (c < 0xA0)
 549     return LEADING_BYTE_CONTROL_1;
 550   else if (c <= 0xff)
 551     return LEADING_BYTE_LATIN_ISO8859_1;
 552   else if (c <= MAX_CHAR_GREEK)
 553     return LEADING_BYTE_GREEK_ISO8859_7;
 554   else if (c <= MAX_CHAR_CYRILLIC)
 555     return LEADING_BYTE_CYRILLIC_ISO8859_5;
 556   else if (c <= MAX_CHAR_HEBREW)
 557     return LEADING_BYTE_HEBREW_ISO8859_8;
 558   else if (c <= MAX_CHAR_THAI)
 559     return LEADING_BYTE_THAI_TIS620;
 560   else if (c <= MAX_CHAR_HALFWIDTH_KATAKANA)
 561     return LEADING_BYTE_KATAKANA_JISX0201;
 562   else if (c < MIN_CHAR_PRIVATE_TYPE9NX9N)
 563     return CHAR_FIELD2 (c) + FIELD2_TO_OFFICIAL_LEADING_BYTE;
 564   else if (c < MIN_CHAR_OFFICIAL_TYPE9NX9N)
 565     return CHAR_FIELD1 (c) + FIELD1_TO_PRIVATE_LEADING_BYTE;
 566   else if (c < MIN_CHAR_COMPOSITION)
 567     return CHAR_FIELD1 (c) + FIELD1_TO_OFFICIAL_LEADING_BYTE;
 568   else
 569     {
 570 #ifdef ENABLE_COMPOSITE_CHARS
 571       return LEADING_BYTE_COMPOSITE;
 572 #else
 573       abort();
 574       return 0;
 575 #endif /* ENABLE_COMPOSITE_CHARS */
 576     }
 577 }
 578
 579 #define CHAR_CHARSET(c) CHARSET_BY_LEADING_BYTE (CHAR_LEADING_BYTE (c))
 580
 581 /* Return a character whose charset is CHARSET and position-codes
 582    are C1 and C2.  TYPE9N character ignores C2.
 583
 584    NOTE: This takes advantage of the fact that
 585    FIELD2_TO_OFFICIAL_LEADING_BYTE and
 586    FIELD2_TO_PRIVATE_LEADING_BYTE are the same.
 587    */
 588
 589 INLINE Emchar MAKE_CHAR (Lisp_Object charset, int c1, int c2);
 590 INLINE Emchar
 591 MAKE_CHAR (Lisp_Object charset, int c1, int c2)
 592 {
 593   if (EQ (charset, Vcharset_ascii))
 594     return c1;
 595   else if (EQ (charset, Vcharset_control_1))
 596     return c1 | 0x80;
 597   else if (EQ (charset, Vcharset_latin_iso8859_1))
 598     return c1 | 0x80;
 599   else if (EQ (charset, Vcharset_greek_iso8859_7))
 600     return c1 + MIN_CHAR_GREEK - 0x20;
 601   else if (EQ (charset, Vcharset_cyrillic_iso8859_5))
 602     return c1 + MIN_CHAR_CYRILLIC - 0x20;
 603   else if (EQ (charset, Vcharset_hebrew_iso8859_8))
 604     return c1 + MIN_CHAR_HEBREW - 0x20;
 605   else if (EQ (charset, Vcharset_thai_tis620))
 606     return c1 + MIN_CHAR_THAI - 0x20;
 607   else if (EQ (charset, Vcharset_katakana_jisx0201))
 608     if (c1 < 0x60)
 609       return c1 + MIN_CHAR_HALFWIDTH_KATAKANA - 0x20;
 610     else
 611       return 32;
 612 #ifdef ENABLE_COMPOSITE_CHARS
 613   else if (EQ (charset, Vcharset_composite))
 614     return (0x1F << 14) | ((c1) << 7) | (c2);
 615 #endif
 616   else if (XCHARSET_DIMENSION (charset) == 1)
 617     return MULE_CHAR_PRIVATE_OFFSET
 618       | ((XCHARSET_LEADING_BYTE (charset) -
 619           FIELD2_TO_OFFICIAL_LEADING_BYTE) << 7) | (c1);
 620 #ifdef UTF2000
 621   else
 622     return MULE_CHAR_PRIVATE_OFFSET
 623       | ((XCHARSET_LEADING_BYTE (charset) -
 624           FIELD1_TO_PRIVATE_LEADING_BYTE) << 14) | ((c1) << 7) | (c2);
 625 #else
 626   else if (!XCHARSET_PRIVATE_P (charset))
 627     return MULE_CHAR_PRIVATE_OFFSET
 628       | ((XCHARSET_LEADING_BYTE (charset) -
 629           FIELD1_TO_OFFICIAL_LEADING_BYTE) << 14) | ((c1) << 7) | (c2);
 630   else
 631     return MULE_CHAR_PRIVATE_OFFSET
 632       | ((XCHARSET_LEADING_BYTE (charset) -
 633           FIELD1_TO_PRIVATE_LEADING_BYTE) << 14) | ((c1) << 7) | (c2);
 634 #endif
 635 }
 636
 637 /* The charset of character C is set to CHARSET, and the
 638    position-codes of C are set to C1 and C2.  C2 of TYPE9N character
 639    is 0.  */
 640
 641 /* BREAKUP_CHAR_1_UNSAFE assumes that the charset has already been
 642    calculated, and just computes c1 and c2.
 643
 644    BREAKUP_CHAR also computes and stores the charset. */
 645
 646 #define BREAKUP_CHAR_1_UNSAFE(c, charset, c1, c2)       \
 647   XCHARSET_DIMENSION (charset) == 1                     \
 648   ? ((c1) = CHAR_FIELD3 (c), (c2) = 0)                  \
 649   : ((c1) = CHAR_FIELD2 (c),                            \
 650      (c2) = CHAR_FIELD3 (c))
 651
 652 INLINE void breakup_char_1 (Emchar c, Lisp_Object *charset, int *c1, int *c2);
 653 INLINE void
 654 breakup_char_1 (Emchar c, Lisp_Object *charset, int *c1, int *c2)
 655 {
 656   *charset = CHAR_CHARSET (c);
 657   BREAKUP_CHAR_1_UNSAFE (c, *charset, *c1, *c2);
 658 }
 659
 660 #define BREAKUP_CHAR(c, charset, c1, c2) \
 661   breakup_char_1 (c, &(charset), &(c1), &(c2))
 662
 663
 664 \f
 665 #ifdef ENABLE_COMPOSITE_CHARS
 666 /************************************************************************/
 667 /*                           Composite characters                       */
 668 /************************************************************************/
 669
 670 Emchar lookup_composite_char (Bufbyte *str, int len);
 671 Lisp_Object composite_char_string (Emchar ch);
 672 #endif /* ENABLE_COMPOSITE_CHARS */
 673
 674 \f
 675 /************************************************************************/
 676 /*                            Exported functions                        */
 677 /************************************************************************/
 678
 679 EXFUN (Ffind_charset, 1);
 680 EXFUN (Fget_charset, 1);
 681
 682 extern Lisp_Object Vcharset_chinese_big5_1;
 683 extern Lisp_Object Vcharset_chinese_big5_2;
 684 extern Lisp_Object Vcharset_japanese_jisx0208;
 685
 686 Emchar Lstream_get_emchar_1 (Lstream *stream, int first_char);
 687 int Lstream_fput_emchar (Lstream *stream, Emchar ch);
 688 void Lstream_funget_emchar (Lstream *stream, Emchar ch);
 689
 690 int copy_internal_to_external (CONST Bufbyte *internal, Bytecount len,
 691                                unsigned char *external);
 692 Bytecount copy_external_to_internal (CONST unsigned char *external,
 693                                      int len, Bufbyte *internal);
 694
 695 #endif /* CHAR_IS_UCS4 */
 696 #endif /* _XEMACS_CHARACTER_H */