Sync up with r21-2-19-tomo-6.
[chise/xemacs-chise.git-] / src / character.h
1 /* Header for UCS-4 character representation.
2    Copyright (C) 1999 Electrotechnical Laboratory, JAPAN.
3    Licensed to the Free Software Foundation.
4
5 This file is part of XEmacs.
6
7 XEmacs is free software; you can redistribute it and/or modify it
8 under the terms of the GNU General Public License as published by the
9 Free Software Foundation; either version 2, or (at your option) any
10 later version.
11
12 XEmacs is distributed in the hope that it will be useful, but WITHOUT
13 ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or
14 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
15 for more details.
16
17 You should have received a copy of the GNU General Public License
18 along with XEmacs; see the file COPYING.  If not, write to
19 the Free Software Foundation, Inc., 59 Temple Place - Suite 330,
20 Boston, MA 02111-1307, USA.  */
21
22 /* Rewritten by MORIOKA Tomohiko <tomo@m17n.org>. */
23
24 #ifndef _XEMACS_CHARACTER_H
25 #define _XEMACS_CHARACTER_H
26
27 #ifndef CHAR_IS_UCS4
28 #include "mule-charset.h"
29 #else
30
31 /************************************************************************/
32 /*                    Definition of leading bytes                       */
33 /************************************************************************/
34
35 #define MIN_LEADING_BYTE                0x80
36 /* These need special treatment in a string and/or character */
37 #define LEADING_BYTE_ASCII              0x8E /* Omitted in a buffer */
38 #ifdef ENABLE_COMPOSITE_CHARS
39 #endif
40 #define LEADING_BYTE_COMPOSITE          0x80 /* for a composite character */
41 #define LEADING_BYTE_CONTROL_1          0x8F /* represent normal 80-9F */
42
43 /** The following are for 1-byte characters in an official charset. **/
44
45 #define LEADING_BYTE_LATIN_ISO8859_1    0x81 /* Right half of ISO 8859-1 */
46 #define LEADING_BYTE_LATIN_ISO8859_2    0x82 /* Right half of ISO 8859-2 */
47 #define LEADING_BYTE_LATIN_ISO8859_3    0x83 /* Right half of ISO 8859-3 */
48 #define LEADING_BYTE_LATIN_ISO8859_4    0x84 /* Right half of ISO 8859-4 */
49 #define LEADING_BYTE_THAI_TIS620        0x85 /* TIS620-2533 */
50 #define LEADING_BYTE_GREEK_ISO8859_7    0x86 /* Right half of ISO 8859-7 */
51 #define LEADING_BYTE_ARABIC_ISO8859_6   0x87 /* Right half of ISO 8859-6 */
52 #define LEADING_BYTE_HEBREW_ISO8859_8   0x88 /* Right half of ISO 8859-8 */
53 #define LEADING_BYTE_KATAKANA_JISX0201  0x89 /* Right half of JIS X0201-1976 */
54 #define LEADING_BYTE_LATIN_JISX0201     0x8A /* Left  half of JIS X0201-1976 */
55 #define LEADING_BYTE_CYRILLIC_ISO8859_5 0x8C /* Right half of ISO 8859-5 */
56 #define LEADING_BYTE_LATIN_ISO8859_9    0x8D /* Right half of ISO 8859-9 */
57
58 #define MIN_LEADING_BYTE_OFFICIAL_1     LEADING_BYTE_LATIN_ISO8859_1
59 #define MAX_LEADING_BYTE_OFFICIAL_1     LEADING_BYTE_LATIN_ISO8859_9
60
61 /** The following are for 2-byte characters in an official charset. **/
62
63 #define LEADING_BYTE_JAPANESE_JISX0208_1978 0x90/* Japanese JIS X0208-1978 */
64 #define LEADING_BYTE_CHINESE_GB2312     0x91    /* Chinese Hanzi GB2312-1980 */
65 #define LEADING_BYTE_JAPANESE_JISX0208  0x92    /* Japanese JIS X0208-1983 */
66 #define LEADING_BYTE_KOREAN_KSC5601     0x93    /* Hangul KS C5601-1987 */
67 #define LEADING_BYTE_JAPANESE_JISX0212  0x94    /* Japanese JIS X0212-1990 */
68 #define LEADING_BYTE_CHINESE_CCITT_GB   0x95    /* CCITT Extended GB */
69 #define LEADING_BYTE_CHINESE_BIG5_1     0x96    /* Big5 Level 1 */
70 #define LEADING_BYTE_CHINESE_CNS11643_1 0x97    /* Chinese CNS11643 Set 1 */
71 #define LEADING_BYTE_CHINESE_CNS11643_2 0x98    /* Chinese CNS11643 Set 2 */
72 #define LEADING_BYTE_CHINESE_CNS11643_3 0x99    /* Chinese CNS11643 Set 3 */
73 #define LEADING_BYTE_CHINESE_CNS11643_4 0x9A    /* Chinese CNS11643 Set 4 */
74 #define LEADING_BYTE_CHINESE_CNS11643_5 0x9B    /* Chinese CNS11643 Set 5 */
75 #define LEADING_BYTE_CHINESE_CNS11643_6 0x9C    /* Chinese CNS11643 Set 6 */
76 #define LEADING_BYTE_CHINESE_CNS11643_7 0x9D    /* Chinese CNS11643 Set 7 */
77 #define LEADING_BYTE_CHINESE_BIG5_2     0x9D    /* Big5 Level 2 */
78 #define LEADING_BYTE_KOREAN_KPS9566     0x9E    /* DPRK Hangul KPS 9566-1997 */
79
80 #define MIN_LEADING_BYTE_OFFICIAL_2     LEADING_BYTE_JAPANESE_JISX0208_1978
81 #define MAX_LEADING_BYTE_OFFICIAL_2     LEADING_BYTE_CHINESE_BIG5_2
82
83 /** The following are for 1- and 2-byte characters in a private charset. **/
84
85 #define PRE_LEADING_BYTE_PRIVATE_1      0x9E    /* 1-byte char-set */
86 #define PRE_LEADING_BYTE_PRIVATE_2      0x9F    /* 2-byte char-set */
87
88 #define MIN_LEADING_BYTE_PRIVATE_1      0xA0
89 #define MAX_LEADING_BYTE_PRIVATE_1      0xEF
90 #define MIN_LEADING_BYTE_PRIVATE_2      0xF0
91 #define MAX_LEADING_BYTE_PRIVATE_2      0xFF
92
93 #define NUM_LEADING_BYTES 128
94
95 \f
96 /************************************************************************/
97 /*                    Operations on leading bytes                       */
98 /************************************************************************/
99
100 /* Is this leading byte for a private charset? */
101
102 #define LEADING_BYTE_PRIVATE_P(lb) ((lb) >= MIN_LEADING_BYTE_PRIVATE_1)
103
104 /* Is this a prefix for a private leading byte? */
105
106 INLINE int LEADING_BYTE_PREFIX_P (unsigned char lb);
107 INLINE int
108 LEADING_BYTE_PREFIX_P (unsigned char lb)
109 {
110   return (lb == PRE_LEADING_BYTE_PRIVATE_1 ||
111           lb == PRE_LEADING_BYTE_PRIVATE_2);
112 }
113
114 /* Given a private leading byte, return the leading byte prefix stored
115    in a string */
116
117 #define PRIVATE_LEADING_BYTE_PREFIX(lb) \
118   ((lb) < MIN_LEADING_BYTE_PRIVATE_2 ?  \
119    PRE_LEADING_BYTE_PRIVATE_1 :         \
120    PRE_LEADING_BYTE_PRIVATE_2)
121
122 \f
123 /************************************************************************/
124 /*                     Operations on individual bytes                   */
125 /*                             of any format                            */
126 /************************************************************************/
127
128 /* Argument `c' should be (unsigned int) or (unsigned char). */
129 /* Note that SP and DEL are not included. */
130
131 #define BYTE_ASCII_P(c) ((c) < 0x80)
132 #define BYTE_C0_P(c) ((c) < 0x20)
133 /* Do some forced casting just to make *sure* things are gotten right. */
134 #define BYTE_C1_P(c) ((unsigned int) ((unsigned int) (c) - 0x80) < 0x20)
135
136 \f
137 /************************************************************************/
138 /*                     Operations on individual bytes                   */
139 /*                       in a Mule-formatted string                     */
140 /************************************************************************/
141
142 /* Does this byte represent the first byte of a character? */
143
144 #ifdef UTF2000
145 INLINE int
146 BUFBYTE_FIRST_BYTE_P(Bufbyte c)
147 {
148   return (c <= 0x7f) || (0xc0 <= c);
149 }
150 #else
151 #define BUFBYTE_FIRST_BYTE_P(c) ((c) < 0xA0)
152 #endif
153
154 /* Does this byte represent the first byte of a multi-byte character? */
155
156 #define BUFBYTE_LEADING_BYTE_P(c) BYTE_C1_P (c)
157
158 \f
159 /************************************************************************/
160 /*            Information about a particular character set              */
161 /************************************************************************/
162
163 struct Lisp_Charset
164 {
165   struct lcrecord_header header;
166
167   int id;
168   Lisp_Object name;
169   Lisp_Object doc_string, registry, short_name, long_name;
170
171   Lisp_Object reverse_direction_charset;
172
173   Lisp_Object ccl_program;
174
175   /* Final byte of this character set in ISO2022 designating escape sequence */
176   Bufbyte final;
177
178   /* Number of bytes (1 - 4) required in the internal representation
179      for characters in this character set.  This is *not* the
180      same as the dimension of the character set). */
181   unsigned int rep_bytes;
182
183   /* Number of columns a character in this charset takes up, on TTY
184      devices.  Not used for X devices. */
185   unsigned int columns;
186
187   /* Direction of this character set */
188   unsigned int direction;
189
190   /* Type of this character set (94, 96, 94x94, 96x96) */
191   unsigned int type;
192
193   /* Number of bytes used in encoding of this character set (1 or 2) */
194   unsigned int dimension;
195
196   /* Number of chars in each dimension (usually 94 or 96) */
197   unsigned int chars;
198
199   /* Which half of font to be used to display this character set */
200   unsigned int graphic;
201 };
202
203 DECLARE_LRECORD (charset, struct Lisp_Charset);
204 #define XCHARSET(x) XRECORD (x, charset, struct Lisp_Charset)
205 #define XSETCHARSET(x, p) XSETRECORD (x, p, charset)
206 #define CHARSETP(x) RECORDP (x, charset)
207 #define GC_CHARSETP(x) GC_RECORDP (x, charset)
208 #define CHECK_CHARSET(x) CHECK_RECORD (x, charset)
209 #define CONCHECK_CHARSET(x) CONCHECK_RECORD (x, charset)
210
211 #define CHARSET_TYPE_94    0    /* This charset includes 94    characters. */
212 #define CHARSET_TYPE_96    1    /* This charset includes 96    characters. */
213 #define CHARSET_TYPE_94X94 2    /* This charset includes 94x94 characters. */
214 #define CHARSET_TYPE_96X96 3    /* This charset includes 96x96 characters. */
215
216 #define CHARSET_LEFT_TO_RIGHT   0
217 #define CHARSET_RIGHT_TO_LEFT   1
218
219 /* Leading byte and id have been regrouped. -- OG */
220 #define CHARSET_ID(cs)           ((cs)->id)
221 #define CHARSET_LEADING_BYTE(cs) ((Bufbyte)(CHARSET_ID(cs)))
222 #define CHARSET_NAME(cs)         ((cs)->name)
223 #define CHARSET_SHORT_NAME(cs)   ((cs)->short_name)
224 #define CHARSET_LONG_NAME(cs)    ((cs)->long_name)
225 #define CHARSET_REP_BYTES(cs)    ((cs)->rep_bytes)
226 #define CHARSET_COLUMNS(cs)      ((cs)->columns)
227 #define CHARSET_GRAPHIC(cs)      ((cs)->graphic)
228 #define CHARSET_TYPE(cs)         ((cs)->type)
229 #define CHARSET_DIRECTION(cs)    ((cs)->direction)
230 #define CHARSET_FINAL(cs)        ((cs)->final)
231 #define CHARSET_DOC_STRING(cs)   ((cs)->doc_string)
232 #define CHARSET_REGISTRY(cs)     ((cs)->registry)
233 #define CHARSET_CCL_PROGRAM(cs)  ((cs)->ccl_program)
234 #define CHARSET_DIMENSION(cs)    ((cs)->dimension)
235 #define CHARSET_CHARS(cs)        ((cs)->chars)
236 #define CHARSET_REVERSE_DIRECTION_CHARSET(cs) ((cs)->reverse_direction_charset)
237
238
239 #define CHARSET_PRIVATE_P(cs) LEADING_BYTE_PRIVATE_P (CHARSET_LEADING_BYTE (cs))
240
241 #define XCHARSET_ID(cs)           CHARSET_ID           (XCHARSET (cs))
242 #define XCHARSET_NAME(cs)         CHARSET_NAME         (XCHARSET (cs))
243 #define XCHARSET_SHORT_NAME(cs)   CHARSET_SHORT_NAME   (XCHARSET (cs))
244 #define XCHARSET_LONG_NAME(cs)    CHARSET_LONG_NAME    (XCHARSET (cs))
245 #define XCHARSET_REP_BYTES(cs)    CHARSET_REP_BYTES    (XCHARSET (cs))
246 #define XCHARSET_COLUMNS(cs)      CHARSET_COLUMNS      (XCHARSET (cs))
247 #define XCHARSET_GRAPHIC(cs)      CHARSET_GRAPHIC      (XCHARSET (cs))
248 #define XCHARSET_TYPE(cs)         CHARSET_TYPE         (XCHARSET (cs))
249 #define XCHARSET_DIRECTION(cs)    CHARSET_DIRECTION    (XCHARSET (cs))
250 #define XCHARSET_FINAL(cs)        CHARSET_FINAL        (XCHARSET (cs))
251 #define XCHARSET_DOC_STRING(cs)   CHARSET_DOC_STRING   (XCHARSET (cs))
252 #define XCHARSET_REGISTRY(cs)     CHARSET_REGISTRY     (XCHARSET (cs))
253 #define XCHARSET_LEADING_BYTE(cs) CHARSET_LEADING_BYTE (XCHARSET (cs))
254 #define XCHARSET_CCL_PROGRAM(cs)  CHARSET_CCL_PROGRAM  (XCHARSET (cs))
255 #define XCHARSET_DIMENSION(cs)    CHARSET_DIMENSION    (XCHARSET (cs))
256 #define XCHARSET_CHARS(cs)        CHARSET_CHARS        (XCHARSET (cs))
257 #define XCHARSET_PRIVATE_P(cs)    CHARSET_PRIVATE_P    (XCHARSET (cs))
258 #define XCHARSET_REVERSE_DIRECTION_CHARSET(cs) \
259   CHARSET_REVERSE_DIRECTION_CHARSET (XCHARSET (cs))
260
261 /* Table of charsets indexed by (leading byte - 128). */
262 extern Lisp_Object charset_by_leading_byte[NUM_LEADING_BYTES];
263
264 /* Table of charsets indexed by type/final-byte/direction. */
265 extern Lisp_Object charset_by_attributes[4][128][2];
266
267 #ifndef UTF2000
268 /* Table of number of bytes in the string representation of a character
269    indexed by the first byte of that representation.
270
271    This value can be derived other ways -- e.g. something like
272
273    (BYTE_ASCII_P (first_byte) ? 1 :
274     XCHARSET_REP_BYTES (CHARSET_BY_LEADING_BYTE (first_byte)))
275
276    but it's faster this way. */
277 extern Bytecount rep_bytes_by_first_byte[0xA0];
278 #endif
279
280 #ifdef ERROR_CHECK_TYPECHECK
281 /* int not Bufbyte even though that is the actual type of a leading byte.
282    This way, out-ot-range values will get caught rather than automatically
283    truncated. */
284 INLINE Lisp_Object CHARSET_BY_LEADING_BYTE (int lb);
285 INLINE Lisp_Object
286 CHARSET_BY_LEADING_BYTE (int lb)
287 {
288   assert (lb >= MIN_LEADING_BYTE &&
289           lb < (MIN_LEADING_BYTE + NUM_LEADING_BYTES));
290   return charset_by_leading_byte[lb - MIN_LEADING_BYTE];
291 }
292
293 #else
294
295 #define CHARSET_BY_LEADING_BYTE(lb) \
296   (charset_by_leading_byte[(lb) - MIN_LEADING_BYTE])
297
298 #endif
299
300 #define CHARSET_BY_ATTRIBUTES(type, final, dir) \
301   (charset_by_attributes[type][final][dir])
302
303 #ifdef UTF2000
304 INLINE int REP_BYTES_BY_FIRST_BYTE (int fb);
305 INLINE int
306 REP_BYTES_BY_FIRST_BYTE (int fb)
307 {
308   if ( fb >= 0xfc )
309     return 6;
310   else if ( fb >= 0xf8 )
311     return 5;
312   else if ( fb >= 0xf0 )
313     return 4;
314   else if ( fb >= 0xe0 )
315     return 3;
316   else if ( fb >= 0xc0 )
317     return 2;
318   else
319     return 1;
320 }
321 #else /* MULE */
322 #ifdef ERROR_CHECK_TYPECHECK
323
324 /* Number of bytes in the string representation of a character */
325 INLINE int REP_BYTES_BY_FIRST_BYTE (int fb);
326 INLINE int
327 REP_BYTES_BY_FIRST_BYTE (int fb)
328 {
329   assert (fb >= 0 && fb < 0xA0);
330   return rep_bytes_by_first_byte[fb];
331 }
332
333 #else
334 #define REP_BYTES_BY_FIRST_BYTE(fb) (rep_bytes_by_first_byte[fb])
335 #endif
336 #endif /* end MULE */
337
338 \f
339 /************************************************************************/
340 /*                        Dealing with characters                       */
341 /************************************************************************/
342
343 /* Is this character represented by more than one byte in a string? */
344
345 #define CHAR_MULTIBYTE_P(c) ((c) >= 0x80)
346
347 #define CHAR_ASCII_P(c) (!CHAR_MULTIBYTE_P (c))
348
349 /* The bit fields of character are divided into 3 parts:
350    FIELD1(5bits):FIELD2(7bits):FIELD3(7bits) */
351
352 #define CHAR_FIELD1_MASK (0x7F << 14)
353 #define CHAR_FIELD2_MASK (0x7F << 7)
354 #define CHAR_FIELD3_MASK 0x7F
355
356 #define MIN_CHAR_GREEK          0x0370
357 #define MAX_CHAR_GREEK          0x03CF
358
359 #define MIN_CHAR_CYRILLIC       0x0400
360 #define MAX_CHAR_CYRILLIC       0x045F
361
362 #define MIN_CHAR_HEBREW         0x0590
363 #define MAX_CHAR_HEBREW         0x05EF
364
365 #define MIN_CHAR_THAI           0x0E00
366 #define MAX_CHAR_THAI           0x0E5F
367
368 #define MIN_CHAR_HALFWIDTH_KATAKANA     0xFF60
369 #define MAX_CHAR_HALFWIDTH_KATAKANA     0xFF9F
370
371 /* Macros to access each field of a character code of C.  */
372
373 #define CHAR_FIELD1(c) (((c) & CHAR_FIELD1_MASK) >> 14)
374 #define CHAR_FIELD2_INTERNAL(c) (((c) & CHAR_FIELD2_MASK) >> 7)
375 #define CHAR_FIELD3_INTERNAL(c)  ((c) & CHAR_FIELD3_MASK)
376
377 /* Field 1, if non-zero, usually holds a leading byte for a
378    dimension-2 charset.  Field 2, if non-zero, usually holds a leading
379    byte for a dimension-1 charset. */
380
381 /* Converting between field values and leading bytes.  */
382
383 #define FIELD2_TO_OFFICIAL_LEADING_BYTE 0x80
384 #define FIELD2_TO_PRIVATE_LEADING_BYTE  0x80
385
386 #define FIELD1_TO_PRIVATE_LEADING_BYTE  0xc0
387 #define FIELD1_TO_OFFICIAL_LEADING_BYTE 0x50
388
389 INLINE Emchar
390 CHAR_FIELD2 (Emchar c)
391 {
392   if( (MIN_CHAR_GREEK <= c) && (c <= MAX_CHAR_GREEK) )
393     return LEADING_BYTE_GREEK_ISO8859_7
394       - FIELD2_TO_OFFICIAL_LEADING_BYTE;
395   else if( (MIN_CHAR_CYRILLIC <= c) && (c <= MAX_CHAR_CYRILLIC) )
396     return LEADING_BYTE_CYRILLIC_ISO8859_5
397       - FIELD2_TO_OFFICIAL_LEADING_BYTE;
398   else if( (MIN_CHAR_HEBREW <= c) && (c <= MAX_CHAR_HEBREW) )
399     return LEADING_BYTE_HEBREW_ISO8859_8
400       - FIELD2_TO_OFFICIAL_LEADING_BYTE;
401   else if( (MIN_CHAR_THAI <= c) && (c <= MAX_CHAR_THAI) )
402     return LEADING_BYTE_THAI_TIS620
403       - FIELD2_TO_OFFICIAL_LEADING_BYTE;
404   else if( (MIN_CHAR_HALFWIDTH_KATAKANA <= c)
405            && (c <= MAX_CHAR_HALFWIDTH_KATAKANA) )
406     return LEADING_BYTE_KATAKANA_JISX0201
407       - FIELD2_TO_OFFICIAL_LEADING_BYTE;
408   else
409     return CHAR_FIELD2_INTERNAL(c);
410 }
411
412 INLINE Emchar
413 CHAR_FIELD3 (Emchar c)
414 {
415   if( (MIN_CHAR_GREEK <= c) && (c <= MAX_CHAR_GREEK) )
416     return c - MIN_CHAR_GREEK + 0x20;
417   else if( (MIN_CHAR_CYRILLIC <= c) && (c <= MAX_CHAR_CYRILLIC) )
418     return c - MIN_CHAR_CYRILLIC + 0x20;
419   else if( (MIN_CHAR_HEBREW <= c) && (c <= MAX_CHAR_HEBREW) )
420     return c - MIN_CHAR_HEBREW + 0x20;
421   else if( (MIN_CHAR_THAI <= c) && (c <= MAX_CHAR_THAI) )
422     return c - MIN_CHAR_THAI + 0x20;
423   else if( (MIN_CHAR_HALFWIDTH_KATAKANA <= c)
424            && (c <= MAX_CHAR_HALFWIDTH_KATAKANA) )
425     return c - MIN_CHAR_HALFWIDTH_KATAKANA + 0x20;
426   else
427     return CHAR_FIELD3_INTERNAL(c);
428 }
429
430 /* Minimum and maximum allowed values for the fields. */
431
432 #define MIN_CHAR_FIELD2_OFFICIAL \
433   (MIN_LEADING_BYTE_OFFICIAL_1 - FIELD2_TO_OFFICIAL_LEADING_BYTE)
434 #define MAX_CHAR_FIELD2_OFFICIAL \
435   (MAX_LEADING_BYTE_OFFICIAL_1 - FIELD2_TO_OFFICIAL_LEADING_BYTE)
436
437 #define MIN_CHAR_FIELD1_OFFICIAL \
438   (MIN_LEADING_BYTE_OFFICIAL_2 - FIELD1_TO_OFFICIAL_LEADING_BYTE)
439 #define MAX_CHAR_FIELD1_OFFICIAL \
440   (MAX_LEADING_BYTE_OFFICIAL_2 - FIELD1_TO_OFFICIAL_LEADING_BYTE)
441
442 #define MIN_CHAR_FIELD2_PRIVATE \
443   (MIN_LEADING_BYTE_PRIVATE_1 - FIELD2_TO_PRIVATE_LEADING_BYTE)
444 #define MAX_CHAR_FIELD2_PRIVATE \
445   (MAX_LEADING_BYTE_PRIVATE_1 - FIELD2_TO_PRIVATE_LEADING_BYTE)
446
447 #define MIN_CHAR_FIELD1_PRIVATE \
448   (MIN_LEADING_BYTE_PRIVATE_2 - FIELD1_TO_PRIVATE_LEADING_BYTE)
449 #define MAX_CHAR_FIELD1_PRIVATE \
450   (MAX_LEADING_BYTE_PRIVATE_2 - FIELD1_TO_PRIVATE_LEADING_BYTE)
451
452 /* Minimum character code of each <type> character.  */
453
454 #define MULE_CHAR_PRIVATE_OFFSET (0xe0 << 16)
455
456 #define MIN_CHAR_OFFICIAL_TYPE9N \
457   (MULE_CHAR_PRIVATE_OFFSET | (MIN_CHAR_FIELD2_OFFICIAL <<  7))
458 #define MIN_CHAR_PRIVATE_TYPE9N \
459   (MULE_CHAR_PRIVATE_OFFSET | (MIN_CHAR_FIELD2_PRIVATE  <<  7))
460 #define MIN_CHAR_PRIVATE_TYPE9NX9N \
461   (MULE_CHAR_PRIVATE_OFFSET | (MIN_CHAR_FIELD1_PRIVATE  << 14))
462 #define MIN_CHAR_OFFICIAL_TYPE9NX9N \
463   (MULE_CHAR_PRIVATE_OFFSET | (MIN_CHAR_FIELD1_OFFICIAL << 14))
464 #define MIN_CHAR_COMPOSITION \
465   (MULE_CHAR_PRIVATE_OFFSET | (0x7f << 14))
466
467 /* Leading byte of a character.
468
469    NOTE: This takes advantage of the fact that
470    FIELD2_TO_OFFICIAL_LEADING_BYTE and
471    FIELD2_TO_PRIVATE_LEADING_BYTE are the same.
472    */
473
474 INLINE Bufbyte CHAR_LEADING_BYTE (Emchar c);
475 INLINE Bufbyte
476 CHAR_LEADING_BYTE (Emchar c)
477 {
478   if (CHAR_ASCII_P (c))
479     return LEADING_BYTE_ASCII;
480   else if (c < 0xA0)
481     return LEADING_BYTE_CONTROL_1;
482   else if (c <= 0xff)
483     return LEADING_BYTE_LATIN_ISO8859_1;
484   else if (c <= MAX_CHAR_GREEK)
485     return LEADING_BYTE_GREEK_ISO8859_7;
486   else if (c <= MAX_CHAR_CYRILLIC)
487     return LEADING_BYTE_CYRILLIC_ISO8859_5;
488   else if (c <= MAX_CHAR_HEBREW)
489     return LEADING_BYTE_HEBREW_ISO8859_8;
490   else if (c <= MAX_CHAR_THAI)
491     return LEADING_BYTE_THAI_TIS620;
492   else if (c <= MAX_CHAR_HALFWIDTH_KATAKANA)
493     return LEADING_BYTE_KATAKANA_JISX0201;
494   else if (c < MIN_CHAR_PRIVATE_TYPE9NX9N)
495     return CHAR_FIELD2 (c) + FIELD2_TO_OFFICIAL_LEADING_BYTE;
496   else if (c < MIN_CHAR_OFFICIAL_TYPE9NX9N)
497     return CHAR_FIELD1 (c) + FIELD1_TO_PRIVATE_LEADING_BYTE;
498   else if (c < MIN_CHAR_COMPOSITION)
499     return CHAR_FIELD1 (c) + FIELD1_TO_OFFICIAL_LEADING_BYTE;
500   else
501     {
502 #ifdef ENABLE_COMPOSITE_CHARS
503       return LEADING_BYTE_COMPOSITE;
504 #else
505       abort();
506       return 0;
507 #endif /* ENABLE_COMPOSITE_CHARS */
508     }
509 }
510
511 #define CHAR_CHARSET(c) CHARSET_BY_LEADING_BYTE (CHAR_LEADING_BYTE (c))
512
513 /* Return a character whose charset is CHARSET and position-codes
514    are C1 and C2.  TYPE9N character ignores C2.
515
516    NOTE: This takes advantage of the fact that
517    FIELD2_TO_OFFICIAL_LEADING_BYTE and
518    FIELD2_TO_PRIVATE_LEADING_BYTE are the same.
519    */
520
521 INLINE Emchar MAKE_CHAR (Lisp_Object charset, int c1, int c2);
522 INLINE Emchar
523 MAKE_CHAR (Lisp_Object charset, int c1, int c2)
524 {
525   if (EQ (charset, Vcharset_ascii))
526     return c1;
527   else if (EQ (charset, Vcharset_control_1))
528     return c1 | 0x80;
529   else if (EQ (charset, Vcharset_latin_iso8859_1))
530     return c1 | 0x80;
531   else if (EQ (charset, Vcharset_greek_iso8859_7))
532     return c1 + MIN_CHAR_GREEK - 0x20;
533   else if (EQ (charset, Vcharset_cyrillic_iso8859_5))
534     return c1 + MIN_CHAR_CYRILLIC - 0x20;
535   else if (EQ (charset, Vcharset_hebrew_iso8859_8))
536     return c1 + MIN_CHAR_HEBREW - 0x20;
537   else if (EQ (charset, Vcharset_thai_tis620))
538     return c1 + MIN_CHAR_THAI - 0x20;
539   else if (EQ (charset, Vcharset_katakana_jisx0201))
540     if (c1 < 0x60)
541       return c1 + MIN_CHAR_HALFWIDTH_KATAKANA - 0x20;
542     else
543       return 32;
544 #ifdef ENABLE_COMPOSITE_CHARS
545   else if (EQ (charset, Vcharset_composite))
546     return (0x1F << 14) | ((c1) << 7) | (c2);
547 #endif
548   else if (XCHARSET_DIMENSION (charset) == 1)
549     return MULE_CHAR_PRIVATE_OFFSET
550       | ((XCHARSET_LEADING_BYTE (charset) -
551           FIELD2_TO_OFFICIAL_LEADING_BYTE) << 7) | (c1);
552   else if (!XCHARSET_PRIVATE_P (charset))
553     return MULE_CHAR_PRIVATE_OFFSET
554       | ((XCHARSET_LEADING_BYTE (charset) -
555           FIELD1_TO_OFFICIAL_LEADING_BYTE) << 14) | ((c1) << 7) | (c2);
556   else
557     return MULE_CHAR_PRIVATE_OFFSET
558       | ((XCHARSET_LEADING_BYTE (charset) -
559           FIELD1_TO_PRIVATE_LEADING_BYTE) << 14) | ((c1) << 7) | (c2);
560 }
561
562 /* The charset of character C is set to CHARSET, and the
563    position-codes of C are set to C1 and C2.  C2 of TYPE9N character
564    is 0.  */
565
566 /* BREAKUP_CHAR_1_UNSAFE assumes that the charset has already been
567    calculated, and just computes c1 and c2.
568
569    BREAKUP_CHAR also computes and stores the charset. */
570
571 #define BREAKUP_CHAR_1_UNSAFE(c, charset, c1, c2)       \
572   XCHARSET_DIMENSION (charset) == 1                     \
573   ? ((c1) = CHAR_FIELD3 (c), (c2) = 0)                  \
574   : ((c1) = CHAR_FIELD2 (c),                            \
575      (c2) = CHAR_FIELD3 (c))
576
577 INLINE void breakup_char_1 (Emchar c, Lisp_Object *charset, int *c1, int *c2);
578 INLINE void
579 breakup_char_1 (Emchar c, Lisp_Object *charset, int *c1, int *c2)
580 {
581   *charset = CHAR_CHARSET (c);
582   BREAKUP_CHAR_1_UNSAFE (c, *charset, *c1, *c2);
583 }
584
585 #define BREAKUP_CHAR(c, charset, c1, c2) \
586   breakup_char_1 (c, &(charset), &(c1), &(c2))
587
588
589 \f
590 #ifdef ENABLE_COMPOSITE_CHARS
591 /************************************************************************/
592 /*                           Composite characters                       */
593 /************************************************************************/
594
595 Emchar lookup_composite_char (Bufbyte *str, int len);
596 Lisp_Object composite_char_string (Emchar ch);
597 #endif /* ENABLE_COMPOSITE_CHARS */
598
599 \f
600 /************************************************************************/
601 /*                            Exported functions                        */
602 /************************************************************************/
603
604 EXFUN (Ffind_charset, 1);
605 EXFUN (Fget_charset, 1);
606
607 extern Lisp_Object Vcharset_chinese_big5_1;
608 extern Lisp_Object Vcharset_chinese_big5_2;
609 extern Lisp_Object Vcharset_japanese_jisx0208;
610
611 Emchar Lstream_get_emchar_1 (Lstream *stream, int first_char);
612 int Lstream_fput_emchar (Lstream *stream, Emchar ch);
613 void Lstream_funget_emchar (Lstream *stream, Emchar ch);
614
615 int copy_internal_to_external (CONST Bufbyte *internal, Bytecount len,
616                                unsigned char *external);
617 Bytecount copy_external_to_internal (CONST unsigned char *external,
618                                      int len, Bufbyte *internal);
619
620 #endif /* CHAR_IS_UCS4 */
621 #endif /* _XEMACS_CHARACTER_H */