This commit was generated by cvs2svn to compensate for changes in r5670,
[chise/xemacs-chise.git.1] / src / mule-coding.h
1 /* Header for code conversion stuff
2    Copyright (C) 1991, 1995 Free Software Foundation, Inc.
3    Copyright (C) 1995 Sun Microsystems, Inc.
4
5 This file is part of XEmacs.
6
7 XEmacs is free software; you can redistribute it and/or modify it
8 under the terms of the GNU General Public License as published by the
9 Free Software Foundation; either version 2, or (at your option) any
10 later version.
11
12 XEmacs is distributed in the hope that it will be useful, but WITHOUT
13 ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or
14 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
15 for more details.
16
17 You should have received a copy of the GNU General Public License
18 along with XEmacs; see the file COPYING.  If not, write to
19 the Free Software Foundation, Inc., 59 Temple Place - Suite 330,
20 Boston, MA 02111-1307, USA.  */
21
22 /* Synched up with: Mule 2.3.  Not in FSF. */
23
24 /* 91.10.09 written by K.Handa <handa@etl.go.jp> */
25 /* Rewritten by Ben Wing <ben@xemacs.org>. */
26
27 #ifndef _XEMACS_MULE_CODING_H_
28 #define _XEMACS_MULE_CODING_H_
29
30 struct decoding_stream;
31 struct encoding_stream;
32
33 /* Coding system types.  These go into the TYPE field of a
34    struct Lisp_Coding_System. */
35
36 enum coding_system_type
37 {
38   CODESYS_AUTODETECT,   /* Automatic conversion. */
39   CODESYS_SHIFT_JIS,    /* Shift-JIS; Hankaku (half-width) KANA
40                            is also supported. */
41   CODESYS_ISO2022,      /* Any ISO2022-compliant coding system.
42                            Includes JIS, EUC, CTEXT */
43   CODESYS_BIG5,         /* BIG5 (used for Taiwanese). */
44   CODESYS_CCL,          /* Converter written in CCL. */
45   CODESYS_NO_CONVERSION /* "No conversion"; used for binary files.
46                            We use quotes because there really
47                            is some conversion being applied,
48                            but it appears to the user as if
49                            the text is read in without conversion. */
50 #ifdef DEBUG_XEMACS
51   ,CODESYS_INTERNAL     /* Raw (internally-formatted) data. */
52 #endif
53 };
54
55 enum eol_type
56 {
57   EOL_AUTODETECT,
58   EOL_LF,
59   EOL_CRLF,
60   EOL_CR
61 };
62
63 typedef struct charset_conversion_spec charset_conversion_spec;
64 struct charset_conversion_spec
65 {
66   Lisp_Object from_charset;
67   Lisp_Object to_charset;
68 };
69
70 typedef struct
71 {
72   Dynarr_declare (charset_conversion_spec);
73 } charset_conversion_spec_dynarr;
74
75 struct Lisp_Coding_System
76 {
77   struct lcrecord_header header;
78
79   /* Name and doc string of this coding system. */
80   Lisp_Object name, doc_string;
81
82   /* This is the major type of the coding system -- one of Big5, ISO2022,
83      Shift-JIS, etc.  See the constants above. */
84   enum coding_system_type type;
85
86   /* Mnemonic string displayed in the modeline when this coding
87      system is active for a particular buffer. */
88   Lisp_Object mnemonic;
89
90   Lisp_Object post_read_conversion, pre_write_conversion;
91
92   enum eol_type eol_type;
93
94   /* Subsidiary coding systems that specify a particular type of EOL
95      marking, rather than autodetecting it.  These will only be non-nil
96      if (eol_type == EOL_AUTODETECT). */
97   Lisp_Object eol_lf, eol_crlf, eol_cr;
98
99   struct
100   {
101     /* What are the charsets to be initially designated to G0, G1,
102        G2, G3?  If t, no charset is initially designated.  If nil,
103        no charset is initially designated and no charset is allowed
104        to be designated. */
105     Lisp_Object initial_charset[4];
106
107     /* If true, a designation escape sequence needs to be sent on output
108        for the charset in G[0-3] before that charset is used. */
109     unsigned char force_charset_on_output[4];
110
111     charset_conversion_spec_dynarr *input_conv;
112     charset_conversion_spec_dynarr *output_conv;
113
114     unsigned int shoort         :1; /* C makes you speak Dutch */
115     unsigned int no_ascii_eol   :1;
116     unsigned int no_ascii_cntl  :1;
117     unsigned int seven          :1;
118     unsigned int lock_shift     :1;
119     unsigned int no_iso6429     :1;
120     unsigned int escape_quoted  :1;
121   } iso2022;
122
123   struct
124   {
125     /* For a CCL coding system, these specify the CCL programs used for
126        decoding (input) and encoding (output). */
127     Lisp_Object decode, encode;
128   } ccl;
129 };
130
131 DECLARE_LRECORD (coding_system, struct Lisp_Coding_System);
132 #define XCODING_SYSTEM(x) XRECORD (x, coding_system, struct Lisp_Coding_System)
133 #define XSETCODING_SYSTEM(x, p) XSETRECORD (x, p, coding_system)
134 #define CODING_SYSTEMP(x) RECORDP (x, coding_system)
135 #define GC_CODING_SYSTEMP(x) GC_RECORDP (x, coding_system)
136 #define CHECK_CODING_SYSTEM(x) CHECK_RECORD (x, coding_system)
137 #define CONCHECK_CODING_SYSTEM(x) CONCHECK_RECORD (x, coding_system)
138
139 #define CODING_SYSTEM_NAME(codesys) ((codesys)->name)
140 #define CODING_SYSTEM_DOC_STRING(codesys) ((codesys)->doc_string)
141 #define CODING_SYSTEM_TYPE(codesys) ((codesys)->type)
142 #define CODING_SYSTEM_MNEMONIC(codesys) ((codesys)->mnemonic)
143 #define CODING_SYSTEM_POST_READ_CONVERSION(codesys) \
144   ((codesys)->post_read_conversion)
145 #define CODING_SYSTEM_PRE_WRITE_CONVERSION(codesys) \
146   ((codesys)->pre_write_conversion)
147 #define CODING_SYSTEM_EOL_TYPE(codesys) ((codesys)->eol_type)
148 #define CODING_SYSTEM_EOL_LF(codesys)   ((codesys)->eol_lf)
149 #define CODING_SYSTEM_EOL_CRLF(codesys) ((codesys)->eol_crlf)
150 #define CODING_SYSTEM_EOL_CR(codesys)   ((codesys)->eol_cr)
151 #define CODING_SYSTEM_ISO2022_INITIAL_CHARSET(codesys, g) \
152   ((codesys)->iso2022.initial_charset[g])
153 #define CODING_SYSTEM_ISO2022_FORCE_CHARSET_ON_OUTPUT(codesys, g) \
154   ((codesys)->iso2022.force_charset_on_output[g])
155 #define CODING_SYSTEM_ISO2022_SHORT(codesys) ((codesys)->iso2022.shoort)
156 #define CODING_SYSTEM_ISO2022_NO_ASCII_EOL(codesys) \
157   ((codesys)->iso2022.no_ascii_eol)
158 #define CODING_SYSTEM_ISO2022_NO_ASCII_CNTL(codesys) \
159   ((codesys)->iso2022.no_ascii_cntl)
160 #define CODING_SYSTEM_ISO2022_SEVEN(codesys) ((codesys)->iso2022.seven)
161 #define CODING_SYSTEM_ISO2022_LOCK_SHIFT(codesys) \
162   ((codesys)->iso2022.lock_shift)
163 #define CODING_SYSTEM_ISO2022_NO_ISO6429(codesys) \
164   ((codesys)->iso2022.no_iso6429)
165 #define CODING_SYSTEM_ISO2022_ESCAPE_QUOTED(codesys) \
166   ((codesys)->iso2022.escape_quoted)
167 #define CODING_SYSTEM_CCL_DECODE(codesys) ((codesys)->ccl.decode)
168 #define CODING_SYSTEM_CCL_ENCODE(codesys) ((codesys)->ccl.encode)
169
170 #define XCODING_SYSTEM_NAME(codesys) \
171   CODING_SYSTEM_NAME (XCODING_SYSTEM (codesys))
172 #define XCODING_SYSTEM_DOC_STRING(codesys) \
173   CODING_SYSTEM_DOC_STRING (XCODING_SYSTEM (codesys))
174 #define XCODING_SYSTEM_TYPE(codesys) \
175   CODING_SYSTEM_TYPE (XCODING_SYSTEM (codesys))
176 #define XCODING_SYSTEM_MNEMONIC(codesys) \
177   CODING_SYSTEM_MNEMONIC (XCODING_SYSTEM (codesys))
178 #define XCODING_SYSTEM_POST_READ_CONVERSION(codesys) \
179   CODING_SYSTEM_POST_READ_CONVERSION (XCODING_SYSTEM (codesys))
180 #define XCODING_SYSTEM_PRE_WRITE_CONVERSION(codesys) \
181   CODING_SYSTEM_PRE_WRITE_CONVERSION (XCODING_SYSTEM (codesys))
182 #define XCODING_SYSTEM_EOL_TYPE(codesys) \
183   CODING_SYSTEM_EOL_TYPE (XCODING_SYSTEM (codesys))
184 #define XCODING_SYSTEM_EOL_LF(codesys) \
185   CODING_SYSTEM_EOL_LF (XCODING_SYSTEM (codesys))
186 #define XCODING_SYSTEM_EOL_CRLF(codesys) \
187   CODING_SYSTEM_EOL_CRLF (XCODING_SYSTEM (codesys))
188 #define XCODING_SYSTEM_EOL_CR(codesys) \
189   CODING_SYSTEM_EOL_CR (XCODING_SYSTEM (codesys))
190 #define XCODING_SYSTEM_ISO2022_INITIAL_CHARSET(codesys, g) \
191   CODING_SYSTEM_ISO2022_INITIAL_CHARSET (XCODING_SYSTEM (codesys), g)
192 #define XCODING_SYSTEM_ISO2022_FORCE_CHARSET_ON_OUTPUT(codesys, g) \
193   CODING_SYSTEM_ISO2022_FORCE_CHARSET_ON_OUTPUT (XCODING_SYSTEM (codesys), g)
194 #define XCODING_SYSTEM_ISO2022_SHORT(codesys) \
195   CODING_SYSTEM_ISO2022_SHORT (XCODING_SYSTEM (codesys))
196 #define XCODING_SYSTEM_ISO2022_NO_ASCII_EOL(codesys) \
197   CODING_SYSTEM_ISO2022_NO_ASCII_EOL (XCODING_SYSTEM (codesys))
198 #define XCODING_SYSTEM_ISO2022_NO_ASCII_CNTL(codesys) \
199   CODING_SYSTEM_ISO2022_NO_ASCII_CNTL (XCODING_SYSTEM (codesys))
200 #define XCODING_SYSTEM_ISO2022_SEVEN(codesys) \
201   CODING_SYSTEM_ISO2022_SEVEN (XCODING_SYSTEM (codesys))
202 #define XCODING_SYSTEM_ISO2022_LOCK_SHIFT(codesys) \
203   CODING_SYSTEM_ISO2022_LOCK_SHIFT (XCODING_SYSTEM (codesys))
204 #define XCODING_SYSTEM_ISO2022_NO_ISO6429(codesys) \
205   CODING_SYSTEM_ISO2022_NO_ISO6429 (XCODING_SYSTEM (codesys))
206 #define XCODING_SYSTEM_ISO2022_ESCAPE_QUOTED(codesys) \
207   CODING_SYSTEM_ISO2022_ESCAPE_QUOTED (XCODING_SYSTEM (codesys))
208 #define XCODING_SYSTEM_CCL_DECODE(codesys) \
209   CODING_SYSTEM_CCL_DECODE (XCODING_SYSTEM (codesys))
210 #define XCODING_SYSTEM_CCL_ENCODE(codesys) \
211   CODING_SYSTEM_CCL_ENCODE (XCODING_SYSTEM (codesys))
212
213 extern Lisp_Object Qbuffer_file_coding_system, Qcoding_system_error;
214
215 extern Lisp_Object Vkeyboard_coding_system;
216 extern Lisp_Object Vterminal_coding_system;
217 extern Lisp_Object Vcoding_system_for_read;
218 extern Lisp_Object Vcoding_system_for_write;
219 extern Lisp_Object Vpathname_coding_system;
220
221 extern Lisp_Object Qescape_quoted;
222
223 /* Flags indicating current state while converting code. */
224
225 /* Used by everyone. */
226
227 #define CODING_STATE_END        (1 << 0) /* If set, this is the last chunk of
228                                             data being processed.  When this
229                                             is finished, output any necessary
230                                             terminating control characters,
231                                             escape sequences, etc. */
232 #define CODING_STATE_CR         (1 << 1) /* If set, we just saw a CR. */
233
234
235 /* Used by Big 5 on output. */
236
237 #define CODING_STATE_BIG5_1     (1 << 2) /* If set, we just encountered
238                                             LEADING_BYTE_BIG5_1. */
239 #define CODING_STATE_BIG5_2     (1 << 3) /* If set, we just encountered
240                                             LEADING_BYTE_BIG5_2. */
241
242
243 /* Used by ISO2022 on input and output. */
244
245 #define CODING_STATE_R2L        (1 << 4)  /* If set, the current
246                                              directionality is right-to-left.
247                                              Otherwise, it's left-to-right. */
248
249
250 /* Used by ISO2022 on input. */
251
252 #define CODING_STATE_ESCAPE     (1 << 5)  /* If set, we're currently parsing
253                                              an escape sequence and the upper
254                                              16 bits should be looked at to
255                                              indicate what partial escape
256                                              sequence we've seen so far.
257                                              Otherwise, we're running
258                                              through actual text. */
259 #define CODING_STATE_SS2        (1 << 6)  /* If set, G2 is invoked into GL, but
260                                              only for the next character. */
261 #define CODING_STATE_SS3        (1 << 7)  /* If set, G3 is invoked into GL,
262                                              but only for the next character.
263                                              If both CODING_STATE_SS2 and
264                                              CODING_STATE_SS3 are set,
265                                              CODING_STATE_SS2 overrides; but
266                                              this probably indicates an error
267                                              in the text encoding. */
268 #define CODING_STATE_COMPOSITE  (1 << 8)  /* If set, we're currently processing
269                                              a composite character (i.e. a
270                                              character constructed by
271                                              overstriking two or more
272                                              characters). */
273
274
275 /* CODING_STATE_ISO2022_LOCK is the mask of flags that remain on until
276    explicitly turned off when in the ISO2022 encoder/decoder.  Other flags are
277    turned off at the end of processing each character or escape sequence. */
278 # define CODING_STATE_ISO2022_LOCK \
279   (CODING_STATE_END | CODING_STATE_COMPOSITE | CODING_STATE_R2L)
280 #define CODING_STATE_BIG5_LOCK \
281   CODING_STATE_END
282
283 /* Flags indicating what we've seen so far when parsing an
284    ISO2022 escape sequence. */
285 enum iso_esc_flag
286 {
287   /* Partial sequences */
288   ISO_ESC_NOTHING,      /* Nothing has been seen. */
289   ISO_ESC,              /* We've seen ESC. */
290   ISO_ESC_2_4,          /* We've seen ESC $.  This indicates
291                            that we're designating a multi-byte, rather
292                            than a single-byte, character set. */
293   ISO_ESC_2_8,          /* We've seen ESC 0x28, i.e. ESC (.
294                            This means designate a 94-character
295                            character set into G0. */
296   ISO_ESC_2_9,          /* We've seen ESC 0x29 -- designate a
297                            94-character character set into G1. */
298   ISO_ESC_2_10,         /* We've seen ESC 0x2A. */
299   ISO_ESC_2_11,         /* We've seen ESC 0x2B. */
300   ISO_ESC_2_12,         /* We've seen ESC 0x2C -- designate a
301                            96-character character set into G0.
302                            (This is not ISO2022-standard.
303                            The following 96-character
304                            control sequences are standard,
305                            though.) */
306   ISO_ESC_2_13,         /* We've seen ESC 0x2D -- designate a
307                            96-character character set into G1.
308                            */
309   ISO_ESC_2_14,         /* We've seen ESC 0x2E. */
310   ISO_ESC_2_15,         /* We've seen ESC 0x2F. */
311   ISO_ESC_2_4_8,        /* We've seen ESC $ 0x28 -- designate
312                            a 94^N character set into G0. */
313   ISO_ESC_2_4_9,        /* We've seen ESC $ 0x29. */
314   ISO_ESC_2_4_10,       /* We've seen ESC $ 0x2A. */
315   ISO_ESC_2_4_11,       /* We've seen ESC $ 0x2B. */
316   ISO_ESC_2_4_12,       /* We've seen ESC $ 0x2C. */
317   ISO_ESC_2_4_13,       /* We've seen ESC $ 0x2D. */
318   ISO_ESC_2_4_14,       /* We've seen ESC $ 0x2E. */
319   ISO_ESC_2_4_15,       /* We've seen ESC $ 0x2F. */
320   ISO_ESC_5_11,         /* We've seen ESC [ or 0x9B.  This
321                            starts a directionality-control
322                            sequence.  The next character
323                            must be 0, 1, 2, or ]. */
324   ISO_ESC_5_11_0,       /* We've seen 0x9B 0.  The next
325                            character must be ]. */
326   ISO_ESC_5_11_1,       /* We've seen 0x9B 1.  The next
327                            character must be ]. */
328   ISO_ESC_5_11_2,       /* We've seen 0x9B 2.  The next
329                            character must be ]. */
330
331   /* Full sequences. */
332   ISO_ESC_START_COMPOSITE, /* Private usage for START COMPOSING */
333   ISO_ESC_END_COMPOSITE, /* Private usage for END COMPOSING */
334   ISO_ESC_SINGLE_SHIFT, /* We've seen a complete single-shift sequence. */
335   ISO_ESC_LOCKING_SHIFT,/* We've seen a complete locking-shift sequence. */
336   ISO_ESC_DESIGNATE,    /* We've seen a complete designation sequence. */
337   ISO_ESC_DIRECTIONALITY,/* We've seen a complete ISO6429 directionality
338                            sequence. */
339   ISO_ESC_LITERAL       /* We've seen a literal character ala
340                            escape-quoting. */
341 };
342
343 /* Macros to define code of control characters for ISO2022's functions.  */
344                         /* code */      /* function */
345 #define ISO_CODE_LF     0x0A            /* line-feed */
346 #define ISO_CODE_CR     0x0D            /* carriage-return */
347 #define ISO_CODE_SO     0x0E            /* shift-out */
348 #define ISO_CODE_SI     0x0F            /* shift-in */
349 #define ISO_CODE_ESC    0x1B            /* escape */
350 #define ISO_CODE_DEL    0x7F            /* delete */
351 #define ISO_CODE_SS2    0x8E            /* single-shift-2 */
352 #define ISO_CODE_SS3    0x8F            /* single-shift-3 */
353 #define ISO_CODE_CSI    0x9B            /* control-sequence-introduce */
354
355 /* Macros to access an encoding stream or decoding stream */
356
357 #define CODING_STREAM_DECOMPOSE(str, flags, ch) \
358 do {                                            \
359   flags = (str)->flags;                         \
360   ch = (str)->ch;                               \
361 } while (0)
362
363 #define CODING_STREAM_COMPOSE(str, flags, ch)   \
364 do {                                            \
365   (str)->flags = flags;                         \
366   (str)->ch = ch;                               \
367 } while (0)
368
369
370 /* For detecting the encoding of text */
371 enum coding_category_type
372 {
373   CODING_CATEGORY_SHIFT_JIS,
374   CODING_CATEGORY_ISO_7, /* ISO2022 system using only seven-bit bytes,
375                             no locking shift */
376   CODING_CATEGORY_ISO_8_DESIGNATE, /* ISO2022 system using eight-bit bytes,
377                                       no locking shift, no single shift,
378                                       using designation to switch charsets */
379   CODING_CATEGORY_ISO_8_1, /* ISO2022 system using eight-bit bytes,
380                               no locking shift, no designation sequences,
381                               one-dimension characters in the upper half. */
382   CODING_CATEGORY_ISO_8_2, /* ISO2022 system using eight-bit bytes,
383                               no locking shift, no designation sequences,
384                               two-dimension characters in the upper half. */
385   CODING_CATEGORY_ISO_LOCK_SHIFT, /* ISO2022 system using locking shift */
386   CODING_CATEGORY_BIG5,
387   CODING_CATEGORY_NO_CONVERSION
388 };
389
390 #define CODING_CATEGORY_LAST CODING_CATEGORY_NO_CONVERSION
391
392 #define CODING_CATEGORY_SHIFT_JIS_MASK  \
393   (1 << CODING_CATEGORY_SHIFT_JIS)
394 #define CODING_CATEGORY_ISO_7_MASK \
395   (1 << CODING_CATEGORY_ISO_7)
396 #define CODING_CATEGORY_ISO_8_DESIGNATE_MASK \
397   (1 << CODING_CATEGORY_ISO_8_DESIGNATE)
398 #define CODING_CATEGORY_ISO_8_1_MASK \
399   (1 << CODING_CATEGORY_ISO_8_1)
400 #define CODING_CATEGORY_ISO_8_2_MASK \
401   (1 << CODING_CATEGORY_ISO_8_2)
402 #define CODING_CATEGORY_ISO_LOCK_SHIFT_MASK \
403   (1 << CODING_CATEGORY_ISO_LOCK_SHIFT)
404 #define CODING_CATEGORY_BIG5_MASK \
405   (1 << CODING_CATEGORY_BIG5)
406 #define CODING_CATEGORY_NO_CONVERSION_MASK \
407   (1 << CODING_CATEGORY_NO_CONVERSION)
408 #define CODING_CATEGORY_NOT_FINISHED_MASK \
409   (1 << 30)
410
411 /* Convert shift-JIS code (sj1, sj2) into internal string
412    representation (c1, c2). (The leading byte is assumed.) */
413
414 #define DECODE_SJIS(sj1, sj2, c1, c2)                   \
415 do {                                                    \
416   int I1 = sj1, I2 = sj2;                               \
417   if (I2 >= 0x9f)                                       \
418     c1 = (I1 << 1) - ((I1 >= 0xe0) ? 0xe0 : 0x60),      \
419     c2 = I2 + 2;                                        \
420   else                                                  \
421     c1 = (I1 << 1) - ((I1 >= 0xe0) ? 0xe1 : 0x61),      \
422     c2 = I2 + ((I2 >= 0x7f) ? 0x60 : 0x61);             \
423 } while (0)
424
425 /* Convert the internal string representation of a Shift-JIS character
426    (c1, c2) into Shift-JIS code (sj1, sj2).  The leading byte is
427    assumed. */
428
429 #define ENCODE_SJIS(c1, c2, sj1, sj2)                   \
430 do {                                                    \
431   int I1 = c1, I2 = c2;                                 \
432   if (I1 & 1)                                           \
433     sj1 = (I1 >> 1) + ((I1 < 0xdf) ? 0x31 : 0x71),      \
434     sj2 = I2 - ((I2 >= 0xe0) ? 0x60 : 0x61);            \
435   else                                                  \
436     sj1 = (I1 >> 1) + ((I1 < 0xdf) ? 0x30 : 0x70),      \
437     sj2 = I2 - 2;                                       \
438 } while (0)
439
440 Lisp_Object make_decoding_input_stream  (Lstream *stream, Lisp_Object codesys);
441 Lisp_Object make_encoding_input_stream  (Lstream *stream, Lisp_Object codesys);
442 Lisp_Object make_decoding_output_stream (Lstream *stream, Lisp_Object codesys);
443 Lisp_Object make_encoding_output_stream (Lstream *stream, Lisp_Object codesys);
444 Lisp_Object decoding_stream_coding_system (Lstream *stream);
445 Lisp_Object encoding_stream_coding_system (Lstream *stream);
446 void set_decoding_stream_coding_system (Lstream *stream, Lisp_Object codesys);
447 void set_encoding_stream_coding_system (Lstream *stream, Lisp_Object codesys);
448 void determine_real_coding_system (Lstream *stream, Lisp_Object *codesys_in_out,
449                                    enum eol_type *eol_type_in_out);
450 #endif /* _XEMACS_MULE_CODING_H_ */