git.chise.org Git - chise/xemacs-chise.git-/blob - src/file-coding.h

   1 /* Header for code conversion stuff
   2    Copyright (C) 1991, 1995 Free Software Foundation, Inc.
   3    Copyright (C) 1995 Sun Microsystems, Inc.
   4
   5 This file is part of XEmacs.
   6
   7 XEmacs is free software; you can redistribute it and/or modify it
   8 under the terms of the GNU General Public License as published by the
   9 Free Software Foundation; either version 2, or (at your option) any
  10 later version.
  11
  12 XEmacs is distributed in the hope that it will be useful, but WITHOUT
  13 ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or
  14 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  15 for more details.
  16
  17 You should have received a copy of the GNU General Public License
  18 along with XEmacs; see the file COPYING.  If not, write to
  19 the Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  20 Boston, MA 02111-1307, USA.  */
  21
  22 /* Synched up with: Mule 2.3.  Not in FSF. */
  23
  24 /* 91.10.09 written by K.Handa <handa@etl.go.jp> */
  25 /* Rewritten by Ben Wing <ben@xemacs.org>. */
  26
  27 #ifndef INCLUDED_file_coding_h_
  28 #define INCLUDED_file_coding_h_
  29
  30 struct decoding_stream;
  31 struct encoding_stream;
  32
  33 /* Coding system types.  These go into the TYPE field of a
  34    Lisp_Coding_System. */
  35
  36 enum coding_system_type
  37 {
  38   CODESYS_AUTODETECT,   /* Automatic conversion. */
  39 #ifdef MULE
  40   CODESYS_SHIFT_JIS,    /* Shift-JIS; Hankaku (half-width) KANA
  41                            is also supported. */
  42   CODESYS_ISO2022,      /* Any ISO2022-compliant coding system.
  43                            Includes JIS, EUC, CTEXT */
  44   CODESYS_BIG5,         /* BIG5 (used for Taiwanese). */
  45   CODESYS_UCS4,         /* ISO 10646 UCS-4 */
  46   CODESYS_UTF8,         /* ISO 10646 UTF-8 */
  47   CODESYS_CCL,          /* Converter written in CCL. */
  48 #endif
  49   CODESYS_NO_CONVERSION /* "No conversion"; used for binary files.
  50                            We use quotes because there really
  51                            is some conversion being applied,
  52                            but it appears to the user as if
  53                            the text is read in without conversion. */
  54 #ifdef DEBUG_XEMACS
  55   ,CODESYS_INTERNAL     /* Raw (internally-formatted) data. */
  56 #endif
  57 };
  58
  59 enum eol_type
  60 {
  61   EOL_AUTODETECT,
  62   EOL_LF,
  63   EOL_CRLF,
  64   EOL_CR
  65 };
  66 typedef enum eol_type eol_type_t;
  67
  68 #ifdef MULE
  69 typedef struct charset_conversion_spec charset_conversion_spec;
  70 struct charset_conversion_spec
  71 {
  72   Lisp_Object from_charset;
  73   Lisp_Object to_charset;
  74 };
  75
  76 typedef struct
  77 {
  78   Dynarr_declare (charset_conversion_spec);
  79 } charset_conversion_spec_dynarr;
  80 #endif
  81
  82 struct Lisp_Coding_System
  83 {
  84   struct lcrecord_header header;
  85
  86   /* Name and doc string of this coding system. */
  87   Lisp_Object name;
  88   Lisp_Object doc_string;
  89
  90   /* This is the major type of the coding system -- one of Big5, ISO2022,
  91      Shift-JIS, etc.  See the constants above. */
  92   enum coding_system_type type;
  93
  94   /* Mnemonic string displayed in the modeline when this coding
  95      system is active for a particular buffer. */
  96   Lisp_Object mnemonic;
  97
  98   Lisp_Object post_read_conversion;
  99   Lisp_Object pre_write_conversion;
 100
 101   eol_type_t eol_type;
 102
 103   /* Subsidiary coding systems that specify a particular type of EOL
 104      marking, rather than autodetecting it.  These will only be non-nil
 105      if (eol_type == EOL_AUTODETECT). */
 106   Lisp_Object eol_lf;
 107   Lisp_Object eol_crlf;
 108   Lisp_Object eol_cr;
 109 #ifdef MULE
 110   struct
 111   {
 112     /* What are the charsets to be initially designated to G0, G1,
 113        G2, G3?  If t, no charset is initially designated.  If nil,
 114        no charset is initially designated and no charset is allowed
 115        to be designated. */
 116     Lisp_Object initial_charset[4];
 117
 118     /* If true, a designation escape sequence needs to be sent on output
 119        for the charset in G[0-3] before that charset is used. */
 120     unsigned char force_charset_on_output[4];
 121
 122     charset_conversion_spec_dynarr *input_conv;
 123     charset_conversion_spec_dynarr *output_conv;
 124
 125     unsigned int shoort         :1; /* C makes you speak Dutch */
 126     unsigned int no_ascii_eol   :1;
 127     unsigned int no_ascii_cntl  :1;
 128     unsigned int seven          :1;
 129     unsigned int lock_shift     :1;
 130     unsigned int no_iso6429     :1;
 131     unsigned int escape_quoted  :1;
 132   } iso2022;
 133   struct
 134   {
 135     /* For a CCL coding system, these specify the CCL programs used for
 136        decoding (input) and encoding (output). */
 137     Lisp_Object decode;
 138     Lisp_Object encode;
 139   } ccl;
 140 #endif
 141 #ifdef UTF2000
 142   char disable_composition;
 143 #endif
 144 };
 145 typedef struct Lisp_Coding_System Lisp_Coding_System;
 146
 147 DECLARE_LRECORD (coding_system, Lisp_Coding_System);
 148 #define XCODING_SYSTEM(x) XRECORD (x, coding_system, Lisp_Coding_System)
 149 #define XSETCODING_SYSTEM(x, p) XSETRECORD (x, p, coding_system)
 150 #define CODING_SYSTEMP(x) RECORDP (x, coding_system)
 151 #define CHECK_CODING_SYSTEM(x) CHECK_RECORD (x, coding_system)
 152 #define CONCHECK_CODING_SYSTEM(x) CONCHECK_RECORD (x, coding_system)
 153
 154 #define CODING_SYSTEM_NAME(codesys) ((codesys)->name)
 155 #define CODING_SYSTEM_DOC_STRING(codesys) ((codesys)->doc_string)
 156 #define CODING_SYSTEM_TYPE(codesys) ((codesys)->type)
 157 #define CODING_SYSTEM_MNEMONIC(codesys) ((codesys)->mnemonic)
 158 #define CODING_SYSTEM_POST_READ_CONVERSION(codesys) \
 159   ((codesys)->post_read_conversion)
 160 #define CODING_SYSTEM_PRE_WRITE_CONVERSION(codesys) \
 161   ((codesys)->pre_write_conversion)
 162 #define CODING_SYSTEM_EOL_TYPE(codesys) ((codesys)->eol_type)
 163 #define CODING_SYSTEM_EOL_LF(codesys)   ((codesys)->eol_lf)
 164 #define CODING_SYSTEM_EOL_CRLF(codesys) ((codesys)->eol_crlf)
 165 #define CODING_SYSTEM_EOL_CR(codesys)   ((codesys)->eol_cr)
 166
 167 #ifdef MULE
 168 #define CODING_SYSTEM_ISO2022_INITIAL_CHARSET(codesys, g) \
 169   ((codesys)->iso2022.initial_charset[g])
 170 #define CODING_SYSTEM_ISO2022_FORCE_CHARSET_ON_OUTPUT(codesys, g) \
 171   ((codesys)->iso2022.force_charset_on_output[g])
 172 #define CODING_SYSTEM_ISO2022_SHORT(codesys) ((codesys)->iso2022.shoort)
 173 #define CODING_SYSTEM_ISO2022_NO_ASCII_EOL(codesys) \
 174   ((codesys)->iso2022.no_ascii_eol)
 175 #define CODING_SYSTEM_ISO2022_NO_ASCII_CNTL(codesys) \
 176   ((codesys)->iso2022.no_ascii_cntl)
 177 #define CODING_SYSTEM_ISO2022_SEVEN(codesys) ((codesys)->iso2022.seven)
 178 #define CODING_SYSTEM_ISO2022_LOCK_SHIFT(codesys) \
 179   ((codesys)->iso2022.lock_shift)
 180 #define CODING_SYSTEM_ISO2022_NO_ISO6429(codesys) \
 181   ((codesys)->iso2022.no_iso6429)
 182 #define CODING_SYSTEM_ISO2022_ESCAPE_QUOTED(codesys) \
 183   ((codesys)->iso2022.escape_quoted)
 184 #define CODING_SYSTEM_CCL_DECODE(codesys) ((codesys)->ccl.decode)
 185 #define CODING_SYSTEM_CCL_ENCODE(codesys) ((codesys)->ccl.encode)
 186 #endif /* MULE */
 187 #ifdef UTF2000
 188 #define CODING_SYSTEM_DISABLE_COMPOSITION(codesys) \
 189   ((codesys)->disable_composition)
 190 #endif
 191
 192 #define XCODING_SYSTEM_NAME(codesys) \
 193   CODING_SYSTEM_NAME (XCODING_SYSTEM (codesys))
 194 #define XCODING_SYSTEM_DOC_STRING(codesys) \
 195   CODING_SYSTEM_DOC_STRING (XCODING_SYSTEM (codesys))
 196 #define XCODING_SYSTEM_TYPE(codesys) \
 197   CODING_SYSTEM_TYPE (XCODING_SYSTEM (codesys))
 198 #define XCODING_SYSTEM_MNEMONIC(codesys) \
 199   CODING_SYSTEM_MNEMONIC (XCODING_SYSTEM (codesys))
 200 #define XCODING_SYSTEM_POST_READ_CONVERSION(codesys) \
 201   CODING_SYSTEM_POST_READ_CONVERSION (XCODING_SYSTEM (codesys))
 202 #define XCODING_SYSTEM_PRE_WRITE_CONVERSION(codesys) \
 203   CODING_SYSTEM_PRE_WRITE_CONVERSION (XCODING_SYSTEM (codesys))
 204 #define XCODING_SYSTEM_EOL_TYPE(codesys) \
 205   CODING_SYSTEM_EOL_TYPE (XCODING_SYSTEM (codesys))
 206 #define XCODING_SYSTEM_EOL_LF(codesys) \
 207   CODING_SYSTEM_EOL_LF (XCODING_SYSTEM (codesys))
 208 #define XCODING_SYSTEM_EOL_CRLF(codesys) \
 209   CODING_SYSTEM_EOL_CRLF (XCODING_SYSTEM (codesys))
 210 #define XCODING_SYSTEM_EOL_CR(codesys) \
 211   CODING_SYSTEM_EOL_CR (XCODING_SYSTEM (codesys))
 212
 213 #ifdef MULE
 214 #define XCODING_SYSTEM_ISO2022_INITIAL_CHARSET(codesys, g) \
 215   CODING_SYSTEM_ISO2022_INITIAL_CHARSET (XCODING_SYSTEM (codesys), g)
 216 #define XCODING_SYSTEM_ISO2022_FORCE_CHARSET_ON_OUTPUT(codesys, g) \
 217   CODING_SYSTEM_ISO2022_FORCE_CHARSET_ON_OUTPUT (XCODING_SYSTEM (codesys), g)
 218 #define XCODING_SYSTEM_ISO2022_SHORT(codesys) \
 219   CODING_SYSTEM_ISO2022_SHORT (XCODING_SYSTEM (codesys))
 220 #define XCODING_SYSTEM_ISO2022_NO_ASCII_EOL(codesys) \
 221   CODING_SYSTEM_ISO2022_NO_ASCII_EOL (XCODING_SYSTEM (codesys))
 222 #define XCODING_SYSTEM_ISO2022_NO_ASCII_CNTL(codesys) \
 223   CODING_SYSTEM_ISO2022_NO_ASCII_CNTL (XCODING_SYSTEM (codesys))
 224 #define XCODING_SYSTEM_ISO2022_SEVEN(codesys) \
 225   CODING_SYSTEM_ISO2022_SEVEN (XCODING_SYSTEM (codesys))
 226 #define XCODING_SYSTEM_ISO2022_LOCK_SHIFT(codesys) \
 227   CODING_SYSTEM_ISO2022_LOCK_SHIFT (XCODING_SYSTEM (codesys))
 228 #define XCODING_SYSTEM_ISO2022_NO_ISO6429(codesys) \
 229   CODING_SYSTEM_ISO2022_NO_ISO6429 (XCODING_SYSTEM (codesys))
 230 #define XCODING_SYSTEM_ISO2022_ESCAPE_QUOTED(codesys) \
 231   CODING_SYSTEM_ISO2022_ESCAPE_QUOTED (XCODING_SYSTEM (codesys))
 232 #define XCODING_SYSTEM_CCL_DECODE(codesys) \
 233   CODING_SYSTEM_CCL_DECODE (XCODING_SYSTEM (codesys))
 234 #define XCODING_SYSTEM_CCL_ENCODE(codesys) \
 235   CODING_SYSTEM_CCL_ENCODE (XCODING_SYSTEM (codesys))
 236 #endif /* MULE */
 237 #ifdef UTF2000
 238 #define XCODING_SYSTEM_DISABLE_COMPOSITION(codesys) \
 239   CODING_SYSTEM_DISABLE_COMPOSITION (XCODING_SYSTEM (codesys))
 240 #endif
 241
 242 EXFUN (Fcoding_category_list, 0);
 243 EXFUN (Fcoding_category_system, 1);
 244 EXFUN (Fcoding_priority_list, 0);
 245 EXFUN (Fcoding_system_charset, 2);
 246 EXFUN (Fcoding_system_doc_string, 1);
 247 EXFUN (Fcoding_system_list, 0);
 248 EXFUN (Fcoding_system_name, 1);
 249 EXFUN (Fcoding_system_p, 1);
 250 EXFUN (Fcoding_system_property, 2);
 251 EXFUN (Fcoding_system_type, 1);
 252 EXFUN (Fcopy_coding_system, 2);
 253 EXFUN (Fdecode_big5_char, 1);
 254 EXFUN (Fdecode_coding_region, 4);
 255 EXFUN (Fdecode_shift_jis_char, 1);
 256 EXFUN (Fdetect_coding_region, 3);
 257 EXFUN (Fencode_big5_char, 1);
 258 EXFUN (Fencode_coding_region, 4);
 259 EXFUN (Fencode_shift_jis_char, 1);
 260 EXFUN (Ffind_coding_system, 1);
 261 EXFUN (Fget_coding_system, 1);
 262 EXFUN (Fmake_coding_system, 4);
 263 EXFUN (Fset_coding_category_system, 2);
 264 EXFUN (Fset_coding_priority_list, 1);
 265 EXFUN (Fsubsidiary_coding_system, 2);
 266
 267 extern Lisp_Object Qucs4, Qutf8;
 268 extern Lisp_Object Qbig5, Qccl, Qcharset_g0;
 269 extern Lisp_Object Qcharset_g1, Qcharset_g2, Qcharset_g3, Qcoding_system_error;
 270 extern Lisp_Object Qcoding_systemp, Qcr, Qcrlf, Qdecode, Qencode;
 271 extern Lisp_Object Qeol_cr, Qeol_crlf, Qeol_lf, Qeol_type, Qescape_quoted;
 272 extern Lisp_Object Qforce_g0_on_output, Qforce_g1_on_output;
 273 extern Lisp_Object Qforce_g2_on_output, Qforce_g3_on_output;
 274 extern Lisp_Object Qinput_charset_conversion, Qiso2022, Qlf, Qlock_shift;
 275 extern Lisp_Object Qmnemonic, Qno_ascii_cntl, Qno_ascii_eol, Qno_conversion;
 276 extern Lisp_Object Qraw_text;
 277 extern Lisp_Object Qno_iso6429, Qoutput_charset_conversion;
 278 extern Lisp_Object Qpost_read_conversion, Qpre_write_conversion, Qseven;
 279 extern Lisp_Object Qshift_jis, Qshort, Vcoding_system_for_read;
 280 extern Lisp_Object Vcoding_system_for_write, Vcoding_system_hash_table;
 281 extern Lisp_Object Vfile_name_coding_system, Vkeyboard_coding_system;
 282 extern Lisp_Object Vterminal_coding_system;
 283
 284 /* Flags indicating current state while converting code. */
 285
 286 /* Used by everyone. */
 287
 288 #define CODING_STATE_END        (1 << 0) /* If set, this is the last chunk of
 289                                             data being processed.  When this
 290                                             is finished, output any necessary
 291                                             terminating control characters,
 292                                             escape sequences, etc. */
 293 #define CODING_STATE_CR         (1 << 1) /* If set, we just saw a CR. */
 294
 295
 296 /* Used by Big 5 on output. */
 297 #ifdef MULE
 298 #define CODING_STATE_BIG5_1     (1 << 2) /* If set, we just encountered
 299                                             LEADING_BYTE_BIG5_1. */
 300 #define CODING_STATE_BIG5_2     (1 << 3) /* If set, we just encountered
 301                                             LEADING_BYTE_BIG5_2. */
 302
 303
 304 /* Used by ISO2022 on input and output. */
 305
 306 #define CODING_STATE_R2L        (1 << 4)  /* If set, the current
 307                                              directionality is right-to-left.
 308                                              Otherwise, it's left-to-right. */
 309
 310
 311 /* Used by ISO2022 on input. */
 312
 313 #define CODING_STATE_ESCAPE     (1 << 5)  /* If set, we're currently parsing
 314                                              an escape sequence and the upper
 315                                              16 bits should be looked at to
 316                                              indicate what partial escape
 317                                              sequence we've seen so far.
 318                                              Otherwise, we're running
 319                                              through actual text. */
 320 #define CODING_STATE_SS2        (1 << 6)  /* If set, G2 is invoked into GL, but
 321                                              only for the next character. */
 322 #define CODING_STATE_SS3        (1 << 7)  /* If set, G3 is invoked into GL,
 323                                              but only for the next character.
 324                                              If both CODING_STATE_SS2 and
 325                                              CODING_STATE_SS3 are set,
 326                                              CODING_STATE_SS2 overrides; but
 327                                              this probably indicates an error
 328                                              in the text encoding. */
 329 #ifdef ENABLE_COMPOSITE_CHARS
 330 #define CODING_STATE_COMPOSITE  (1 << 8)  /* If set, we're currently processing
 331                                              a composite character (i.e. a
 332                                              character constructed by
 333                                              overstriking two or more
 334                                              characters). */
 335 #endif /* ENABLE_COMPOSITE_CHARS */
 336
 337
 338 /* CODING_STATE_ISO2022_LOCK is the mask of flags that remain on until
 339    explicitly turned off when in the ISO2022 encoder/decoder.  Other flags are
 340    turned off at the end of processing each character or escape sequence. */
 341 #ifdef ENABLE_COMPOSITE_CHARS
 342 # define CODING_STATE_ISO2022_LOCK \
 343   (CODING_STATE_END | CODING_STATE_COMPOSITE | CODING_STATE_R2L)
 344 #else
 345 # define CODING_STATE_ISO2022_LOCK (CODING_STATE_END | CODING_STATE_R2L)
 346 #endif
 347
 348 #define CODING_STATE_BIG5_LOCK CODING_STATE_END
 349
 350 /* Flags indicating what we've seen so far when parsing an
 351    ISO2022 escape sequence. */
 352 enum iso_esc_flag
 353 {
 354   /* Partial sequences */
 355   ISO_ESC_NOTHING,      /* Nothing has been seen. */
 356   ISO_ESC,              /* We've seen ESC. */
 357   ISO_ESC_2_4,          /* We've seen ESC $.  This indicates
 358                            that we're designating a multi-byte, rather
 359                            than a single-byte, character set. */
 360   ISO_ESC_2_8,          /* We've seen ESC 0x28, i.e. ESC (.
 361                            This means designate a 94-character
 362                            character set into G0. */
 363   ISO_ESC_2_9,          /* We've seen ESC 0x29 -- designate a
 364                            94-character character set into G1. */
 365   ISO_ESC_2_10,         /* We've seen ESC 0x2A. */
 366   ISO_ESC_2_11,         /* We've seen ESC 0x2B. */
 367   ISO_ESC_2_12,         /* We've seen ESC 0x2C -- designate a
 368                            96-character character set into G0.
 369                            (This is not ISO2022-standard.
 370                            The following 96-character
 371                            control sequences are standard,
 372                            though.) */
 373   ISO_ESC_2_13,         /* We've seen ESC 0x2D -- designate a
 374                            96-character character set into G1.
 375                            */
 376   ISO_ESC_2_14,         /* We've seen ESC 0x2E. */
 377   ISO_ESC_2_15,         /* We've seen ESC 0x2F. */
 378   ISO_ESC_2_4_8,        /* We've seen ESC $ 0x28 -- designate
 379                            a 94^N character set into G0. */
 380   ISO_ESC_2_4_9,        /* We've seen ESC $ 0x29. */
 381   ISO_ESC_2_4_10,       /* We've seen ESC $ 0x2A. */
 382   ISO_ESC_2_4_11,       /* We've seen ESC $ 0x2B. */
 383   ISO_ESC_2_4_12,       /* We've seen ESC $ 0x2C. */
 384   ISO_ESC_2_4_13,       /* We've seen ESC $ 0x2D. */
 385   ISO_ESC_2_4_14,       /* We've seen ESC $ 0x2E. */
 386   ISO_ESC_2_4_15,       /* We've seen ESC $ 0x2F. */
 387   ISO_ESC_5_11,         /* We've seen ESC [ or 0x9B.  This
 388                            starts a directionality-control
 389                            sequence.  The next character
 390                            must be 0, 1, 2, or ]. */
 391   ISO_ESC_5_11_0,       /* We've seen 0x9B 0.  The next character must be ]. */
 392   ISO_ESC_5_11_1,       /* We've seen 0x9B 1.  The next character must be ]. */
 393   ISO_ESC_5_11_2,       /* We've seen 0x9B 2.  The next character must be ]. */
 394
 395   /* Full sequences. */
 396 #ifdef ENABLE_COMPOSITE_CHARS
 397   ISO_ESC_START_COMPOSITE, /* Private usage for START COMPOSING */
 398   ISO_ESC_END_COMPOSITE,   /* Private usage for END COMPOSING */
 399 #endif /* ENABLE_COMPOSITE_CHARS */
 400   ISO_ESC_SINGLE_SHIFT, /* We've seen a complete single-shift sequence. */
 401   ISO_ESC_LOCKING_SHIFT,/* We've seen a complete locking-shift sequence. */
 402   ISO_ESC_DESIGNATE,    /* We've seen a complete designation sequence. */
 403   ISO_ESC_DIRECTIONALITY,/* We've seen a complete ISO6429 directionality
 404                            sequence. */
 405   ISO_ESC_LITERAL       /* We've seen a literal character ala
 406                            escape-quoting. */
 407 };
 408
 409 /* Macros to define code of control characters for ISO2022's functions.  */
 410                         /* code */      /* function */
 411 #define ISO_CODE_LF     0x0A            /* line-feed */
 412 #define ISO_CODE_CR     0x0D            /* carriage-return */
 413 #define ISO_CODE_SO     0x0E            /* shift-out */
 414 #define ISO_CODE_SI     0x0F            /* shift-in */
 415 #define ISO_CODE_ESC    0x1B            /* escape */
 416 #define ISO_CODE_DEL    0x7F            /* delete */
 417 #define ISO_CODE_SS2    0x8E            /* single-shift-2 */
 418 #define ISO_CODE_SS3    0x8F            /* single-shift-3 */
 419 #define ISO_CODE_CSI    0x9B            /* control-sequence-introduce */
 420 #endif /* MULE */
 421
 422 /* Distinguishable categories of encodings.
 423
 424    This list determines the initial priority of the categories.
 425
 426    For better or worse, currently Mule files are encoded in 7-bit ISO 2022.
 427    For this reason, under Mule ISO_7 gets highest priority.
 428
 429    Putting NO_CONVERSION second prevents "binary corruption" in the
 430    default case in all but the (presumably) extremely rare case of a
 431    binary file which contains redundant escape sequences but no 8-bit
 432    characters.
 433
 434    The remaining priorities are based on perceived "internationalization
 435    political correctness."  An exception is UCS-4 at the bottom, since
 436    basically everything is compatible with UCS-4, but it is likely to
 437    be very rare as an external encoding. */
 438
 439 enum coding_category_type
 440 {
 441   /* must be a contiguous range of values 0 -- CODING_CATEGORY_LAST - 1 */
 442 #ifdef MULE
 443   CODING_CATEGORY_ISO_7, /* ISO2022 system using only seven-bit bytes,
 444                             no locking shift */
 445   CODING_CATEGORY_NO_CONVERSION,
 446   CODING_CATEGORY_UTF8,
 447   CODING_CATEGORY_ISO_8_1, /* ISO2022 system using eight-bit bytes,
 448                               no locking shift, no designation sequences,
 449                               one-dimension characters in the upper half. */
 450   CODING_CATEGORY_ISO_8_2, /* ISO2022 system using eight-bit bytes,
 451                               no locking shift, no designation sequences,
 452                               two-dimension characters in the upper half. */
 453   CODING_CATEGORY_ISO_8_DESIGNATE, /* ISO2022 system using eight-bit bytes,
 454                                       no locking shift, no single shift,
 455                                       using designation to switch charsets */
 456   CODING_CATEGORY_ISO_LOCK_SHIFT, /* ISO2022 system using locking shift */
 457   CODING_CATEGORY_SHIFT_JIS,
 458   CODING_CATEGORY_BIG5,
 459   CODING_CATEGORY_UCS4,
 460 #else /* not MULE */
 461   CODING_CATEGORY_NO_CONVERSION,
 462 #endif /* MULE */
 463   CODING_CATEGORY_LAST          /* not a real coding category */
 464 };
 465
 466 #ifdef MULE
 467 #define CODING_CATEGORY_SHIFT_JIS_MASK  \
 468   (1 << CODING_CATEGORY_SHIFT_JIS)
 469 #define CODING_CATEGORY_ISO_7_MASK \
 470   (1 << CODING_CATEGORY_ISO_7)
 471 #define CODING_CATEGORY_ISO_8_DESIGNATE_MASK \
 472   (1 << CODING_CATEGORY_ISO_8_DESIGNATE)
 473 #define CODING_CATEGORY_ISO_8_1_MASK \
 474   (1 << CODING_CATEGORY_ISO_8_1)
 475 #define CODING_CATEGORY_ISO_8_2_MASK \
 476   (1 << CODING_CATEGORY_ISO_8_2)
 477 #define CODING_CATEGORY_ISO_LOCK_SHIFT_MASK \
 478   (1 << CODING_CATEGORY_ISO_LOCK_SHIFT)
 479 #define CODING_CATEGORY_BIG5_MASK \
 480   (1 << CODING_CATEGORY_BIG5)
 481 #define CODING_CATEGORY_UCS4_MASK \
 482   (1 << CODING_CATEGORY_UCS4)
 483 #define CODING_CATEGORY_UTF8_MASK \
 484   (1 << CODING_CATEGORY_UTF8)
 485 #endif
 486 #define CODING_CATEGORY_NO_CONVERSION_MASK \
 487   (1 << CODING_CATEGORY_NO_CONVERSION)
 488 #define CODING_CATEGORY_NOT_FINISHED_MASK \
 489   (1 << 30)
 490
 491 #ifdef MULE
 492 /* Convert shift-JIS code (sj1, sj2) into internal string
 493    representation (c1, c2). (The leading byte is assumed.) */
 494
 495 #define DECODE_SJIS(sj1, sj2, c1, c2)                   \
 496 do {                                                    \
 497   int I1 = sj1, I2 = sj2;                               \
 498   if (I2 >= 0x9f)                                       \
 499     c1 = (I1 << 1) - ((I1 >= 0xe0) ? 0xe0 : 0x60),      \
 500     c2 = I2 + 2;                                        \
 501   else                                                  \
 502     c1 = (I1 << 1) - ((I1 >= 0xe0) ? 0xe1 : 0x61),      \
 503     c2 = I2 + ((I2 >= 0x7f) ? 0x60 : 0x61);             \
 504 } while (0)
 505
 506 /* Convert the internal string representation of a Shift-JIS character
 507    (c1, c2) into Shift-JIS code (sj1, sj2).  The leading byte is
 508    assumed. */
 509
 510 #define ENCODE_SJIS(c1, c2, sj1, sj2)                   \
 511 do {                                                    \
 512   int I1 = c1, I2 = c2;                                 \
 513   if (I1 & 1)                                           \
 514     sj1 = (I1 >> 1) + ((I1 < 0xdf) ? 0x31 : 0x71),      \
 515     sj2 = I2 - ((I2 >= 0xe0) ? 0x60 : 0x61);            \
 516   else                                                  \
 517     sj1 = (I1 >> 1) + ((I1 < 0xdf) ? 0x30 : 0x70),      \
 518     sj2 = I2 - 2;                                       \
 519 } while (0)
 520 #endif /* MULE */
 521
 522 Lisp_Object make_decoding_input_stream (Lstream *stream,
 523                                         Lisp_Object codesys);
 524 Lisp_Object make_encoding_input_stream (Lstream *stream,
 525                                         Lisp_Object codesys);
 526 Lisp_Object make_decoding_output_stream (Lstream *stream,
 527                                          Lisp_Object codesys);
 528 Lisp_Object make_encoding_output_stream (Lstream *stream,
 529                                          Lisp_Object codesys);
 530 Lisp_Object decoding_stream_coding_system (Lstream *stream);
 531 Lisp_Object encoding_stream_coding_system (Lstream *stream);
 532 void set_decoding_stream_coding_system (Lstream *stream,
 533                                         Lisp_Object codesys);
 534 void set_encoding_stream_coding_system (Lstream *stream,
 535                                         Lisp_Object codesys);
 536 void determine_real_coding_system (Lstream *stream, Lisp_Object *codesys_in_out,
 537                                    eol_type_t *eol_type_in_out);
 538
 539
 540 #ifndef MULE
 541 #define MIN_LEADING_BYTE                0x80
 542 /* These need special treatment in a string and/or character */
 543 #ifdef ENABLE_COMPOSITE_CHARS
 544 #define LEADING_BYTE_COMPOSITE          0x80 /* for a composite character */
 545 #endif
 546 #define LEADING_BYTE_CONTROL_1          0x8F /* represent normal 80-9F */
 547 #define LEADING_BYTE_LATIN_ISO8859_1    0x81 /* Right half of ISO 8859-1 */
 548 #define BYTE_C1_P(c) ((unsigned int) ((unsigned int) (c) - 0x80) < 0x20)
 549 #define BUFBYTE_FIRST_BYTE_P(c) ((c) < 0xA0)
 550 #define BUFBYTE_LEADING_BYTE_P(c) BYTE_C1_P (c)
 551 #endif /* not MULE */
 552
 553 #endif /* INCLUDED_file_coding_h_ */
 554