git.chise.org Git - chise/xemacs-chise.git.1/blob - src/file-coding.h

   1 /* Header for code conversion stuff
   2    Copyright (C) 1991, 1995 Free Software Foundation, Inc.
   3    Copyright (C) 1995 Sun Microsystems, Inc.
   4    Copyright (C) 1999,2000,2002,2005,2012 MORIOKA Tomohiko
   5
   6 This file is part of XEmacs.
   7
   8 XEmacs is free software; you can redistribute it and/or modify it
   9 under the terms of the GNU General Public License as published by the
  10 Free Software Foundation; either version 2, or (at your option) any
  11 later version.
  12
  13 XEmacs is distributed in the hope that it will be useful, but WITHOUT
  14 ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or
  15 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  16 for more details.
  17
  18 You should have received a copy of the GNU General Public License
  19 along with XEmacs; see the file COPYING.  If not, write to
  20 the Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  21 Boston, MA 02111-1307, USA.  */
  22
  23 /* Synched up with: Mule 2.3.  Not in FSF. */
  24
  25 /* 91.10.09 written by K.Handa <handa@etl.go.jp> */
  26 /* Rewritten by Ben Wing <ben@xemacs.org>. */
  27
  28 #ifndef INCLUDED_file_coding_h_
  29 #define INCLUDED_file_coding_h_
  30
  31 struct decoding_stream;
  32 struct encoding_stream;
  33
  34 /* Coding system types.  These go into the TYPE field of a
  35    Lisp_Coding_System. */
  36
  37 enum coding_system_type
  38 {
  39   CODESYS_AUTODETECT,   /* Automatic conversion. */
  40 #ifdef MULE
  41   CODESYS_SHIFT_JIS,    /* Shift-JIS; Hankaku (half-width) KANA
  42                            is also supported. */
  43   CODESYS_ISO2022,      /* Any ISO2022-compliant coding system.
  44                            Includes JIS, EUC, CTEXT */
  45   CODESYS_BIG5,         /* BIG5 (used for Taiwanese). */
  46   CODESYS_UCS4,         /* ISO 10646 UCS-4 */
  47   CODESYS_UTF8,         /* ISO 10646 UTF-8 */
  48 #ifdef UTF2000
  49   CODESYS_UTF16,        /* ISO 10646 UTF-16 */
  50 #endif
  51   CODESYS_CCL,          /* Converter written in CCL. */
  52 #endif
  53   CODESYS_NO_CONVERSION /* "No conversion"; used for binary files.
  54                            We use quotes because there really
  55                            is some conversion being applied,
  56                            but it appears to the user as if
  57                            the text is read in without conversion. */
  58 #ifdef DEBUG_XEMACS
  59   ,CODESYS_INTERNAL     /* Raw (internally-formatted) data. */
  60 #endif
  61 };
  62
  63 enum eol_type
  64 {
  65   EOL_AUTODETECT,
  66   EOL_LF,
  67   EOL_CRLF,
  68   EOL_CR
  69 };
  70 typedef enum eol_type eol_type_t;
  71
  72 #ifdef MULE
  73 typedef struct charset_conversion_spec charset_conversion_spec;
  74 struct charset_conversion_spec
  75 {
  76   Lisp_Object from_charset;
  77   Lisp_Object to_charset;
  78 };
  79
  80 typedef struct
  81 {
  82   Dynarr_declare (charset_conversion_spec);
  83 } charset_conversion_spec_dynarr;
  84 #endif
  85
  86 struct Lisp_Coding_System
  87 {
  88   struct lcrecord_header header;
  89
  90   /* Name and doc string of this coding system. */
  91   Lisp_Object name;
  92   Lisp_Object doc_string;
  93
  94   /* This is the major type of the coding system -- one of Big5, ISO2022,
  95      Shift-JIS, etc.  See the constants above. */
  96   enum coding_system_type type;
  97
  98   /* Mnemonic string displayed in the modeline when this coding
  99      system is active for a particular buffer. */
 100   Lisp_Object mnemonic;
 101
 102   Lisp_Object post_read_conversion;
 103   Lisp_Object pre_write_conversion;
 104
 105   eol_type_t eol_type;
 106
 107   /* Subsidiary coding systems that specify a particular type of EOL
 108      marking, rather than autodetecting it.  These will only be non-nil
 109      if (eol_type == EOL_AUTODETECT). */
 110   Lisp_Object eol_lf;
 111   Lisp_Object eol_crlf;
 112   Lisp_Object eol_cr;
 113 #ifdef MULE
 114   struct
 115   {
 116     /* What are the charsets to be initially designated to G0, G1,
 117        G2, G3?  If t, no charset is initially designated.  If nil,
 118        no charset is initially designated and no charset is allowed
 119        to be designated. */
 120     Lisp_Object initial_charset[4];
 121
 122     /* If true, a designation escape sequence needs to be sent on output
 123        for the charset in G[0-3] before that charset is used. */
 124     unsigned char force_charset_on_output[4];
 125
 126     charset_conversion_spec_dynarr *input_conv;
 127     charset_conversion_spec_dynarr *output_conv;
 128
 129     unsigned int shoort         :1; /* C makes you speak Dutch */
 130     unsigned int no_ascii_eol   :1;
 131     unsigned int no_ascii_cntl  :1;
 132     unsigned int seven          :1;
 133     unsigned int lock_shift     :1;
 134     unsigned int no_iso6429     :1;
 135     unsigned int escape_quoted  :1;
 136   } iso2022;
 137   struct
 138   {
 139     /* For a CCL coding system, these specify the CCL programs used for
 140        decoding (input) and encoding (output). */
 141     Lisp_Object decode;
 142     Lisp_Object encode;
 143   } ccl;
 144 #endif
 145 #ifdef UTF2000
 146   unsigned int disable_composition      :1;
 147   unsigned int enable_decomposition     :1;
 148   unsigned int use_entity_reference     :1;
 149   Lisp_Object ccs_priority_list;
 150 #endif
 151 };
 152 typedef struct Lisp_Coding_System Lisp_Coding_System;
 153
 154 DECLARE_LRECORD (coding_system, Lisp_Coding_System);
 155 #define XCODING_SYSTEM(x) XRECORD (x, coding_system, Lisp_Coding_System)
 156 #define XSETCODING_SYSTEM(x, p) XSETRECORD (x, p, coding_system)
 157 #define CODING_SYSTEMP(x) RECORDP (x, coding_system)
 158 #define CHECK_CODING_SYSTEM(x) CHECK_RECORD (x, coding_system)
 159 #define CONCHECK_CODING_SYSTEM(x) CONCHECK_RECORD (x, coding_system)
 160
 161 #define CODING_SYSTEM_NAME(codesys) ((codesys)->name)
 162 #define CODING_SYSTEM_DOC_STRING(codesys) ((codesys)->doc_string)
 163 #define CODING_SYSTEM_TYPE(codesys) ((codesys)->type)
 164 #define CODING_SYSTEM_MNEMONIC(codesys) ((codesys)->mnemonic)
 165 #define CODING_SYSTEM_POST_READ_CONVERSION(codesys) \
 166   ((codesys)->post_read_conversion)
 167 #define CODING_SYSTEM_PRE_WRITE_CONVERSION(codesys) \
 168   ((codesys)->pre_write_conversion)
 169 #define CODING_SYSTEM_EOL_TYPE(codesys) ((codesys)->eol_type)
 170 #define CODING_SYSTEM_EOL_LF(codesys)   ((codesys)->eol_lf)
 171 #define CODING_SYSTEM_EOL_CRLF(codesys) ((codesys)->eol_crlf)
 172 #define CODING_SYSTEM_EOL_CR(codesys)   ((codesys)->eol_cr)
 173
 174 #ifdef MULE
 175 #define CODING_SYSTEM_ISO2022_INITIAL_CHARSET(codesys, g) \
 176   ((codesys)->iso2022.initial_charset[g])
 177 #define CODING_SYSTEM_ISO2022_FORCE_CHARSET_ON_OUTPUT(codesys, g) \
 178   ((codesys)->iso2022.force_charset_on_output[g])
 179 #define CODING_SYSTEM_ISO2022_SHORT(codesys) ((codesys)->iso2022.shoort)
 180 #define CODING_SYSTEM_ISO2022_NO_ASCII_EOL(codesys) \
 181   ((codesys)->iso2022.no_ascii_eol)
 182 #define CODING_SYSTEM_ISO2022_NO_ASCII_CNTL(codesys) \
 183   ((codesys)->iso2022.no_ascii_cntl)
 184 #define CODING_SYSTEM_ISO2022_SEVEN(codesys) ((codesys)->iso2022.seven)
 185 #define CODING_SYSTEM_ISO2022_LOCK_SHIFT(codesys) \
 186   ((codesys)->iso2022.lock_shift)
 187 #define CODING_SYSTEM_ISO2022_NO_ISO6429(codesys) \
 188   ((codesys)->iso2022.no_iso6429)
 189 #define CODING_SYSTEM_ISO2022_ESCAPE_QUOTED(codesys) \
 190   ((codesys)->iso2022.escape_quoted)
 191 #define CODING_SYSTEM_CCL_DECODE(codesys) ((codesys)->ccl.decode)
 192 #define CODING_SYSTEM_CCL_ENCODE(codesys) ((codesys)->ccl.encode)
 193 #endif /* MULE */
 194 #ifdef UTF2000
 195 #define CODING_SYSTEM_DISABLE_COMPOSITION(codesys) \
 196   ((codesys)->disable_composition)
 197 #define CODING_SYSTEM_ENABLE_DECOMPOSITION(codesys) \
 198   ((codesys)->enable_decomposition)
 199 #define CODING_SYSTEM_USE_ENTITY_REFERENCE(codesys) \
 200   ((codesys)->use_entity_reference)
 201 #define CODING_SYSTEM_CCS_PRIORITY_LIST(codesys) \
 202   ((codesys)->ccs_priority_list)
 203 #endif
 204
 205 #define XCODING_SYSTEM_NAME(codesys) \
 206   CODING_SYSTEM_NAME (XCODING_SYSTEM (codesys))
 207 #define XCODING_SYSTEM_DOC_STRING(codesys) \
 208   CODING_SYSTEM_DOC_STRING (XCODING_SYSTEM (codesys))
 209 #define XCODING_SYSTEM_TYPE(codesys) \
 210   CODING_SYSTEM_TYPE (XCODING_SYSTEM (codesys))
 211 #define XCODING_SYSTEM_MNEMONIC(codesys) \
 212   CODING_SYSTEM_MNEMONIC (XCODING_SYSTEM (codesys))
 213 #define XCODING_SYSTEM_POST_READ_CONVERSION(codesys) \
 214   CODING_SYSTEM_POST_READ_CONVERSION (XCODING_SYSTEM (codesys))
 215 #define XCODING_SYSTEM_PRE_WRITE_CONVERSION(codesys) \
 216   CODING_SYSTEM_PRE_WRITE_CONVERSION (XCODING_SYSTEM (codesys))
 217 #define XCODING_SYSTEM_EOL_TYPE(codesys) \
 218   CODING_SYSTEM_EOL_TYPE (XCODING_SYSTEM (codesys))
 219 #define XCODING_SYSTEM_EOL_LF(codesys) \
 220   CODING_SYSTEM_EOL_LF (XCODING_SYSTEM (codesys))
 221 #define XCODING_SYSTEM_EOL_CRLF(codesys) \
 222   CODING_SYSTEM_EOL_CRLF (XCODING_SYSTEM (codesys))
 223 #define XCODING_SYSTEM_EOL_CR(codesys) \
 224   CODING_SYSTEM_EOL_CR (XCODING_SYSTEM (codesys))
 225
 226 #ifdef MULE
 227 #define XCODING_SYSTEM_ISO2022_INITIAL_CHARSET(codesys, g) \
 228   CODING_SYSTEM_ISO2022_INITIAL_CHARSET (XCODING_SYSTEM (codesys), g)
 229 #define XCODING_SYSTEM_ISO2022_FORCE_CHARSET_ON_OUTPUT(codesys, g) \
 230   CODING_SYSTEM_ISO2022_FORCE_CHARSET_ON_OUTPUT (XCODING_SYSTEM (codesys), g)
 231 #define XCODING_SYSTEM_ISO2022_SHORT(codesys) \
 232   CODING_SYSTEM_ISO2022_SHORT (XCODING_SYSTEM (codesys))
 233 #define XCODING_SYSTEM_ISO2022_NO_ASCII_EOL(codesys) \
 234   CODING_SYSTEM_ISO2022_NO_ASCII_EOL (XCODING_SYSTEM (codesys))
 235 #define XCODING_SYSTEM_ISO2022_NO_ASCII_CNTL(codesys) \
 236   CODING_SYSTEM_ISO2022_NO_ASCII_CNTL (XCODING_SYSTEM (codesys))
 237 #define XCODING_SYSTEM_ISO2022_SEVEN(codesys) \
 238   CODING_SYSTEM_ISO2022_SEVEN (XCODING_SYSTEM (codesys))
 239 #define XCODING_SYSTEM_ISO2022_LOCK_SHIFT(codesys) \
 240   CODING_SYSTEM_ISO2022_LOCK_SHIFT (XCODING_SYSTEM (codesys))
 241 #define XCODING_SYSTEM_ISO2022_NO_ISO6429(codesys) \
 242   CODING_SYSTEM_ISO2022_NO_ISO6429 (XCODING_SYSTEM (codesys))
 243 #define XCODING_SYSTEM_ISO2022_ESCAPE_QUOTED(codesys) \
 244   CODING_SYSTEM_ISO2022_ESCAPE_QUOTED (XCODING_SYSTEM (codesys))
 245 #define XCODING_SYSTEM_CCL_DECODE(codesys) \
 246   CODING_SYSTEM_CCL_DECODE (XCODING_SYSTEM (codesys))
 247 #define XCODING_SYSTEM_CCL_ENCODE(codesys) \
 248   CODING_SYSTEM_CCL_ENCODE (XCODING_SYSTEM (codesys))
 249 #endif /* MULE */
 250 #ifdef UTF2000
 251 #define XCODING_SYSTEM_DISABLE_COMPOSITION(codesys) \
 252   CODING_SYSTEM_DISABLE_COMPOSITION (XCODING_SYSTEM (codesys))
 253 #define XCODING_SYSTEM_ENABLE_DECOMPOSITION(codesys) \
 254   CODING_SYSTEM_ENABLE_DECOMPOSITION (XCODING_SYSTEM (codesys))
 255 #define XCODING_SYSTEM_USE_ENTITY_REFERENCE(codesys) \
 256   CODING_SYSTEM_USE_ENTITY_REFERENCE (XCODING_SYSTEM (codesys))
 257 #define XCODING_SYSTEM_CCS_PRIORITY_LIST(codesys) \
 258   CODING_SYSTEM_CCS_PRIORITY_LIST (XCODING_SYSTEM (codesys))
 259 #endif
 260
 261 EXFUN (Fcoding_category_list, 0);
 262 EXFUN (Fcoding_category_system, 1);
 263 EXFUN (Fcoding_priority_list, 0);
 264 EXFUN (Fcoding_system_charset, 2);
 265 EXFUN (Fcoding_system_doc_string, 1);
 266 EXFUN (Fcoding_system_list, 0);
 267 EXFUN (Fcoding_system_name, 1);
 268 EXFUN (Fcoding_system_p, 1);
 269 EXFUN (Fcoding_system_property, 2);
 270 EXFUN (Fcoding_system_type, 1);
 271 EXFUN (Fcopy_coding_system, 2);
 272 EXFUN (Fdecode_big5_char, 1);
 273 EXFUN (Fdecode_coding_region, 4);
 274 EXFUN (Fdecode_shift_jis_char, 1);
 275 EXFUN (Fdetect_coding_region, 3);
 276 EXFUN (Fencode_big5_char, 1);
 277 EXFUN (Fencode_coding_region, 4);
 278 EXFUN (Fencode_shift_jis_char, 1);
 279 EXFUN (Ffind_coding_system, 1);
 280 EXFUN (Fget_coding_system, 1);
 281 EXFUN (Fmake_coding_system, 4);
 282 EXFUN (Fset_coding_category_system, 2);
 283 EXFUN (Fset_coding_priority_list, 1);
 284 EXFUN (Fsubsidiary_coding_system, 2);
 285
 286 extern Lisp_Object Qucs4, Qutf8;
 287 extern Lisp_Object Qbig5, Qccl, Qcharset_g0;
 288 extern Lisp_Object Qcharset_g1, Qcharset_g2, Qcharset_g3, Qcoding_system_error;
 289 extern Lisp_Object Qcoding_systemp, Qcr, Qcrlf, Qdecode, Qencode;
 290 extern Lisp_Object Qeol_cr, Qeol_crlf, Qeol_lf, Qeol_type, Qescape_quoted;
 291 extern Lisp_Object Qforce_g0_on_output, Qforce_g1_on_output;
 292 extern Lisp_Object Qforce_g2_on_output, Qforce_g3_on_output;
 293 extern Lisp_Object Qinput_charset_conversion, Qiso2022, Qlf, Qlock_shift;
 294 extern Lisp_Object Qmnemonic, Qno_ascii_cntl, Qno_ascii_eol, Qno_conversion;
 295 extern Lisp_Object Qraw_text;
 296 extern Lisp_Object Qno_iso6429, Qoutput_charset_conversion;
 297 extern Lisp_Object Qpost_read_conversion, Qpre_write_conversion, Qseven;
 298 extern Lisp_Object Qshift_jis, Qshort, Vcoding_system_for_read;
 299 extern Lisp_Object Vcoding_system_for_write, Vcoding_system_hash_table;
 300 extern Lisp_Object Vfile_name_coding_system, Vkeyboard_coding_system;
 301 extern Lisp_Object Vterminal_coding_system;
 302
 303 /* Flags indicating current state while converting code. */
 304
 305 /* Used by everyone. */
 306
 307 #define CODING_STATE_END        (1 << 0) /* If set, this is the last chunk of
 308                                             data being processed.  When this
 309                                             is finished, output any necessary
 310                                             terminating control characters,
 311                                             escape sequences, etc. */
 312 #define CODING_STATE_CR         (1 << 1) /* If set, we just saw a CR. */
 313
 314
 315 /* Used by Big 5 on output. */
 316 #ifdef MULE
 317 #define CODING_STATE_BIG5_1     (1 << 2) /* If set, we just encountered
 318                                             LEADING_BYTE_BIG5_1. */
 319 #define CODING_STATE_BIG5_2     (1 << 3) /* If set, we just encountered
 320                                             LEADING_BYTE_BIG5_2. */
 321
 322
 323 /* Used by ISO2022 on input and output. */
 324
 325 #define CODING_STATE_R2L        (1 << 4)  /* If set, the current
 326                                              directionality is right-to-left.
 327                                              Otherwise, it's left-to-right. */
 328
 329
 330 /* Used by ISO2022 on input. */
 331
 332 #define CODING_STATE_ESCAPE     (1 << 5)  /* If set, we're currently parsing
 333                                              an escape sequence and the upper
 334                                              16 bits should be looked at to
 335                                              indicate what partial escape
 336                                              sequence we've seen so far.
 337                                              Otherwise, we're running
 338                                              through actual text. */
 339 #define CODING_STATE_SS2        (1 << 6)  /* If set, G2 is invoked into GL, but
 340                                              only for the next character. */
 341 #define CODING_STATE_SS3        (1 << 7)  /* If set, G3 is invoked into GL,
 342                                              but only for the next character.
 343                                              If both CODING_STATE_SS2 and
 344                                              CODING_STATE_SS3 are set,
 345                                              CODING_STATE_SS2 overrides; but
 346                                              this probably indicates an error
 347                                              in the text encoding. */
 348 #ifdef ENABLE_COMPOSITE_CHARS
 349 #define CODING_STATE_COMPOSITE  (1 << 8)  /* If set, we're currently processing
 350                                              a composite character (i.e. a
 351                                              character constructed by
 352                                              overstriking two or more
 353                                              characters). */
 354 #endif /* ENABLE_COMPOSITE_CHARS */
 355
 356
 357 /* CODING_STATE_ISO2022_LOCK is the mask of flags that remain on until
 358    explicitly turned off when in the ISO2022 encoder/decoder.  Other flags are
 359    turned off at the end of processing each character or escape sequence. */
 360 #ifdef ENABLE_COMPOSITE_CHARS
 361 # define CODING_STATE_ISO2022_LOCK \
 362   (CODING_STATE_END | CODING_STATE_COMPOSITE | CODING_STATE_R2L)
 363 #else
 364 # define CODING_STATE_ISO2022_LOCK (CODING_STATE_END | CODING_STATE_R2L)
 365 #endif
 366
 367 #define CODING_STATE_BIG5_LOCK CODING_STATE_END
 368
 369 /* Flags indicating what we've seen so far when parsing an
 370    ISO2022 escape sequence. */
 371 enum iso_esc_flag
 372 {
 373   /* Partial sequences */
 374   ISO_ESC_NOTHING,      /* Nothing has been seen. */
 375   ISO_ESC,              /* We've seen ESC. */
 376   ISO_ESC_2_4,          /* We've seen ESC $.  This indicates
 377                            that we're designating a multi-byte, rather
 378                            than a single-byte, character set. */
 379   ISO_ESC_2_8,          /* We've seen ESC 0x28, i.e. ESC (.
 380                            This means designate a 94-character
 381                            character set into G0. */
 382   ISO_ESC_2_9,          /* We've seen ESC 0x29 -- designate a
 383                            94-character character set into G1. */
 384   ISO_ESC_2_10,         /* We've seen ESC 0x2A. */
 385   ISO_ESC_2_11,         /* We've seen ESC 0x2B. */
 386   ISO_ESC_2_12,         /* We've seen ESC 0x2C -- designate a
 387                            96-character character set into G0.
 388                            (This is not ISO2022-standard.
 389                            The following 96-character
 390                            control sequences are standard,
 391                            though.) */
 392   ISO_ESC_2_13,         /* We've seen ESC 0x2D -- designate a
 393                            96-character character set into G1.
 394                            */
 395   ISO_ESC_2_14,         /* We've seen ESC 0x2E. */
 396   ISO_ESC_2_15,         /* We've seen ESC 0x2F. */
 397   ISO_ESC_2_4_8,        /* We've seen ESC $ 0x28 -- designate
 398                            a 94^N character set into G0. */
 399   ISO_ESC_2_4_9,        /* We've seen ESC $ 0x29. */
 400   ISO_ESC_2_4_10,       /* We've seen ESC $ 0x2A. */
 401   ISO_ESC_2_4_11,       /* We've seen ESC $ 0x2B. */
 402   ISO_ESC_2_4_12,       /* We've seen ESC $ 0x2C. */
 403   ISO_ESC_2_4_13,       /* We've seen ESC $ 0x2D. */
 404   ISO_ESC_2_4_14,       /* We've seen ESC $ 0x2E. */
 405   ISO_ESC_2_4_15,       /* We've seen ESC $ 0x2F. */
 406   ISO_ESC_5_11,         /* We've seen ESC [ or 0x9B.  This
 407                            starts a directionality-control
 408                            sequence.  The next character
 409                            must be 0, 1, 2, or ]. */
 410   ISO_ESC_5_11_0,       /* We've seen 0x9B 0.  The next character must be ]. */
 411   ISO_ESC_5_11_1,       /* We've seen 0x9B 1.  The next character must be ]. */
 412   ISO_ESC_5_11_2,       /* We've seen 0x9B 2.  The next character must be ]. */
 413
 414   /* Full sequences. */
 415 #ifdef ENABLE_COMPOSITE_CHARS
 416   ISO_ESC_START_COMPOSITE, /* Private usage for START COMPOSING */
 417   ISO_ESC_END_COMPOSITE,   /* Private usage for END COMPOSING */
 418 #endif /* ENABLE_COMPOSITE_CHARS */
 419   ISO_ESC_SINGLE_SHIFT, /* We've seen a complete single-shift sequence. */
 420   ISO_ESC_LOCKING_SHIFT,/* We've seen a complete locking-shift sequence. */
 421   ISO_ESC_DESIGNATE,    /* We've seen a complete designation sequence. */
 422   ISO_ESC_DIRECTIONALITY,/* We've seen a complete ISO6429 directionality
 423                            sequence. */
 424   ISO_ESC_LITERAL       /* We've seen a literal character ala
 425                            escape-quoting. */
 426 };
 427
 428 /* Macros to define code of control characters for ISO2022's functions.  */
 429                         /* code */      /* function */
 430 #define ISO_CODE_LF     0x0A            /* line-feed */
 431 #define ISO_CODE_CR     0x0D            /* carriage-return */
 432 #define ISO_CODE_SO     0x0E            /* shift-out */
 433 #define ISO_CODE_SI     0x0F            /* shift-in */
 434 #define ISO_CODE_ESC    0x1B            /* escape */
 435 #define ISO_CODE_DEL    0x7F            /* delete */
 436 #define ISO_CODE_SS2    0x8E            /* single-shift-2 */
 437 #define ISO_CODE_SS3    0x8F            /* single-shift-3 */
 438 #define ISO_CODE_CSI    0x9B            /* control-sequence-introduce */
 439 #endif /* MULE */
 440
 441 /* Distinguishable categories of encodings.
 442
 443    This list determines the initial priority of the categories.
 444
 445    For better or worse, currently Mule files are encoded in 7-bit ISO 2022.
 446    For this reason, under Mule ISO_7 gets highest priority.
 447
 448    Putting NO_CONVERSION second prevents "binary corruption" in the
 449    default case in all but the (presumably) extremely rare case of a
 450    binary file which contains redundant escape sequences but no 8-bit
 451    characters.
 452
 453    The remaining priorities are based on perceived "internationalization
 454    political correctness."  An exception is UCS-4 at the bottom, since
 455    basically everything is compatible with UCS-4, but it is likely to
 456    be very rare as an external encoding. */
 457
 458 enum coding_category_type
 459 {
 460   /* must be a contiguous range of values 0 -- CODING_CATEGORY_LAST - 1 */
 461 #ifdef MULE
 462   CODING_CATEGORY_ISO_7, /* ISO2022 system using only seven-bit bytes,
 463                             no locking shift */
 464   CODING_CATEGORY_NO_CONVERSION,
 465   CODING_CATEGORY_UTF8,
 466   CODING_CATEGORY_ISO_8_1, /* ISO2022 system using eight-bit bytes,
 467                               no locking shift, no designation sequences,
 468                               one-dimension characters in the upper half. */
 469   CODING_CATEGORY_ISO_8_2, /* ISO2022 system using eight-bit bytes,
 470                               no locking shift, no designation sequences,
 471                               two-dimension characters in the upper half. */
 472   CODING_CATEGORY_ISO_8_DESIGNATE, /* ISO2022 system using eight-bit bytes,
 473                                       no locking shift, no single shift,
 474                                       using designation to switch charsets */
 475   CODING_CATEGORY_ISO_LOCK_SHIFT, /* ISO2022 system using locking shift */
 476   CODING_CATEGORY_SHIFT_JIS,
 477   CODING_CATEGORY_BIG5,
 478   CODING_CATEGORY_UTF16,
 479   CODING_CATEGORY_UCS4,
 480 #else /* not MULE */
 481   CODING_CATEGORY_NO_CONVERSION,
 482 #endif /* MULE */
 483   CODING_CATEGORY_LAST          /* not a real coding category */
 484 };
 485
 486 #ifdef MULE
 487 #define CODING_CATEGORY_SHIFT_JIS_MASK  \
 488   (1 << CODING_CATEGORY_SHIFT_JIS)
 489 #define CODING_CATEGORY_ISO_7_MASK \
 490   (1 << CODING_CATEGORY_ISO_7)
 491 #define CODING_CATEGORY_ISO_8_DESIGNATE_MASK \
 492   (1 << CODING_CATEGORY_ISO_8_DESIGNATE)
 493 #define CODING_CATEGORY_ISO_8_1_MASK \
 494   (1 << CODING_CATEGORY_ISO_8_1)
 495 #define CODING_CATEGORY_ISO_8_2_MASK \
 496   (1 << CODING_CATEGORY_ISO_8_2)
 497 #define CODING_CATEGORY_ISO_LOCK_SHIFT_MASK \
 498   (1 << CODING_CATEGORY_ISO_LOCK_SHIFT)
 499 #define CODING_CATEGORY_BIG5_MASK \
 500   (1 << CODING_CATEGORY_BIG5)
 501 #define CODING_CATEGORY_UCS4_MASK \
 502   (1 << CODING_CATEGORY_UCS4)
 503 #define CODING_CATEGORY_UTF16_MASK \
 504   (1 << CODING_CATEGORY_UTF16)
 505 #define CODING_CATEGORY_UTF8_MASK \
 506   (1 << CODING_CATEGORY_UTF8)
 507 #endif
 508 #define CODING_CATEGORY_NO_CONVERSION_MASK \
 509   (1 << CODING_CATEGORY_NO_CONVERSION)
 510 #define CODING_CATEGORY_NOT_FINISHED_MASK \
 511   (1 << 30)
 512
 513 #ifdef MULE
 514 /* Convert shift-JIS code (sj1, sj2) into internal string
 515    representation (c1, c2). (The leading byte is assumed.) */
 516
 517 #define DECODE_SJIS(sj1, sj2, c1, c2)                   \
 518 do {                                                    \
 519   int I1 = sj1, I2 = sj2;                               \
 520   if (I2 >= 0x9f)                                       \
 521     c1 = (I1 << 1) - ((I1 >= 0xe0) ? 0xe0 : 0x60),      \
 522     c2 = I2 + 2;                                        \
 523   else                                                  \
 524     c1 = (I1 << 1) - ((I1 >= 0xe0) ? 0xe1 : 0x61),      \
 525     c2 = I2 + ((I2 >= 0x7f) ? 0x60 : 0x61);             \
 526 } while (0)
 527
 528 /* Convert the internal string representation of a Shift-JIS character
 529    (c1, c2) into Shift-JIS code (sj1, sj2).  The leading byte is
 530    assumed. */
 531
 532 #define ENCODE_SJIS(c1, c2, sj1, sj2)                   \
 533 do {                                                    \
 534   int I1 = c1, I2 = c2;                                 \
 535   if (I1 & 1)                                           \
 536     sj1 = (I1 >> 1) + ((I1 < 0xdf) ? 0x31 : 0x71),      \
 537     sj2 = I2 - ((I2 >= 0xe0) ? 0x60 : 0x61);            \
 538   else                                                  \
 539     sj1 = (I1 >> 1) + ((I1 < 0xdf) ? 0x30 : 0x70),      \
 540     sj2 = I2 - 2;                                       \
 541 } while (0)
 542 #endif /* MULE */
 543
 544 Lisp_Object make_decoding_input_stream (Lstream *stream,
 545                                         Lisp_Object codesys);
 546 Lisp_Object make_encoding_input_stream (Lstream *stream,
 547                                         Lisp_Object codesys);
 548 Lisp_Object make_decoding_output_stream (Lstream *stream,
 549                                          Lisp_Object codesys);
 550 Lisp_Object make_encoding_output_stream (Lstream *stream,
 551                                          Lisp_Object codesys);
 552 Lisp_Object decoding_stream_coding_system (Lstream *stream);
 553 Lisp_Object encoding_stream_coding_system (Lstream *stream);
 554 void set_decoding_stream_coding_system (Lstream *stream,
 555                                         Lisp_Object codesys);
 556 void set_encoding_stream_coding_system (Lstream *stream,
 557                                         Lisp_Object codesys);
 558 void determine_real_coding_system (Lstream *stream, Lisp_Object *codesys_in_out,
 559                                    eol_type_t *eol_type_in_out);
 560
 561
 562 #ifndef MULE
 563 #define MIN_LEADING_BYTE                0x80
 564 /* These need special treatment in a string and/or character */
 565 #ifdef ENABLE_COMPOSITE_CHARS
 566 #define LEADING_BYTE_COMPOSITE          0x80 /* for a composite character */
 567 #endif
 568 #define LEADING_BYTE_CONTROL_1          0x8F /* represent normal 80-9F */
 569 #define LEADING_BYTE_LATIN_ISO8859_1    0x81 /* Right half of ISO 8859-1 */
 570 #define BYTE_C1_P(c) ((unsigned int) ((unsigned int) (c) - 0x80) < 0x20)
 571 #define BUFBYTE_FIRST_BYTE_P(c) ((c) < 0xA0)
 572 #define BUFBYTE_LEADING_BYTE_P(c) BYTE_C1_P (c)
 573 #endif /* not MULE */
 574
 575 #endif /* INCLUDED_file_coding_h_ */
 576