2b722b5320992eb1ebfe08e2902e70c6fbffcb0a
[chise/xemacs-chise.git-] / src / chartab.h
1 /* Declarations having to do with Mule char tables.
2    Copyright (C) 1992 Free Software Foundation, Inc.
3    Copyright (C) 1995 Sun Microsystems, Inc.
4    Copyright (C) 1999,2000,2001,2002 MORIOKA Tomohiko
5
6 This file is part of XEmacs.
7
8 XEmacs is free software; you can redistribute it and/or modify it
9 under the terms of the GNU General Public License as published by the
10 Free Software Foundation; either version 2, or (at your option) any
11 later version.
12
13 XEmacs is distributed in the hope that it will be useful, but WITHOUT
14 ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or
15 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
16 for more details.
17
18 You should have received a copy of the GNU General Public License
19 along with XEmacs; see the file COPYING.  If not, write to
20 the Free Software Foundation, Inc., 59 Temple Place - Suite 330,
21 Boston, MA 02111-1307, USA.  */
22
23 /* Synched up with: Mule 2.3.  Not synched with FSF.
24
25    This file was written independently of the FSF implementation,
26    and is not compatible. */
27
28 #ifndef INCLUDED_chartab_h_
29 #define INCLUDED_chartab_h_
30
31
32 #ifdef UTF2000
33
34 #ifdef HAVE_DATABASE
35 #include "database.h"
36 #endif
37
38 EXFUN (Fmake_char, 3);
39 EXFUN (Fdecode_char, 3);
40
41 EXFUN (Fput_char_attribute, 3);
42
43
44 /************************************************************************/
45 /*                          Char-ID Tables                              */
46 /************************************************************************/
47
48 struct Lisp_Uint8_Byte_Table
49 {
50   struct lcrecord_header header;
51
52   unsigned char property[256];
53 };
54 typedef struct Lisp_Uint8_Byte_Table Lisp_Uint8_Byte_Table;
55
56 DECLARE_LRECORD (uint8_byte_table, Lisp_Uint8_Byte_Table);
57 #define XUINT8_BYTE_TABLE(x) \
58    XRECORD (x, uint8_byte_table, Lisp_Uint8_Byte_Table)
59 #define XSETUINT8_BYTE_TABLE(x, p) XSETRECORD (x, p, uint8_byte_table)
60 #define UINT8_BYTE_TABLE_P(x) RECORDP (x, uint8_byte_table)
61 #define GC_UINT8_BYTE_TABLE_P(x) GC_RECORDP (x, uint8_byte_table)
62 /* #define CHECK_UINT8_BYTE_TABLE(x) CHECK_RECORD (x, uint8_byte_table)
63    char table entries should never escape to Lisp */
64
65
66 struct Lisp_Uint16_Byte_Table
67 {
68   struct lcrecord_header header;
69
70   unsigned short property[256];
71 };
72 typedef struct Lisp_Uint16_Byte_Table Lisp_Uint16_Byte_Table;
73
74 DECLARE_LRECORD (uint16_byte_table, Lisp_Uint16_Byte_Table);
75 #define XUINT16_BYTE_TABLE(x) \
76    XRECORD (x, uint16_byte_table, Lisp_Uint16_Byte_Table)
77 #define XSETUINT16_BYTE_TABLE(x, p) XSETRECORD (x, p, uint16_byte_table)
78 #define UINT16_BYTE_TABLE_P(x) RECORDP (x, uint16_byte_table)
79 #define GC_UINT16_BYTE_TABLE_P(x) GC_RECORDP (x, uint16_byte_table)
80 /* #define CHECK_UINT16_BYTE_TABLE(x) CHECK_RECORD (x, uint16_byte_table)
81    char table entries should never escape to Lisp */
82
83
84 struct Lisp_Byte_Table
85 {
86   struct lcrecord_header header;
87
88   Lisp_Object property[256];
89 };
90 typedef struct Lisp_Byte_Table Lisp_Byte_Table;
91
92 DECLARE_LRECORD (byte_table, Lisp_Byte_Table);
93 #define XBYTE_TABLE(x) XRECORD (x, byte_table, Lisp_Byte_Table)
94 #define XSETBYTE_TABLE(x, p) XSETRECORD (x, p, byte_table)
95 #define BYTE_TABLE_P(x) RECORDP (x, byte_table)
96 #define GC_BYTE_TABLE_P(x) GC_RECORDP (x, byte_table)
97 /* #define CHECK_BYTE_TABLE(x) CHECK_RECORD (x, byte_table)
98    char table entries should never escape to Lisp */
99
100 Lisp_Object get_byte_table (Lisp_Object table, unsigned char idx);
101
102 Lisp_Object put_byte_table (Lisp_Object table, unsigned char idx,
103                             Lisp_Object value);
104
105
106 Lisp_Object make_char_id_table (Lisp_Object initval);
107
108 #endif
109
110
111 /************************************************************************/
112 /*                               Char Tables                            */
113 /************************************************************************/
114
115 /* Under Mule, we use a complex representation (see below).
116    When not under Mule, there are only 256 possible characters
117    so we just represent them directly. */
118
119 #if defined(MULE)&&!defined(UTF2000)
120
121 struct Lisp_Char_Table_Entry
122 {
123   struct lcrecord_header header;
124
125   /* In the interests of simplicity, we just use a fixed 96-entry
126      table.  If we felt like being smarter, we could make this
127      variable-size and add an offset value into this structure. */
128   Lisp_Object level2[96];
129 };
130 typedef struct Lisp_Char_Table_Entry Lisp_Char_Table_Entry;
131
132 DECLARE_LRECORD (char_table_entry, Lisp_Char_Table_Entry);
133 #define XCHAR_TABLE_ENTRY(x) \
134   XRECORD (x, char_table_entry, Lisp_Char_Table_Entry)
135 #define XSETCHAR_TABLE_ENTRY(x, p) XSETRECORD (x, p, char_table_entry)
136 #define CHAR_TABLE_ENTRYP(x) RECORDP (x, char_table_entry)
137 /* #define CHECK_CHAR_TABLE_ENTRY(x) CHECK_RECORD (x, char_table_entry)
138    char table entries should never escape to Lisp */
139
140 #endif /* MULE */
141
142 enum char_table_type
143 {
144   CHAR_TABLE_TYPE_GENERIC,
145 #ifdef MULE
146   CHAR_TABLE_TYPE_CATEGORY,
147 #endif
148   CHAR_TABLE_TYPE_SYNTAX,
149   CHAR_TABLE_TYPE_DISPLAY,
150   CHAR_TABLE_TYPE_CHAR
151 };
152
153 #ifndef UTF2000
154 #ifdef MULE
155 #define NUM_ASCII_CHARS 160
156 #else
157 #define NUM_ASCII_CHARS 256
158 #endif
159 #endif
160
161 struct Lisp_Char_Table
162 {
163   struct lcrecord_header header;
164
165 #ifdef UTF2000
166   Lisp_Object table;
167   Lisp_Object default_value;
168   Lisp_Object name;
169   Lisp_Object db_file;
170   Lisp_Object db;
171   unsigned char unloaded;
172 #else
173   Lisp_Object ascii[NUM_ASCII_CHARS];
174
175 #ifdef MULE
176   /* We basically duplicate the Mule vectors-of-vectors implementation.
177      We can do this because we know a great deal about the sorts of
178      things we are going to be indexing.
179
180      The current implementation is as follows:
181
182      ascii[0-159] is used for ASCII and Control-1 characters.
183
184      level1[0 .. (NUM_LEADING_BYTES-1)] indexes charsets by leading
185      byte (subtract MIN_LEADING_BYTE from the leading byte).  If the
186      value of this is not an opaque, then it specifies a value for all
187      characters in the charset.  Otherwise, it will be a
188      96-Lisp-Object opaque that we created, specifying a value for
189      each row.  If the value of this is not an opaque, then it
190      specifies a value for all characters in the row.  Otherwise, it
191      will be a 96-Lisp-Object opaque that we created, specifying a
192      value for each character.
193
194      NOTE: 1) This will fail if some C routine passes an opaque to
195               Fput_char_table().  Currently this is not a problem
196               since all char tables that are created are Lisp-visible
197               and thus no one should ever be putting an opaque in
198               a char table.  Another possibility is to consider
199               adding a type to */
200
201   Lisp_Object level1[NUM_LEADING_BYTES];
202
203 #endif /* MULE */
204 #endif /* non UTF2000 */
205
206   enum char_table_type type;
207
208 #ifndef UTF2000
209   /* stuff used for syntax tables */
210   Lisp_Object mirror_table;
211 #endif
212   Lisp_Object next_table; /* DO NOT mark through this. */
213 };
214 typedef struct Lisp_Char_Table Lisp_Char_Table;
215
216 DECLARE_LRECORD (char_table, Lisp_Char_Table);
217 #define XCHAR_TABLE(x) XRECORD (x, char_table, Lisp_Char_Table)
218 #define XSETCHAR_TABLE(x, p) XSETRECORD (x, p, char_table)
219 #define CHAR_TABLEP(x) RECORDP (x, char_table)
220 #define CHECK_CHAR_TABLE(x) CHECK_RECORD (x, char_table)
221 #define CONCHECK_CHAR_TABLE(x) CONCHECK_RECORD (x, char_table)
222
223 #define CHAR_TABLE_TYPE(ct) ((ct)->type)
224 #define XCHAR_TABLE_TYPE(ct) CHAR_TABLE_TYPE (XCHAR_TABLE (ct))
225
226 #ifdef UTF2000
227
228 #define CHAR_TABLE_NAME(ct) ((ct)->name)
229 #define XCHAR_TABLE_NAME(ct) CHAR_TABLE_NAME (XCHAR_TABLE (ct))
230
231 #define CHAR_TABLE_UNLOADED(ct) ((ct)->unloaded)
232 #define XCHAR_TABLE_UNLOADED(ct) CHAR_TABLE_UNLOADED (XCHAR_TABLE (ct))
233
234 INLINE_HEADER Lisp_Object
235 CHAR_TABLE_VALUE_UNSAFE (Lisp_Char_Table *ct, Emchar ch);
236 INLINE_HEADER Lisp_Object
237 CHAR_TABLE_VALUE_UNSAFE (Lisp_Char_Table *ct, Emchar ch)
238 {
239   Lisp_Object val = get_byte_table (get_byte_table
240                                     (get_byte_table
241                                      (get_byte_table
242                                       (ct->table,
243                                        (unsigned char)(ch >> 24)),
244                                       (unsigned char) (ch >> 16)),
245                                      (unsigned char)  (ch >> 8)),
246                                     (unsigned char)    ch);
247   if (UNBOUNDP (val))
248     return ct->default_value;
249   else
250     return val;
251 }
252
253 #elif defined(MULE)
254
255 Lisp_Object get_non_ascii_char_table_value (Lisp_Char_Table *ct,
256                                             Charset_ID leading_byte,
257                                             Emchar c);
258
259 INLINE_HEADER Lisp_Object
260 CHAR_TABLE_NON_ASCII_VALUE_UNSAFE (Lisp_Char_Table *ct, Emchar ch);
261 INLINE_HEADER Lisp_Object
262 CHAR_TABLE_NON_ASCII_VALUE_UNSAFE (Lisp_Char_Table *ct, Emchar ch)
263 {
264 #ifdef UTF2000
265   Charset_ID lb = CHAR_CHARSET_ID (ch);
266 #else
267   Charset_ID lb = CHAR_LEADING_BYTE (ch);
268 #endif
269   if (!CHAR_TABLE_ENTRYP ((ct)->level1[lb - MIN_LEADING_BYTE]))
270     return (ct)->level1[lb - MIN_LEADING_BYTE];
271   else
272     return get_non_ascii_char_table_value (ct, lb, ch);
273 }
274
275 #define CHAR_TABLE_VALUE_UNSAFE(ct, ch)         \
276   ((ch) < NUM_ASCII_CHARS                       \
277    ? (ct)->ascii[ch]                            \
278    : CHAR_TABLE_NON_ASCII_VALUE_UNSAFE (ct, ch))
279
280 #else /* not MULE */
281
282 #define CHAR_TABLE_VALUE_UNSAFE(ct, ch) ((ct)->ascii[(unsigned char) (ch)])
283
284 #endif /* not MULE */
285
286 #define XCHAR_TABLE_VALUE_UNSAFE(ct, ch) \
287   CHAR_TABLE_VALUE_UNSAFE (XCHAR_TABLE (ct), ch)
288
289 enum chartab_range_type
290 {
291   CHARTAB_RANGE_ALL,
292 #ifdef UTF2000
293   CHARTAB_RANGE_DEFAULT,
294 #endif
295 #ifdef MULE
296   CHARTAB_RANGE_CHARSET,
297   CHARTAB_RANGE_ROW,
298 #endif
299   CHARTAB_RANGE_CHAR
300 };
301
302 struct chartab_range
303 {
304   enum chartab_range_type type;
305   Emchar ch;
306   Lisp_Object charset;
307   int row;
308 };
309
310 void fill_char_table (Lisp_Char_Table *ct, Lisp_Object value);
311 void put_char_table (Lisp_Char_Table *ct, struct chartab_range *range,
312                      Lisp_Object val);
313 Lisp_Object get_char_table (Emchar, Lisp_Char_Table *);
314 int map_char_table (Lisp_Char_Table *ct,
315                     struct chartab_range *range,
316                     int (*fn) (struct chartab_range *range,
317                                Lisp_Object val, void *arg),
318                     void *arg);
319 void prune_syntax_tables (void);
320
321 EXFUN (Fcopy_char_table, 1);
322 EXFUN (Fmake_char_table, 1);
323 EXFUN (Fput_char_table, 3);
324 EXFUN (Fget_char_table, 2);
325
326 extern Lisp_Object Vall_syntax_tables;
327
328 \f
329 #ifdef UTF2000
330
331 INLINE_HEADER void
332 put_char_id_table_0 (Lisp_Char_Table* cit, Emchar code, Lisp_Object value);
333 INLINE_HEADER void
334 put_char_id_table_0 (Lisp_Char_Table* cit, Emchar code, Lisp_Object value)
335 {
336   Lisp_Object table1, table2, table3, table4;
337         
338   table1 = cit->table;
339   table2 = get_byte_table (table1, (unsigned char)(code >> 24));
340   table3 = get_byte_table (table2, (unsigned char)(code >> 16));
341   table4 = get_byte_table (table3, (unsigned char)(code >>  8));
342
343   table4     = put_byte_table (table4, (unsigned char) code, value);
344   table3     = put_byte_table (table3, (unsigned char)(code >>  8), table4);
345   table2     = put_byte_table (table2, (unsigned char)(code >> 16), table3);
346   cit->table = put_byte_table (table1, (unsigned char)(code >> 24), table2);
347 }
348
349 #ifdef HAVE_DATABASE
350 extern Lisp_Object Qsystem_char_id;
351
352 Lisp_Object
353 char_attribute_system_db_file (Lisp_Object key_type, Lisp_Object attribute,
354                                int writing_mode);
355
356 Lisp_Object load_char_attribute_maybe (Lisp_Char_Table* cit, Emchar ch);
357 #endif
358
359 INLINE_HEADER Lisp_Object get_char_id_table (Lisp_Char_Table* cit, Emchar ch);
360 INLINE_HEADER Lisp_Object
361 get_char_id_table (Lisp_Char_Table* cit, Emchar ch)
362 {
363   Lisp_Object val = get_byte_table (get_byte_table
364                                     (get_byte_table
365                                      (get_byte_table
366                                       (cit->table,
367                                        (unsigned char)(ch >> 24)),
368                                       (unsigned char) (ch >> 16)),
369                                      (unsigned char)  (ch >> 8)),
370                                     (unsigned char)    ch);
371 #ifdef HAVE_DATABASE
372   if (EQ (val, Qunloaded))
373     {
374       val = load_char_attribute_maybe (cit, ch);
375       put_char_id_table_0 (cit, ch, val);
376     }
377 #endif
378   if (UNBOUNDP (val))
379     return cit->default_value;
380   else
381     return val;
382 }
383
384 void
385 decode_char_table_range (Lisp_Object range, struct chartab_range *outrange);
386
387 INLINE_HEADER void
388 put_char_id_table (Lisp_Char_Table* table,
389                    Lisp_Object character, Lisp_Object value);
390 INLINE_HEADER void
391 put_char_id_table (Lisp_Char_Table* table,
392                    Lisp_Object character, Lisp_Object value)
393 {
394   struct chartab_range range;
395
396   decode_char_table_range (character, &range);
397   put_char_table (table, &range, value);
398 }
399
400
401 EXFUN (Fget_char_attribute, 3);
402
403 #endif
404 \f
405
406 #ifdef MULE
407 int check_category_char(Emchar ch, Lisp_Object ctbl,
408                         unsigned int designator, unsigned int not_p);
409
410 extern Lisp_Object Vstandard_category_table;
411
412 #define CATEGORY_DESIGNATORP(x) \
413  (CHARP (x) && XCHAR (x) >= 32 && XCHAR (x) <= 126)
414
415 #define CHECK_CATEGORY_DESIGNATOR(x) do {                       \
416   if (!CATEGORY_DESIGNATORP (x))                                \
417     dead_wrong_type_argument (Qcategory_designator_p, x);       \
418 } while (0)
419
420 #define CONCHECK_CATEGORY_DESIGNATOR(x) do {                    \
421   if (!CATEGORY_DESIGNATORP (x))                                \
422     x = wrong_type_argument (Qcategory_designator_p, x);        \
423 } while (0)
424
425 #define CATEGORY_TABLE_VALUEP(x) \
426  (NILP (x) || (BIT_VECTORP (x) && (bit_vector_length (XBIT_VECTOR (x)) == 95)))
427
428 #define CHECK_CATEGORY_TABLE_VALUE(x) do {                      \
429   if (!CATEGORY_TABLE_VALUEP (x))                               \
430     dead_wrong_type_argument (Qcategory_table_value_p, x);      \
431 } while (0)
432
433 #define CONCHECK_CATEGORY_TABLE_VALUE(x) do {                   \
434   if (!CATEGORY_TABLE_VALUEP (x))                               \
435     x = wrong_type_argument (Qcategory_table_value_p, x);       \
436 } while (0)
437
438 #endif /* MULE */
439
440 #endif /* INCLUDED_chartab_h_ */