* ew-parse.el: Remove token suffix "-tok".
authorakr <akr>
Wed, 19 Aug 1998 10:45:12 +0000 (10:45 +0000)
committerakr <akr>
Wed, 19 Aug 1998 10:45:12 +0000 (10:45 +0000)
* ew-data.el: Ditto.

* ew-dec.el: Ditto.

* ew-scan-m.el: Ditto.

* ew-scan-s.el: Ditto.

* ew-scan-u.el: Ditto.

* ew-var.el: Ditto.

ChangeLog
ew-data.el
ew-dec.el
ew-parse.el
ew-scan-m.el
ew-scan-s.el
ew-scan-u.el
ew-var.el

index 6bc40fe..02b539f 100644 (file)
--- a/ChangeLog
+++ b/ChangeLog
@@ -1,5 +1,21 @@
 1998-08-19  Tanaka Akira      <akr@jaist.ac.jp>
 
+       * ew-parse.el: Remove token suffix "-tok".
+
+       * ew-data.el: Ditto.
+
+       * ew-dec.el: Ditto.
+
+       * ew-scan-m.el: Ditto.
+
+       * ew-scan-s.el: Ditto.
+
+       * ew-scan-u.el: Ditto.
+
+       * ew-var.el: Ditto.
+
+1998-08-19  Tanaka Akira      <akr@jaist.ac.jp>
+
        * DOODLE-TIPS: Add desctiptions about byte-compile warnings.
 
        * ew-data.el (ew-mark-phrase): Does not update right end of
index 5b9f91a..bccd7e5 100644 (file)
@@ -5,7 +5,7 @@
 (defun ew-make-anchor (column str)
   (let ((anchor (make-symbol str)))
     (put anchor 'anchor anchor)
-    (put anchor 'type 'ew:anchor-tok)
+    (put anchor 'type 'ew:*anchor*)
     (put anchor 'prev-frag anchor)
     (put anchor 'next-frag anchor)
     (put anchor 'column column)
     (ew-separate-eword
      frag1 frag2
      (if ew-decode-quoted-encoded-word
-        '(ew:atom-tok
-          ew:qs-texts-tok)
-       '(ew:atom-tok)))
+        '(ew:atom
+          ew:qs-texts)
+       '(ew:atom)))
     (setq frag1 (get (get frag1 'prev-frag) 'next-frag)))
   (while (not (eq frag1 frag2))
     (unless (ew-comment-frag-p frag2)
 
 (defun ew-token-last-frag-p (frag)
   (member (get frag 'type)
-         '(ew:anchor-tok
-           ew:lt-tok
-           ew:gt-tok
-           ew:at-tok
-           ew:comma-tok
-           ew:semicolon-tok
-           ew:colon-tok
-           ew:dot-tok
-           ew:atom-tok
-           ew:qs-end-tok
-           ew:dl-end-tok)))
+         '(ew:*anchor*
+           ew:lt
+           ew:gt
+           ew:at
+           ew:comma
+           ew:semicolon
+           ew:colon
+           ew:dot
+           ew:atom
+           ew:qs-end
+           ew:dl-end)))
 
 (defun ew-comment-frag-p (frag)
   (member (get frag 'type)
-         '(ew:cm-begin-tok
-           ew:cm-end-tok
-           ew:cm-nested-begin-tok
-           ew:cm-nested-end-tok
-           ew:cm-texts-tok
-           ew:cm-wsp-tok
-           ew:cm-fold-tok
-           ew:cm-qfold-tok
-           ew:cm-qpair-tok)))
+         '(ew:cm-begin
+           ew:cm-end
+           ew:cm-nested-begin
+           ew:cm-nested-end
+           ew:cm-texts
+           ew:cm-wsp
+           ew:cm-fold
+           ew:cm-qfold
+           ew:cm-qpair)))
 
 (defun ew-special-frag-p (frag)
   (member (get frag 'type)
-         '(ew:lt-tok
-           ew:gt-tok
-           ew:at-tok
-           ew:comma-tok
-           ew:semicolon-tok
-           ew:colon-tok
-           ew:dot-tok
-           ew:qs-begin-tok
-           ew:qs-end-tok
-           ew:dl-begin-tok
-           ew:dl-end-tok
-           ew:cm-begin-tok
-           ew:cm-end-tok)))
+         '(ew:lt
+           ew:gt
+           ew:at
+           ew:comma
+           ew:semicolon
+           ew:colon
+           ew:dot
+           ew:qs-begin
+           ew:qs-end
+           ew:dl-begin
+           ew:dl-end
+           ew:cm-begin
+           ew:cm-end)))
index c678c75..34f464a 100644 (file)
--- a/ew-dec.el
+++ b/ew-dec.el
@@ -60,7 +60,7 @@ instead of its argument."
               ew-decode-sticked-encoded-word)
       (ew-separate-eword (get frag-anchor 'next-frag)
                         frag-anchor
-                        '(ew:us-texts-tok)))
+                        '(ew:us-texts)))
     (when (cdr tmp)
       (ew-mark (cdr tmp) frag-anchor))
     (setq frag1 (get frag-anchor 'next-frag))
@@ -216,16 +216,16 @@ instead of its argument."
    anchor start end
    'ew-decode-unstructured-ewords
    'ew-decode-unstructured-others
-   '(ew:us-texts-tok)
-   '(ew:us-wsp-tok
-     ew:us-fold-tok)
-   '(ew:us-texts-tok
-     ew:us-wsp-tok
-     ew:us-fold-tok)
+   '(ew:us-texts)
+   '(ew:us-wsp
+     ew:us-fold)
+   '(ew:us-texts
+     ew:us-wsp
+     ew:us-fold)
    eword-filter))
 
 (defun ew-decode-phrase-ewords (ewords eword-filter)
-  (let ((qs (eq (get (car ewords) 'type) 'ew:qs-texts-tok))
+  (let ((qs (eq (get (car ewords) 'type) 'ew:qs-texts))
        require-quoting
        result)
     (while ewords
@@ -248,16 +248,16 @@ instead of its argument."
 (defun ew-decode-phrase-others (frags)
   (ew-decode-generic-others
    frags
-   '(ew:qs-begin-tok
-     ew:qs-end-tok)
-   '(ew:qs-qfold-tok
-     ew:qs-qpair-tok)
-   '(ew:atom-tok
-     ew:wsp-tok
-     ew:fold-tok
-     ew:qs-texts-tok
-     ew:qs-wsp-tok
-     ew:qs-fold-tok)))
+   '(ew:qs-begin
+     ew:qs-end)
+   '(ew:qs-qfold
+     ew:qs-qpair)
+   '(ew:atom
+     ew:wsp
+     ew:fold
+     ew:qs-texts
+     ew:qs-wsp
+     ew:qs-fold)))
 
 (defun ew-decode-phrase (anchor start end eword-filter)
   (ew-decode-generic
@@ -265,20 +265,20 @@ instead of its argument."
    'ew-decode-phrase-ewords
    'ew-decode-phrase-others
    (if ew-decode-quoted-encoded-word
-       '(ew:atom-tok ew:qs-texts-tok)
-     '(ew:atom-tok))
-   '(ew:wsp-tok
-     ew:fold-tok)
-   '(ew:atom-tok
-     ew:wsp-tok
-     ew:fold-tok
-     ew:qs-begin-tok
-     ew:qs-end-tok
-     ew:qs-texts-tok
-     ew:qs-wsp-tok
-     ew:qs-fold-tok
-     ew:qs-qfold-tok
-     ew:qs-qpair-tok)
+       '(ew:atom ew:qs-texts)
+     '(ew:atom))
+   '(ew:wsp
+     ew:fold)
+   '(ew:atom
+     ew:wsp
+     ew:fold
+     ew:qs-begin
+     ew:qs-end
+     ew:qs-texts
+     ew:qs-wsp
+     ew:qs-fold
+     ew:qs-qfold
+     ew:qs-qpair)
    eword-filter))
 
 (defun ew-decode-comment-ewords (ewords eword-filter)
@@ -304,25 +304,25 @@ instead of its argument."
   (ew-decode-generic-others
    frags
    '()
-   '(ew:cm-qfold-tok
-     ew:cm-qpair-tok)
-   '(ew:cm-texts-tok
-     ew:cm-wsp-tok
-     ew:cm-fold-tok)))
+   '(ew:cm-qfold
+     ew:cm-qpair)
+   '(ew:cm-texts
+     ew:cm-wsp
+     ew:cm-fold)))
 
 (defun ew-decode-comment (anchor start end eword-filter)
   (ew-decode-generic
    anchor start end
    'ew-decode-comment-ewords
    'ew-decode-comment-others
-   '(ew:cm-texts-tok)
-   '(ew:cm-wsp-tok
-     ew:cm-fold-tok)
-   '(ew:cm-texts-tok
-     ew:cm-wsp-tok
-     ew:cm-fold-tok
-     ew:cm-qfold-tok
-     ew:cm-qpair-tok)
+   '(ew:cm-texts)
+   '(ew:cm-wsp
+     ew:cm-fold)
+   '(ew:cm-texts
+     ew:cm-wsp
+     ew:cm-fold
+     ew:cm-qfold
+     ew:cm-qpair)
    eword-filter))
 
 ;;;
@@ -361,11 +361,11 @@ instead of its argument."
    (or ew-ignore-76bytes-limit
        (<= (get frag 'line-length) 76))
    (cond
-    ((eq (get frag 'type) 'ew:cm-texts-tok)
+    ((eq (get frag 'type) 'ew:cm-texts)
      (ew-eword-p (symbol-name frag)))
-    ((eq (get frag 'type) 'ew:qs-texts-tok)
+    ((eq (get frag 'type) 'ew:qs-texts)
      (ew-eword-p (symbol-name frag)))
-    ((eq (get frag 'type) 'ew:atom-tok)
+    ((eq (get frag 'type) 'ew:atom)
      (and
       (or ew-permit-sticked-comment
          (and
@@ -378,7 +378,7 @@ instead of its argument."
           (or (ew-comment-frag-p (get frag 'next-frag))
               (not (ew-special-frag-p (get frag 'next-frag))))))
       (ew-eword-p (symbol-name frag))))
-    ((eq (get frag 'type) 'ew:us-texts-tok)
+    ((eq (get frag 'type) 'ew:us-texts)
      (and
       (or ew-permit-sticked-special
          (not (ew-special-frag-p (get frag 'prev-frag))))
index deb4657..1a776e0 100644 (file)
 (require 'lr-driver)
 
 ; *** Token Definitions ***
-(defconst ew:*eoi*-tok 0)
-(defconst ew:anchor-tok        1)
-(defconst ew:tag-mailbox-tok   2)
-(defconst ew:tag-mailbox*-tok  3)
-(defconst ew:tag-mailbox+-tok  4)
-(defconst ew:tag-address*-tok  5)
-(defconst ew:tag-address+-tok  6)
-(defconst ew:tag-phrase*-tok   7)
-(defconst ew:tag-phrase-msg-id*-tok    8)
-(defconst ew:lt-tok    9)
-(defconst ew:gt-tok    10)
-(defconst ew:at-tok    11)
-(defconst ew:comma-tok 12)
-(defconst ew:semicolon-tok     13)
-(defconst ew:colon-tok 14)
-(defconst ew:dot-tok   15)
-(defconst ew:atom-tok  16)
-(defconst ew:slash-tok 17)
-(defconst ew:question-tok      18)
-(defconst ew:equal-tok 19)
-(defconst ew:token-tok 20)
-(defconst ew:us-texts-tok      21)
-(defconst ew:us-wsp-tok        22)
-(defconst ew:us-fold-tok       23)
-(defconst ew:wsp-tok   24)
-(defconst ew:fold-tok  25)
-(defconst ew:qs-begin-tok      26)
-(defconst ew:qs-end-tok        27)
-(defconst ew:qs-texts-tok      28)
-(defconst ew:qs-wsp-tok        29)
-(defconst ew:qs-fold-tok       30)
-(defconst ew:qs-qfold-tok      31)
-(defconst ew:qs-qpair-tok      32)
-(defconst ew:dl-begin-tok      33)
-(defconst ew:dl-end-tok        34)
-(defconst ew:dl-texts-tok      35)
-(defconst ew:dl-wsp-tok        36)
-(defconst ew:dl-fold-tok       37)
-(defconst ew:dl-qfold-tok      38)
-(defconst ew:dl-qpair-tok      39)
-(defconst ew:cm-begin-tok      40)
-(defconst ew:cm-end-tok        41)
-(defconst ew:cm-nested-begin-tok       42)
-(defconst ew:cm-nested-end-tok 43)
-(defconst ew:cm-texts-tok      44)
-(defconst ew:cm-wsp-tok        45)
-(defconst ew:cm-fold-tok       46)
-(defconst ew:cm-qfold-tok      47)
-(defconst ew:cm-qpair-tok      48)
-(defconst ew:err-tok   49)
+(defconst ew:*eoi*     0)
+(defconst ew:*anchor*  1)
+(defconst ew:*err*     2)
+(defconst ew:tag-mailbox       3)
+(defconst ew:tag-mailbox*      4)
+(defconst ew:tag-mailbox+      5)
+(defconst ew:tag-address*      6)
+(defconst ew:tag-address+      7)
+(defconst ew:tag-phrase*       8)
+(defconst ew:tag-phrase-msg-id*        9)
+(defconst ew:lt        10)
+(defconst ew:gt        11)
+(defconst ew:at        12)
+(defconst ew:comma     13)
+(defconst ew:semicolon 14)
+(defconst ew:colon     15)
+(defconst ew:dot       16)
+(defconst ew:atom      17)
+(defconst ew:slash     18)
+(defconst ew:question  19)
+(defconst ew:equal     20)
+(defconst ew:token     21)
+(defconst ew:us-texts  22)
+(defconst ew:us-wsp    23)
+(defconst ew:us-fold   24)
+(defconst ew:wsp       25)
+(defconst ew:fold      26)
+(defconst ew:qs-begin  27)
+(defconst ew:qs-end    28)
+(defconst ew:qs-texts  29)
+(defconst ew:qs-wsp    30)
+(defconst ew:qs-fold   31)
+(defconst ew:qs-qfold  32)
+(defconst ew:qs-qpair  33)
+(defconst ew:dl-begin  34)
+(defconst ew:dl-end    35)
+(defconst ew:dl-texts  36)
+(defconst ew:dl-wsp    37)
+(defconst ew:dl-fold   38)
+(defconst ew:dl-qfold  39)
+(defconst ew:dl-qpair  40)
+(defconst ew:cm-begin  41)
+(defconst ew:cm-end    42)
+(defconst ew:cm-nested-begin   43)
+(defconst ew:cm-nested-end     44)
+(defconst ew:cm-texts  45)
+(defconst ew:cm-wsp    46)
+(defconst ew:cm-fold   47)
+(defconst ew:cm-qfold  48)
+(defconst ew:cm-qpair  49)
 
 (defconst ew:token-defs
   (list 
    (cons 0 "*eoi*")
-   (cons 1 "anchor")
-   (cons 2 "tag-mailbox")
-   (cons 3 "tag-mailbox*")
-   (cons 4 "tag-mailbox+")
-   (cons 5 "tag-address*")
-   (cons 6 "tag-address+")
-   (cons 7 "tag-phrase*")
-   (cons 8 "tag-phrase-msg-id*")
-   (cons 9 "lt")
-   (cons 10 "gt")
-   (cons 11 "at")
-   (cons 12 "comma")
-   (cons 13 "semicolon")
-   (cons 14 "colon")
-   (cons 15 "dot")
-   (cons 16 "atom")
-   (cons 17 "slash")
-   (cons 18 "question")
-   (cons 19 "equal")
-   (cons 20 "token")
-   (cons 21 "us-texts")
-   (cons 22 "us-wsp")
-   (cons 23 "us-fold")
-   (cons 24 "wsp")
-   (cons 25 "fold")
-   (cons 26 "qs-begin")
-   (cons 27 "qs-end")
-   (cons 28 "qs-texts")
-   (cons 29 "qs-wsp")
-   (cons 30 "qs-fold")
-   (cons 31 "qs-qfold")
-   (cons 32 "qs-qpair")
-   (cons 33 "dl-begin")
-   (cons 34 "dl-end")
-   (cons 35 "dl-texts")
-   (cons 36 "dl-wsp")
-   (cons 37 "dl-fold")
-   (cons 38 "dl-qfold")
-   (cons 39 "dl-qpair")
-   (cons 40 "cm-begin")
-   (cons 41 "cm-end")
-   (cons 42 "cm-nested-begin")
-   (cons 43 "cm-nested-end")
-   (cons 44 "cm-texts")
-   (cons 45 "cm-wsp")
-   (cons 46 "cm-fold")
-   (cons 47 "cm-qfold")
-   (cons 48 "cm-qpair")
-   (cons 49 "err")
+   (cons 1 "*anchor*")
+   (cons 2 "*err*")
+   (cons 3 "tag-mailbox")
+   (cons 4 "tag-mailbox*")
+   (cons 5 "tag-mailbox+")
+   (cons 6 "tag-address*")
+   (cons 7 "tag-address+")
+   (cons 8 "tag-phrase*")
+   (cons 9 "tag-phrase-msg-id*")
+   (cons 10 "lt")
+   (cons 11 "gt")
+   (cons 12 "at")
+   (cons 13 "comma")
+   (cons 14 "semicolon")
+   (cons 15 "colon")
+   (cons 16 "dot")
+   (cons 17 "atom")
+   (cons 18 "slash")
+   (cons 19 "question")
+   (cons 20 "equal")
+   (cons 21 "token")
+   (cons 22 "us-texts")
+   (cons 23 "us-wsp")
+   (cons 24 "us-fold")
+   (cons 25 "wsp")
+   (cons 26 "fold")
+   (cons 27 "qs-begin")
+   (cons 28 "qs-end")
+   (cons 29 "qs-texts")
+   (cons 30 "qs-wsp")
+   (cons 31 "qs-fold")
+   (cons 32 "qs-qfold")
+   (cons 33 "qs-qpair")
+   (cons 34 "dl-begin")
+   (cons 35 "dl-end")
+   (cons 36 "dl-texts")
+   (cons 37 "dl-wsp")
+   (cons 38 "dl-fold")
+   (cons 39 "dl-qfold")
+   (cons 40 "dl-qpair")
+   (cons 41 "cm-begin")
+   (cons 42 "cm-end")
+   (cons 43 "cm-nested-begin")
+   (cons 44 "cm-nested-end")
+   (cons 45 "cm-texts")
+   (cons 46 "cm-wsp")
+   (cons 47 "cm-fold")
+   (cons 48 "cm-qfold")
+   (cons 49 "cm-qpair")
   ))
 
 ; *** Action Table ***
 (defconst ew:action-table
   [
-     ((default . *error*) (2 . 7) (3 . 6) (4 . 5) (5 . 4) (6 . 3) (7 . 2) (8 . 1))
+     ((default . *error*) (3 . 7) (4 . 6) (5 . 5) (6 . 4) (7 . 3) (8 . 2) (9 . 1))
      ((default . -61))
      ((default . -61))
      ((default . -61))
      ((default . -61))
      ((default . -61))
      ((default . *error*) (0 . 16))
-     ((default . -51) (16 . 21) (24 . 20) (25 . 19) (26 . 18) (40 . 17))
-     ((default . -53) (16 . 21) (24 . 20) (25 . 19) (26 . 18) (40 . 17))
-     ((default . *error*) (9 . 34) (16 . 21) (24 . 20) (25 . 19) (26 . 18) (40 . 17))
-     ((default . -9) (9 . 34) (16 . 21) (24 . 20) (25 . 19) (26 . 18) (40 . 17))
-     ((default . *error*) (9 . 34) (16 . 21) (24 . 20) (25 . 19) (26 . 18) (40 . 17))
-     ((default . -30) (9 . 34) (16 . 21) (24 . 20) (25 . 19) (26 . 18) (40 . 17))
-     ((default . *error*) (9 . 34) (16 . 21) (24 . 20) (25 . 19) (26 . 18) (40 . 17))
+     ((default . -51) (17 . 21) (25 . 20) (26 . 19) (27 . 18) (41 . 17))
+     ((default . -53) (17 . 21) (25 . 20) (26 . 19) (27 . 18) (41 . 17))
+     ((default . *error*) (10 . 34) (17 . 21) (25 . 20) (26 . 19) (27 . 18) (41 . 17))
+     ((default . -9) (10 . 34) (17 . 21) (25 . 20) (26 . 19) (27 . 18) (41 . 17))
+     ((default . *error*) (10 . 34) (17 . 21) (25 . 20) (26 . 19) (27 . 18) (41 . 17))
+     ((default . -30) (10 . 34) (17 . 21) (25 . 20) (26 . 19) (27 . 18) (41 . 17))
+     ((default . *error*) (10 . 34) (17 . 21) (25 . 20) (26 . 19) (27 . 18) (41 . 17))
      ((default . -1) (0 . accept))
      ((default . -90))
      ((default . -76))
      ((default . -61))
      ((default . -48))
      ((default . -49))
-     ((default . -8) (9 . 34))
+     ((default . -8) (10 . 34))
      ((default . -57))
      ((default . -37))
-     ((default . -36) (16 . 21) (26 . 18))
+     ((default . -36) (17 . 21) (27 . 18))
      ((default . -52))
-     ((default . -54) (12 . 60))
+     ((default . -54) (13 . 60))
      ((default . -7))
      ((default . -55))
      ((default . -61))
-     ((default . -43) (11 . 63))
-     ((default . -37) (15 . -25) (11 . -25))
+     ((default . -43) (12 . 63))
+     ((default . -37) (16 . -25) (12 . -25))
      ((default . -29))
-     ((default . *error*) (9 . 34) (14 . 68))
+     ((default . *error*) (10 . 34) (15 . 68))
      ((default . -13))
-     ((default . *error*) (11 . 63) (15 . 71))
+     ((default . *error*) (12 . 63) (16 . 71))
      ((default . -14))
      ((default . -27))
      ((default . -11))
-     ((default . -6) (12 . 60))
-     ((default . -10) (12 . 60))
+     ((default . -6) (13 . 60))
+     ((default . -10) (13 . 60))
      ((default . -5))
-     ((default . *error*) (9 . 34))
-     ((default . -4) (12 . 60))
+     ((default . *error*) (10 . 34))
+     ((default . -4) (13 . 60))
      ((default . -32))
-     ((default . -31) (12 . 60))
+     ((default . -31) (13 . 60))
      ((default . -3))
      ((default . -2))
-     ((default . *error*) (41 . 83) (42 . 82) (43 . 81) (44 . 80) (45 . 79) (46 . 78) (47 . 77) (48 . 76))
-     ((default . *error*) (27 . 89) (28 . 88) (29 . 87) (30 . 86) (31 . 85) (32 . 84))
-     ((default . -74) (24 . 20) (25 . 19) (40 . 17))
-     ((default . -72) (24 . 20) (25 . 19) (40 . 17))
-     ((default . *error*) (16 . 21) (26 . 18))
-     ((default . -51) (16 . 21) (26 . 18))
+     ((default . *error*) (42 . 83) (43 . 82) (44 . 81) (45 . 80) (46 . 79) (47 . 78) (48 . 77) (49 . 76))
+     ((default . *error*) (28 . 89) (29 . 88) (30 . 87) (31 . 86) (32 . 85) (33 . 84))
+     ((default . -74) (25 . 20) (26 . 19) (41 . 17))
+     ((default . -72) (25 . 20) (26 . 19) (41 . 17))
+     ((default . *error*) (17 . 21) (27 . 18))
+     ((default . -51) (17 . 21) (27 . 18))
      ((default . -38))
      ((default . -61))
-     ((default . *error*) (16 . 21) (26 . 18))
-     ((default . -65) (24 . 20) (25 . 19) (40 . 17))
+     ((default . *error*) (17 . 21) (27 . 18))
+     ((default . -65) (25 . 20) (26 . 19) (41 . 17))
      ((default . -61))
-     ((default . *error*) (16 . 21) (33 . 96))
-     ((default . *error*) (16 . 21) (26 . 18))
-     ((default . *error*) (12 . 60) (14 . 68))
+     ((default . *error*) (17 . 21) (34 . 96))
+     ((default . *error*) (17 . 21) (27 . 18))
+     ((default . *error*) (13 . 60) (15 . 68))
      ((default . -44))
      ((default . -61))
-     ((default . -30) (9 . 34) (16 . 21) (26 . 18))
+     ((default . -30) (10 . 34) (17 . 21) (27 . 18))
      ((default . -28))
      ((default . -61))
-     ((default . *error*) (16 . 21) (26 . 18))
-     ((default . *error*) (16 . 21) (33 . 96))
-     ((default . *error*) (9 . 34) (16 . 21) (26 . 18))
-     ((default . *error*) (9 . 34) (16 . 21) (26 . 18))
+     ((default . *error*) (17 . 21) (27 . 18))
+     ((default . *error*) (17 . 21) (34 . 96))
+     ((default . *error*) (10 . 34) (17 . 21) (27 . 18))
+     ((default . *error*) (10 . 34) (17 . 21) (27 . 18))
      ((default . -97))
      ((default . -96))
      ((default . -95))
      ((default . -77))
      ((default . -75))
      ((default . -25))
-     ((default . *error*) (10 . 113))
+     ((default . *error*) (11 . 113))
      ((default . -58))
-     ((default . -68) (24 . 20) (25 . 19) (40 . 17))
+     ((default . -68) (25 . 20) (26 . 19) (41 . 17))
      ((default . -56))
-     ((default . -67) (24 . 20) (25 . 19) (40 . 17))
+     ((default . -67) (25 . 20) (26 . 19) (41 . 17))
      ((default . -83))
      ((default . -61))
      ((default . -21))
      ((default . -46))
      ((default . -19))
      ((default . -45))
-     ((default . -40) (15 . 71))
-     ((default . *error*) (10 . 113))
+     ((default . -40) (16 . 71))
+     ((default . *error*) (11 . 113))
      ((default . -39))
-     ((default . *error*) (11 . 63))
-     ((default . -70) (24 . 20) (25 . 19) (40 . 17))
-     ((default . *error*) (13 . 120))
-     ((default . -71) (24 . 20) (25 . 19) (40 . 17))
+     ((default . *error*) (12 . 63))
+     ((default . -70) (25 . 20) (26 . 19) (41 . 17))
+     ((default . *error*) (14 . 120))
+     ((default . -71) (25 . 20) (26 . 19) (41 . 17))
      ((default . -26))
-     ((default . -15) (15 . 71))
+     ((default . -15) (16 . 71))
      ((default . -12))
      ((default . -33))
      ((default . -61))
      ((default . -35))
-     ((default . *error*) (34 . 128) (35 . 127) (36 . 126) (37 . 125) (38 . 124) (39 . 123))
-     ((default . -73) (24 . 20) (25 . 19) (40 . 17))
-     ((default . *error*) (16 . 21) (33 . 96))
+     ((default . *error*) (35 . 128) (36 . 127) (37 . 126) (38 . 125) (39 . 124) (40 . 123))
+     ((default . -73) (25 . 20) (26 . 19) (41 . 17))
+     ((default . *error*) (17 . 21) (34 . 96))
      ((default . -42))
-     ((default . *error*) (16 . 21) (33 . 96))
+     ((default . *error*) (17 . 21) (34 . 96))
      ((default . -61))
      ((default . -22))
-     ((default . -66) (24 . 20) (25 . 19) (40 . 17))
+     ((default . -66) (25 . 20) (26 . 19) (41 . 17))
      ((default . -88))
      ((default . -87))
      ((default . -86))
      ((default . -84))
      ((default . -82))
      ((default . -20))
-     ((default . -41) (15 . 71))
-     ((default . -69) (24 . 20) (25 . 19) (40 . 17))
+     ((default . -41) (16 . 71))
+     ((default . -69) (25 . 20) (26 . 19) (41 . 17))
     ])
 
 ; *** Goto Table ***
     ew:token-defs))
 
 ; *** Footer ***
-(put 'ew:cm-texts-tok 'decode 'ew-decode-comment)
-(put 'ew:cm-wsp-tok 'decode 'ew-decode-comment)
-(put 'ew:cm-fold-tok 'decode 'ew-decode-comment)
-(put 'ew:cm-qfold-tok 'decode 'ew-decode-comment)
-(put 'ew:cm-qpair-tok 'decode 'ew-decode-comment)
-(put 'ew:us-texts-tok 'decode 'ew-decode-unstructured)
-(put 'ew:us-wsp-tok 'decode 'ew-decode-unstructured)
-(put 'ew:us-fold-tok 'decode 'ew-decode-unstructured)
+(put 'ew:cm-texts 'decode 'ew-decode-comment)
+(put 'ew:cm-wsp 'decode 'ew-decode-comment)
+(put 'ew:cm-fold 'decode 'ew-decode-comment)
+(put 'ew:cm-qfold 'decode 'ew-decode-comment)
+(put 'ew:cm-qpair 'decode 'ew-decode-comment)
+(put 'ew:us-texts 'decode 'ew-decode-unstructured)
+(put 'ew:us-wsp 'decode 'ew-decode-unstructured)
+(put 'ew:us-fold 'decode 'ew-decode-unstructured)
 
 
index 8d73479..d8dbf85 100644 (file)
          type
          (,scan
           str p q
-          ([" \t"] 'ew:wsp-tok)
-          (?< 'ew:lt-tok)
-          (?> 'ew:gt-tok)
-          (?@ 'ew:at-tok)
-          (?, 'ew:comma-tok)
-          (?\; 'ew:semicolon-tok)
-          (?: 'ew:colon-tok)
-          (?/ 'ew:slash-tok)
-          (?? 'ew:question-tok)
-          (?= 'ew:equal-tok)
-          ((?\r ?\n [" \t"]) 'ew:fold-tok)
+          ([" \t"] 'ew:wsp)
+          (?< 'ew:lt)
+          (?> 'ew:gt)
+          (?@ 'ew:at)
+          (?, 'ew:comma)
+          (?\; 'ew:semicolon)
+          (?: 'ew:colon)
+          (?/ 'ew:slash)
+          (?? 'ew:question)
+          (?= 'ew:equal)
+          ((?\r ?\n [" \t"]) 'ew:fold)
           ((?\r ?\n [^ " \t"])
-           (setq p q) 'ew:err-tok)
+           (setq p q) 'ew:*err*)
           ((+ [(?a ?z) (?A ?Z) (?0 ?9) "!#$%&'*+-.^_`{|}~" non-ascii])
-           'ew:token-tok)
-          (?\" (setq mode 'quoted-string) 'ew:qs-begin-tok)
-          (?\[ (setq mode 'domain-literal) 'ew:dl-begin-tok)
+           'ew:token)
+          (?\" (setq mode 'quoted-string) 'ew:qs-begin)
+          (?\[ (setq mode 'domain-literal) 'ew:dl-begin)
           (?\( (setq mode 'comment
                      nest 1)
-               'ew:cm-begin-tok)
-          (() (setq p q) 'ew:err-tok)))
+               'ew:cm-begin)
+          (() (setq p q) 'ew:*err*)))
         (ew-add-frag res r p type))
        ((eq mode 'quoted-string)
         (setq
          type
          (,scan
           str p q
-          (?\" (setq mode 'token) 'ew:qs-end-tok)
-          ((?\\ ?\r ?\n [" \t"]) 'ew:qs-qfold-tok)
+          (?\" (setq mode 'token) 'ew:qs-end)
+          ((?\\ ?\r ?\n [" \t"]) 'ew:qs-qfold)
           ((?\\ ?\r ?\n [^ " \t"])
-           (setq p q) 'ew:err-tok)
+           (setq p q) 'ew:*err*)
           (((* [^ "\"\\ \t\r"])
             (* (+ ?\r) [^ "\"\\ \t\r\n"] (* [^ "\"\\ \t\r"]))
             (* ?\r)
             (?\r ?\n [" \t"]))
            (when (< r (- p 3))
-             (ew-add-frag res r (- p 3) 'ew:qs-texts-tok)
+             (ew-add-frag res r (- p 3) 'ew:qs-texts)
              (setq r (- p 3)))
-           'ew:qs-fold-tok)
+           'ew:qs-fold)
           (((* [^ "\"\\ \t\r"])
             (* (+ ?\r) [^ "\"\\ \t\r\n"] (* [^ "\"\\ \t\r"]))
             (* ?\r)
             (?\r ?\n [^ " \t"]))
            (when (< r (- p 3))
-             (ew-add-frag res r (- p 3) 'ew:qs-texts-tok)
+             (ew-add-frag res r (- p 3) 'ew:qs-texts)
              (setq r (- p 3)))
-           (setq p q) 'ew:err-tok)
+           (setq p q) 'ew:*err*)
           ((?\\ (any))
-           'ew:qs-qpair-tok)
+           'ew:qs-qpair)
           ([" \t"]
-           'ew:qs-wsp-tok)
+           'ew:qs-wsp)
           (((* [^ "\"\\ \t\r"])
             (* (+ ?\r) [^ "\"\\ \t\r\n"] (* [^ "\"\\ \t\r"]))
             (* ?\r))
            (if (< r p)
-               'ew:qs-texts-tok
-             (progn (setq p q) 'ew:err-tok)))))
+               'ew:qs-texts
+             (progn (setq p q) 'ew:*err*)))))
         (ew-add-frag res r p type))
        ((eq mode 'domain-literal)
         (setq
          type
          (,scan
           str p q
-          (?\] (setq mode 'token) 'ew:dl-end-tok)
+          (?\] (setq mode 'token) 'ew:dl-end)
           ((?\\ ?\r ?\n [" \t"])
-           'ew:dl-qfold-tok)
+           'ew:dl-qfold)
           ((?\\ ?\r ?\n [^ " \t"])
-           (setq p q) 'ew:err-tok)
+           (setq p q) 'ew:*err*)
           (((* [^ "[]\\ \t\r"])
             (* (+ ?\r) [^ "[]\\ \t\r\n"] (* [^ "[]\\ \t\r"]))
             (* ?\r)
             (?\r ?\n [" \t"]))
            (when (< r (- p 3))
-             (ew-add-frag res r (- p 3) 'ew:dl-texts-tok)
+             (ew-add-frag res r (- p 3) 'ew:dl-texts)
              (setq r (- p 3)))
-           'ew:dl-fold-tok)
+           'ew:dl-fold)
           (((* [^ "[]\\ \t\r"])
             (* (+ ?\r) [^ "[]\\ \t\r\n"] (* [^ "[]\\ \t\r"]))
             (* ?\r)
             (?\r ?\n [^ " \t"]))
            (when (< r (- p 3))
-             (ew-add-frag res r (- p 3) 'ew:dl-texts-tok)
+             (ew-add-frag res r (- p 3) 'ew:dl-texts)
              (setq r (- p 3)))
-           (setq p q) 'ew:err-tok)
+           (setq p q) 'ew:*err*)
           ((?\\ (any))
-           'ew:dl-qpair-tok)
+           'ew:dl-qpair)
           ([" \t"]
-           'ew:dl-wsp-tok)
+           'ew:dl-wsp)
           (((* [^ "[]\\ \t\r"])
             (* (+ ?\r) [^ "[]\\ \t\r\n"] (* [^ "[]\\ \t\r"]))
             (* ?\r))
            (if (< r p)
-               'ew:dl-texts-tok
-             (progn (setq p q) 'ew:err-tok)))))
+               'ew:dl-texts
+             (progn (setq p q) 'ew:*err*)))))
         (ew-add-frag res r p type))
        ((eq mode 'comment)
         (setq
          type
          (,scan
           str p q
-          (?\( (setq nest (1+ nest)) 'ew:cm-nested-begin-tok)
+          (?\( (setq nest (1+ nest)) 'ew:cm-nested-begin)
           (?\) (setq nest (1- nest))
                (if (zerop nest)
-                   (progn (setq mode 'token) 'ew:cm-end-tok)
-                 'ew:cm-nested-end-tok))
+                   (progn (setq mode 'token) 'ew:cm-end)
+                 'ew:cm-nested-end))
           ((?\\ ?\r ?\n [" \t"])
-           'ew:cm-qfold-tok)
+           'ew:cm-qfold)
           ((?\\ ?\r ?\n [^ " \t"])
-           (setq p q) 'ew:err-tok)
+           (setq p q) 'ew:*err*)
           (((* [^ "()\\ \t\r"])
             (* (+ ?\r) [^ "()\\ \t\r\n"] (* [^ "()\\ \t\r"]))
             (* ?\r)
             (?\r ?\n [" \t"]))
            (when (< r (- p 3))
-             (ew-add-frag res r (- p 3) 'ew:cm-texts-tok)
+             (ew-add-frag res r (- p 3) 'ew:cm-texts)
              (setq r (- p 3)))
-           'ew:cm-fold-tok)
+           'ew:cm-fold)
           (((* [^ "()\\ \t\r"])
             (* (+ ?\r) [^ "()\\ \t\r\n"] (* [^ "()\\ \t\r"]))
             (* ?\r)
             (?\r ?\n [^ " \t"]))
            (when (< r (- p 3))
-             (ew-add-frag res r (- p 3) 'ew:cm-texts-tok)
+             (ew-add-frag res r (- p 3) 'ew:cm-texts)
              (setq r (- p 3)))
-           (setq p q) 'ew:err-tok)
+           (setq p q) 'ew:*err*)
           ((?\\ (any))
-           'ew:cm-qpair-tok)
+           'ew:cm-qpair)
           ([" \t"]
-           'ew:cm-wsp-tok)
+           'ew:cm-wsp)
           (((* [^ "()\\ \t\r"])
             (* (+ ?\r) [^ "()\\ \t\r\n"] (* [^ "()\\ \t\r"]))
             (* ?\r))
            (if (< r p)
-               'ew:cm-texts-tok
-             (progn (setq p q) 'ew:err-tok)))))
+               'ew:cm-texts
+             (progn (setq p q) 'ew:*err*)))))
         (ew-add-frag res r p type))))
      (ew-terminate res)
      res))
index 656c1ef..3c07044 100644 (file)
          type
          (,scan
           str p q
-          ([" \t"] 'ew:wsp-tok)
-          (?< 'ew:lt-tok)
-          (?> 'ew:gt-tok)
-          (?@ 'ew:at-tok)
-          (?, 'ew:comma-tok)
-          (?\; 'ew:semicolon-tok)
-          (?: 'ew:colon-tok)
-          (?. 'ew:dot-tok)
-          ((?\r ?\n [" \t"]) 'ew:fold-tok)
+          ([" \t"] 'ew:wsp)
+          (?< 'ew:lt)
+          (?> 'ew:gt)
+          (?@ 'ew:at)
+          (?, 'ew:comma)
+          (?\; 'ew:semicolon)
+          (?: 'ew:colon)
+          (?. 'ew:dot)
+          ((?\r ?\n [" \t"]) 'ew:fold)
           ((?\r ?\n [^ " \t"])
-           (setq p q) 'ew:err-tok)
+           (setq p q) 'ew:*err*)
           ((+ [(?a ?z) (?A ?Z) (?0 ?9) "!#$%&'*+-/=?^_`{|}~" non-ascii])
-           'ew:atom-tok)
-          (?\" (setq mode 'quoted-string) 'ew:qs-begin-tok)
-          (?\[ (setq mode 'domain-literal) 'ew:dl-begin-tok)
+           'ew:atom)
+          (?\" (setq mode 'quoted-string) 'ew:qs-begin)
+          (?\[ (setq mode 'domain-literal) 'ew:dl-begin)
           (?\( (setq mode 'comment
                      nest 1)
-               'ew:cm-begin-tok)
-          (() (setq p q) 'ew:err-tok)))
+               'ew:cm-begin)
+          (() (setq p q) 'ew:*err*)))
         (ew-add-frag res r p type))
        ((eq mode 'quoted-string)
         (setq
          type
          (,scan
           str p q
-          (?\" (setq mode 'token) 'ew:qs-end-tok)
-          ((?\\ ?\r ?\n [" \t"]) 'ew:qs-qfold-tok)
+          (?\" (setq mode 'token) 'ew:qs-end)
+          ((?\\ ?\r ?\n [" \t"]) 'ew:qs-qfold)
           ((?\\ ?\r ?\n [^ " \t"])
-           (setq p q) 'ew:err-tok)
+           (setq p q) 'ew:*err*)
           (((* [^ "\"\\ \t\r"])
             (* (+ ?\r) [^ "\"\\ \t\r\n"] (* [^ "\"\\ \t\r"]))
             (* ?\r)
             (?\r ?\n [" \t"]))
            (when (< r (- p 3))
-             (ew-add-frag res r (- p 3) 'ew:qs-texts-tok)
+             (ew-add-frag res r (- p 3) 'ew:qs-texts)
              (setq r (- p 3)))
-           'ew:qs-fold-tok)
+           'ew:qs-fold)
           (((* [^ "\"\\ \t\r"])
             (* (+ ?\r) [^ "\"\\ \t\r\n"] (* [^ "\"\\ \t\r"]))
             (* ?\r)
             (?\r ?\n [^ " \t"]))
            (when (< r (- p 3))
-             (ew-add-frag res r (- p 3) 'ew:qs-texts-tok)
+             (ew-add-frag res r (- p 3) 'ew:qs-texts)
              (setq r (- p 3)))
-           (setq p q) 'ew:err-tok)
+           (setq p q) 'ew:*err*)
           ((?\\ (any))
-           'ew:qs-qpair-tok)
+           'ew:qs-qpair)
           ([" \t"]
-           'ew:qs-wsp-tok)
+           'ew:qs-wsp)
           (((* [^ "\"\\ \t\r"])
             (* (+ ?\r) [^ "\"\\ \t\r\n"] (* [^ "\"\\ \t\r"]))
             (* ?\r))
            (if (< r p)
-               'ew:qs-texts-tok
-             (progn (setq p q) 'ew:err-tok)))))
+               'ew:qs-texts
+             (progn (setq p q) 'ew:*err*)))))
         (ew-add-frag res r p type))
        ((eq mode 'domain-literal)
         (setq
          type
          (,scan
           str p q
-          (?\] (setq mode 'token) 'ew:dl-end-tok)
+          (?\] (setq mode 'token) 'ew:dl-end)
           ((?\\ ?\r ?\n [" \t"])
-           'ew:dl-qfold-tok)
+           'ew:dl-qfold)
           ((?\\ ?\r ?\n [^ " \t"])
-           (setq p q) 'ew:err-tok)
+           (setq p q) 'ew:*err*)
           (((* [^ "[]\\ \t\r"])
             (* (+ ?\r) [^ "[]\\ \t\r\n"] (* [^ "[]\\ \t\r"]))
             (* ?\r)
             (?\r ?\n [" \t"]))
            (when (< r (- p 3))
-             (ew-add-frag res r (- p 3) 'ew:dl-texts-tok)
+             (ew-add-frag res r (- p 3) 'ew:dl-texts)
              (setq r (- p 3)))
-           'ew:dl-fold-tok)
+           'ew:dl-fold)
           (((* [^ "[]\\ \t\r"])
             (* (+ ?\r) [^ "[]\\ \t\r\n"] (* [^ "[]\\ \t\r"]))
             (* ?\r)
             (?\r ?\n [^ " \t"]))
            (when (< r (- p 3))
-             (ew-add-frag res r (- p 3) 'ew:dl-texts-tok)
+             (ew-add-frag res r (- p 3) 'ew:dl-texts)
              (setq r (- p 3)))
-           (setq p q) 'ew:err-tok)
+           (setq p q) 'ew:*err*)
           ((?\\ (any))
-           'ew:dl-qpair-tok)
+           'ew:dl-qpair)
           ([" \t"]
-           'ew:dl-wsp-tok)
+           'ew:dl-wsp)
           (((* [^ "[]\\ \t\r"])
             (* (+ ?\r) [^ "[]\\ \t\r\n"] (* [^ "[]\\ \t\r"]))
             (* ?\r))
            (if (< r p)
-               'ew:dl-texts-tok
-             (progn (setq p q) 'ew:err-tok)))))
+               'ew:dl-texts
+             (progn (setq p q) 'ew:*err*)))))
         (ew-add-frag res r p type))
        ((eq mode 'comment)
         (setq
          type
          (,scan
           str p q
-          (?\( (setq nest (1+ nest)) 'ew:cm-nested-begin-tok)
+          (?\( (setq nest (1+ nest)) 'ew:cm-nested-begin)
           (?\) (setq nest (1- nest))
                (if (zerop nest)
-                   (progn (setq mode 'token) 'ew:cm-end-tok)
-                 'ew:cm-nested-end-tok))
+                   (progn (setq mode 'token) 'ew:cm-end)
+                 'ew:cm-nested-end))
           ((?\\ ?\r ?\n [" \t"])
-           'ew:cm-qfold-tok)
+           'ew:cm-qfold)
           ((?\\ ?\r ?\n [^ " \t"])
-           (setq p q) 'ew:err-tok)
+           (setq p q) 'ew:*err*)
           (((* [^ "()\\ \t\r"])
             (* (+ ?\r) [^ "()\\ \t\r\n"] (* [^ "()\\ \t\r"]))
             (* ?\r)
             (?\r ?\n [" \t"]))
            (when (< r (- p 3))
-             (ew-add-frag res r (- p 3) 'ew:cm-texts-tok)
+             (ew-add-frag res r (- p 3) 'ew:cm-texts)
              (setq r (- p 3)))
-           'ew:cm-fold-tok)
+           'ew:cm-fold)
           (((* [^ "()\\ \t\r"])
             (* (+ ?\r) [^ "()\\ \t\r\n"] (* [^ "()\\ \t\r"]))
             (* ?\r)
             (?\r ?\n [^ " \t"]))
            (when (< r (- p 3))
-             (ew-add-frag res r (- p 3) 'ew:cm-texts-tok)
+             (ew-add-frag res r (- p 3) 'ew:cm-texts)
              (setq r (- p 3)))
-           (setq p q) 'ew:err-tok)
+           (setq p q) 'ew:*err*)
           ((?\\ (any))
-           'ew:cm-qpair-tok)
+           'ew:cm-qpair)
           ([" \t"]
-           'ew:cm-wsp-tok)
+           'ew:cm-wsp)
           (((* [^ "()\\ \t\r"])
             (* (+ ?\r) [^ "()\\ \t\r\n"] (* [^ "()\\ \t\r"]))
             (* ?\r))
            (if (< r p)
-               'ew:cm-texts-tok
-             (progn (setq p q) 'ew:err-tok)))))
+               'ew:cm-texts
+             (progn (setq p q) 'ew:*err*)))))
         (ew-add-frag res r p type))))
      (ew-terminate res)
      res))
index e02fbf6..92c240f 100644 (file)
        type
        (,scan
         str p q
-        ([" \t"] 'ew:us-wsp-tok)
+        ([" \t"] 'ew:us-wsp)
         (((* [^ " \t\r"])
           (* (+ ?\r) [^ " \t\r\n"] (* [^ " \t\r"]))
           (* ?\r)
           (?\r ?\n [" \t"]))
          (when (< r (- p 3))
-           (ew-add-frag res r (- p 3) 'ew:us-texts-tok)
+           (ew-add-frag res r (- p 3) 'ew:us-texts)
            (setq r (- p 3)))
-         'ew:us-fold-tok)
+         'ew:us-fold)
         (((* [^ " \t\r"])
           (* (+ ?\r) [^ " \t\r\n"] (* [^ " \t\r"]))
           (* ?\r)
           (?\r ?\n [^ " \t"]))
          (when (< r (- p 3))
-           (ew-add-frag res r (- p 3) 'ew:us-texts-tok)
+           (ew-add-frag res r (- p 3) 'ew:us-texts)
            (setq r (- p 3)))
-         (setq p q) 'ew:err-tok)
+         (setq p q) 'ew:*err*)
         (((* [^ " \t\r"])
           (* (+ ?\r) [^ " \t\r\n"] (* [^ " \t\r"]))
           (* ?\r))
          (if (< r p)
-             'ew:us-texts-tok
-           (progn (setq p q) 'ew:err-tok)))))
+             'ew:us-texts
+           (progn (setq p q) 'ew:*err*)))))
        (ew-add-frag res r p type))
      (ew-terminate res)
      res))
index 60d6e81..5ffa73e 100644 (file)
--- a/ew-var.el
+++ b/ew-var.el
 
 ;;;
 (defvar ew-decode-field-syntax-alist
-'(("from"               ew-scan-unibyte-std11 . ew:tag-mailbox+-tok)
-  ("sender"             ew-scan-unibyte-std11 . ew:tag-mailbox-tok)
-  ("to"                 ew-scan-unibyte-std11 . ew:tag-address+-tok)
-  ("resent-to"          ew-scan-unibyte-std11 . ew:tag-address+-tok)
-  ("cc"                 ew-scan-unibyte-std11 . ew:tag-address+-tok)
-  ("resent-cc"          ew-scan-unibyte-std11 . ew:tag-address+-tok)
-  ("bcc"                ew-scan-unibyte-std11 . ew:tag-address*-tok)
-  ("resent-bcc"         ew-scan-unibyte-std11 . ew:tag-address*-tok)
+'(("from"               ew-scan-unibyte-std11 . ew:tag-mailbox+)
+  ("sender"             ew-scan-unibyte-std11 . ew:tag-mailbox)
+  ("to"                 ew-scan-unibyte-std11 . ew:tag-address+)
+  ("resent-to"          ew-scan-unibyte-std11 . ew:tag-address+)
+  ("cc"                 ew-scan-unibyte-std11 . ew:tag-address+)
+  ("resent-cc"          ew-scan-unibyte-std11 . ew:tag-address+)
+  ("bcc"                ew-scan-unibyte-std11 . ew:tag-address*)
+  ("resent-bcc"         ew-scan-unibyte-std11 . ew:tag-address*)
   ("message-id"         ew-scan-unibyte-std11)
   ("resent-message-id"  ew-scan-unibyte-std11)
-  ("in-reply-to"        ew-scan-unibyte-std11 . ew:tag-phrase-msg-id*-tok)
-  ("references"         ew-scan-unibyte-std11 . ew:tag-phrase-msg-id*-tok)
-  ("keywords"           ew-scan-unibyte-std11 . ew:tag-phrase*-tok)
+  ("in-reply-to"        ew-scan-unibyte-std11 . ew:tag-phrase-msg-id*)
+  ("references"         ew-scan-unibyte-std11 . ew:tag-phrase-msg-id*)
+  ("keywords"           ew-scan-unibyte-std11 . ew:tag-phrase*)
   ("subject"            ew-scan-unibyte-unstructured)
   ("comments"           ew-scan-unibyte-unstructured)
   ("encrypted"          ew-scan-unibyte-std11)
   ("date"               ew-scan-unibyte-std11)
-  ("reply-to"           ew-scan-unibyte-std11 . ew:tag-address+-tok)
+  ("reply-to"           ew-scan-unibyte-std11 . ew:tag-address+)
   ("received"           ew-scan-unibyte-std11)
-  ("resent-reply-to"    ew-scan-unibyte-std11 . ew:tag-address+-tok)
-  ("resent-from"        ew-scan-unibyte-std11 . ew:tag-mailbox+-tok)
-  ("resent-sender"      ew-scan-unibyte-std11 . ew:tag-mailbox-tok)
+  ("resent-reply-to"    ew-scan-unibyte-std11 . ew:tag-address+)
+  ("resent-from"        ew-scan-unibyte-std11 . ew:tag-mailbox+)
+  ("resent-sender"      ew-scan-unibyte-std11 . ew:tag-mailbox)
   ("resent-date"        ew-scan-unibyte-std11)
   ("return-path"        ew-scan-unibyte-std11)
   ("mime-version"       ew-scan-unibyte-std11)