* elmo-msgdb.el (elmo-msgdb-get-message-id-from-buffer): Added
[elisp/wanderlust.git] / elmo / elmo-msgdb.el
index 357c7d5..286741a 100644 (file)
 (require 'elmo-util)
 (require 'emu)
 (require 'std11)
+(require 'mime)
+
+(defcustom elmo-msgdb-new-mark "N"
+  "Mark for new message."
+  :type '(string :tag "Mark")
+  :group 'elmo)
+
+(defcustom elmo-msgdb-unread-uncached-mark "U"
+  "Mark for unread and uncached message."
+  :type '(string :tag "Mark")
+  :group 'elmo)
+
+(defcustom elmo-msgdb-unread-cached-mark "!"
+  "Mark for unread but already cached message."
+  :type '(string :tag "Mark")
+  :group 'elmo)
+
+(defcustom elmo-msgdb-read-uncached-mark "u"
+  "Mark for read but uncached message."
+  :type '(string :tag "Mark")
+  :group 'elmo)
+
+;; Not implemented yet.
+(defcustom elmo-msgdb-answered-cached-mark "&"
+  "Mark for answered and cached message."
+  :type '(string :tag "Mark")
+  :group 'elmo)
+
+(defcustom elmo-msgdb-answered-uncached-mark "A"
+  "Mark for answered but cached message."
+  :type '(string :tag "Mark")
+  :group 'elmo)
+
+(defcustom elmo-msgdb-important-mark"$"
+  "Mark for important message."
+  :type '(string :tag "Mark")
+  :group 'elmo)
+
+;;; MSGDB interface.
+(defun elmo-load-msgdb (path)
+  "Load the MSGDB from PATH."
+  (let ((inhibit-quit t))
+    (elmo-make-msgdb (elmo-msgdb-overview-load path)
+                    (elmo-msgdb-number-load path)
+                    (elmo-msgdb-mark-load path))))
+
+(defun elmo-make-msgdb (&optional overview number-alist mark-alist)
+  "Make a MSGDB."
+  (let ((msgdb (list overview number-alist mark-alist nil)))
+    (elmo-msgdb-make-index msgdb)
+    msgdb))
+
+(defsubst elmo-msgdb-get-mark (msgdb number)
+  "Get mark string from MSGDB which corresponds to the message with NUMBER."
+  (cadr (elmo-get-hash-val (format "#%d" number)
+                          (elmo-msgdb-get-mark-hashtb msgdb))))
+
+(defsubst elmo-msgdb-set-mark (msgdb number mark)
+  "Set MARK of the message with NUMBER in the MSGDB.
+if MARK is nil, mark is removed."
+  (let ((elem (elmo-get-hash-val (format "#%d" number)
+                                (elmo-msgdb-get-mark-hashtb msgdb))))
+    (if elem
+       (if mark
+           ;; Set mark of the elem
+           (setcar (cdr elem) mark)
+         ;; Delete elem from mark-alist
+         (elmo-msgdb-set-mark-alist
+          msgdb
+          (delq elem (elmo-msgdb-get-mark-alist msgdb)))
+         (elmo-clear-hash-val (format "#%d" number)
+                              (elmo-msgdb-get-mark-hashtb msgdb)))
+      (when mark
+       ;; Append new element.
+       (elmo-msgdb-set-mark-alist
+        msgdb
+        (nconc
+         (elmo-msgdb-get-mark-alist msgdb)
+         (list (setq elem (list number mark)))))
+       (elmo-set-hash-val (format "#%d" number) elem
+                          (elmo-msgdb-get-mark-hashtb msgdb))))
+    ;; return value.
+    t))
+
+(defun elmo-msgdb-get-cached (msgdb number)
+  "Return non-nil if message is cached."
+  (not (member (elmo-msgdb-get-mark msgdb number)
+              (elmo-msgdb-uncached-marks))))
+
+(defun elmo-msgdb-set-cached (msgdb number cached use-cache)
+  "Set message cache status.
+If mark is changed, return non-nil."
+  (let* ((cur-mark (elmo-msgdb-get-mark msgdb number))
+        (cur-flag (cond
+                     ((string= cur-mark elmo-msgdb-important-mark)
+                      'important)
+                     ((member cur-mark (elmo-msgdb-answered-marks))
+                      'answered)
+                     ((not (member cur-mark (elmo-msgdb-unread-marks)))
+                      'read)))
+        (cur-cached (elmo-file-cache-exists-p
+                     (elmo-msgdb-get-field msgdb number 'message-id))))
+    (unless (eq cached cur-cached)
+      (case cur-flag
+       (read
+        (elmo-msgdb-set-mark msgdb number
+                             (if (and use-cache (not cached))
+                                 elmo-msgdb-read-uncached-mark)))
+       (important nil)
+       (answered
+        (elmo-msgdb-set-mark msgdb number
+                             (if cached
+                                 elmo-msgdb-answered-cached-mark
+                               elmo-msgdb-answered-uncached-mark)))
+       (t
+        (elmo-msgdb-set-mark msgdb number
+                             (if cached
+                                 elmo-msgdb-unread-cached-mark
+                               elmo-msgdb-unread-uncached-mark)))))))
+
+(defun elmo-msgdb-set-flag (msgdb folder number flag)
+  "Set message flag.
+MSGDB is the ELMO msgdb.
+FOLDER is a ELMO folder structure.
+NUMBER is a message number to set flag.
+FLAG is a symbol which is one of the following:
+`read'      ... Messages which are already read.
+`important' ... Messages which are marked as important.
+`answered'  ... Messages which are marked as answered."
+  (let* ((cur-mark (elmo-msgdb-get-mark msgdb number))
+        (use-cache (elmo-message-use-cache-p folder number))
+        (cur-flag (cond
+                   ((string= cur-mark elmo-msgdb-important-mark)
+                    'important)
+                   ((member cur-mark (elmo-msgdb-answered-marks))
+                    'answered)
+                   ((not (member cur-mark (elmo-msgdb-unread-marks)))
+                    'read)))
+        (cur-cached (elmo-file-cache-exists-p
+                     (elmo-msgdb-get-field msgdb number 'message-id)))
+        mark-modified)
+    (case flag
+      (read
+       (case cur-flag
+        ((read important answered))
+        (t (elmo-msgdb-set-mark msgdb number
+                                (if (and use-cache (not cur-cached))
+                                    elmo-msgdb-read-uncached-mark))
+           (setq mark-modified t))))
+      (important
+       (unless (eq cur-flag 'important)
+        (elmo-msgdb-set-mark msgdb number elmo-msgdb-important-mark)
+        (setq mark-modified t)))
+      (answered
+       (unless (or (eq cur-flag 'answered) (eq cur-flag 'important))
+        (elmo-msgdb-set-mark msgdb number
+                             (if cur-cached
+                                 elmo-msgdb-answered-cached-mark
+                               elmo-msgdb-answered-uncached-mark)))
+       (setq mark-modified t)))
+    (if mark-modified (elmo-folder-set-mark-modified-internal folder t))))
+
+(defun elmo-msgdb-unset-flag (msgdb folder number flag)
+  "Unset message flag.
+MSGDB is the ELMO msgdb.
+FOLDER is a ELMO folder structure.
+NUMBER is a message number to be set flag.
+FLAG is a symbol which is one of the following:
+`read'      ... Messages which are already read.
+`important' ... Messages which are marked as important.
+`answered'  ... Messages which are marked as answered."
+  (let* ((cur-mark (elmo-msgdb-get-mark msgdb number))
+        (use-cache (elmo-message-use-cache-p folder number))
+        (cur-flag (cond
+                   ((string= cur-mark elmo-msgdb-important-mark)
+                    'important)
+                   ((member cur-mark (elmo-msgdb-answered-marks))
+                    'answered)
+                   ((not (member cur-mark (elmo-msgdb-unread-marks)))
+                    'read)))
+        (cur-cached (elmo-file-cache-exists-p
+                     (elmo-msgdb-get-field msgdb number 'message-id)))
+        mark-modified)
+    (case flag
+      (read
+       (when (eq cur-flag 'read)
+        (elmo-msgdb-set-mark msgdb number
+                             (if cur-cached
+                                 elmo-msgdb-unread-cached-mark
+                               elmo-msgdb-unread-uncached-mark))
+        (setq mark-modified t)))
+      (important
+       (when (eq cur-flag 'important)
+        (elmo-msgdb-set-mark msgdb number nil)
+        (setq mark-modified t)))
+      (answered
+       (when (eq cur-flag 'answered)
+        (elmo-msgdb-set-mark msgdb number
+                             (if (and use-cache (not cur-cached))
+                                 elmo-msgdb-read-uncached-mark))
+        (setq mark-modified t))))
+    (if mark-modified (elmo-folder-set-mark-modified-internal folder t))))
+
+(defvar elmo-msgdb-unread-marks-internal nil)
+(defsubst elmo-msgdb-unread-marks ()
+  "Return an unread mark list"
+  (or elmo-msgdb-unread-marks-internal
+      (setq elmo-msgdb-unread-marks-internal
+           (list elmo-msgdb-new-mark
+                 elmo-msgdb-unread-uncached-mark
+                 elmo-msgdb-unread-cached-mark))))
+
+(defvar elmo-msgdb-answered-marks-internal nil)
+(defsubst elmo-msgdb-answered-marks ()
+  "Return an answered mark list"
+  (or elmo-msgdb-answered-marks-internal
+      (setq elmo-msgdb-answered-marks-internal
+           (list elmo-msgdb-answered-cached-mark
+                 elmo-msgdb-answered-uncached-mark))))
+
+(defvar elmo-msgdb-uncached-marks-internal nil)
+(defsubst elmo-msgdb-uncached-marks ()
+  (or elmo-msgdb-uncached-marks-internal
+      (setq elmo-msgdb-uncached-marks-internal
+           (list elmo-msgdb-new-mark
+                 elmo-msgdb-answered-uncached-mark
+                 elmo-msgdb-unread-uncached-mark
+                 elmo-msgdb-read-uncached-mark))))
+
+(defsubst elmo-msgdb-count-marks (msgdb)
+  (let ((new 0)
+       (unreads 0)
+       (answered 0))
+    (dolist (elem (elmo-msgdb-get-mark-alist msgdb))
+      (cond
+       ((string= (cadr elem) elmo-msgdb-new-mark)
+       (incf new))
+       ((member (cadr elem) (elmo-msgdb-unread-marks))
+       (incf unreads))
+       ((member (cadr elem) (elmo-msgdb-answered-marks))
+       (incf answered))))
+    (list new unreads answered)))
+
+(defsubst elmo-msgdb-get-number (msgdb message-id)
+  "Get number of the message which corrensponds to MESSAGE-ID from MSGDB."
+  (elmo-msgdb-overview-entity-get-number
+   (elmo-msgdb-overview-get-entity message-id msgdb)))
+
+(defsubst elmo-msgdb-get-field (msgdb number field)
+  "Get FIELD value of the message with NUMBER from MSGDB."
+  (case field
+    (message-id (elmo-msgdb-overview-entity-get-id
+                (elmo-msgdb-overview-get-entity
+                 number msgdb)))
+    (subject (elmo-msgdb-overview-entity-get-subject
+             (elmo-msgdb-overview-get-entity
+              number msgdb)))
+    (size (elmo-msgdb-overview-entity-get-size
+          (elmo-msgdb-overview-get-entity
+           number msgdb)))
+    (date (elmo-msgdb-overview-entity-get-date
+          (elmo-msgdb-overview-get-entity
+           number msgdb)))
+    (to (elmo-msgdb-overview-entity-get-to
+        (elmo-msgdb-overview-get-entity
+         number msgdb)))
+    (cc (elmo-msgdb-overview-entity-get-cc
+        (elmo-msgdb-overview-get-entity
+         number msgdb)))))
+
+(defsubst elmo-msgdb-append (msgdb msgdb-append)
+  (list
+   (nconc (car msgdb) (car msgdb-append))
+   (nconc (cadr msgdb) (cadr msgdb-append))
+   (nconc (caddr msgdb) (caddr msgdb-append))
+   (elmo-msgdb-make-index
+    msgdb
+    (elmo-msgdb-get-overview msgdb-append)
+    (elmo-msgdb-get-mark-alist msgdb-append))))
+
+(defsubst elmo-msgdb-clear (&optional msgdb)
+  (if msgdb
+      (list
+       (setcar msgdb nil)
+       (setcar (cdr msgdb) nil)
+       (setcar (cddr msgdb) nil)
+       (setcar (nthcdr 3 msgdb) nil))
+    (list nil nil nil nil)))
+
+(defun elmo-msgdb-delete-msgs (msgdb msgs)
+  "Delete MSGS from MSGDB
+content of MSGDB is changed."
+  (let* ((overview (car msgdb))
+        (number-alist (cadr msgdb))
+        (mark-alist (caddr msgdb))
+        (index (elmo-msgdb-get-index msgdb))
+        (newmsgdb (list overview number-alist mark-alist index))
+        ov-entity)
+    ;; remove from current database.
+    (while msgs
+      (setq overview
+           (delq
+            (setq ov-entity
+                  (elmo-msgdb-overview-get-entity (car msgs) newmsgdb))
+            overview))
+      (setq number-alist (delq (assq (car msgs) number-alist) number-alist))
+      (setq mark-alist (delq (assq (car msgs) mark-alist) mark-alist))
+      ;;
+      (when index (elmo-msgdb-clear-index msgdb ov-entity))
+      (setq msgs (cdr msgs)))
+    (setcar msgdb overview)
+    (setcar (cdr msgdb) number-alist)
+    (setcar (cddr msgdb) mark-alist)
+    (setcar (nthcdr 3 msgdb) index)
+    t)) ;return value
+
+(defun elmo-msgdb-sort-by-date (msgdb)
+  (message "Sorting...")
+  (let ((overview (elmo-msgdb-get-overview msgdb)))
+    (setq overview (elmo-msgdb-overview-sort-by-date overview))
+    (message "Sorting...done")
+    (list overview (nth 1 msgdb)(nth 2 msgdb))))
 
+(defun elmo-msgdb-make-entity (&rest args)
+  "Make an msgdb entity."
+  (cons (plist-get args :message-id)
+       (vector (plist-get args :number)
+               (plist-get args :references)
+               (plist-get args :from)
+               (plist-get args :subject)
+               (plist-get args :date)
+               (plist-get args :to)
+               (plist-get args :cc)
+               (plist-get args :size)
+               (plist-get args :extra))))
+
+;;;
 (defsubst elmo-msgdb-append-element (list element)
   (if list
 ;;;   (append list (list element))
   (caddr msgdb))
 ;(defsubst elmo-msgdb-get-location (msgdb)
 ;  (cadddr msgdb))
-(defsubst elmo-msgdb-get-overviewht (msgdb)
+
+(defsubst elmo-msgdb-get-index (msgdb)
   (nth 3 msgdb))
 
+(defsubst elmo-msgdb-get-entity-hashtb (msgdb)
+  (car (nth 3 msgdb)))
+
+(defsubst elmo-msgdb-get-mark-hashtb (msgdb)
+  (cdr (nth 3 msgdb)))
+
 ;;
 ;; number <-> Message-ID handling
 ;;
 ;;;
 ;; persistent mark handling
 ;; (for each folder)
-(defun elmo-msgdb-mark-set (alist id mark)
-  (let ((ret-val alist)
-       entity)
-    (setq entity (assq id alist))
-    (if entity
-       (if (eq mark nil)
-           ;; delete this entity
-           (setq ret-val (delq entity alist))
-         ;; set mark
-         (setcar (cdr entity) mark))
-      (if mark
-         (setq ret-val (elmo-msgdb-append-element ret-val
-                                                  (list id mark)))))
-    ret-val))
 
 (defun elmo-msgdb-mark-append (alist id mark)
   "Append mark."
   (setq alist (elmo-msgdb-append-element alist
                                         (list id mark))))
 
-(defun elmo-msgdb-mark-alist-to-seen-list (number-alist mark-alist seen-marks)
-  "Make seen-list from MARK-ALIST."
-  (let ((seen-mark-list (string-to-char-list seen-marks))
-       ret-val ent)
-    (while number-alist
-      (if (setq ent (assq (car (car number-alist)) mark-alist))
-         (if (and (cadr ent)
-                  (memq (string-to-char (cadr ent)) seen-mark-list))
-             (setq ret-val (cons (cdr (car number-alist)) ret-val)))
-       (setq ret-val (cons (cdr (car number-alist)) ret-val)))
-      (setq number-alist (cdr number-alist)))
-    ret-val))
+(defun elmo-msgdb-seen-list (msgdb)
+  "Get SEEN-MSGID-LIST from MSGDB."
+  (let ((ov (elmo-msgdb-get-overview msgdb))
+       mark seen-list)
+    (while ov
+      (if (setq mark (elmo-msgdb-get-mark
+                     msgdb
+                     (elmo-msgdb-overview-entity-get-number (car ov))))
+         (if (and mark (not (member mark
+                                    (elmo-msgdb-unread-marks))))
+             (setq seen-list (cons
+                              (elmo-msgdb-overview-entity-get-id (car ov))
+                              seen-list)))
+       (setq seen-list (cons
+                        (elmo-msgdb-overview-entity-get-id (car ov))
+                        seen-list)))
+      (setq ov (cdr ov)))
+    seen-list))
 
 ;;
 ;; mime decode cache
@@ -264,6 +599,19 @@ header separator."
        (setcar (cdr entity) after))
       (setq mark-alist (cdr mark-alist)))))
 
+(defsubst elmo-msgdb-mark (flag cached)
+  (case flag
+    (unread
+     (if cached
+        elmo-msgdb-unread-cached-mark
+       elmo-msgdb-unread-uncached-mark))
+    (important
+     elmo-msgdb-important-mark)
+    (answered
+     (if cached
+        elmo-msgdb-answered-cached-mark
+       elmo-msgdb-answered-uncached-mark))))
+
 (defsubst elmo-msgdb-seen-save (dir obj)
   (elmo-object-save
    (expand-file-name elmo-msgdb-seen-filename dir)
@@ -274,7 +622,7 @@ header separator."
    (expand-file-name elmo-msgdb-overview-filename dir)
    overview))
 
-(defun elmo-msgdb-match-condition-primitive (condition entity numbers)
+(defun elmo-msgdb-match-condition-primitive (condition mark entity numbers)
   (catch 'unresolved
     (let ((key (elmo-filter-key condition))
          (case-fold-search t)
@@ -294,6 +642,26 @@ header separator."
                                   entity)
                                  numbers)))
                        (string-to-int (elmo-filter-value condition)))))
+       ((string= key "flag")
+       (setq result
+             (cond
+              ((string= (elmo-filter-value condition) "any")
+               (not (or (null mark)
+                        (string= mark elmo-msgdb-read-uncached-mark))))
+              ((string= (elmo-filter-value condition) "digest")
+               (not (or (null mark)
+                        (string= mark elmo-msgdb-read-uncached-mark)
+                        (string= mark elmo-msgdb-answered-cached-mark)
+                        (string= mark elmo-msgdb-answered-uncached-mark))))
+;;       (member mark (append (elmo-msgdb-answered-marks)
+;;                            (list elmo-msgdb-important-mark)
+;;                            (elmo-msgdb-unread-marks))))
+              ((string= (elmo-filter-value condition) "unread")
+               (member mark (elmo-msgdb-unread-marks)))
+              ((string= (elmo-filter-value condition) "important")
+               (string= mark elmo-msgdb-important-mark))
+              ((string= (elmo-filter-value condition) "answered")
+               (member mark (elmo-msgdb-answered-marks))))))
        ((string= key "from")
        (setq result (string-match
                      (elmo-filter-value condition)
@@ -336,31 +704,31 @@ header separator."
          (not result)
        result))))
 
-(defun elmo-msgdb-match-condition (condition entity numbers)
+(defun elmo-msgdb-match-condition-internal (condition mark entity numbers)
   (cond
    ((vectorp condition)
-    (elmo-msgdb-match-condition-primitive condition entity numbers))
+    (elmo-msgdb-match-condition-primitive condition mark entity numbers))
    ((eq (car condition) 'and)
-    (let ((lhs (elmo-msgdb-match-condition (nth 1 condition)
-                                          entity numbers)))
+    (let ((lhs (elmo-msgdb-match-condition-internal (nth 1 condition)
+                                                   mark entity numbers)))
       (cond
        ((elmo-filter-condition-p lhs)
-       (let ((rhs (elmo-msgdb-match-condition (nth 2 condition)
-                                              entity numbers)))
+       (let ((rhs (elmo-msgdb-match-condition-internal
+                   (nth 2 condition) mark entity numbers)))
          (cond ((elmo-filter-condition-p rhs)
                 (list 'and lhs rhs))
                (rhs
                 lhs))))
        (lhs
-       (elmo-msgdb-match-condition (nth 2 condition)
-                                   entity numbers)))))
+       (elmo-msgdb-match-condition-internal (nth 2 condition)
+                                            mark entity numbers)))))
    ((eq (car condition) 'or)
-    (let ((lhs (elmo-msgdb-match-condition (nth 1 condition)
-                                          entity numbers)))
+    (let ((lhs (elmo-msgdb-match-condition-internal (nth 1 condition)
+                                                   mark entity numbers)))
       (cond
        ((elmo-filter-condition-p lhs)
-       (let ((rhs (elmo-msgdb-match-condition (nth 2 condition)
-                                              entity numbers)))
+       (let ((rhs (elmo-msgdb-match-condition-internal (nth 2 condition)
+                                                       mark entity numbers)))
          (cond ((elmo-filter-condition-p rhs)
                 (list 'or lhs rhs))
                (rhs
@@ -370,39 +738,22 @@ header separator."
        (lhs
        t)
        (t
-       (elmo-msgdb-match-condition (nth 2 condition)
-                                   entity numbers)))))))
-
-(defun elmo-msgdb-delete-msgs (msgdb msgs)
-  "Delete MSGS from MSGDB
-content of MSGDB is changed."
-  (save-excursion
-    (let* (;(msgdb (elmo-folder-msgdb folder))
-          (overview (car msgdb))
-          (number-alist (cadr msgdb))
-          (mark-alist (caddr msgdb))
-          (hashtb (elmo-msgdb-get-overviewht msgdb))
-          (newmsgdb (list overview number-alist mark-alist hashtb))
-          ov-entity)
-      ;; remove from current database.
-      (while msgs
-       (setq overview
-             (delq
-              (setq ov-entity
-                    (elmo-msgdb-overview-get-entity (car msgs) newmsgdb))
-              overview))
-       (when (and elmo-use-overview-hashtb hashtb)
-         (elmo-msgdb-clear-overview-hashtb ov-entity hashtb))
-       (setq number-alist
-             (delq (assq (car msgs) number-alist) number-alist))
-       (setq mark-alist (delq (assq (car msgs) mark-alist) mark-alist))
-       (setq msgs (cdr msgs)))
-      ;(elmo-folder-set-message-modified-internal folder t)
-      (setcar msgdb overview)
-      (setcar (cdr msgdb) number-alist)
-      (setcar (cddr msgdb) mark-alist)
-      (setcar (nthcdr 3 msgdb) hashtb))
-    t)) ;return value
+       (elmo-msgdb-match-condition-internal (nth 2 condition)
+                                            mark entity numbers)))))))
+
+(defun elmo-msgdb-match-condition (msgdb condition number numbers)
+  "Check whether the condition of the message is satisfied or not.
+MSGDB is the msgdb to search from.
+CONDITION is the search condition.
+NUMBER is the message number to check.
+NUMBERS is the target message number list.
+Return CONDITION itself if no entity exists in msgdb."
+  (let ((entity (elmo-msgdb-overview-get-entity number msgdb)))
+    (if entity
+       (elmo-msgdb-match-condition-internal condition
+                                            (elmo-msgdb-get-mark msgdb number)
+                                            entity numbers)
+      condition)))
 
 (defsubst elmo-msgdb-set-overview (msgdb overview)
   (setcar msgdb overview))
@@ -413,6 +764,9 @@ content of MSGDB is changed."
 (defsubst elmo-msgdb-set-mark-alist (msgdb mark-alist)
   (setcar (cddr msgdb) mark-alist))
 
+(defsubst elmo-msgdb-set-index (msgdb index)
+  (setcar (cdddr msgdb) index))
+
 (defsubst elmo-msgdb-overview-entity-get-references (entity)
   (and entity (aref (cdr entity) 1)))
 
@@ -520,21 +874,11 @@ content of MSGDB is changed."
 
 (defun elmo-msgdb-overview-get-entity (id msgdb)
   (when id
-    (let ((ovht (elmo-msgdb-get-overviewht msgdb)))
-      (if ovht ; use overview hash
+    (let ((ht (elmo-msgdb-get-entity-hashtb msgdb)))
+      (if ht
          (if (stringp id) ;; ID is message-id
-             (elmo-get-hash-val id ovht)
-           (elmo-get-hash-val (format "#%d" id) ovht))
-       (let* ((overview (elmo-msgdb-get-overview msgdb))
-              (number-alist (elmo-msgdb-get-number-alist msgdb))
-              (message-id (if (stringp id)
-                              id ;; ID is message-id
-                            (cdr (assq id number-alist))))
-              entity)
-         (if message-id
-             (assoc message-id overview)
-           ;; ID is number. message-id is nil or no exists in number-alist.
-           (elmo-msgdb-overview-get-entity-by-number overview id)))))))
+             (elmo-get-hash-val id ht)
+           (elmo-get-hash-val (format "#%d" id) ht))))))
 
 ;;
 ;; deleted message handling
@@ -635,51 +979,62 @@ content of MSGDB is changed."
                     elmo-msgdb-directory)
                    alist))
 
-(defun elmo-msgdb-add-msgs-to-seen-list (msgs msgdb unread-marks seen-list)
+(defun elmo-msgdb-add-msgs-to-seen-list (msgs msgdb seen-list)
   ;; Add to seen list.
-  (let* ((number-alist (elmo-msgdb-get-number-alist msgdb))
-        (mark-alist   (elmo-msgdb-get-mark-alist msgdb))
-        ent)
+  (let (mark)
     (while msgs
-      (if (setq ent (assq (car msgs) mark-alist))
-         (unless (member (cadr ent) unread-marks) ;; not unread mark
+      (if (setq mark (elmo-msgdb-get-mark msgdb (car msgs)))
+         (unless (member mark (elmo-msgdb-unread-marks)) ;; not unread mark
            (setq seen-list
-                 (cons (cdr (assq (car msgs) number-alist)) seen-list)))
+                 (cons
+                  (elmo-msgdb-get-field msgdb (car msgs) 'message-id)
+                  seen-list)))
        ;; no mark ... seen...
        (setq seen-list
-             (cons (cdr (assq (car msgs) number-alist)) seen-list)))
+             (cons 
+              (elmo-msgdb-get-field msgdb (car msgs) 'message-id)
+              seen-list)))
       (setq msgs (cdr msgs)))
     seen-list))
 
 (defun elmo-msgdb-get-message-id-from-buffer ()
-  (or (elmo-field-body "message-id")
+  (let ((msgid (elmo-field-body "message-id")))
+    (if msgid
+       (if (string-match "<\\(.+\\)>$" msgid)
+           msgid
+         (concat "<" msgid ">")) ; Invaild message-id.
       ;; no message-id, so put dummy msgid.
-      (concat (timezone-make-date-sortable
-              (elmo-field-body "date"))
+      (concat "<" (timezone-make-date-sortable
+                  (elmo-field-body "date"))
              (nth 1 (eword-extract-address-components
-                     (or (elmo-field-body "from") "nobody"))))))
+                     (or (elmo-field-body "from") "nobody"))) ">"))))
 
 (defsubst elmo-msgdb-create-overview-from-buffer (number &optional size time)
   "Create overview entity from current buffer.
 Header region is supposed to be narrowed."
   (save-excursion
     (let ((extras elmo-msgdb-extra-fields)
+         (default-mime-charset default-mime-charset)
          message-id references from subject to cc date
-         extra field-body)
+         extra field-body charset)
       (elmo-set-buffer-multibyte default-enable-multibyte-characters)
       (setq message-id (elmo-msgdb-get-message-id-from-buffer))
+      (and (setq charset (cdr (assoc "charset" (mime-read-Content-Type))))
+          (setq charset (intern-soft charset))
+          (setq default-mime-charset charset))
       (setq references
            (or (elmo-msgdb-get-last-message-id
                 (elmo-field-body "in-reply-to"))
                (elmo-msgdb-get-last-message-id
                 (elmo-field-body "references"))))
-      (setq from (elmo-mime-string (elmo-delete-char
-                                   ?\"
-                                   (or
-                                    (elmo-field-body "from")
-                                    elmo-no-from))))
-      (setq subject (elmo-mime-string (or (elmo-field-body "subject")
-                                         elmo-no-subject)))
+      (setq from (elmo-replace-in-string
+                 (elmo-mime-string (or (elmo-field-body "from")
+                                       elmo-no-from))
+                 "\t" " ")
+           subject (elmo-replace-in-string
+                    (elmo-mime-string (or (elmo-field-body "subject")
+                                          elmo-no-subject))
+                    "\t" " "))
       (setq date (or (elmo-field-body "date") time))
       (setq to   (mapconcat 'identity (elmo-multiple-field-body "to") ","))
       (setq cc   (mapconcat 'identity (elmo-multiple-field-body "cc") ","))
@@ -753,80 +1108,55 @@ Header region is supposed to be narrowed."
                 (elmo-msgdb-overview-entity-get-date y)))
             (error))))))
 
-(defun elmo-msgdb-sort-by-date (msgdb)
-  (message "Sorting...")
-  (let ((overview (elmo-msgdb-get-overview msgdb)))
-    (setq overview (elmo-msgdb-overview-sort-by-date overview))
-    (message "Sorting...done")
-    (list overview (nth 1 msgdb)(nth 2 msgdb))))
-
-(defun elmo-msgdb-clear-overview-hashtb (entity hashtb)
-  (let (number)
-    (when (and entity
-              elmo-use-overview-hashtb
-              hashtb)
+(defun elmo-msgdb-clear-index (msgdb entity)
+  (let ((ehash (elmo-msgdb-get-entity-hashtb msgdb))
+       (mhash (elmo-msgdb-get-mark-hashtb msgdb))
+       number)
+    (when (and entity ehash)
       (and (setq number (elmo-msgdb-overview-entity-get-number entity))
-          (elmo-clear-hash-val (format "#%d" number) hashtb))
+          (elmo-clear-hash-val (format "#%d" number) ehash))
       (and (car entity) ;; message-id
-          (elmo-clear-hash-val (car entity) hashtb)))))
-
-(defun elmo-msgdb-make-overview-hashtb (overview &optional hashtb)
-  (if (and elmo-use-overview-hashtb
-          overview)
-      (let ((hashtb (or hashtb ;; append
-                       (elmo-make-hash (length overview)))))
-       (while overview
-         ;; key is message-id
-         (if (caar overview)
-             (elmo-set-hash-val (caar overview) (car overview) hashtb))
-         ;; key is number
-         (elmo-set-hash-val
-          (format "#%d" (elmo-msgdb-overview-entity-get-number (car overview)))
-          (car overview) hashtb)
-         (setq overview (cdr overview)))
-       hashtb)
-    nil))
-
-(defsubst elmo-msgdb-append (msgdb msgdb-append &optional set-hash)
-  (list
-   (nconc (car msgdb) (car msgdb-append))
-   (nconc (cadr msgdb) (cadr msgdb-append))
-   (nconc (caddr msgdb) (caddr msgdb-append))
-   (and set-hash
-       (elmo-msgdb-make-overview-hashtb (car msgdb-append) (nth 3 msgdb)))))
-
-(defsubst elmo-msgdb-clear (&optional msgdb)
-  (if msgdb
-      (list
-       (setcar msgdb nil)
-       (setcar (cdr msgdb) nil)
-       (setcar (cddr msgdb) nil)
-       (setcar (nthcdr 3 msgdb) (elmo-msgdb-make-overview-hashtb nil)))
-    (list nil nil nil (elmo-msgdb-make-overview-hashtb nil))))
+          (elmo-clear-hash-val (car entity) ehash)))
+    (when (and entity mhash)
+      (and (setq number (elmo-msgdb-overview-entity-get-number entity))
+          (elmo-clear-hash-val (format "#%d" number) mhash)))))
+
+(defun elmo-msgdb-make-index (msgdb &optional overview mark-alist)
+  "Append OVERVIEW and MARK-ALIST to the index of MSGDB.
+If OVERVIEW and MARK-ALIST are nil, make index for current MSGDB.
+Return the updated INDEX."
+  (when msgdb
+    (let* ((overview (or overview (elmo-msgdb-get-overview msgdb)))
+          (mark-alist (or mark-alist (elmo-msgdb-get-mark-alist msgdb)))
+          (index (elmo-msgdb-get-index msgdb))
+          (ehash (or (car index) ;; append
+                     (elmo-make-hash (length overview))))
+          (mhash (or (cdr index) ;; append
+                     (elmo-make-hash (length overview)))))
+      (while overview
+       ;; key is message-id
+       (if (caar overview)
+           (elmo-set-hash-val (caar overview) (car overview) ehash))
+       ;; key is number
+       (elmo-set-hash-val
+        (format "#%d"
+                (elmo-msgdb-overview-entity-get-number (car overview)))
+        (car overview) ehash)
+       (setq overview (cdr overview)))
+      (while mark-alist
+       ;; key is number
+       (elmo-set-hash-val
+        (format "#%d" (car (car mark-alist)))
+        (car mark-alist) mhash)
+       (setq mark-alist (cdr mark-alist)))
+      (setq index (or index (cons ehash mhash)))
+      (elmo-msgdb-set-index msgdb index)
+      index)))
 
 (defsubst elmo-folder-get-info (folder &optional hashtb)
   (elmo-get-hash-val folder
                     (or hashtb elmo-folder-info-hashtb)))
 
-(defun elmo-folder-set-info-hashtb (folder max numbers &optional new unread)
-  (let ((info (elmo-folder-get-info folder)))
-    (when info
-      (or new     (setq new     (nth 0 info)))
-      (or unread  (setq unread  (nth 1 info)))
-      (or numbers (setq numbers (nth 2 info)))
-      (or max     (setq max     (nth 3 info))))
-    (elmo-set-hash-val folder
-                      (list new unread numbers max)
-                      elmo-folder-info-hashtb)))
-
-(defun elmo-folder-set-info-max-by-numdb (folder msgdb-number)
-  (let ((num-db (sort (mapcar 'car msgdb-number) '<)))
-    (elmo-folder-set-info-hashtb
-     folder
-     (or (nth (max 0 (1- (length num-db))) num-db) 0)
-     nil ;;(length num-db)
-     )))
-
 (defun elmo-folder-get-info-max (folder)
   "Get folder info from cache."
   (nth 3 (elmo-folder-get-info folder)))
@@ -837,22 +1167,6 @@ Header region is supposed to be narrowed."
 (defun elmo-folder-get-info-unread (folder)
   (nth 1 (elmo-folder-get-info folder)))
 
-(defun elmo-folder-info-make-hashtb (info-alist hashtb)
-  (let* ((hashtb (or hashtb
-                    (elmo-make-hash (length info-alist)))))
-    (mapcar
-     '(lambda (x)
-       (let ((info (cadr x)))
-         (and (intern-soft (car x) hashtb)
-              (elmo-set-hash-val (car x)
-                                 (list (nth 2 info)   ;; new
-                                       (nth 3 info)   ;; unread
-                                       (nth 1 info)   ;; length
-                                       (nth 0 info))  ;; max
-                                 hashtb))))
-     info-alist)
-    (setq elmo-folder-info-hashtb hashtb)))
-
 (defsubst elmo-msgdb-location-load (dir)
   (elmo-object-load
    (expand-file-name
@@ -871,6 +1185,48 @@ Header region is supposed to be narrowed."
     elmo-msgdb-location-filename
     dir) alist))
 
+(defun elmo-msgdb-list-flagged (msgdb flag)
+  (let ((case-fold-search nil)
+       mark-regexp matched)
+    (case flag
+      (new
+       (setq mark-regexp (regexp-quote elmo-msgdb-new-mark)))
+      (unread
+       (setq mark-regexp (elmo-regexp-opt (elmo-msgdb-unread-marks))))
+      (answered
+       (setq mark-regexp (elmo-regexp-opt (elmo-msgdb-unread-marks))))
+      (important
+       (setq mark-regexp (regexp-quote elmo-msgdb-important-mark)))
+      (read
+       (setq mark-regexp (elmo-regexp-opt (elmo-msgdb-unread-marks))))
+      (digest
+       (setq mark-regexp (elmo-regexp-opt
+                         (append (elmo-msgdb-unread-marks)
+                                 (list elmo-msgdb-important-mark)))))
+      (any
+       (setq mark-regexp (elmo-regexp-opt
+                         (append
+                          (elmo-msgdb-unread-marks)
+                          (elmo-msgdb-answered-marks)
+                          (list elmo-msgdb-important-mark))))))
+    (when mark-regexp
+      (if (eq flag 'read)
+         (dolist (number (elmo-msgdb-get-number-alist msgdb))
+           (unless (string-match mark-regexp (elmo-msgdb-get-mark
+                                              msgdb number))
+             (setq matched (cons number matched))))
+       (dolist (elem (elmo-msgdb-get-mark-alist msgdb))
+         (if (string-match mark-regexp (cadr elem))
+             (setq matched (cons (car elem) matched))))))
+    matched))
+
+(put 'elmo-msgdb-do-each-entity 'lisp-indent-function '1)
+(def-edebug-spec elmo-msgdb-do-each-entity
+  ((symbolp form &rest form) &rest form))
+(defmacro elmo-msgdb-do-each-entity (spec &rest form)
+  `(dolist (,(car spec) (elmo-msgdb-get-overview ,(car (cdr spec))))
+     ,@form))
+
 (require 'product)
 (product-provide (provide 'elmo-msgdb) (require 'elmo-version))