(elmo-msgdb-get-message-id-from-buffer): Use
[elisp/wanderlust.git] / elmo / elmo-archive.el
1 ;;; elmo-archive.el --- Archive folder of ELMO. -*- coding: euc-japan -*-
2
3 ;; Copyright (C) 1998,1999,2000 OKUNISHI Fujikazu <fuji0924@mbox.kyoto-inet.or.jp>
4 ;; Copyright (C) 1998,1999,2000 Yuuichi Teranishi <teranisi@gohome.org>
5
6 ;; Author: OKUNISHI Fujikazu <fuji0924@mbox.kyoto-inet.or.jp>
7 ;;      Yuuichi Teranishi <teranisi@gohome.org>
8 ;; Keywords: mail, net news
9 ;; Created: Sep 13, 1998
10
11 ;; This file is part of ELMO (Elisp Library for Message Orchestration).
12
13 ;; This program is free software; you can redistribute it and/or modify
14 ;; it under the terms of the GNU General Public License as published by
15 ;; the Free Software Foundation; either version 2, or (at your option)
16 ;; any later version.
17 ;;
18 ;; This program is distributed in the hope that it will be useful,
19 ;; but WITHOUT ANY WARRANTY; without even the implied warranty of
20 ;; MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
21 ;; GNU General Public License for more details.
22 ;;
23 ;; You should have received a copy of the GNU General Public License
24 ;; along with GNU Emacs; see the file COPYING.  If not, write to the
25 ;; Free Software Foundation, Inc., 59 Temple Place - Suite 330,
26 ;; Boston, MA 02111-1307, USA.
27 ;;
28
29 ;;; Commentary:
30 ;;
31 ;; TODO:
32 ;; Info-Zip ÀìÍÑ¥¨¡¼¥¸¥§¥ó¥È¤òÍѤ¤¤¿ÆüËܸ측º÷¡ÊOS/2 ÀìÍÑ¡Ë¡£
33
34 ;;; Code:
35 ;;
36
37 (require 'elmo-msgdb)
38 (require 'emu)
39 (require 'std11)
40 (eval-when-compile (require 'elmo-localdir))
41
42 ;;; User vars.
43 (defvar elmo-archive-lha-dos-compatible
44   (memq system-type '(OS/2 emx windows-nt))
45   "*If non-nil, regard your LHA as compatible to DOS version.")
46
47 (defvar elmo-archive-use-izip-agent (memq system-type '(OS/2 emx))
48   "*If non-nil, use the special agent in fetching headers.")
49
50 (defvar elmo-archive-folder-path "~/Mail"
51   "*Base directory for archive folders.")
52
53 (defvar elmo-archive-basename "elmo-archive"
54   "*Common basename of archive folder file, w/o suffix.")
55
56 (defvar elmo-archive-cmdstr-max-length 8000 ; SASAKI Osamu's suggestion
57   "*Command line string limitation under OS/2, exactly 8190 bytes.")
58
59 (defvar elmo-archive-fetch-headers-volume 50
60   "*Quantity of article headers to fetch per once.")
61
62 (defvar elmo-archive-dummy-file ".elmo-archive"
63   "*Name of dummy file that will be appended when the folder is null.")
64
65 (defvar elmo-archive-check-existance-strict t
66   "*Check existance of archive contents if non-nil.")
67
68 (defvar elmo-archive-load-hook nil
69   "*Hook called after loading elmo-archive.el.")
70
71 (defvar elmo-archive-treat-file nil
72   "*Treat archive folder as a file if non-nil.")
73
74 ;;; User variables for elmo-archive.
75 (defvar elmo-archive-default-type 'zip
76   "*Default archiver type.  The value must be a symbol.")
77
78 (defvar elmo-archive-use-cache nil
79   "Use cache in archive folder.")
80
81 ;;; ELMO Local directory folder
82 (eval-and-compile
83   (luna-define-class elmo-archive-folder (elmo-folder)
84                      (archive-name archive-type archive-prefix dir-name))
85   (luna-define-internal-accessors 'elmo-archive-folder))
86
87 (luna-define-generic elmo-archive-folder-path (folder)
88   "Return local directory path of the FOLDER.")
89
90 (luna-define-method elmo-archive-folder-path ((folder elmo-archive-folder))
91   elmo-archive-folder-path)
92
93 (luna-define-method elmo-folder-initialize ((folder
94                                              elmo-archive-folder)
95                                             name)
96   (elmo-archive-folder-set-dir-name-internal folder name)
97   (when (string-match
98          "^\\([^;]*\\);?\\([^;]*\\);?\\([^;]*\\)$"
99          name)
100     ;; Drive letter is OK!
101     (or (elmo-archive-folder-set-archive-name-internal
102          folder (elmo-match-string 1 name))
103         (elmo-archive-folder-set-archive-name-internal
104          folder ""))
105     (or (elmo-archive-folder-set-archive-type-internal
106          folder (intern-soft (elmo-match-string 2 name)))
107         (elmo-archive-folder-set-archive-type-internal
108          folder elmo-archive-default-type))
109     (or (elmo-archive-folder-set-archive-prefix-internal
110          folder (elmo-match-string 3 name))
111         (elmo-archive-folder-set-archive-prefix-internal
112          folder "")))
113   folder)
114
115 (luna-define-method elmo-folder-expand-msgdb-path ((folder
116                                                     elmo-archive-folder))
117   ;; For compatibility
118   (expand-file-name
119    (elmo-replace-string-as-filename
120     (elmo-folder-name-internal folder))
121    (expand-file-name (concat (symbol-name (elmo-folder-type-internal folder))
122                              "/"
123                              (symbol-name
124                               (elmo-archive-folder-archive-type-internal
125                                folder)))
126                      elmo-msgdb-directory)))
127
128 ;;; MMDF parser -- info-zip agent w/ REXX
129 (defvar elmo-mmdf-delimiter "^\01\01\01\01$"
130   "*Regular expression of MMDF delimiter.")
131
132 (defvar elmo-unixmail-delimiter "^From \\([^ \t]+\\) \\(.+\\)"
133   "*Regular expression of UNIX Mail delimiter.")
134
135 (defvar elmo-archive-header-regexp "^[ \t]*[-=][-=][-=][-=]"
136   "*Common regexp of the delimiter in listing archive.") ; marche
137
138 (defvar elmo-archive-file-regexp-alist
139   (append
140    (if elmo-archive-lha-dos-compatible
141        '((lha . "^%s\\([0-9]+\\)$"))    ; OS/2,DOS w/  "-x"
142      '((lha . "^.*[ \t]%s\\([0-9]+\\)$")))
143    '((zip . "^.*[ \t]%s\\([0-9]+\\)$")
144      (zoo . "^.*[ \t]%s\\([0-9]+\\)$")
145      (tar . "^%s\\([0-9]+\\)$")         ; ok
146      (tgz . "^%s\\([0-9]+\\)$")         ; ok
147      (rar . "^[ \t]%s\\([0-9]+\\)$"))))
148
149 (defvar elmo-archive-suffix-alist
150    '((lha . ".lzh")  ; default
151 ;;;  (lha . ".lzs")
152      (zip . ".zip")
153      (zoo . ".zoo")
154 ;;;  (arc . ".arc")
155 ;;;  (arj . ".arj")
156      (rar . ".rar")
157      (tar . ".tar")
158      (tgz . ".tar.gz")))
159
160 ;;; lha
161 (defvar elmo-archive-lha-method-alist
162   (if elmo-archive-lha-dos-compatible
163       ;; OS/2
164       '((cp  . ("lha" "u" "-x"))
165         (mv  . ("lha" "m" "-x"))
166         (rm  . ("lha" "d"))
167         (ls  . ("lha" "l" "-x"))
168         (cat . ("lha" "p" "-n"))
169         (ext . ("lha" "x"))             ; "-x"
170         )
171     ;; some UN|X
172     '((cp  . ("lha" "u"))
173       (mv  . ("lha" "m"))
174       (rm  . ("lha" "d"))
175       (ls  . ("lha" "l"))
176       (cat . ("lha" "pq"))
177       (ext . ("lha" "x")))))
178
179 ;;; info-zip/unzip
180 (defvar elmo-archive-zip-method-alist
181   '((cp       . ("zip" "-9q"))
182     (cp-pipe  . ("zip" "-9q@"))
183     (mv       . ("zip" "-mDq9"))
184     (mv-pipe  . ("zip" "-mDq9@"))
185     (rm       . ("zip" "-dq"))
186     (rm-pipe  . ("zip" "-dq@"))
187     (ls       . ("unzip" "-lq"))
188     (cat      . ("unzip" "-pq"))
189     (ext      . ("unzip"))
190     (cat-headers . ("izwlagent" "--cat"))))
191
192 ;;; zoo
193 (defvar elmo-archive-zoo-method-alist
194   '((cp       . ("zoo" "aq"))
195     (cp-pipe  . ("zoo" "aqI"))
196     (mv       . ("zoo" "aMq"))
197     (mv-pipe  . ("zoo" "aMqI"))
198     (rm       . ("zoo" "Dq"))
199     (ls       . ("zoo" "l"))            ; normal
200     (cat      . ("zoo" "xpq"))
201     (ext      . ("zoo" "xq"))))
202
203 ;;; rar
204 (defvar elmo-archive-rar-method-alist
205   '((cp       . ("rar" "u" "-m5"))
206     (mv       . ("rar" "m" "-m5"))
207     (rm       . ("rar" "d"))
208     (ls       . ("rar" "v"))
209     (cat      . ("rar" "p" "-inul"))
210     (ext      . ("rar" "x"))))
211
212 ;;; GNU tar (*.tar)
213 (defvar elmo-archive-tar-method-alist
214   (if elmo-archive-lha-dos-compatible
215       '((ls   . ("gtar" "-tf"))
216         (cat  . ("gtar" "--posix Oxf"))
217         (ext  . ("gtar" "-xf"))
218 ;;;     (rm   . ("gtar" "--posix" "--delete" "-f")) ; well not work
219         )
220     '((ls    . ("gtar" "-tf"))
221       (cat   . ("gtar" "-Oxf"))
222       (ext   . ("gtar" "-xf"))
223 ;;;     (rm    . ("gtar" "--delete" "-f")) ;; well not work
224       )))
225
226 ;;; GNU tar (*.tar.gz, *.tar.Z, *.tar.bz2)
227 (defvar elmo-archive-tgz-method-alist
228   '((ls         . ("gtar" "-ztf"))
229     (cat        . ("gtar" "-Ozxf"))
230     (create     . ("gtar" "-zcf"))
231 ;;; (rm         . elmo-archive-tgz-rm-func)
232     (cp         . elmo-archive-tgz-cp-func)
233     (mv         . elmo-archive-tgz-mv-func)
234     (ext        . ("gtar" "-zxf"))
235     ;; tgz special method
236     (decompress . ("gzip" "-d"))
237     (compress   . ("gzip"))
238     (append     . ("gtar" "-uf"))
239 ;;; (delete     . ("gtar" "--delete" "-f")) ; well not work
240     ))
241
242 (defvar elmo-archive-method-list
243   '(elmo-archive-lha-method-alist
244     elmo-archive-zip-method-alist
245     elmo-archive-zoo-method-alist
246 ;;; elmo-archive-tar-method-alist
247     elmo-archive-tgz-method-alist
248 ;;; elmo-archive-arc-method-alist
249 ;;; elmo-archive-arj-method-alist
250     elmo-archive-rar-method-alist))
251
252 ;;; Internal vars.
253 (defvar elmo-archive-method-alist nil)
254 (defvar elmo-archive-suffixes nil)
255
256
257 ;;; Macro
258 (defmacro elmo-archive-get-method (type action)
259   (` (cdr (assq (, action) (cdr (assq (, type)
260                                       elmo-archive-method-alist))))))
261
262 (defmacro elmo-archive-get-suffix (type)
263   (` (cdr (assq (, type)
264                 elmo-archive-suffix-alist))))
265
266 (defmacro elmo-archive-get-regexp (type)
267   (` (cdr (assq (, type)
268                 elmo-archive-file-regexp-alist))))
269
270 (defsubst elmo-archive-call-process (prog args &optional output)
271   (= (apply 'call-process prog nil output nil args) 0))
272
273 (defsubst elmo-archive-call-method (method args &optional output)
274   (cond
275    ((functionp method)
276     (funcall method args output))
277    (t
278     (elmo-archive-call-process
279      (car method) (append (cdr method) args) output))))
280
281 ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
282 ;;; Scan Folder
283
284 (defsubst elmo-archive-list-folder-subr (folder &optional nonsort)
285   "*Returns list of number-file(int, not string) in archive FILE.
286 TYPE specifies the archiver's symbol."
287   (let* ((type (elmo-archive-folder-archive-type-internal folder))
288          (prefix (elmo-archive-folder-archive-prefix-internal folder))
289          (file (elmo-archive-get-archive-name folder))
290          (method (elmo-archive-get-method type 'ls))
291          (args (list file))
292          (file-regexp (format (elmo-archive-get-regexp type)
293                               (elmo-concat-path (regexp-quote prefix) "")))
294          (killed (elmo-folder-killed-list-internal folder))
295          numbers buf file-list header-end)
296     (if (file-exists-p file)
297         (with-temp-buffer
298           (unless (elmo-archive-call-method method args t)
299             (error "%s exited abnormally!" method))
300           (goto-char (point-min))
301           (when (re-search-forward elmo-archive-header-regexp nil t)
302             (forward-line 1)
303             (setq header-end (point))
304             (when (re-search-forward elmo-archive-header-regexp nil t)
305               (beginning-of-line)
306               (narrow-to-region header-end (point))
307               (goto-char (point-min))))
308           (while (and (re-search-forward file-regexp nil t)
309                       (not (eobp)))  ; for GNU tar 981010
310             (setq file-list (nconc file-list (list (string-to-int
311                                                     (match-string 1)))))))
312       (error "%s does not exist" file))
313     (if nonsort
314         (cons (or (elmo-max-of-list file-list) 0)
315               (if killed
316                   (- (length file-list)
317                      (elmo-msgdb-killed-list-length killed))
318                 (length file-list)))
319       (setq numbers (sort file-list '<))
320       (elmo-living-messages numbers killed))))
321
322 (luna-define-method elmo-folder-list-messages-internal ((folder
323                                                          elmo-archive-folder)
324                                                         &optional nohide)
325   (elmo-archive-list-folder-subr folder))
326
327 (luna-define-method elmo-folder-status ((folder elmo-archive-folder))
328   (elmo-archive-list-folder-subr folder t))
329
330 ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
331 ;;; Folder related functions
332
333 (defsubst elmo-archive-get-archive-directory (folder)
334   ;; allow fullpath. return format is "/foo/bar/".
335   (if (file-name-absolute-p (elmo-archive-folder-archive-name-internal folder))
336       (if (find-file-name-handler
337            (elmo-archive-folder-archive-name-internal folder)
338            'copy-file)
339           (elmo-archive-folder-archive-name-internal folder)
340         (expand-file-name (elmo-archive-folder-archive-name-internal folder)))
341     (expand-file-name (elmo-archive-folder-archive-name-internal folder)
342                       elmo-archive-folder-path)))
343
344 (defun elmo-archive-get-archive-name (folder)
345   (let ((dir (elmo-archive-get-archive-directory folder))
346         (suffix (elmo-archive-get-suffix
347                  (elmo-archive-folder-archive-type-internal
348                   folder)))
349         filename dbdir)
350     (unless suffix
351       (error "Unknown archiver type: %s"
352              (elmo-archive-folder-archive-type-internal folder)))
353     (if elmo-archive-treat-file
354         (if (string-match (concat (regexp-quote suffix) "$")
355                           (elmo-archive-folder-archive-name-internal folder))
356             (expand-file-name (elmo-archive-folder-archive-name-internal
357                                folder)
358                               elmo-archive-folder-path)
359           (expand-file-name (concat (elmo-archive-folder-archive-name-internal
360                                      folder)
361                                     suffix)
362                             elmo-archive-folder-path))
363       (if (string-match
364            "^\\(ange-ftp\\|efs\\)-"
365            (symbol-name (find-file-name-handler dir 'copy-file)))
366           ;; ange-ftp, efs
367           (progn
368             (setq filename (expand-file-name
369                             (concat elmo-archive-basename suffix)
370                             (setq dbdir
371                                   (elmo-folder-msgdb-path folder))))
372             (if (file-directory-p dbdir)
373                 (); ok.
374               (if (file-exists-p dbdir)
375                   (error "File %s already exists" dbdir)
376                 (elmo-make-directory dbdir)))
377             (if (not (file-exists-p filename))
378                 (copy-file
379                  (if (file-directory-p dir)
380                      (expand-file-name
381                       (concat elmo-archive-basename suffix)
382                       dir)
383                    dir)
384                  filename))
385             filename)
386         (if (or (not (file-exists-p dir))
387                 (file-directory-p dir))
388             (expand-file-name
389              (concat elmo-archive-basename suffix)
390              dir)
391           dir)))))
392
393 (luna-define-method elmo-folder-exists-p ((folder elmo-archive-folder))
394   (file-exists-p (elmo-archive-get-archive-name folder)))
395
396 (luna-define-method elmo-folder-creatable-p ((folder elmo-archive-folder))
397   t)
398
399 (luna-define-method elmo-folder-writable-p ((folder elmo-archive-folder))
400   t)
401
402 (luna-define-method elmo-folder-create ((folder elmo-archive-folder))
403   (let* ((dir (directory-file-name      ; remove tail slash.
404                (elmo-archive-get-archive-directory folder)))
405          (type (elmo-archive-folder-archive-type-internal folder))
406          (arc (elmo-archive-get-archive-name folder)))
407     (if elmo-archive-treat-file
408         (setq dir (directory-file-name (file-name-directory dir))))
409     (cond ((and (file-exists-p dir)
410                 (not (file-directory-p dir)))
411            ;; file exists
412            (error "Create folder failed; File \"%s\" exists" dir))
413           ((file-directory-p dir)
414            (if (file-exists-p arc)
415                t                        ; return value
416              (elmo-archive-create-file arc type folder)))
417           (t
418            (elmo-make-directory dir)
419            (elmo-archive-create-file arc type folder)
420            t))))
421
422 (defun elmo-archive-create-file (archive type folder)
423   (save-excursion
424     (let* ((tmp-dir (directory-file-name
425                      (elmo-folder-msgdb-path folder)))
426            (dummy elmo-archive-dummy-file)
427            (method (or (elmo-archive-get-method type 'create)
428                        (elmo-archive-get-method type 'mv)))
429            (args (list archive dummy)))
430       (when (null method)
431         (ding)
432         (error "WARNING: read-only mode: %s (method undefined)" type))
433       (cond
434        ((file-directory-p tmp-dir)
435         ()) ;nop
436        ((file-exists-p tmp-dir)
437         ;; file exists
438         (error "Create directory failed; File \"%s\" exists" tmp-dir))
439        (t
440         (elmo-make-directory tmp-dir)))
441       (elmo-bind-directory
442        tmp-dir
443        (write-region (point) (point) dummy nil 'no-msg)
444        (prog1
445            (elmo-archive-call-method method args)
446          (if (file-exists-p dummy)
447              (delete-file dummy)))
448        ))))
449
450 (luna-define-method elmo-folder-delete ((folder elmo-archive-folder))
451   (let ((msgs (and (elmo-folder-exists-p folder)
452                    (elmo-folder-list-messages folder))))
453     (when (yes-or-no-p (format "%sDelete msgdb and substance of \"%s\"? "
454                                (if (> (length msgs) 0)
455                                    (format "%d msg(s) exists. " (length msgs))
456                                  "")
457                                (elmo-folder-name-internal folder)))
458       (let ((arc (elmo-archive-get-archive-name folder)))
459         (if (not (file-exists-p arc))
460             (error "No such file: %s" arc)
461           (delete-file arc))
462         (elmo-msgdb-delete-path folder)
463         t))))
464
465 (luna-define-method elmo-folder-rename-internal ((folder elmo-archive-folder)
466                                                  new-folder)
467   (let* ((old-arc (elmo-archive-get-archive-name folder))
468          (new-arc (elmo-archive-get-archive-name new-folder))
469          (new-dir (directory-file-name
470                    (elmo-archive-get-archive-directory new-folder))))
471     (if elmo-archive-treat-file
472         (setq new-dir (directory-file-name (file-name-directory new-dir))))
473     (unless (and (eq (elmo-archive-folder-archive-type-internal folder)
474                      (elmo-archive-folder-archive-type-internal new-folder))
475                  (equal (elmo-archive-folder-archive-prefix-internal
476                          folder)
477                         (elmo-archive-folder-archive-prefix-internal
478                          new-folder)))
479       (error "Not same archive type and prefix"))
480     (unless (file-exists-p old-arc)
481       (error "No such file: %s" old-arc))
482     (when (file-exists-p new-arc)
483       (error "Already exists: %s" new-arc))
484     (unless (file-directory-p new-dir)
485       (elmo-make-directory new-dir))
486     (rename-file old-arc new-arc)
487     t))
488
489 (defun elmo-archive-folder-list-subfolders (folder one-level)
490   (if elmo-archive-treat-file
491       (let* ((path (elmo-archive-get-archive-directory folder))
492              (base-folder (or (elmo-archive-folder-archive-name-internal
493                                folder)
494                               ""))
495              (suffix (elmo-archive-folder-archive-type-internal folder))
496              (prefix (if (string=
497                           (elmo-archive-folder-archive-prefix-internal folder)
498                           "")
499                          ""
500                        (concat ";"
501                                (elmo-archive-folder-archive-prefix-internal
502                                 folder))))
503              (dir (if (file-directory-p path)
504                       path (file-name-directory path)))
505              (name (if (file-directory-p path)
506                        "" (file-name-nondirectory path)))
507              (flist (and (file-directory-p dir)
508                          (directory-files dir nil
509                                           (if (> (length name) 0)
510                                               (concat "^" name "[^A-z][^A-z]")
511                                             name)
512                                           nil)))
513              (regexp (format "^\\(.*\\)\\(%s\\)$"
514                              (mapconcat
515                               '(lambda (x) (regexp-quote (cdr x)))
516                               elmo-archive-suffix-alist
517                               "\\|"))))
518         (if (string-match "\\(.*\\)/$" base-folder) ; ends with '/'.
519             (setq base-folder (elmo-match-string 1 base-folder))
520           (unless (file-directory-p path)
521             (setq base-folder (or (file-name-directory base-folder) ""))))
522         (delq
523          nil
524          (mapcar
525           '(lambda (x)
526              (when (and (string-match regexp x)
527                         (eq suffix
528                             (car
529                              (rassoc (elmo-match-string 2 x)
530                                      elmo-archive-suffix-alist))))
531                (format "%s%s;%s%s"
532                        (elmo-folder-prefix-internal folder)
533                        (elmo-concat-path base-folder (elmo-match-string 1 x))
534                        suffix prefix)))
535           flist)))
536     (elmo-mapcar-list-of-list
537      (function (lambda (x)
538                  (if (file-exists-p
539                       (expand-file-name
540                        (concat elmo-archive-basename
541                                (elmo-archive-get-suffix
542                                 (elmo-archive-folder-archive-type-internal
543                                  folder)))
544                        (expand-file-name
545                         x
546                         (elmo-archive-folder-path folder))))
547                      (concat (elmo-folder-prefix-internal folder) x))))
548      (elmo-list-subdirectories
549       (elmo-archive-folder-path folder)
550       (or (elmo-archive-folder-dir-name-internal folder) "")
551       one-level))))
552
553 (luna-define-method elmo-folder-list-subfolders ((folder elmo-archive-folder)
554                                                  &optional one-level)
555   (elmo-archive-folder-list-subfolders folder one-level))
556
557 ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
558 ;;; Article file related functions
559 ;;; read(extract) / append(move) / delete(delete) / query(list)
560
561 (defsubst elmo-archive-message-fetch-internal (folder number)
562   (let* ((type (elmo-archive-folder-archive-type-internal folder))
563          (arc (elmo-archive-get-archive-name folder))
564          (prefix (elmo-archive-folder-archive-prefix-internal folder))
565          (method (elmo-archive-get-method type 'cat))
566          (args (list arc (elmo-concat-path
567                           prefix (int-to-string number)))))
568     (and (file-exists-p arc)
569          (as-binary-process
570           (elmo-archive-call-method method args t))
571          (progn
572            (elmo-delete-cr-buffer)
573            t))))
574
575 (luna-define-method elmo-message-fetch-internal ((folder elmo-archive-folder)
576                                                  number strategy
577                                                  &optional section unseen)
578   (elmo-archive-message-fetch-internal folder number))
579
580 (luna-define-method elmo-folder-append-buffer ((folder elmo-archive-folder)
581                                                &optional flags number)
582   (elmo-archive-folder-append-buffer folder flags number))
583
584 ;; verrrrrry slow!!
585 (defun elmo-archive-folder-append-buffer (folder flags number)
586   (let* ((type (elmo-archive-folder-archive-type-internal folder))
587          (prefix (elmo-archive-folder-archive-prefix-internal folder))
588          (arc (elmo-archive-get-archive-name folder))
589          (method (elmo-archive-get-method type 'mv))
590          (next-num (or number
591                        (1+ (if (file-exists-p arc)
592                                (car
593                                 (elmo-folder-status folder)) 0))))
594          (tmp-dir (elmo-folder-msgdb-path folder))
595          (src-buffer (current-buffer))
596          dst-buffer
597          newfile)
598     (when (null method)
599       (ding)
600       (error "WARNING: read-only mode: %s (method undefined)" type))
601     (with-temp-buffer
602       (let ((tmp-dir (expand-file-name prefix tmp-dir)))
603         (when (not (file-directory-p tmp-dir))
604           (elmo-make-directory (directory-file-name tmp-dir))))
605       (setq newfile (elmo-concat-path
606                      prefix
607                      (int-to-string next-num)))
608       (unwind-protect
609           (elmo-bind-directory
610            tmp-dir
611            (if (and (or (functionp method) (car method))
612                     (file-writable-p newfile))
613                (progn
614                  (setq dst-buffer (current-buffer))
615                  (with-current-buffer src-buffer
616                    (copy-to-buffer dst-buffer (point-min) (point-max)))
617                  (as-binary-output-file
618                   (write-region (point-min) (point-max) newfile nil 'no-msg))
619                  (when (elmo-archive-call-method method (list arc newfile))
620                    (elmo-folder-preserve-flags
621                     folder
622                     (with-current-buffer src-buffer
623                       (elmo-msgdb-get-message-id-from-buffer))
624                     flags)
625                    t))
626              nil))))))
627
628 (luna-define-method elmo-folder-append-messages :around
629   ((folder elmo-archive-folder) src-folder numbers &optional same-number)
630   (let ((prefix (elmo-archive-folder-archive-prefix-internal folder)))
631     (cond
632      ((and same-number
633            (null prefix)
634            (elmo-folder-message-file-p src-folder)
635            (elmo-folder-message-file-number-p src-folder))
636       ;; same-number(localdir, localnews) -> archive
637       (unless (elmo-archive-append-files folder
638                                          (elmo-folder-message-file-directory src-folder)
639                                          numbers)
640         (setq numbers nil))
641       (elmo-progress-notify 'elmo-folder-move-messages (length numbers))
642       numbers)
643      ((elmo-folder-message-make-temp-file-p src-folder)
644       ;; not-same-number (localdir, localnews), (archive maildir) -> archive
645       (let ((temp-dir (elmo-folder-message-make-temp-files
646                        src-folder
647                        numbers
648                        (unless same-number
649                          (1+ (if (file-exists-p (elmo-archive-get-archive-name
650                                                  folder))
651                                  (car (elmo-folder-status folder)) 0)))))
652             new-dir base-dir files)
653         (setq base-dir temp-dir)
654         (when (> (length prefix) 0)
655           (when (file-name-directory prefix)
656             (elmo-make-directory (file-name-directory prefix)))
657           (rename-file
658            temp-dir
659            (setq new-dir
660                  (expand-file-name
661                   prefix
662                   ;; parent of temp-dir..(works in windows?)
663                   (expand-file-name ".." temp-dir))))
664           ;; now temp-dir has name prefix.
665           (setq temp-dir new-dir)
666           ;; parent of prefix becomes base-dir.
667           (setq base-dir (expand-file-name ".." temp-dir)))
668         (setq files
669               (mapcar
670                '(lambda (x) (elmo-concat-path prefix x))
671                (directory-files temp-dir nil "^[^\\.]")))
672         (if (elmo-archive-append-files folder
673                                        base-dir
674                                        files)
675             (elmo-delete-directory temp-dir)
676           (setq numbers nil)))
677       (elmo-progress-notify 'elmo-folder-move-messages (length numbers))
678       numbers)
679      (t (luna-call-next-method)))))
680
681 (luna-define-method elmo-folder-message-make-temp-file-p
682   ((folder elmo-archive-folder))
683   (let ((type (elmo-archive-folder-archive-type-internal folder)))
684     (or (elmo-archive-get-method type 'ext-pipe)
685         (elmo-archive-get-method type 'ext))))
686
687 (luna-define-method elmo-folder-message-make-temp-files
688   ((folder elmo-archive-folder) numbers
689    &optional start-number)
690   (elmo-archive-folder-message-make-temp-files folder numbers start-number))
691
692 (defun elmo-archive-folder-message-make-temp-files (folder
693                                                     numbers
694                                                     start-number)
695   (let* ((tmp-dir-src (elmo-folder-make-temporary-directory folder))
696          (tmp-dir-dst (elmo-folder-make-temporary-directory folder))
697          (arc     (elmo-archive-get-archive-name folder))
698          (type    (elmo-archive-folder-archive-type-internal folder))
699          (prefix  (elmo-archive-folder-archive-prefix-internal folder))
700          (p-method (elmo-archive-get-method type 'ext-pipe))
701          (n-method (elmo-archive-get-method type 'ext))
702          (tmp-msgs (mapcar (lambda (x) (elmo-concat-path
703                                         prefix
704                                         (int-to-string x))) numbers))
705          number)
706     ;; Expand files in the tmp-dir-src.
707     (elmo-bind-directory
708      tmp-dir-src
709      (cond
710       ((functionp n-method)
711        (funcall n-method (cons arc tmp-msgs)))
712       (p-method
713        (let ((p-prog (car p-method))
714              (p-prog-arg (cdr p-method)))
715          (elmo-archive-exec-msgs-subr1
716           p-prog (append p-prog-arg (list arc)) tmp-msgs)))
717       (t
718        (let ((n-prog (car n-method))
719              (n-prog-arg (cdr n-method)))
720          (elmo-archive-exec-msgs-subr2
721           n-prog (append n-prog-arg (list arc)) tmp-msgs
722           (length arc))))))
723     ;; Move files to the tmp-dir-dst.
724     (setq number start-number)
725     (dolist (tmp-file tmp-msgs)
726       (rename-file (expand-file-name
727                     tmp-file
728                     tmp-dir-src)
729                    (expand-file-name
730                     (if start-number
731                         (int-to-string number)
732                       (file-name-nondirectory tmp-file))
733                     tmp-dir-dst))
734       (if start-number (incf number)))
735     ;; Remove tmp-dir-src.
736     (elmo-delete-directory tmp-dir-src)
737     ;; tmp-dir-dst is the return directory.
738     tmp-dir-dst))
739
740 (defun elmo-archive-append-files (folder dir &optional files)
741   (let* ((dst-type (elmo-archive-folder-archive-type-internal folder))
742          (arc (elmo-archive-get-archive-name folder))
743          (prefix (elmo-archive-folder-archive-prefix-internal folder))
744          (p-method (elmo-archive-get-method dst-type 'cp-pipe))
745          (n-method (elmo-archive-get-method dst-type 'cp))
746          src tmp newfile)
747     (unless (elmo-folder-exists-p folder) (elmo-folder-create folder))
748     (unless files (setq files (directory-files dir nil "^[^\\.]")))
749     (when (null (or p-method n-method))
750       (ding)
751       (error "WARNING: read-only mode: %s (method undefined)" dst-type))
752     (save-excursion
753       (elmo-bind-directory
754        dir
755        (cond
756         ((functionp n-method)
757          (funcall n-method (cons arc files)))
758         (p-method
759          (let ((p-prog (car p-method))
760                (p-prog-arg (cdr p-method)))
761            (elmo-archive-exec-msgs-subr1
762             p-prog (append p-prog-arg (list arc)) files)))
763         (t
764          (let ((n-prog (car n-method))
765                (n-prog-arg (cdr n-method)))
766            (elmo-archive-exec-msgs-subr2
767             n-prog (append n-prog-arg (list arc)) files (length arc)))))))))
768
769 (luna-define-method elmo-folder-delete-messages ((folder elmo-archive-folder)
770                                                  numbers)
771   (let* ((type (elmo-archive-folder-archive-type-internal folder))
772          (prefix (elmo-archive-folder-archive-prefix-internal folder))
773          (arc (elmo-archive-get-archive-name folder))
774          (p-method (elmo-archive-get-method type 'rm-pipe))
775          (n-method (elmo-archive-get-method type 'rm))
776          (numbers (mapcar '(lambda (x) (elmo-concat-path
777                                         prefix
778                                         (int-to-string x)))
779                           numbers)))
780     (cond ((functionp n-method)
781            (funcall n-method (cons arc numbers)))
782           (p-method
783            (let ((p-prog (car p-method))
784                  (p-prog-arg (cdr p-method)))
785              (elmo-archive-exec-msgs-subr1
786               p-prog (append p-prog-arg (list arc)) numbers)))
787           (n-method
788            (let ((n-prog (car n-method))
789                  (n-prog-arg (cdr n-method)))
790              (elmo-archive-exec-msgs-subr2
791               n-prog (append n-prog-arg (list arc)) numbers (length arc))))
792           (t
793            (ding)
794            (error "WARNING: not delete: %s (method undefined)" type)))))
795
796 (defun elmo-archive-exec-msgs-subr1 (prog args msgs)
797   (with-temp-buffer
798     (insert (mapconcat 'concat msgs "\n")) ;string
799     (= 0 (apply 'call-process-region (point-min) (point-max)
800                 prog nil nil nil args))))
801
802 (defun elmo-archive-exec-msgs-subr2 (prog args msgs arc-length)
803   (let ((max-len (- elmo-archive-cmdstr-max-length arc-length))
804         (n (length msgs))
805         rest i sum)
806     (setq rest msgs) ;string
807     (setq i 1)
808     (setq sum 0)
809     (catch 'done
810       (while (and rest (<= i n))
811         (mapcar '(lambda (x)
812                    (let* ((len (length x))
813                           (files (member x (reverse rest))))
814                      ;; total(previous) + current + white space
815                      (if (<= max-len (+ sum len 1))
816                          (progn
817                            (unless
818                                (elmo-archive-call-process
819                                 prog (append args files))
820                              (throw 'done nil))
821                            (setq sum 0) ;; reset
822                            (setq rest (nthcdr i rest)))
823                        (setq sum (+ sum len 1)))
824                      (setq i (1+ i)))) msgs))
825       (throw 'done
826              (or (not rest)
827                  (elmo-archive-call-process prog (append args rest))))
828       )))
829
830 (defsubst elmo-archive-article-exists-p (arc msg type)
831   (if (not elmo-archive-check-existance-strict)
832       t ; nop
833     (save-excursion ; added 980915
834       (let* ((method (elmo-archive-get-method type 'ls))
835              (args (list arc msg))
836              (buf (get-buffer-create " *ELMO ARCHIVE query*"))
837              (error-msg "\\(no file\\|0 files\\)")
838              ret-val)
839         (set-buffer buf)
840         (erase-buffer)
841         (elmo-archive-call-method method args t)
842         ;; pointer: point-max
843         (setq ret-val (not (re-search-backward error-msg nil t)))
844         (kill-buffer buf)
845         ret-val))))
846
847 (defun elmo-archive-tgz-common-func (args exec-type &optional copy)
848   (let* ((arc (car args))
849          (tmp-msgs (cdr args))
850          (decompress (elmo-archive-get-method 'tgz 'decompress))
851          (compress (elmo-archive-get-method 'tgz 'compress))
852          (exec (elmo-archive-get-method 'tgz exec-type))
853          (suffix (elmo-archive-get-suffix 'tgz))
854          (tar-suffix (elmo-archive-get-suffix 'tar))
855          arc-tar ret-val
856          )
857     (when (null (and decompress compress exec))
858       (ding)
859       (error "WARNING: special method undefined: %s of %s"
860              (or (if (null decompress) 'decompress)
861                  (if (null compress) 'compress)
862                  (if (null exec) exec-type))
863              'tgz))
864     (unless tar-suffix
865       (ding)
866       (error "WARNING: `tar' suffix undefined"))
867     (if (string-match (concat (regexp-quote suffix) "$") arc)
868         (setq arc-tar
869               (concat (substring arc 0 (match-beginning 0)) tar-suffix))
870       (error "%s: not match suffix [%s]" arc suffix))
871     (and
872      ;; decompress
873      (elmo-archive-call-process
874       (car decompress) (append (cdr decompress) (list arc)))
875      ;; append (or delete)
876      (elmo-archive-exec-msgs-subr2
877       (car exec) (append (cdr exec) (list arc-tar)) tmp-msgs (length arc-tar))
878      ;; compress
879      (setq ret-val
880            (elmo-archive-call-process
881             (car compress) (append (cdr compress) (list arc-tar)))))
882     ;; delete temporary messages
883     (if (and (not copy)
884              (eq exec-type 'append))
885         (while tmp-msgs
886           (if (file-exists-p (car tmp-msgs))
887               (delete-file (car tmp-msgs)))
888           (setq tmp-msgs (cdr tmp-msgs))))
889     ret-val))
890
891 (defun elmo-archive-tgz-cp-func (args &optional output)
892   (elmo-archive-tgz-common-func args 'append t))
893
894 (defun elmo-archive-tgz-mv-func (args &optional output)
895   (elmo-archive-tgz-common-func args 'append))
896
897 (defun elmo-archive-tgz-rm-func (args &optional output)
898   (elmo-archive-tgz-common-func args 'delete))
899
900 ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
901 ;;; MessageDB functions (from elmo-localdir.el)
902
903 (defsubst elmo-archive-msgdb-create-entity-subr (msgdb number)
904   (let (header-end)
905     (set-buffer-multibyte default-enable-multibyte-characters)
906     (goto-char (point-min))
907     (if (re-search-forward "\\(^--.*$\\)\\|\\(\n\n\\)" nil t)
908         (setq header-end (point))
909       (setq header-end (point-max)))
910     (narrow-to-region (point-min) header-end)
911     (elmo-msgdb-create-message-entity-from-buffer
912      (elmo-msgdb-message-entity-handler msgdb) number)))
913
914 ;; verrrry slow!!
915 (defsubst elmo-archive-msgdb-create-entity (msgdb
916                                             method
917                                             archive number type
918                                             &optional prefix)
919   (let* ((msg (elmo-concat-path prefix (int-to-string number)))
920          (arg-list (list archive msg)))
921     (when (elmo-archive-article-exists-p archive msg type)
922       ;; insert article.
923       (as-binary-process
924        (elmo-archive-call-method method arg-list t))
925       (elmo-archive-msgdb-create-entity-subr msgdb number))))
926
927 (luna-define-method elmo-folder-msgdb-create ((folder elmo-archive-folder)
928                                               numbers flag-table)
929   (when numbers
930     (save-excursion ;; 981005
931       (if (and elmo-archive-use-izip-agent
932                (elmo-archive-get-method
933                 (elmo-archive-folder-archive-type-internal folder)
934                 'cat-headers))
935           (elmo-archive-msgdb-create-as-numlist-subr2
936            folder numbers flag-table)
937         (elmo-archive-msgdb-create-as-numlist-subr1
938          folder numbers flag-table)))))
939
940 (defun elmo-archive-msgdb-create-as-numlist-subr1 (folder numlist flag-table)
941   (let* ((type (elmo-archive-folder-archive-type-internal folder))
942          (file (elmo-archive-get-archive-name folder))
943          (method (elmo-archive-get-method type 'cat))
944          (new-msgdb (elmo-make-msgdb))
945          entity i percent num message-id flags)
946     (with-temp-buffer
947       (setq num (length numlist))
948       (setq i 0)
949       (message "Creating msgdb...")
950       (while numlist
951         (erase-buffer)
952         (setq entity
953               (elmo-archive-msgdb-create-entity
954                new-msgdb
955                method file (car numlist) type
956                (elmo-archive-folder-archive-prefix-internal folder)))
957         (when entity
958           (setq message-id (elmo-message-entity-field entity 'message-id)
959                 flags (elmo-flag-table-get flag-table message-id))
960           (elmo-global-flags-set flags folder (car numlist) message-id)
961           (elmo-msgdb-append-entity new-msgdb entity flags))
962         (when (> num elmo-display-progress-threshold)
963           (setq i (1+ i))
964           (setq percent (/ (* i 100) num))
965           (elmo-display-progress
966            'elmo-archive-msgdb-create-as-numlist-subr1 "Creating msgdb..."
967            percent))
968         (setq numlist (cdr numlist)))
969       (message "Creating msgdb...done")
970       new-msgdb)))
971
972 ;;; info-zip agent
973 (defun elmo-archive-msgdb-create-as-numlist-subr2 (folder
974                                                    numlist
975                                                    flag-table)
976   (let* ((delim1 elmo-mmdf-delimiter)           ;; MMDF
977          (delim2 elmo-unixmail-delimiter)       ;; UNIX Mail
978          (type (elmo-archive-folder-archive-type-internal folder))
979          (prefix (elmo-archive-folder-archive-prefix-internal folder))
980          (method (elmo-archive-get-method type 'cat-headers))
981          (prog (car method))
982          (args (cdr method))
983          (arc (elmo-archive-get-archive-name folder))
984          (new-msgdb (elmo-make-msgdb))
985          n i percent num msgs case-fold-search)
986     (with-temp-buffer
987       (setq num (length numlist))
988       (setq i 0)
989       (message "Creating msgdb...")
990       (while numlist
991         (setq n (min (1- elmo-archive-fetch-headers-volume)
992                      (1- (length numlist))))
993         (setq msgs (reverse (memq (nth n numlist) (reverse numlist))))
994         (setq numlist (nthcdr (1+ n) numlist))
995         (erase-buffer)
996         (insert
997          (mapconcat
998           'concat
999           (mapcar '(lambda (x) (elmo-concat-path prefix (int-to-string x))) msgs)
1000           "\n"))
1001         (message "Fetching headers...")
1002         (as-binary-process (apply 'call-process-region
1003                                   (point-min) (point-max)
1004                                   prog t t nil (append args (list arc))))
1005         (goto-char (point-min))
1006         (cond
1007          ((looking-at delim1)   ;; MMDF
1008           (elmo-msgdb-append
1009            new-msgdb
1010            (elmo-archive-parse-mmdf folder msgs flag-table)))
1011 ;;;      ((looking-at delim2)   ;; UNIX MAIL
1012 ;;;       (elmo-msgdb-append
1013 ;;;        new-msgdb
1014 ;;;        (elmo-archive-parse-unixmail msgs flag-table)))
1015          (t                     ;; unknown format
1016           (error "Unknown format!")))
1017         (when (> num elmo-display-progress-threshold)
1018           (setq i (+ n i))
1019           (setq percent (/ (* i 100) num))
1020           (elmo-display-progress
1021            'elmo-archive-msgdb-create-as-numlist-subr2 "Creating msgdb..."
1022            percent))))
1023     new-msgdb))
1024
1025 (defun elmo-archive-parse-mmdf (folder msgs flag-table)
1026   (let ((delim elmo-mmdf-delimiter)
1027         (new-msgdb (elmo-make-msgdb))
1028         number sp ep rest entity
1029         message-id flags)
1030     (goto-char (point-min))
1031     (setq rest msgs)
1032     (while (and rest (re-search-forward delim nil t)
1033                 (not (eobp)))
1034       (setq number (car rest))
1035       (setq sp (1+ (point)))
1036       (setq ep (prog2 (re-search-forward delim)
1037                    (1+ (- (point) (length delim)))))
1038       (if (>= sp ep)                    ; no article!
1039           ()                            ; nop
1040         (save-excursion
1041           (narrow-to-region sp ep)
1042           (setq entity (elmo-archive-msgdb-create-entity-subr new-msgdb number)
1043                 message-id (elmo-message-entity-field entity 'message-id)
1044                 flags (elmo-flag-table-get flag-table message-id))
1045           (elmo-global-flags-set flags folder number message-id)
1046           (elmo-msgdb-append-entity new-msgdb entity flags)
1047           (widen)))
1048       (forward-line 1)
1049       (setq rest (cdr rest)))
1050     new-msgdb))
1051
1052
1053 ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
1054 ;;; Search functions
1055
1056 (defsubst elmo-archive-field-condition-match (folder number number-list
1057                                                      condition prefix)
1058   (save-excursion
1059     (let* ((type (elmo-archive-folder-archive-type-internal folder))
1060            (arc (elmo-archive-get-archive-name folder))
1061            (method (elmo-archive-get-method type 'cat))
1062            (args (list arc (elmo-concat-path prefix (int-to-string number)))))
1063       (elmo-set-work-buf
1064        (when (file-exists-p arc)
1065          (as-binary-process
1066           (elmo-archive-call-method method args t))
1067          (set-buffer-multibyte default-enable-multibyte-characters)
1068          (decode-mime-charset-region (point-min)(point-max) elmo-mime-charset)
1069          (elmo-buffer-field-condition-match condition number number-list))))))
1070
1071 (luna-define-method elmo-folder-search ((folder elmo-archive-folder)
1072                                         condition &optional from-msgs)
1073   (let* (;;(args (elmo-string-to-list key))
1074          ;; XXX: I don't know whether `elmo-archive-list-folder'
1075          ;;      updates match-data.
1076          ;; (msgs (or from-msgs (elmo-archive-list-folder spec)))
1077          (msgs (or from-msgs (elmo-folder-list-messages folder)))
1078          (num (length msgs))
1079          (i 0)
1080          (case-fold-search nil)
1081          number-list ret-val)
1082     (setq number-list msgs)
1083     (while msgs
1084       (if (elmo-archive-field-condition-match
1085            folder (car msgs) number-list
1086            condition
1087            (elmo-archive-folder-archive-prefix-internal folder))
1088           (setq ret-val (cons (car msgs) ret-val)))
1089       (when (> num elmo-display-progress-threshold)
1090         (setq i (1+ i))
1091         (elmo-display-progress
1092          'elmo-archive-search "Searching..."
1093          (/ (* i 100) num)))
1094       (setq msgs (cdr msgs)))
1095     (nreverse ret-val)))
1096
1097 ;;; method(alist)
1098 (if (null elmo-archive-method-alist)
1099     (let ((mlist elmo-archive-method-list) ; from mew-highlight.el
1100           method type str)
1101       (while mlist
1102         (setq method (car mlist))
1103         (setq mlist (cdr mlist))
1104         (setq str (symbol-name method))
1105         (string-match "elmo-archive-\\([^-].*\\)-method-alist$" str)
1106         (setq type (intern-soft
1107                     (elmo-match-string 1 str)))
1108         (setq elmo-archive-method-alist
1109               (cons (cons type
1110                           (symbol-value method))
1111                     elmo-archive-method-alist)))))
1112
1113 ;;; valid suffix(list)
1114 (if (null elmo-archive-suffixes)
1115     (let ((slist elmo-archive-suffix-alist)
1116           tmp)
1117       (while slist
1118         (setq tmp (car slist))
1119         (setq elmo-archive-suffixes
1120               (nconc elmo-archive-suffixes (list (cdr tmp))))
1121         (setq slist (cdr slist)))))
1122
1123 (luna-define-method elmo-message-use-cache-p ((folder elmo-archive-folder)
1124                                               number)
1125   elmo-archive-use-cache)
1126
1127 ;;; End
1128 (run-hooks 'elmo-archive-load-hook)
1129
1130 (require 'product)
1131 (product-provide (provide 'elmo-archive) (require 'elmo-version))
1132
1133 ;;; elmo-archive.el ends here