* elmo-archive.el (elmo-folder-append-messages): Delete temp-dir
[elisp/wanderlust.git] / elmo / elmo-archive.el
1 ;;; elmo-archive.el --- Archive folder of ELMO. -*- coding: euc-japan -*-
2
3 ;; Copyright (C) 1998,1999,2000 OKUNISHI Fujikazu <fuji0924@mbox.kyoto-inet.or.jp>
4 ;; Copyright (C) 1998,1999,2000 Yuuichi Teranishi <teranisi@gohome.org>
5
6 ;; Author: OKUNISHI Fujikazu <fuji0924@mbox.kyoto-inet.or.jp>
7 ;;      Yuuichi Teranishi <teranisi@gohome.org>
8 ;; Keywords: mail, net news
9 ;; Created: Sep 13, 1998
10
11 ;; This file is part of ELMO (Elisp Library for Message Orchestration).
12
13 ;; This program is free software; you can redistribute it and/or modify
14 ;; it under the terms of the GNU General Public License as published by
15 ;; the Free Software Foundation; either version 2, or (at your option)
16 ;; any later version.
17 ;;
18 ;; This program is distributed in the hope that it will be useful,
19 ;; but WITHOUT ANY WARRANTY; without even the implied warranty of
20 ;; MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
21 ;; GNU General Public License for more details.
22 ;;
23 ;; You should have received a copy of the GNU General Public License
24 ;; along with GNU Emacs; see the file COPYING.  If not, write to the
25 ;; Free Software Foundation, Inc., 59 Temple Place - Suite 330,
26 ;; Boston, MA 02111-1307, USA.
27 ;;
28
29 ;;; Commentary:
30 ;;
31 ;; TODO:
32 ;; Info-Zip ÀìÍÑ¥¨¡¼¥¸¥§¥ó¥È¤òÍѤ¤¤¿ÆüËܸ측º÷¡ÊOS/2 ÀìÍÑ¡Ë¡£
33
34 ;;; Code:
35 ;;
36 (eval-when-compile (require 'cl))
37
38 (require 'elmo)
39 (require 'elmo-msgdb)
40
41 ;;; User vars.
42 (defvar elmo-archive-lha-dos-compatible
43   (memq system-type '(OS/2 emx windows-nt))
44   "*If non-nil, regard your LHA as compatible to DOS version.")
45
46 (defvar elmo-archive-use-izip-agent (memq system-type '(OS/2 emx))
47   "*If non-nil, use the special agent in fetching headers.")
48
49 (defvar elmo-archive-folder-path "~/Mail"
50   "*Base directory for archive folders.")
51
52 (defvar elmo-archive-basename "elmo-archive"
53   "*Common basename of archive folder file, w/o suffix.")
54
55 (defvar elmo-archive-cmdstr-max-length 8000 ; SASAKI Osamu's suggestion
56   "*Command line string limitation under OS/2, exactly 8190 bytes.")
57
58 (defvar elmo-archive-fetch-headers-volume 50
59   "*Quantity of article headers to fetch per once.")
60
61 (defvar elmo-archive-dummy-file ".elmo-archive"
62   "*Name of dummy file that will be appended when the folder is null.")
63
64 (defvar elmo-archive-check-existance-strict t
65   "*Check existance of archive contents if non-nil.")
66
67 (defvar elmo-archive-load-hook nil
68   "*Hook called after loading elmo-archive.el.")
69
70 (defvar elmo-archive-treat-file nil
71   "*Treat archive folder as a file if non-nil.")
72
73 ;;; User variables for elmo-archive.
74 (defvar elmo-archive-default-type 'zip
75   "*Default archiver type.  The value must be a symbol.")
76
77 (defvar elmo-archive-use-cache nil
78   "Use cache in archive folder.")
79
80 ;;; ELMO Local directory folder
81 (eval-and-compile
82   (luna-define-class elmo-archive-folder (elmo-folder)
83                      (archive-name archive-type archive-prefix dir-name))
84   (luna-define-internal-accessors 'elmo-archive-folder))
85
86 (luna-define-generic elmo-archive-folder-path (folder)
87   "Return local directory path of the FOLDER.")
88
89 (luna-define-method elmo-archive-folder-path ((folder elmo-archive-folder))
90   elmo-archive-folder-path)
91
92 (luna-define-method elmo-folder-initialize ((folder
93                                              elmo-archive-folder)
94                                             name)
95   (elmo-archive-folder-set-dir-name-internal folder name)
96   (when (string-match
97          "^\\([^;]*\\);?\\([^;]*\\);?\\([^;]*\\)$"
98          name)
99     ;; Drive letter is OK!
100     (or (elmo-archive-folder-set-archive-name-internal
101          folder (elmo-match-string 1 name))
102         (elmo-archive-folder-set-archive-name-internal
103          folder ""))
104     (or (elmo-archive-folder-set-archive-type-internal
105          folder (intern-soft (elmo-match-string 2 name)))
106         (elmo-archive-folder-set-archive-type-internal
107          folder elmo-archive-default-type))
108     (or (elmo-archive-folder-set-archive-prefix-internal
109          folder (elmo-match-string 3 name))
110         (elmo-archive-folder-set-archive-prefix-internal
111          folder "")))
112   folder)
113
114 (luna-define-method elmo-folder-expand-msgdb-path ((folder
115                                                     elmo-archive-folder))
116   ;; For compatibility
117   (expand-file-name
118    (elmo-replace-string-as-filename
119     (elmo-folder-name-internal folder))
120    (expand-file-name (concat (symbol-name (elmo-folder-type-internal folder))
121                              "/"
122                              (symbol-name
123                               (elmo-archive-folder-archive-type-internal
124                                folder)))
125                      elmo-msgdb-directory)))
126
127 ;;; MMDF parser -- info-zip agent w/ REXX
128 (defvar elmo-mmdf-delimiter "^\01\01\01\01$"
129   "*Regular expression of MMDF delimiter.")
130
131 (defvar elmo-unixmail-delimiter "^From \\([^ \t]+\\) \\(.+\\)"
132   "*Regular expression of UNIX Mail delimiter.")
133
134 (defvar elmo-archive-header-regexp "^[ \t]*[-=][-=][-=][-=]"
135   "*Common regexp of the delimiter in listing archive.") ; marche
136
137 (defvar elmo-archive-file-regexp-alist
138   (append
139    (if elmo-archive-lha-dos-compatible
140        '((lha . "^%s\\([0-9]+\\)$"))    ; OS/2,DOS w/  "-x"
141      '((lha . "^.*[ \t]%s\\([0-9]+\\)$")))
142    '((zip . "^.*[ \t]%s\\([0-9]+\\)$")
143      (zoo . "^.*[ \t]%s\\([0-9]+\\)$")
144      (tar . "^%s\\([0-9]+\\)$")         ; ok
145      (tgz . "^%s\\([0-9]+\\)$")         ; ok
146      (rar . "^[ \t]%s\\([0-9]+\\)$"))))
147
148 (defvar elmo-archive-suffix-alist
149    '((lha . ".lzh")  ; default
150 ;;;  (lha . ".lzs")
151      (zip . ".zip")
152      (zoo . ".zoo")
153 ;;;  (arc . ".arc")
154 ;;;  (arj . ".arj")
155      (rar . ".rar")
156      (tar . ".tar")
157      (tgz . ".tar.gz")))
158
159 ;;; lha
160 (defvar elmo-archive-lha-method-alist
161   (if elmo-archive-lha-dos-compatible
162       ;; OS/2
163       '((cp  . ("lha" "u" "-x"))
164         (mv  . ("lha" "m" "-x"))
165         (rm  . ("lha" "d"))
166         (ls  . ("lha" "l" "-x"))
167         (cat . ("lha" "p" "-n"))
168         (ext . ("lha" "x"))             ; "-x"
169         )
170     ;; some UN|X
171     '((cp  . ("lha" "u"))
172       (mv  . ("lha" "m"))
173       (rm  . ("lha" "d"))
174       (ls  . ("lha" "l"))
175       (cat . ("lha" "pq"))
176       (ext . ("lha" "x")))))
177
178 ;;; info-zip/unzip
179 (defvar elmo-archive-zip-method-alist
180   '((cp       . ("zip" "-9q"))
181     (cp-pipe  . ("zip" "-9q@"))
182     (mv       . ("zip" "-mDq9"))
183     (mv-pipe  . ("zip" "-mDq9@"))
184     (rm       . ("zip" "-dq"))
185     (rm-pipe  . ("zip" "-dq@"))
186     (ls       . ("unzip" "-lq"))
187     (cat      . ("unzip" "-pq"))
188     (ext      . ("unzip"))
189     (cat-headers . ("izwlagent" "--cat"))))
190
191 ;;; zoo
192 (defvar elmo-archive-zoo-method-alist
193   '((cp       . ("zoo" "aq"))
194     (cp-pipe  . ("zoo" "aqI"))
195     (mv       . ("zoo" "aMq"))
196     (mv-pipe  . ("zoo" "aMqI"))
197     (rm       . ("zoo" "Dq"))
198     (ls       . ("zoo" "l"))            ; normal
199     (cat      . ("zoo" "xpq"))
200     (ext      . ("zoo" "xq"))))
201
202 ;;; rar
203 (defvar elmo-archive-rar-method-alist
204   '((cp       . ("rar" "u" "-m5"))
205     (mv       . ("rar" "m" "-m5"))
206     (rm       . ("rar" "d"))
207     (ls       . ("rar" "v"))
208     (cat      . ("rar" "p" "-inul"))
209     (ext      . ("rar" "x"))))
210
211 ;;; GNU tar (*.tar)
212 (defvar elmo-archive-tar-method-alist
213   (if elmo-archive-lha-dos-compatible
214       '((ls   . ("gtar" "-tf"))
215         (cat  . ("gtar" "--posix Oxf"))
216         (ext  . ("gtar" "-xf"))
217 ;;;     (rm   . ("gtar" "--posix" "--delete" "-f")) ; well not work
218         )
219     '((ls    . ("gtar" "-tf"))
220       (cat   . ("gtar" "-Oxf"))
221       (ext   . ("gtar" "-xf"))
222 ;;;     (rm    . ("gtar" "--delete" "-f")) ;; well not work
223       )))
224
225 ;;; GNU tar (*.tar.gz, *.tar.Z, *.tar.bz2)
226 (defvar elmo-archive-tgz-method-alist
227   '((ls         . ("gtar" "-ztf"))
228     (cat        . ("gtar" "-Ozxf"))
229     (create     . ("gtar" "-zcf"))
230 ;;; (rm         . elmo-archive-tgz-rm-func)
231     (cp         . elmo-archive-tgz-cp-func)
232     (mv         . elmo-archive-tgz-mv-func)
233     (ext        . ("gtar" "-zxf"))
234     ;; tgz special method
235     (decompress . ("gzip" "-d"))
236     (compress   . ("gzip"))
237     (append     . ("gtar" "-uf"))
238 ;;; (delete     . ("gtar" "--delete" "-f")) ; well not work
239     ))
240
241 (defvar elmo-archive-method-list
242   '(elmo-archive-lha-method-alist
243     elmo-archive-zip-method-alist
244     elmo-archive-zoo-method-alist
245 ;;; elmo-archive-tar-method-alist
246     elmo-archive-tgz-method-alist
247 ;;; elmo-archive-arc-method-alist
248 ;;; elmo-archive-arj-method-alist
249     elmo-archive-rar-method-alist))
250
251 ;;; Internal vars.
252 (defvar elmo-archive-method-alist nil)
253 (defvar elmo-archive-suffixes nil)
254
255
256 ;;; Macro
257 (defmacro elmo-archive-get-method (type action)
258   (` (cdr (assq (, action) (cdr (assq (, type)
259                                       elmo-archive-method-alist))))))
260
261 (defmacro elmo-archive-get-suffix (type)
262   (` (cdr (assq (, type)
263                 elmo-archive-suffix-alist))))
264
265 (defmacro elmo-archive-get-regexp (type)
266   (` (cdr (assq (, type)
267                 elmo-archive-file-regexp-alist))))
268
269 (defsubst elmo-archive-call-process (prog args &optional output)
270   (= (apply 'call-process prog nil output nil args) 0))
271
272 (defsubst elmo-archive-call-method (method args &optional output)
273   (cond
274    ((functionp method)
275     (funcall method args output))
276    (t
277     (elmo-archive-call-process
278      (car method) (append (cdr method) args) output))))
279
280 ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
281 ;;; Scan Folder
282
283 (defsubst elmo-archive-list-folder-subr (folder &optional nonsort)
284   "*Returns list of number-file(int, not string) in archive FILE.
285 TYPE specifies the archiver's symbol."
286   (let* ((type (elmo-archive-folder-archive-type-internal folder))
287          (prefix (elmo-archive-folder-archive-prefix-internal folder))
288          (file (elmo-archive-get-archive-name folder))
289          (method (elmo-archive-get-method type 'ls))
290          (args (list file))
291          (file-regexp (format (elmo-archive-get-regexp type)
292                               (elmo-concat-path (regexp-quote prefix) "")))
293          (killed (elmo-folder-killed-list-internal folder))
294          numbers buf file-list header-end)
295     (if (file-exists-p file)
296         (with-temp-buffer
297           (unless (elmo-archive-call-method method args t)
298             (error "%s exited abnormally!" method))
299           (goto-char (point-min))
300           (when (re-search-forward elmo-archive-header-regexp nil t)
301             (forward-line 1)
302             (setq header-end (point))
303             (when (re-search-forward elmo-archive-header-regexp nil t)
304               (beginning-of-line)
305               (narrow-to-region header-end (point))
306               (goto-char (point-min))))
307           (while (and (re-search-forward file-regexp nil t)
308                       (not (eobp)))  ; for GNU tar 981010
309             (setq file-list (nconc file-list (list (string-to-int
310                                                     (match-string 1)))))))
311       (error "%s does not exist" file))
312     (if nonsort
313         (cons (or (elmo-max-of-list file-list) 0)
314               (if killed
315                   (- (length file-list)
316                      (elmo-msgdb-killed-list-length killed))
317                 (length file-list)))
318       (setq numbers (sort file-list '<))
319       (elmo-living-messages numbers killed))))
320
321 (luna-define-method elmo-folder-list-messages-internal ((folder
322                                                          elmo-archive-folder)
323                                                         &optional nohide)
324   (elmo-archive-list-folder-subr folder))
325
326 (luna-define-method elmo-folder-status ((folder elmo-archive-folder))
327   (elmo-archive-list-folder-subr folder t))
328
329 ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
330 ;;; Folder related functions
331
332 (defsubst elmo-archive-get-archive-directory (folder)
333   ;; allow fullpath. return format is "/foo/bar/".
334   (if (file-name-absolute-p (elmo-archive-folder-archive-name-internal folder))
335       (if (find-file-name-handler
336            (elmo-archive-folder-archive-name-internal folder)
337            'copy-file)
338           (elmo-archive-folder-archive-name-internal folder)
339         (expand-file-name (elmo-archive-folder-archive-name-internal folder)))
340     (expand-file-name (elmo-archive-folder-archive-name-internal folder)
341                       elmo-archive-folder-path)))
342
343 (defun elmo-archive-get-archive-name (folder)
344   (let ((dir (elmo-archive-get-archive-directory folder))
345         (suffix (elmo-archive-get-suffix
346                  (elmo-archive-folder-archive-type-internal
347                   folder)))
348         filename dbdir)
349     (unless suffix
350       (error "Unknown archiver type: %s"
351              (elmo-archive-folder-archive-type-internal folder)))
352     (if elmo-archive-treat-file
353         (if (string-match (concat (regexp-quote suffix) "$")
354                           (elmo-archive-folder-archive-name-internal folder))
355             (expand-file-name (elmo-archive-folder-archive-name-internal
356                                folder)
357                               elmo-archive-folder-path)
358           (expand-file-name (concat (elmo-archive-folder-archive-name-internal
359                                      folder)
360                                     suffix)
361                             elmo-archive-folder-path))
362       (if (string-match
363            "^\\(ange-ftp\\|efs\\)-"
364            (symbol-name (find-file-name-handler dir 'copy-file)))
365           ;; ange-ftp, efs
366           (progn
367             (setq filename (expand-file-name
368                             (concat elmo-archive-basename suffix)
369                             (setq dbdir
370                                   (elmo-folder-msgdb-path folder))))
371             (if (file-directory-p dbdir)
372                 (); ok.
373               (if (file-exists-p dbdir)
374                   (error "File %s already exists" dbdir)
375                 (elmo-make-directory dbdir)))
376             (if (not (file-exists-p filename))
377                 (copy-file
378                  (if (file-directory-p dir)
379                      (expand-file-name
380                       (concat elmo-archive-basename suffix)
381                       dir)
382                    dir)
383                  filename))
384             filename)
385         (if (or (not (file-exists-p dir))
386                 (file-directory-p dir))
387             (expand-file-name
388              (concat elmo-archive-basename suffix)
389              dir)
390           dir)))))
391
392 (luna-define-method elmo-folder-exists-p ((folder elmo-archive-folder))
393   (file-exists-p (elmo-archive-get-archive-name folder)))
394
395 (luna-define-method elmo-folder-creatable-p ((folder elmo-archive-folder))
396   t)
397
398 (luna-define-method elmo-folder-writable-p ((folder elmo-archive-folder))
399   t)
400
401 (luna-define-method elmo-folder-create ((folder elmo-archive-folder))
402   (let* ((dir (directory-file-name      ; remove tail slash.
403                (elmo-archive-get-archive-directory folder)))
404          (type (elmo-archive-folder-archive-type-internal folder))
405          (arc (elmo-archive-get-archive-name folder)))
406     (if elmo-archive-treat-file
407         (setq dir (directory-file-name (file-name-directory dir))))
408     (cond ((and (file-exists-p dir)
409                 (not (file-directory-p dir)))
410            ;; file exists
411            (error "Create folder failed; File \"%s\" exists" dir))
412           ((file-directory-p dir)
413            (if (file-exists-p arc)
414                t                        ; return value
415              (elmo-archive-create-file arc type folder)))
416           (t
417            (elmo-make-directory dir)
418            (elmo-archive-create-file arc type folder)
419            t))))
420
421 (defun elmo-archive-create-file (archive type folder)
422   (save-excursion
423     (let* ((tmp-dir (directory-file-name
424                      (elmo-folder-msgdb-path folder)))
425            (dummy elmo-archive-dummy-file)
426            (method (or (elmo-archive-get-method type 'create)
427                        (elmo-archive-get-method type 'mv)))
428            (args (list archive dummy)))
429       (when (null method)
430         (ding)
431         (error "WARNING: read-only mode: %s (method undefined)" type))
432       (cond
433        ((file-directory-p tmp-dir)
434         ()) ;nop
435        ((file-exists-p tmp-dir)
436         ;; file exists
437         (error "Create directory failed; File \"%s\" exists" tmp-dir))
438        (t
439         (elmo-make-directory tmp-dir)))
440       (elmo-bind-directory
441        tmp-dir
442        (write-region (point) (point) dummy nil 'no-msg)
443        (prog1
444            (elmo-archive-call-method method args)
445          (if (file-exists-p dummy)
446              (delete-file dummy)))
447        ))))
448
449 (luna-define-method elmo-folder-delete ((folder elmo-archive-folder))
450   (let ((msgs (and (elmo-folder-exists-p folder)
451                    (elmo-folder-list-messages folder))))
452     (when (yes-or-no-p (format "%sDelete msgdb and substance of \"%s\"? "
453                                (if (> (length msgs) 0)
454                                    (format "%d msg(s) exists. " (length msgs))
455                                  "")
456                                (elmo-folder-name-internal folder)))
457       (let ((arc (elmo-archive-get-archive-name folder)))
458         (if (not (file-exists-p arc))
459             (error "No such file: %s" arc)
460           (delete-file arc))
461         (elmo-msgdb-delete-path folder)
462         t))))
463
464 (luna-define-method elmo-folder-rename-internal ((folder elmo-archive-folder)
465                                                  new-folder)
466   (let* ((old-arc (elmo-archive-get-archive-name folder))
467          (new-arc (elmo-archive-get-archive-name new-folder))
468          (new-dir (directory-file-name
469                    (elmo-archive-get-archive-directory new-folder))))
470     (if elmo-archive-treat-file
471         (setq new-dir (directory-file-name (file-name-directory new-dir))))
472     (unless (and (eq (elmo-archive-folder-archive-type-internal folder)
473                      (elmo-archive-folder-archive-type-internal new-folder))
474                  (equal (elmo-archive-folder-archive-prefix-internal
475                          folder)
476                         (elmo-archive-folder-archive-prefix-internal
477                          new-folder)))
478       (error "Not same archive type and prefix"))
479     (unless (file-exists-p old-arc)
480       (error "No such file: %s" old-arc))
481     (when (file-exists-p new-arc)
482       (error "Already exists: %s" new-arc))
483     (unless (file-directory-p new-dir)
484       (elmo-make-directory new-dir))
485     (rename-file old-arc new-arc)
486     t))
487
488 (defun elmo-archive-folder-list-subfolders (folder one-level)
489   (if elmo-archive-treat-file
490       (let* ((path (elmo-archive-get-archive-directory folder))
491              (base-folder (or (elmo-archive-folder-archive-name-internal
492                                folder)
493                               ""))
494              (suffix (elmo-archive-folder-archive-type-internal folder))
495              (prefix (if (string=
496                           (elmo-archive-folder-archive-prefix-internal folder)
497                           "")
498                          ""
499                        (concat ";"
500                                (elmo-archive-folder-archive-prefix-internal
501                                 folder))))
502              (dir (if (file-directory-p path)
503                       path (file-name-directory path)))
504              (name (if (file-directory-p path)
505                        "" (file-name-nondirectory path)))
506              (flist (and (file-directory-p dir)
507                          (directory-files dir nil
508                                           (if (> (length name) 0)
509                                               (concat "^" name "[^A-z][^A-z]")
510                                             name)
511                                           nil)))
512              (regexp (format "^\\(.*\\)\\(%s\\)$"
513                              (mapconcat
514                               '(lambda (x) (regexp-quote (cdr x)))
515                               elmo-archive-suffix-alist
516                               "\\|"))))
517         (if (string-match "\\(.*\\)/$" base-folder) ; ends with '/'.
518             (setq base-folder (elmo-match-string 1 base-folder))
519           (unless (file-directory-p path)
520             (setq base-folder (or (file-name-directory base-folder) ""))))
521         (delq
522          nil
523          (mapcar
524           '(lambda (x)
525              (when (and (string-match regexp x)
526                         (eq suffix
527                             (car
528                              (rassoc (elmo-match-string 2 x)
529                                      elmo-archive-suffix-alist))))
530                (format "%s%s;%s%s"
531                        (elmo-folder-prefix-internal folder)
532                        (elmo-concat-path base-folder (elmo-match-string 1 x))
533                        suffix prefix)))
534           flist)))
535     (elmo-mapcar-list-of-list
536      (function (lambda (x)
537                  (if (file-exists-p
538                       (expand-file-name
539                        (concat elmo-archive-basename
540                                (elmo-archive-get-suffix
541                                 (elmo-archive-folder-archive-type-internal
542                                  folder)))
543                        (expand-file-name
544                         x
545                         (elmo-archive-folder-path folder))))
546                      (concat (elmo-folder-prefix-internal folder) x))))
547      (elmo-list-subdirectories
548       (elmo-archive-folder-path folder)
549       (or (elmo-archive-folder-dir-name-internal folder) "")
550       one-level))))
551
552 (luna-define-method elmo-folder-list-subfolders ((folder elmo-archive-folder)
553                                                  &optional one-level)
554   (elmo-archive-folder-list-subfolders folder one-level))
555
556 ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
557 ;;; Article file related functions
558 ;;; read(extract) / append(move) / delete(delete) / query(list)
559
560 (defsubst elmo-archive-message-fetch-internal (folder number)
561   (let* ((type (elmo-archive-folder-archive-type-internal folder))
562          (arc (elmo-archive-get-archive-name folder))
563          (prefix (elmo-archive-folder-archive-prefix-internal folder))
564          (method (elmo-archive-get-method type 'cat))
565          (args (list arc (elmo-concat-path
566                           prefix (int-to-string number)))))
567     (and (file-exists-p arc)
568          (as-binary-process
569           (elmo-archive-call-method method args t))
570          (progn
571            (elmo-delete-cr-buffer)
572            t))))
573
574 (luna-define-method elmo-message-fetch-internal ((folder elmo-archive-folder)
575                                                  number strategy
576                                                  &optional section unseen)
577   (elmo-archive-message-fetch-internal folder number))
578
579 (luna-define-method elmo-folder-append-buffer ((folder elmo-archive-folder)
580                                                &optional flags number)
581   (elmo-archive-folder-append-buffer folder flags number))
582
583 ;; verrrrrry slow!!
584 (defun elmo-archive-folder-append-buffer (folder flags number)
585   (let* ((type (elmo-archive-folder-archive-type-internal folder))
586          (prefix (elmo-archive-folder-archive-prefix-internal folder))
587          (arc (elmo-archive-get-archive-name folder))
588          (method (elmo-archive-get-method type 'mv))
589          (next-num (or number
590                        (1+ (if (file-exists-p arc)
591                                (car
592                                 (elmo-folder-status folder)) 0))))
593          (tmp-dir (elmo-folder-msgdb-path folder))
594          (src-buffer (current-buffer))
595          dst-buffer
596          newfile)
597     (when (null method)
598       (ding)
599       (error "WARNING: read-only mode: %s (method undefined)" type))
600     (with-temp-buffer
601       (let ((tmp-dir (expand-file-name prefix tmp-dir)))
602         (when (not (file-directory-p tmp-dir))
603           (elmo-make-directory (directory-file-name tmp-dir))))
604       (setq newfile (elmo-concat-path
605                      prefix
606                      (int-to-string next-num)))
607       (elmo-bind-directory
608        tmp-dir
609        (if (and (or (functionp method) (car method))
610                 (file-writable-p newfile))
611            (progn
612              (setq dst-buffer (current-buffer))
613              (with-current-buffer src-buffer
614                (copy-to-buffer dst-buffer (point-min) (point-max)))
615              (as-binary-output-file
616                   (write-region (point-min) (point-max) newfile nil 'no-msg))
617              (when (elmo-archive-call-method method (list arc newfile))
618                (elmo-folder-preserve-flags
619                 folder
620                 (with-current-buffer src-buffer
621                   (elmo-msgdb-get-message-id-from-buffer))
622                 flags)
623                t))
624          nil)))))
625
626 (luna-define-method elmo-folder-append-messages :around
627   ((folder elmo-archive-folder) src-folder numbers &optional same-number)
628   (let ((prefix (elmo-archive-folder-archive-prefix-internal folder)))
629     (cond
630      ((and same-number
631            (null prefix)
632            (elmo-folder-message-file-p src-folder)
633            (elmo-folder-message-file-number-p src-folder))
634       ;; same-number(localdir, localnews) -> archive
635       (unless (elmo-archive-append-files folder
636                                          (elmo-folder-message-file-directory src-folder)
637                                          numbers)
638         (setq numbers nil))
639       (elmo-progress-notify 'elmo-folder-move-messages (length numbers))
640       numbers)
641      ((elmo-folder-message-make-temp-file-p src-folder)
642       ;; not-same-number (localdir, localnews), (archive maildir) -> archive
643       (let ((temp-dir (elmo-folder-message-make-temp-files
644                        src-folder
645                        numbers
646                        (unless same-number
647                          (1+ (if (file-exists-p (elmo-archive-get-archive-name
648                                                  folder))
649                                  (car (elmo-folder-status folder)) 0)))))
650             new-dir base-dir files)
651         (unwind-protect
652             (progn
653               (setq base-dir temp-dir)
654               (when (> (length prefix) 0)
655                 (when (file-name-directory prefix)
656                   (elmo-make-directory (file-name-directory prefix)))
657                 (rename-file
658                  temp-dir
659                  (setq new-dir
660                        (expand-file-name
661                         prefix
662                         ;; parent of temp-dir..(works in windows?)
663                         (expand-file-name ".." temp-dir))))
664                 ;; now temp-dir has name prefix.
665                 (setq temp-dir new-dir)
666                 ;; parent of prefix becomes base-dir.
667                 (setq base-dir (expand-file-name ".." temp-dir)))
668               (setq files
669                     (mapcar
670                      '(lambda (x) (elmo-concat-path prefix x))
671                      (directory-files temp-dir nil "^[^\\.]")))
672               (unless (elmo-archive-append-files folder
673                                                  base-dir
674                                                  files)
675                 (setq numbers nil)))
676           (elmo-delete-directory temp-dir)))
677       (elmo-progress-notify 'elmo-folder-move-messages (length numbers))
678       numbers)
679      (t (luna-call-next-method)))))
680
681 (luna-define-method elmo-folder-message-make-temp-file-p
682   ((folder elmo-archive-folder))
683   (let ((type (elmo-archive-folder-archive-type-internal folder)))
684     (or (elmo-archive-get-method type 'ext-pipe)
685         (elmo-archive-get-method type 'ext))))
686
687 (luna-define-method elmo-folder-message-make-temp-files
688   ((folder elmo-archive-folder) numbers
689    &optional start-number)
690   (elmo-archive-folder-message-make-temp-files folder numbers start-number))
691
692 (defun elmo-archive-folder-message-make-temp-files (folder
693                                                     numbers
694                                                     start-number)
695   (let* ((tmp-dir-src (elmo-folder-make-temporary-directory folder))
696          (tmp-dir-dst (elmo-folder-make-temporary-directory folder))
697          (arc     (elmo-archive-get-archive-name folder))
698          (type    (elmo-archive-folder-archive-type-internal folder))
699          (prefix  (elmo-archive-folder-archive-prefix-internal folder))
700          (p-method (elmo-archive-get-method type 'ext-pipe))
701          (n-method (elmo-archive-get-method type 'ext))
702          (tmp-msgs (mapcar (lambda (x) (elmo-concat-path
703                                         prefix
704                                         (int-to-string x))) numbers))
705          number)
706     ;; Expand files in the tmp-dir-src.
707     (elmo-bind-directory
708      tmp-dir-src
709      (cond
710       ((functionp n-method)
711        (funcall n-method (cons arc tmp-msgs)))
712       (p-method
713        (let ((p-prog (car p-method))
714              (p-prog-arg (cdr p-method)))
715          (elmo-archive-exec-msgs-subr1
716           p-prog (append p-prog-arg (list arc)) tmp-msgs)))
717       (t
718        (let ((n-prog (car n-method))
719              (n-prog-arg (cdr n-method)))
720          (elmo-archive-exec-msgs-subr2
721           n-prog (append n-prog-arg (list arc)) tmp-msgs
722           (length arc))))))
723     ;; Move files to the tmp-dir-dst.
724     (setq number start-number)
725     (dolist (tmp-file tmp-msgs)
726       (rename-file (expand-file-name
727                     tmp-file
728                     tmp-dir-src)
729                    (expand-file-name
730                     (if start-number
731                         (int-to-string number)
732                       (file-name-nondirectory tmp-file))
733                     tmp-dir-dst))
734       (if start-number (incf number)))
735     ;; Remove tmp-dir-src.
736     (elmo-delete-directory tmp-dir-src)
737     ;; tmp-dir-dst is the return directory.
738     tmp-dir-dst))
739
740 (defun elmo-archive-append-files (folder dir &optional files)
741   (let* ((dst-type (elmo-archive-folder-archive-type-internal folder))
742          (arc (elmo-archive-get-archive-name folder))
743          (prefix (elmo-archive-folder-archive-prefix-internal folder))
744          (p-method (elmo-archive-get-method dst-type 'cp-pipe))
745          (n-method (elmo-archive-get-method dst-type 'cp))
746          src tmp newfile)
747     (unless (elmo-folder-exists-p folder) (elmo-folder-create folder))
748     (unless files (setq files (directory-files dir nil "^[^\\.]")))
749     (when (null (or p-method n-method))
750       (ding)
751       (error "WARNING: read-only mode: %s (method undefined)" dst-type))
752     (save-excursion
753       (elmo-bind-directory
754        dir
755        (cond
756         ((functionp n-method)
757          (funcall n-method (cons arc files)))
758         (p-method
759          (let ((p-prog (car p-method))
760                (p-prog-arg (cdr p-method)))
761            (elmo-archive-exec-msgs-subr1
762             p-prog (append p-prog-arg (list arc)) files)))
763         (t
764          (let ((n-prog (car n-method))
765                (n-prog-arg (cdr n-method)))
766            (elmo-archive-exec-msgs-subr2
767             n-prog (append n-prog-arg (list arc)) files (length arc)))))))))
768
769 (luna-define-method elmo-folder-delete-messages-internal ((folder
770                                                            elmo-archive-folder)
771                                                           numbers)
772   (let* ((type (elmo-archive-folder-archive-type-internal folder))
773          (prefix (elmo-archive-folder-archive-prefix-internal folder))
774          (arc (elmo-archive-get-archive-name folder))
775          (p-method (elmo-archive-get-method type 'rm-pipe))
776          (n-method (elmo-archive-get-method type 'rm))
777          (numbers (mapcar '(lambda (x) (elmo-concat-path
778                                         prefix
779                                         (int-to-string x)))
780                           numbers)))
781     (cond ((functionp n-method)
782            (funcall n-method (cons arc numbers)))
783           (p-method
784            (let ((p-prog (car p-method))
785                  (p-prog-arg (cdr p-method)))
786              (elmo-archive-exec-msgs-subr1
787               p-prog (append p-prog-arg (list arc)) numbers)))
788           (n-method
789            (let ((n-prog (car n-method))
790                  (n-prog-arg (cdr n-method)))
791              (elmo-archive-exec-msgs-subr2
792               n-prog (append n-prog-arg (list arc)) numbers (length arc))))
793           (t
794            (ding)
795            (error "WARNING: not delete: %s (method undefined)" type)))))
796
797 (defun elmo-archive-exec-msgs-subr1 (prog args msgs)
798   (with-temp-buffer
799     (insert (mapconcat 'concat msgs "\n")) ;string
800     (= 0 (apply 'call-process-region (point-min) (point-max)
801                 prog nil nil nil args))))
802
803 (defun elmo-archive-exec-msgs-subr2 (prog args msgs arc-length)
804   (let ((max-len (- elmo-archive-cmdstr-max-length arc-length))
805         (n (length msgs))
806         rest i sum)
807     (setq rest msgs) ;string
808     (setq i 1)
809     (setq sum 0)
810     (catch 'done
811       (while (and rest (<= i n))
812         (mapcar '(lambda (x)
813                    (let* ((len (length x))
814                           (files (member x (reverse rest))))
815                      ;; total(previous) + current + white space
816                      (if (<= max-len (+ sum len 1))
817                          (progn
818                            (unless
819                                (elmo-archive-call-process
820                                 prog (append args files))
821                              (throw 'done nil))
822                            (setq sum 0) ;; reset
823                            (setq rest (nthcdr i rest)))
824                        (setq sum (+ sum len 1)))
825                      (setq i (1+ i)))) msgs))
826       (throw 'done
827              (or (not rest)
828                  (elmo-archive-call-process prog (append args rest))))
829       )))
830
831 (defsubst elmo-archive-article-exists-p (arc msg type)
832   (if (not elmo-archive-check-existance-strict)
833       t ; nop
834     (save-excursion ; added 980915
835       (let* ((method (elmo-archive-get-method type 'ls))
836              (args (list arc msg))
837              (buf (get-buffer-create " *ELMO ARCHIVE query*"))
838              (error-msg "\\(no file\\|0 files\\)")
839              ret-val)
840         (set-buffer buf)
841         (erase-buffer)
842         (elmo-archive-call-method method args t)
843         ;; pointer: point-max
844         (setq ret-val (not (re-search-backward error-msg nil t)))
845         (kill-buffer buf)
846         ret-val))))
847
848 (defun elmo-archive-tgz-common-func (args exec-type &optional copy)
849   (let* ((arc (car args))
850          (tmp-msgs (cdr args))
851          (decompress (elmo-archive-get-method 'tgz 'decompress))
852          (compress (elmo-archive-get-method 'tgz 'compress))
853          (exec (elmo-archive-get-method 'tgz exec-type))
854          (suffix (elmo-archive-get-suffix 'tgz))
855          (tar-suffix (elmo-archive-get-suffix 'tar))
856          arc-tar ret-val
857          )
858     (when (null (and decompress compress exec))
859       (ding)
860       (error "WARNING: special method undefined: %s of %s"
861              (or (if (null decompress) 'decompress)
862                  (if (null compress) 'compress)
863                  (if (null exec) exec-type))
864              'tgz))
865     (unless tar-suffix
866       (ding)
867       (error "WARNING: `tar' suffix undefined"))
868     (if (string-match (concat (regexp-quote suffix) "$") arc)
869         (setq arc-tar
870               (concat (substring arc 0 (match-beginning 0)) tar-suffix))
871       (error "%s: not match suffix [%s]" arc suffix))
872     (and
873      ;; decompress
874      (elmo-archive-call-process
875       (car decompress) (append (cdr decompress) (list arc)))
876      ;; append (or delete)
877      (elmo-archive-exec-msgs-subr2
878       (car exec) (append (cdr exec) (list arc-tar)) tmp-msgs (length arc-tar))
879      ;; compress
880      (setq ret-val
881            (elmo-archive-call-process
882             (car compress) (append (cdr compress) (list arc-tar)))))
883     ;; delete temporary messages
884     (if (and (not copy)
885              (eq exec-type 'append))
886         (while tmp-msgs
887           (if (file-exists-p (car tmp-msgs))
888               (delete-file (car tmp-msgs)))
889           (setq tmp-msgs (cdr tmp-msgs))))
890     ret-val))
891
892 (defun elmo-archive-tgz-cp-func (args &optional output)
893   (elmo-archive-tgz-common-func args 'append t))
894
895 (defun elmo-archive-tgz-mv-func (args &optional output)
896   (elmo-archive-tgz-common-func args 'append))
897
898 (defun elmo-archive-tgz-rm-func (args &optional output)
899   (elmo-archive-tgz-common-func args 'delete))
900
901 ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
902 ;;; MessageDB functions (from elmo-localdir.el)
903
904 (defsubst elmo-archive-msgdb-create-entity-subr (msgdb number)
905   (let (header-end)
906     (set-buffer-multibyte default-enable-multibyte-characters)
907     (goto-char (point-min))
908     (if (re-search-forward "\\(^--.*$\\)\\|\\(\n\n\\)" nil t)
909         (setq header-end (point))
910       (setq header-end (point-max)))
911     (narrow-to-region (point-min) header-end)
912     (elmo-msgdb-create-message-entity-from-buffer
913      (elmo-msgdb-message-entity-handler msgdb) number)))
914
915 ;; verrrry slow!!
916 (defsubst elmo-archive-msgdb-create-entity (msgdb
917                                             method
918                                             archive number type
919                                             &optional prefix)
920   (let* ((msg (elmo-concat-path prefix (int-to-string number)))
921          (arg-list (list archive msg)))
922     (when (elmo-archive-article-exists-p archive msg type)
923       ;; insert article.
924       (as-binary-process
925        (elmo-archive-call-method method arg-list t))
926       (elmo-archive-msgdb-create-entity-subr msgdb number))))
927
928 (luna-define-method elmo-folder-msgdb-create ((folder elmo-archive-folder)
929                                               numbers flag-table)
930   (when numbers
931     (save-excursion ;; 981005
932       (if (and elmo-archive-use-izip-agent
933                (elmo-archive-get-method
934                 (elmo-archive-folder-archive-type-internal folder)
935                 'cat-headers))
936           (elmo-archive-msgdb-create-as-numlist-subr2
937            folder numbers flag-table)
938         (elmo-archive-msgdb-create-as-numlist-subr1
939          folder numbers flag-table)))))
940
941 (defun elmo-archive-msgdb-create-as-numlist-subr1 (folder numlist flag-table)
942   (let* ((type (elmo-archive-folder-archive-type-internal folder))
943          (file (elmo-archive-get-archive-name folder))
944          (method (elmo-archive-get-method type 'cat))
945          (new-msgdb (elmo-make-msgdb))
946          entity i percent num message-id flags)
947     (with-temp-buffer
948       (setq num (length numlist))
949       (setq i 0)
950       (message "Creating msgdb...")
951       (while numlist
952         (erase-buffer)
953         (setq entity
954               (elmo-archive-msgdb-create-entity
955                new-msgdb
956                method file (car numlist) type
957                (elmo-archive-folder-archive-prefix-internal folder)))
958         (when entity
959           (setq message-id (elmo-message-entity-field entity 'message-id)
960                 flags (elmo-flag-table-get flag-table message-id))
961           (elmo-global-flags-set flags folder (car numlist) message-id)
962           (elmo-msgdb-append-entity new-msgdb entity flags))
963         (when (> num elmo-display-progress-threshold)
964           (setq i (1+ i))
965           (setq percent (/ (* i 100) num))
966           (elmo-display-progress
967            'elmo-archive-msgdb-create-as-numlist-subr1 "Creating msgdb..."
968            percent))
969         (setq numlist (cdr numlist)))
970       (message "Creating msgdb...done")
971       new-msgdb)))
972
973 ;;; info-zip agent
974 (defun elmo-archive-msgdb-create-as-numlist-subr2 (folder
975                                                    numlist
976                                                    flag-table)
977   (let* ((delim1 elmo-mmdf-delimiter)           ;; MMDF
978          (delim2 elmo-unixmail-delimiter)       ;; UNIX Mail
979          (type (elmo-archive-folder-archive-type-internal folder))
980          (prefix (elmo-archive-folder-archive-prefix-internal folder))
981          (method (elmo-archive-get-method type 'cat-headers))
982          (prog (car method))
983          (args (cdr method))
984          (arc (elmo-archive-get-archive-name folder))
985          (new-msgdb (elmo-make-msgdb))
986          n i percent num msgs case-fold-search)
987     (with-temp-buffer
988       (setq num (length numlist))
989       (setq i 0)
990       (message "Creating msgdb...")
991       (while numlist
992         (setq n (min (1- elmo-archive-fetch-headers-volume)
993                      (1- (length numlist))))
994         (setq msgs (reverse (memq (nth n numlist) (reverse numlist))))
995         (setq numlist (nthcdr (1+ n) numlist))
996         (erase-buffer)
997         (insert
998          (mapconcat
999           'concat
1000           (mapcar '(lambda (x) (elmo-concat-path prefix (int-to-string x))) msgs)
1001           "\n"))
1002         (message "Fetching headers...")
1003         (as-binary-process (apply 'call-process-region
1004                                   (point-min) (point-max)
1005                                   prog t t nil (append args (list arc))))
1006         (goto-char (point-min))
1007         (cond
1008          ((looking-at delim1)   ;; MMDF
1009           (elmo-msgdb-append
1010            new-msgdb
1011            (elmo-archive-parse-mmdf folder msgs flag-table)))
1012 ;;;      ((looking-at delim2)   ;; UNIX MAIL
1013 ;;;       (elmo-msgdb-append
1014 ;;;        new-msgdb
1015 ;;;        (elmo-archive-parse-unixmail msgs flag-table)))
1016          (t                     ;; unknown format
1017           (error "Unknown format!")))
1018         (when (> num elmo-display-progress-threshold)
1019           (setq i (+ n i))
1020           (setq percent (/ (* i 100) num))
1021           (elmo-display-progress
1022            'elmo-archive-msgdb-create-as-numlist-subr2 "Creating msgdb..."
1023            percent))))
1024     new-msgdb))
1025
1026 (defun elmo-archive-parse-mmdf (folder msgs flag-table)
1027   (let ((delim elmo-mmdf-delimiter)
1028         (new-msgdb (elmo-make-msgdb))
1029         number sp ep rest entity
1030         message-id flags)
1031     (goto-char (point-min))
1032     (setq rest msgs)
1033     (while (and rest (re-search-forward delim nil t)
1034                 (not (eobp)))
1035       (setq number (car rest))
1036       (setq sp (1+ (point)))
1037       (setq ep (prog2 (re-search-forward delim)
1038                    (1+ (- (point) (length delim)))))
1039       (if (>= sp ep)                    ; no article!
1040           ()                            ; nop
1041         (save-excursion
1042           (narrow-to-region sp ep)
1043           (setq entity (elmo-archive-msgdb-create-entity-subr new-msgdb number)
1044                 message-id (elmo-message-entity-field entity 'message-id)
1045                 flags (elmo-flag-table-get flag-table message-id))
1046           (elmo-global-flags-set flags folder number message-id)
1047           (elmo-msgdb-append-entity new-msgdb entity flags)
1048           (widen)))
1049       (forward-line 1)
1050       (setq rest (cdr rest)))
1051     new-msgdb))
1052
1053
1054 ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
1055 ;;; Search functions
1056
1057 (defsubst elmo-archive-field-condition-match (folder number number-list
1058                                                      condition prefix)
1059   (save-excursion
1060     (let* ((type (elmo-archive-folder-archive-type-internal folder))
1061            (arc (elmo-archive-get-archive-name folder))
1062            (method (elmo-archive-get-method type 'cat))
1063            (args (list arc (elmo-concat-path prefix (int-to-string number)))))
1064       (elmo-set-work-buf
1065        (when (file-exists-p arc)
1066          (as-binary-process
1067           (elmo-archive-call-method method args t))
1068          (set-buffer-multibyte default-enable-multibyte-characters)
1069          (decode-mime-charset-region (point-min)(point-max) elmo-mime-charset)
1070          (elmo-message-buffer-match-condition condition number))))))
1071
1072 (luna-define-method elmo-folder-search ((folder elmo-archive-folder)
1073                                         condition &optional from-msgs)
1074   (let* (;;(args (elmo-string-to-list key))
1075          ;; XXX: I don't know whether `elmo-archive-list-folder'
1076          ;;      updates match-data.
1077          ;; (msgs (or from-msgs (elmo-archive-list-folder spec)))
1078          (msgs (or from-msgs (elmo-folder-list-messages folder)))
1079          (num (length msgs))
1080          (i 0)
1081          (case-fold-search nil)
1082          number-list ret-val)
1083     (setq number-list msgs)
1084     (while msgs
1085       (if (elmo-archive-field-condition-match
1086            folder (car msgs) number-list
1087            condition
1088            (elmo-archive-folder-archive-prefix-internal folder))
1089           (setq ret-val (cons (car msgs) ret-val)))
1090       (when (> num elmo-display-progress-threshold)
1091         (setq i (1+ i))
1092         (elmo-display-progress
1093          'elmo-archive-search "Searching..."
1094          (/ (* i 100) num)))
1095       (setq msgs (cdr msgs)))
1096     (nreverse ret-val)))
1097
1098 ;;; method(alist)
1099 (if (null elmo-archive-method-alist)
1100     (let ((mlist elmo-archive-method-list) ; from mew-highlight.el
1101           method type str)
1102       (while mlist
1103         (setq method (car mlist))
1104         (setq mlist (cdr mlist))
1105         (setq str (symbol-name method))
1106         (string-match "elmo-archive-\\([^-].*\\)-method-alist$" str)
1107         (setq type (intern-soft
1108                     (elmo-match-string 1 str)))
1109         (setq elmo-archive-method-alist
1110               (cons (cons type
1111                           (symbol-value method))
1112                     elmo-archive-method-alist)))))
1113
1114 ;;; valid suffix(list)
1115 (if (null elmo-archive-suffixes)
1116     (let ((slist elmo-archive-suffix-alist)
1117           tmp)
1118       (while slist
1119         (setq tmp (car slist))
1120         (setq elmo-archive-suffixes
1121               (nconc elmo-archive-suffixes (list (cdr tmp))))
1122         (setq slist (cdr slist)))))
1123
1124 (luna-define-method elmo-message-use-cache-p ((folder elmo-archive-folder)
1125                                               number)
1126   elmo-archive-use-cache)
1127
1128 ;;; End
1129 (run-hooks 'elmo-archive-load-hook)
1130
1131 (require 'product)
1132 (product-provide (provide 'elmo-archive) (require 'elmo-version))
1133
1134 ;;; elmo-archive.el ends here