* wl-summary.el (wl-summary-detect-mark-position): Use
[elisp/wanderlust.git] / elmo / elmo-archive.el
1 ;;; elmo-archive.el --- Archive folder of ELMO. -*- coding: euc-japan -*-
2
3 ;; Copyright (C) 1998,1999,2000 OKUNISHI Fujikazu <fuji0924@mbox.kyoto-inet.or.jp>
4 ;; Copyright (C) 1998,1999,2000 Yuuichi Teranishi <teranisi@gohome.org>
5
6 ;; Author: OKUNISHI Fujikazu <fuji0924@mbox.kyoto-inet.or.jp>
7 ;;      Yuuichi Teranishi <teranisi@gohome.org>
8 ;; Keywords: mail, net news
9 ;; Created: Sep 13, 1998
10
11 ;; This file is part of ELMO (Elisp Library for Message Orchestration).
12
13 ;; This program is free software; you can redistribute it and/or modify
14 ;; it under the terms of the GNU General Public License as published by
15 ;; the Free Software Foundation; either version 2, or (at your option)
16 ;; any later version.
17 ;;
18 ;; This program is distributed in the hope that it will be useful,
19 ;; but WITHOUT ANY WARRANTY; without even the implied warranty of
20 ;; MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
21 ;; GNU General Public License for more details.
22 ;;
23 ;; You should have received a copy of the GNU General Public License
24 ;; along with GNU Emacs; see the file COPYING.  If not, write to the
25 ;; Free Software Foundation, Inc., 59 Temple Place - Suite 330,
26 ;; Boston, MA 02111-1307, USA.
27 ;;
28
29 ;;; Commentary:
30 ;;
31 ;; TODO:
32 ;; Info-Zip ÀìÍÑ¥¨¡¼¥¸¥§¥ó¥È¤òÍѤ¤¤¿ÆüËܸ측º÷¡ÊOS/2 ÀìÍÑ¡Ë¡£
33
34 ;;; Code:
35 ;;
36
37 (require 'elmo-msgdb)
38 (require 'emu)
39 (require 'std11)
40 (eval-when-compile (require 'elmo-localdir))
41
42 ;;; User vars.
43 (defvar elmo-archive-lha-dos-compatible
44   (memq system-type '(OS/2 emx windows-nt))
45   "*If non-nil, regard your LHA as compatible to DOS version.")
46
47 (defvar elmo-archive-use-izip-agent (memq system-type '(OS/2 emx))
48   "*If non-nil, use the special agent in fetching headers.")
49
50 (defvar elmo-archive-folder-path "~/Mail"
51   "*Base directory for archive folders.")
52
53 (defvar elmo-archive-basename "elmo-archive"
54   "*Common basename of archive folder file, w/o suffix.")
55
56 (defvar elmo-archive-cmdstr-max-length 8000 ; SASAKI Osamu's suggestion
57   "*Command line string limitation under OS/2, exactly 8190 bytes.")
58
59 (defvar elmo-archive-fetch-headers-volume 50
60   "*Quantity of article headers to fetch per once.")
61
62 (defvar elmo-archive-dummy-file ".elmo-archive"
63   "*Name of dummy file that will be appended when the folder is null.")
64
65 (defvar elmo-archive-check-existance-strict t
66   "*Check existance of archive contents if non-nil.")
67
68 (defvar elmo-archive-load-hook nil
69   "*Hook called after loading elmo-archive.el.")
70
71 (defvar elmo-archive-treat-file nil
72   "*Treat archive folder as a file if non-nil.")
73
74 ;;; User variables for elmo-archive.
75 (defvar elmo-archive-default-type 'zip
76   "*Default archiver type.  The value must be a symbol.")
77
78 (defvar elmo-archive-use-cache nil
79   "Use cache in archive folder.")
80
81 ;;; ELMO Local directory folder
82 (eval-and-compile
83   (luna-define-class elmo-archive-folder (elmo-folder)
84                      (archive-name archive-type archive-prefix dir-name))
85   (luna-define-internal-accessors 'elmo-archive-folder))
86
87 (luna-define-generic elmo-archive-folder-path (folder)
88   "Return local directory path of the FOLDER.")
89
90 (luna-define-method elmo-archive-folder-path ((folder elmo-archive-folder))
91   elmo-archive-folder-path)
92
93 (luna-define-method elmo-folder-initialize ((folder
94                                              elmo-archive-folder)
95                                             name)
96   (elmo-archive-folder-set-dir-name-internal folder name)
97   (when (string-match
98          "^\\([^;]*\\);?\\([^;]*\\);?\\([^;]*\\)$"
99          name)
100     ;; Drive letter is OK!
101     (or (elmo-archive-folder-set-archive-name-internal
102          folder (elmo-match-string 1 name))
103         (elmo-archive-folder-set-archive-name-internal
104          folder ""))
105     (or (elmo-archive-folder-set-archive-type-internal
106          folder (intern-soft (elmo-match-string 2 name)))
107         (elmo-archive-folder-set-archive-type-internal
108          folder elmo-archive-default-type))
109     (or (elmo-archive-folder-set-archive-prefix-internal
110          folder (elmo-match-string 3 name))
111         (elmo-archive-folder-set-archive-prefix-internal
112          folder "")))
113   folder)
114
115 (luna-define-method elmo-folder-expand-msgdb-path ((folder
116                                                     elmo-archive-folder))
117   ;; For compatibility
118   (expand-file-name
119    (elmo-replace-string-as-filename
120     (elmo-folder-name-internal folder))
121    (expand-file-name (concat (symbol-name (elmo-folder-type-internal folder))
122                              "/"
123                              (symbol-name
124                               (elmo-archive-folder-archive-type-internal
125                                folder)))
126                      elmo-msgdb-directory)))
127
128 ;;; MMDF parser -- info-zip agent w/ REXX
129 (defvar elmo-mmdf-delimiter "^\01\01\01\01$"
130   "*Regular expression of MMDF delimiter.")
131
132 (defvar elmo-unixmail-delimiter "^From \\([^ \t]+\\) \\(.+\\)"
133   "*Regular expression of UNIX Mail delimiter.")
134
135 (defvar elmo-archive-header-regexp "^[ \t]*[-=][-=][-=][-=]"
136   "*Common regexp of the delimiter in listing archive.") ; marche
137
138 (defvar elmo-archive-file-regexp-alist
139   (append
140    (if elmo-archive-lha-dos-compatible
141        '((lha . "^%s\\([0-9]+\\)$"))    ; OS/2,DOS w/  "-x"
142      '((lha . "^.*[ \t]%s\\([0-9]+\\)$")))
143    '((zip . "^.*[ \t]%s\\([0-9]+\\)$")
144      (zoo . "^.*[ \t]%s\\([0-9]+\\)$")
145      (tar . "^%s\\([0-9]+\\)$")         ; ok
146      (tgz . "^%s\\([0-9]+\\)$")         ; ok
147      (rar . "^[ \t]%s\\([0-9]+\\)$"))))
148
149 (defvar elmo-archive-suffix-alist
150    '((lha . ".lzh")  ; default
151 ;;;  (lha . ".lzs")
152      (zip . ".zip")
153      (zoo . ".zoo")
154 ;;;  (arc . ".arc")
155 ;;;  (arj . ".arj")
156      (rar . ".rar")
157      (tar . ".tar")
158      (tgz . ".tar.gz")))
159
160 ;;; lha
161 (defvar elmo-archive-lha-method-alist
162   (if elmo-archive-lha-dos-compatible
163       ;; OS/2
164       '((cp  . ("lha" "u" "-x"))
165         (mv  . ("lha" "m" "-x"))
166         (rm  . ("lha" "d"))
167         (ls  . ("lha" "l" "-x"))
168         (cat . ("lha" "p" "-n"))
169         (ext . ("lha" "x"))             ; "-x"
170         )
171     ;; some UN|X
172     '((cp  . ("lha" "u"))
173       (mv  . ("lha" "m"))
174       (rm  . ("lha" "d"))
175       (ls  . ("lha" "l"))
176       (cat . ("lha" "pq"))
177       (ext . ("lha" "x")))))
178
179 ;;; info-zip/unzip
180 (defvar elmo-archive-zip-method-alist
181   '((cp       . ("zip" "-9q"))
182     (cp-pipe  . ("zip" "-9q@"))
183     (mv       . ("zip" "-mDq9"))
184     (mv-pipe  . ("zip" "-mDq9@"))
185     (rm       . ("zip" "-dq"))
186     (rm-pipe  . ("zip" "-dq@"))
187     (ls       . ("unzip" "-lq"))
188     (cat      . ("unzip" "-pq"))
189     (ext      . ("unzip"))
190     (cat-headers . ("izwlagent" "--cat"))))
191
192 ;;; zoo
193 (defvar elmo-archive-zoo-method-alist
194   '((cp       . ("zoo" "aq"))
195     (cp-pipe  . ("zoo" "aqI"))
196     (mv       . ("zoo" "aMq"))
197     (mv-pipe  . ("zoo" "aMqI"))
198     (rm       . ("zoo" "Dq"))
199     (ls       . ("zoo" "l"))            ; normal
200     (cat      . ("zoo" "xpq"))
201     (ext      . ("zoo" "xq"))))
202
203 ;;; rar
204 (defvar elmo-archive-rar-method-alist
205   '((cp       . ("rar" "u" "-m5"))
206     (mv       . ("rar" "m" "-m5"))
207     (rm       . ("rar" "d"))
208     (ls       . ("rar" "v"))
209     (cat      . ("rar" "p" "-inul"))
210     (ext      . ("rar" "x"))))
211
212 ;;; GNU tar (*.tar)
213 (defvar elmo-archive-tar-method-alist
214   (if elmo-archive-lha-dos-compatible
215       '((ls   . ("gtar" "-tf"))
216         (cat  . ("gtar" "--posix Oxf"))
217         (ext  . ("gtar" "-xf"))
218 ;;;     (rm   . ("gtar" "--posix" "--delete" "-f")) ; well not work
219         )
220     '((ls    . ("gtar" "-tf"))
221       (cat   . ("gtar" "-Oxf"))
222       (ext   . ("gtar" "-xf"))
223 ;;;     (rm    . ("gtar" "--delete" "-f")) ;; well not work
224       )))
225
226 ;;; GNU tar (*.tar.gz, *.tar.Z, *.tar.bz2)
227 (defvar elmo-archive-tgz-method-alist
228   '((ls         . ("gtar" "-ztf"))
229     (cat        . ("gtar" "-Ozxf"))
230     (create     . ("gtar" "-zcf"))
231 ;;; (rm         . elmo-archive-tgz-rm-func)
232     (cp         . elmo-archive-tgz-cp-func)
233     (mv         . elmo-archive-tgz-mv-func)
234     (ext        . ("gtar" "-zxf"))
235     ;; tgz special method
236     (decompress . ("gzip" "-d"))
237     (compress   . ("gzip"))
238     (append     . ("gtar" "-uf"))
239 ;;; (delete     . ("gtar" "--delete" "-f")) ; well not work
240     ))
241
242 (defvar elmo-archive-method-list
243   '(elmo-archive-lha-method-alist
244     elmo-archive-zip-method-alist
245     elmo-archive-zoo-method-alist
246 ;;; elmo-archive-tar-method-alist
247     elmo-archive-tgz-method-alist
248 ;;; elmo-archive-arc-method-alist
249 ;;; elmo-archive-arj-method-alist
250     elmo-archive-rar-method-alist))
251
252 ;;; Internal vars.
253 (defvar elmo-archive-method-alist nil)
254 (defvar elmo-archive-suffixes nil)
255
256
257 ;;; Macro
258 (defmacro elmo-archive-get-method (type action)
259   (` (cdr (assq (, action) (cdr (assq (, type)
260                                       elmo-archive-method-alist))))))
261
262 (defmacro elmo-archive-get-suffix (type)
263   (` (cdr (assq (, type)
264                 elmo-archive-suffix-alist))))
265
266 (defmacro elmo-archive-get-regexp (type)
267   (` (cdr (assq (, type)
268                 elmo-archive-file-regexp-alist))))
269
270 (defsubst elmo-archive-call-process (prog args &optional output)
271   (= (apply 'call-process prog nil output nil args) 0))
272
273 (defsubst elmo-archive-call-method (method args &optional output)
274   (cond
275    ((functionp method)
276     (funcall method args output))
277    (t
278     (elmo-archive-call-process
279      (car method) (append (cdr method) args) output))))
280
281 ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
282 ;;; Scan Folder
283
284 (defsubst elmo-archive-list-folder-subr (folder &optional nonsort)
285   "*Returns list of number-file(int, not string) in archive FILE.
286 TYPE specifies the archiver's symbol."
287   (let* ((type (elmo-archive-folder-archive-type-internal folder))
288          (prefix (elmo-archive-folder-archive-prefix-internal folder))
289          (file (elmo-archive-get-archive-name folder))
290          (method (elmo-archive-get-method type 'ls))
291          (args (list file))
292          (file-regexp (format (elmo-archive-get-regexp type)
293                               (elmo-concat-path (regexp-quote prefix) "")))
294          (killed (elmo-folder-killed-list-internal folder))
295          numbers buf file-list header-end)
296     (if (file-exists-p file)
297         (with-temp-buffer
298           (unless (elmo-archive-call-method method args t)
299             (error "%s exited abnormally!" method))
300           (goto-char (point-min))
301           (when (re-search-forward elmo-archive-header-regexp nil t)
302             (forward-line 1)
303             (setq header-end (point))
304             (when (re-search-forward elmo-archive-header-regexp nil t)
305               (beginning-of-line)
306               (narrow-to-region header-end (point))
307               (goto-char (point-min))))
308           (while (and (re-search-forward file-regexp nil t)
309                       (not (eobp)))  ; for GNU tar 981010
310             (setq file-list (nconc file-list (list (string-to-int
311                                                     (match-string 1)))))))
312       (error "%s does not exist" file))
313     (if nonsort
314         (cons (or (elmo-max-of-list file-list) 0)
315               (if killed
316                   (- (length file-list)
317                      (elmo-msgdb-killed-list-length killed))
318                 (length file-list)))
319       (setq numbers (sort file-list '<))
320       (elmo-living-messages numbers killed))))
321
322 (luna-define-method elmo-folder-list-messages-internal ((folder
323                                                          elmo-archive-folder)
324                                                         &optional nohide)
325   (elmo-archive-list-folder-subr folder))
326
327 (luna-define-method elmo-folder-status ((folder elmo-archive-folder))
328   (elmo-archive-list-folder-subr folder t))
329
330 ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
331 ;;; Folder related functions
332
333 (defsubst elmo-archive-get-archive-directory (folder)
334   ;; allow fullpath. return format is "/foo/bar/".
335   (if (file-name-absolute-p (elmo-archive-folder-archive-name-internal folder))
336       (if (find-file-name-handler
337            (elmo-archive-folder-archive-name-internal folder)
338            'copy-file)
339           (elmo-archive-folder-archive-name-internal folder)
340         (expand-file-name (elmo-archive-folder-archive-name-internal folder)))
341     (expand-file-name (elmo-archive-folder-archive-name-internal folder)
342                       elmo-archive-folder-path)))
343
344 (defun elmo-archive-get-archive-name (folder)
345   (let ((dir (elmo-archive-get-archive-directory folder))
346         (suffix (elmo-archive-get-suffix
347                  (elmo-archive-folder-archive-type-internal
348                   folder)))
349         filename dbdir)
350     (unless suffix
351       (error "Unknown archiver type: %s"
352              (elmo-archive-folder-archive-type-internal folder)))
353     (if elmo-archive-treat-file
354         (if (string-match (concat (regexp-quote suffix) "$")
355                           (elmo-archive-folder-archive-name-internal folder))
356             (expand-file-name (elmo-archive-folder-archive-name-internal
357                                folder)
358                               elmo-archive-folder-path)
359           (expand-file-name (concat (elmo-archive-folder-archive-name-internal
360                                      folder)
361                                     suffix)
362                             elmo-archive-folder-path))
363       (if (string-match
364            "^\\(ange-ftp\\|efs\\)-"
365            (symbol-name (find-file-name-handler dir 'copy-file)))
366           ;; ange-ftp, efs
367           (progn
368             (setq filename (expand-file-name
369                             (concat elmo-archive-basename suffix)
370                             (setq dbdir
371                                   (elmo-folder-msgdb-path folder))))
372             (if (file-directory-p dbdir)
373                 (); ok.
374               (if (file-exists-p dbdir)
375                   (error "File %s already exists" dbdir)
376                 (elmo-make-directory dbdir)))
377             (if (not (file-exists-p filename))
378                 (copy-file
379                  (if (file-directory-p dir)
380                      (expand-file-name
381                       (concat elmo-archive-basename suffix)
382                       dir)
383                    dir)
384                  filename))
385             filename)
386         (if (or (not (file-exists-p dir))
387                 (file-directory-p dir))
388             (expand-file-name
389              (concat elmo-archive-basename suffix)
390              dir)
391           dir)))))
392
393 (luna-define-method elmo-folder-exists-p ((folder elmo-archive-folder))
394   (file-exists-p (elmo-archive-get-archive-name folder)))
395
396 (luna-define-method elmo-folder-creatable-p ((folder elmo-archive-folder))
397   t)
398
399 (luna-define-method elmo-folder-writable-p ((folder elmo-archive-folder))
400   t)
401
402 (luna-define-method elmo-folder-create ((folder elmo-archive-folder))
403   (let* ((dir (directory-file-name      ; remove tail slash.
404                (elmo-archive-get-archive-directory folder)))
405          (type (elmo-archive-folder-archive-type-internal folder))
406          (arc (elmo-archive-get-archive-name folder)))
407     (if elmo-archive-treat-file
408         (setq dir (directory-file-name (file-name-directory dir))))
409     (cond ((and (file-exists-p dir)
410                 (not (file-directory-p dir)))
411            ;; file exists
412            (error "Create folder failed; File \"%s\" exists" dir))
413           ((file-directory-p dir)
414            (if (file-exists-p arc)
415                t                        ; return value
416              (elmo-archive-create-file arc type folder)))
417           (t
418            (elmo-make-directory dir)
419            (elmo-archive-create-file arc type folder)
420            t))))
421
422 (defun elmo-archive-create-file (archive type folder)
423   (save-excursion
424     (let* ((tmp-dir (directory-file-name
425                      (elmo-folder-msgdb-path folder)))
426            (dummy elmo-archive-dummy-file)
427            (method (or (elmo-archive-get-method type 'create)
428                        (elmo-archive-get-method type 'mv)))
429            (args (list archive dummy)))
430       (when (null method)
431         (ding)
432         (error "WARNING: read-only mode: %s (method undefined)" type))
433       (cond
434        ((file-directory-p tmp-dir)
435         ()) ;nop
436        ((file-exists-p tmp-dir)
437         ;; file exists
438         (error "Create directory failed; File \"%s\" exists" tmp-dir))
439        (t
440         (elmo-make-directory tmp-dir)))
441       (elmo-bind-directory
442        tmp-dir
443        (write-region (point) (point) dummy nil 'no-msg)
444        (prog1
445            (elmo-archive-call-method method args)
446          (if (file-exists-p dummy)
447              (delete-file dummy)))
448        ))))
449
450 (luna-define-method elmo-folder-delete ((folder elmo-archive-folder))
451   (let ((msgs (and (elmo-folder-exists-p folder)
452                    (elmo-folder-list-messages folder))))
453     (when (yes-or-no-p (format "%sDelete msgdb and substance of \"%s\"? "
454                                (if (> (length msgs) 0)
455                                    (format "%d msg(s) exists. " (length msgs))
456                                  "")
457                                (elmo-folder-name-internal folder)))
458       (let ((arc (elmo-archive-get-archive-name folder)))
459         (if (not (file-exists-p arc))
460             (error "No such file: %s" arc)
461           (delete-file arc))
462         (elmo-msgdb-delete-path folder)
463         t))))
464
465 (luna-define-method elmo-folder-rename-internal ((folder elmo-archive-folder)
466                                                  new-folder)
467   (let* ((old-arc (elmo-archive-get-archive-name folder))
468          (new-arc (elmo-archive-get-archive-name new-folder))
469          (new-dir (directory-file-name
470                    (elmo-archive-get-archive-directory new-folder))))
471     (if elmo-archive-treat-file
472         (setq new-dir (directory-file-name (file-name-directory new-dir))))
473     (unless (and (eq (elmo-archive-folder-archive-type-internal folder)
474                      (elmo-archive-folder-archive-type-internal new-folder))
475                  (equal (elmo-archive-folder-archive-prefix-internal
476                          folder)
477                         (elmo-archive-folder-archive-prefix-internal
478                          new-folder)))
479       (error "Not same archive type and prefix"))
480     (unless (file-exists-p old-arc)
481       (error "No such file: %s" old-arc))
482     (when (file-exists-p new-arc)
483       (error "Already exists: %s" new-arc))
484     (unless (file-directory-p new-dir)
485       (elmo-make-directory new-dir))
486     (rename-file old-arc new-arc)
487     t))
488
489 (defun elmo-archive-folder-list-subfolders (folder one-level)
490   (if elmo-archive-treat-file
491       (let* ((path (elmo-archive-get-archive-directory folder))
492              (base-folder (or (elmo-archive-folder-archive-name-internal
493                                folder)
494                               ""))
495              (suffix (elmo-archive-folder-archive-type-internal folder))
496              (prefix (if (string=
497                           (elmo-archive-folder-archive-prefix-internal folder)
498                           "")
499                          ""
500                        (concat ";"
501                                (elmo-archive-folder-archive-prefix-internal
502                                 folder))))
503              (dir (if (file-directory-p path)
504                       path (file-name-directory path)))
505              (name (if (file-directory-p path)
506                        "" (file-name-nondirectory path)))
507              (flist (and (file-directory-p dir)
508                          (directory-files dir nil
509                                           (if (> (length name) 0)
510                                               (concat "^" name "[^A-z][^A-z]")
511                                             name)
512                                           nil)))
513              (regexp (format "^\\(.*\\)\\(%s\\)$"
514                              (mapconcat
515                               '(lambda (x) (regexp-quote (cdr x)))
516                               elmo-archive-suffix-alist
517                               "\\|"))))
518         (if (string-match "\\(.*\\)/$" base-folder) ; ends with '/'.
519             (setq base-folder (elmo-match-string 1 base-folder))
520           (unless (file-directory-p path)
521             (setq base-folder (or (file-name-directory base-folder) ""))))
522         (delq
523          nil
524          (mapcar
525           '(lambda (x)
526              (when (and (string-match regexp x)
527                         (eq suffix
528                             (car
529                              (rassoc (elmo-match-string 2 x)
530                                      elmo-archive-suffix-alist))))
531                (format "%s%s;%s%s"
532                        (elmo-folder-prefix-internal folder)
533                        (elmo-concat-path base-folder (elmo-match-string 1 x))
534                        suffix prefix)))
535           flist)))
536     (elmo-mapcar-list-of-list
537      (function (lambda (x)
538                  (if (file-exists-p
539                       (expand-file-name
540                        (concat elmo-archive-basename
541                                (elmo-archive-get-suffix
542                                 (elmo-archive-folder-archive-type-internal
543                                  folder)))
544                        (expand-file-name
545                         x
546                         (elmo-archive-folder-path folder))))
547                      (concat (elmo-folder-prefix-internal folder) x))))
548      (elmo-list-subdirectories
549       (elmo-archive-folder-path folder)
550       (or (elmo-archive-folder-dir-name-internal folder) "")
551       one-level))))
552
553 (luna-define-method elmo-folder-list-subfolders ((folder elmo-archive-folder)
554                                                  &optional one-level)
555   (elmo-archive-folder-list-subfolders folder one-level))
556
557 ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
558 ;;; Article file related functions
559 ;;; read(extract) / append(move) / delete(delete) / query(list)
560
561 (defsubst elmo-archive-message-fetch-internal (folder number)
562   (let* ((type (elmo-archive-folder-archive-type-internal folder))
563          (arc (elmo-archive-get-archive-name folder))
564          (prefix (elmo-archive-folder-archive-prefix-internal folder))
565          (method (elmo-archive-get-method type 'cat))
566          (args (list arc (elmo-concat-path
567                           prefix (int-to-string number)))))
568     (and (file-exists-p arc)
569          (as-binary-process
570           (elmo-archive-call-method method args t))
571          (progn
572            (elmo-delete-cr-buffer)
573            t))))
574
575 (luna-define-method elmo-message-fetch-internal ((folder elmo-archive-folder)
576                                                  number strategy
577                                                  &optional section unseen)
578   (elmo-archive-message-fetch-internal folder number))
579
580 (luna-define-method elmo-folder-append-buffer ((folder elmo-archive-folder)
581                                                &optional flag number)
582   (elmo-archive-folder-append-buffer folder flag number))
583
584 ;; verrrrrry slow!!
585 (defun elmo-archive-folder-append-buffer (folder flag number)
586   (let* ((type (elmo-archive-folder-archive-type-internal folder))
587          (prefix (elmo-archive-folder-archive-prefix-internal folder))
588          (arc (elmo-archive-get-archive-name folder))
589          (method (elmo-archive-get-method type 'mv))
590          (next-num (or number
591                        (1+ (if (file-exists-p arc)
592                                (car
593                                 (elmo-folder-status folder)) 0))))
594          (tmp-dir (elmo-folder-msgdb-path folder))
595          (src-buffer (current-buffer))
596          dst-buffer
597          newfile)
598     (when (null method)
599       (ding)
600       (error "WARNING: read-only mode: %s (method undefined)" type))
601     (with-temp-buffer
602       (let ((tmp-dir (expand-file-name prefix tmp-dir)))
603         (when (not (file-directory-p tmp-dir))
604           (elmo-make-directory (directory-file-name tmp-dir))))
605       (setq newfile (elmo-concat-path
606                      prefix
607                      (int-to-string next-num)))
608       (unwind-protect
609           (elmo-bind-directory
610            tmp-dir
611            (if (and (or (functionp method) (car method))
612                     (file-writable-p newfile))
613                (progn
614                  (setq dst-buffer (current-buffer))
615                  (with-current-buffer src-buffer
616                    (copy-to-buffer dst-buffer (point-min) (point-max)))
617                  (as-binary-output-file
618                   (write-region (point-min) (point-max) newfile nil 'no-msg))
619                  (elmo-archive-call-method method (list arc newfile))
620                  t)
621              nil))))))
622
623 (luna-define-method elmo-folder-append-messages :around
624   ((folder elmo-archive-folder) src-folder numbers &optional same-number)
625   (let ((prefix (elmo-archive-folder-archive-prefix-internal folder)))
626     (cond
627      ((and same-number
628            (null prefix)
629            (elmo-folder-message-file-p src-folder)
630            (elmo-folder-message-file-number-p src-folder))
631       ;; same-number(localdir, localnews) -> archive
632       (elmo-archive-append-files folder
633                                  (elmo-folder-message-file-directory src-folder)
634                                  numbers)
635       (elmo-progress-notify 'elmo-folder-move-messages (length numbers))
636       numbers)
637      ((elmo-folder-message-make-temp-file-p src-folder)
638       ;; not-same-number (localdir, localnews), (archive maildir) -> archive
639       (let ((temp-dir (elmo-folder-message-make-temp-files
640                        src-folder
641                        numbers
642                        (unless same-number
643                          (1+ (if (file-exists-p (elmo-archive-get-archive-name
644                                                  folder))
645                                  (car (elmo-folder-status folder)) 0)))))
646             new-dir base-dir files)
647         (setq base-dir temp-dir)
648         (when (> (length prefix) 0)
649           (when (file-name-directory prefix)
650             (elmo-make-directory (file-name-directory prefix)))
651           (rename-file
652            temp-dir
653            (setq new-dir
654                  (expand-file-name
655                   prefix
656                   ;; parent of temp-dir..(works in windows?)
657                   (expand-file-name ".." temp-dir))))
658           ;; now temp-dir has name prefix.
659           (setq temp-dir new-dir)
660           ;; parent of prefix becomes base-dir.
661           (setq base-dir (expand-file-name ".." temp-dir)))
662         (setq files
663               (mapcar
664                '(lambda (x) (elmo-concat-path prefix x))
665                (directory-files temp-dir nil "^[^\\.]")))
666         (if (elmo-archive-append-files folder
667                                        base-dir
668                                        files)
669             (elmo-delete-directory temp-dir)))
670       (elmo-progress-notify 'elmo-folder-move-messages (length numbers))
671       numbers)
672      (t (luna-call-next-method)))))
673
674 (luna-define-method elmo-folder-message-make-temp-file-p
675   ((folder elmo-archive-folder))
676   (let ((type (elmo-archive-folder-archive-type-internal folder)))
677     (or (elmo-archive-get-method type 'ext-pipe)
678         (elmo-archive-get-method type 'ext))))
679
680 (luna-define-method elmo-folder-message-make-temp-files
681   ((folder elmo-archive-folder) numbers
682    &optional start-number)
683   (elmo-archive-folder-message-make-temp-files folder numbers start-number))
684
685 (defun elmo-archive-folder-message-make-temp-files (folder
686                                                     numbers
687                                                     start-number)
688   (let* ((tmp-dir-src (elmo-folder-make-temporary-directory folder))
689          (tmp-dir-dst (elmo-folder-make-temporary-directory folder))
690          (arc     (elmo-archive-get-archive-name folder))
691          (type    (elmo-archive-folder-archive-type-internal folder))
692          (prefix  (elmo-archive-folder-archive-prefix-internal folder))
693          (p-method (elmo-archive-get-method type 'ext-pipe))
694          (n-method (elmo-archive-get-method type 'ext))
695          (tmp-msgs (mapcar (lambda (x) (elmo-concat-path
696                                         prefix
697                                         (int-to-string x))) numbers))
698          number)
699     ;; Expand files in the tmp-dir-src.
700     (elmo-bind-directory
701      tmp-dir-src
702      (cond
703       ((functionp n-method)
704        (funcall n-method (cons arc tmp-msgs)))
705       (p-method
706        (let ((p-prog (car p-method))
707              (p-prog-arg (cdr p-method)))
708          (elmo-archive-exec-msgs-subr1
709           p-prog (append p-prog-arg (list arc)) tmp-msgs)))
710       (t
711        (let ((n-prog (car n-method))
712              (n-prog-arg (cdr n-method)))
713          (elmo-archive-exec-msgs-subr2
714           n-prog (append n-prog-arg (list arc)) tmp-msgs
715           (length arc))))))
716     ;; Move files to the tmp-dir-dst.
717     (setq number start-number)
718     (dolist (tmp-file tmp-msgs)
719       (rename-file (expand-file-name
720                     tmp-file
721                     tmp-dir-src)
722                    (expand-file-name
723                     (if start-number
724                         (int-to-string number)
725                       (file-name-nondirectory tmp-file))
726                     tmp-dir-dst))
727       (if start-number (incf number)))
728     ;; Remove tmp-dir-src.
729     (elmo-delete-directory tmp-dir-src)
730     ;; tmp-dir-dst is the return directory.
731     tmp-dir-dst))
732
733 (defun elmo-archive-append-files (folder dir &optional files)
734   (let* ((dst-type (elmo-archive-folder-archive-type-internal folder))
735          (arc (elmo-archive-get-archive-name folder))
736          (prefix (elmo-archive-folder-archive-prefix-internal folder))
737          (p-method (elmo-archive-get-method dst-type 'cp-pipe))
738          (n-method (elmo-archive-get-method dst-type 'cp))
739          src tmp newfile)
740     (unless (elmo-folder-exists-p folder) (elmo-folder-create folder))
741     (unless files (setq files (directory-files dir nil "^[^\\.]")))
742     (when (null (or p-method n-method))
743       (ding)
744       (error "WARNING: read-only mode: %s (method undefined)" dst-type))
745     (save-excursion
746       (elmo-bind-directory
747        dir
748        (cond
749         ((functionp n-method)
750          (funcall n-method (cons arc files)))
751         (p-method
752          (let ((p-prog (car p-method))
753                (p-prog-arg (cdr p-method)))
754            (elmo-archive-exec-msgs-subr1
755             p-prog (append p-prog-arg (list arc)) files)))
756         (t
757          (let ((n-prog (car n-method))
758                (n-prog-arg (cdr n-method)))
759            (elmo-archive-exec-msgs-subr2
760             n-prog (append n-prog-arg (list arc)) files (length arc)))))))))
761
762 (luna-define-method elmo-folder-delete-messages ((folder elmo-archive-folder)
763                                                  numbers)
764   (let* ((type (elmo-archive-folder-archive-type-internal folder))
765          (prefix (elmo-archive-folder-archive-prefix-internal folder))
766          (arc (elmo-archive-get-archive-name folder))
767          (p-method (elmo-archive-get-method type 'rm-pipe))
768          (n-method (elmo-archive-get-method type 'rm))
769          (numbers (mapcar '(lambda (x) (elmo-concat-path
770                                         prefix
771                                         (int-to-string x)))
772                           numbers)))
773     (cond ((functionp n-method)
774            (funcall n-method (cons arc numbers)))
775           (p-method
776            (let ((p-prog (car p-method))
777                  (p-prog-arg (cdr p-method)))
778              (elmo-archive-exec-msgs-subr1
779               p-prog (append p-prog-arg (list arc)) numbers)))
780           (n-method
781            (let ((n-prog (car n-method))
782                  (n-prog-arg (cdr n-method)))
783              (elmo-archive-exec-msgs-subr2
784               n-prog (append n-prog-arg (list arc)) numbers (length arc))))
785           (t
786            (ding)
787            (error "WARNING: not delete: %s (method undefined)" type)))))
788
789 (defun elmo-archive-exec-msgs-subr1 (prog args msgs)
790   (with-temp-buffer
791     (insert (mapconcat 'concat msgs "\n")) ;string
792     (= 0 (apply 'call-process-region (point-min) (point-max)
793                 prog nil nil nil args))))
794
795 (defun elmo-archive-exec-msgs-subr2 (prog args msgs arc-length)
796   (let ((max-len (- elmo-archive-cmdstr-max-length arc-length))
797         (n (length msgs))
798         rest i sum)
799     (setq rest msgs) ;string
800     (setq i 1)
801     (setq sum 0)
802     (catch 'done
803       (while (and rest (<= i n))
804         (mapcar '(lambda (x)
805                    (let* ((len (length x))
806                           (files (member x (reverse rest))))
807                      ;; total(previous) + current + white space
808                      (if (<= max-len (+ sum len 1))
809                          (progn
810                            (unless
811                                (elmo-archive-call-process
812                                 prog (append args files))
813                              (throw 'done nil))
814                            (setq sum 0) ;; reset
815                            (setq rest (nthcdr i rest)))
816                        (setq sum (+ sum len 1)))
817                      (setq i (1+ i)))) msgs))
818       (throw 'done
819              (or (not rest)
820                  (elmo-archive-call-process prog (append args rest))))
821       )))
822
823 (defsubst elmo-archive-article-exists-p (arc msg type)
824   (if (not elmo-archive-check-existance-strict)
825       t ; nop
826     (save-excursion ; added 980915
827       (let* ((method (elmo-archive-get-method type 'ls))
828              (args (list arc msg))
829              (buf (get-buffer-create " *ELMO ARCHIVE query*"))
830              (error-msg "\\(no file\\|0 files\\)")
831              ret-val)
832         (set-buffer buf)
833         (erase-buffer)
834         (elmo-archive-call-method method args t)
835         ;; pointer: point-max
836         (setq ret-val (not (re-search-backward error-msg nil t)))
837         (kill-buffer buf)
838         ret-val))))
839
840 (defun elmo-archive-tgz-common-func (args exec-type &optional copy)
841   (let* ((arc (car args))
842          (tmp-msgs (cdr args))
843          (decompress (elmo-archive-get-method 'tgz 'decompress))
844          (compress (elmo-archive-get-method 'tgz 'compress))
845          (exec (elmo-archive-get-method 'tgz exec-type))
846          (suffix (elmo-archive-get-suffix 'tgz))
847          (tar-suffix (elmo-archive-get-suffix 'tar))
848          arc-tar ret-val
849          )
850     (when (null (and decompress compress exec))
851       (ding)
852       (error "WARNING: special method undefined: %s of %s"
853              (or (if (null decompress) 'decompress)
854                  (if (null compress) 'compress)
855                  (if (null exec) exec-type))
856              'tgz))
857     (unless tar-suffix
858       (ding)
859       (error "WARNING: `tar' suffix undefined"))
860     (if (string-match (concat (regexp-quote suffix) "$") arc)
861         (setq arc-tar
862               (concat (substring arc 0 (match-beginning 0)) tar-suffix))
863       (error "%s: not match suffix [%s]" arc suffix))
864     (and
865      ;; decompress
866      (elmo-archive-call-process
867       (car decompress) (append (cdr decompress) (list arc)))
868      ;; append (or delete)
869      (elmo-archive-exec-msgs-subr2
870       (car exec) (append (cdr exec) (list arc-tar)) tmp-msgs (length arc-tar))
871      ;; compress
872      (setq ret-val
873            (elmo-archive-call-process
874             (car compress) (append (cdr compress) (list arc-tar)))))
875     ;; delete temporary messages
876     (if (and (not copy)
877              (eq exec-type 'append))
878         (while tmp-msgs
879           (if (file-exists-p (car tmp-msgs))
880               (delete-file (car tmp-msgs)))
881           (setq tmp-msgs (cdr tmp-msgs))))
882     ret-val))
883
884 (defun elmo-archive-tgz-cp-func (args &optional output)
885   (elmo-archive-tgz-common-func args 'append t))
886
887 (defun elmo-archive-tgz-mv-func (args &optional output)
888   (elmo-archive-tgz-common-func args 'append))
889
890 (defun elmo-archive-tgz-rm-func (args &optional output)
891   (elmo-archive-tgz-common-func args 'delete))
892
893 ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
894 ;;; MessageDB functions (from elmo-localdir.el)
895
896 (defsubst elmo-archive-msgdb-create-entity-subr (msgdb number)
897   (let (header-end)
898     (elmo-set-buffer-multibyte default-enable-multibyte-characters)
899     (goto-char (point-min))
900     (if (re-search-forward "\\(^--.*$\\)\\|\\(\n\n\\)" nil t)
901         (setq header-end (point))
902       (setq header-end (point-max)))
903     (narrow-to-region (point-min) header-end)
904     (elmo-msgdb-create-message-entity-from-buffer
905      (elmo-msgdb-message-entity-handler msgdb) number)))
906
907 ;; verrrry slow!!
908 (defsubst elmo-archive-msgdb-create-entity (msgdb
909                                             method
910                                             archive number type
911                                             &optional prefix)
912   (let* ((msg (elmo-concat-path prefix (int-to-string number)))
913          (arg-list (list archive msg)))
914     (when (elmo-archive-article-exists-p archive msg type)
915       ;; insert article.
916       (as-binary-process
917        (elmo-archive-call-method method arg-list t))
918       (elmo-archive-msgdb-create-entity-subr msgdb number))))
919
920 (luna-define-method elmo-folder-msgdb-create ((folder elmo-archive-folder)
921                                               numbers flag-table)
922   (when numbers
923     (save-excursion ;; 981005
924       (if (and elmo-archive-use-izip-agent
925                (elmo-archive-get-method
926                 (elmo-archive-folder-archive-type-internal folder)
927                 'cat-headers))
928           (elmo-archive-msgdb-create-as-numlist-subr2
929            folder numbers flag-table)
930         (elmo-archive-msgdb-create-as-numlist-subr1
931          folder numbers flag-table)))))
932
933 (defun elmo-archive-msgdb-create-as-numlist-subr1 (folder numlist flag-table)
934   (let* ((type (elmo-archive-folder-archive-type-internal folder))
935          (file (elmo-archive-get-archive-name folder))
936          (method (elmo-archive-get-method type 'cat))
937          (new-msgdb (elmo-make-msgdb))
938          entity i percent num message-id flags)
939     (with-temp-buffer
940       (setq num (length numlist))
941       (setq i 0)
942       (message "Creating msgdb...")
943       (while numlist
944         (erase-buffer)
945         (setq entity
946               (elmo-archive-msgdb-create-entity
947                new-msgdb
948                method file (car numlist) type
949                (elmo-archive-folder-archive-prefix-internal folder)))
950         (when entity
951           (setq message-id (elmo-message-entity-field entity 'message-id)
952                 flags (elmo-flag-table-get flag-table message-id))
953           (elmo-global-flags-set flags folder (car numlist) message-id)
954           (elmo-msgdb-append-entity new-msgdb entity flags))
955         (when (> num elmo-display-progress-threshold)
956           (setq i (1+ i))
957           (setq percent (/ (* i 100) num))
958           (elmo-display-progress
959            'elmo-archive-msgdb-create-as-numlist-subr1 "Creating msgdb..."
960            percent))
961         (setq numlist (cdr numlist)))
962       (message "Creating msgdb...done")
963       new-msgdb)))
964
965 ;;; info-zip agent
966 (defun elmo-archive-msgdb-create-as-numlist-subr2 (folder
967                                                    numlist
968                                                    flag-table)
969   (let* ((delim1 elmo-mmdf-delimiter)           ;; MMDF
970          (delim2 elmo-unixmail-delimiter)       ;; UNIX Mail
971          (type (elmo-archive-folder-archive-type-internal folder))
972          (prefix (elmo-archive-folder-archive-prefix-internal folder))
973          (method (elmo-archive-get-method type 'cat-headers))
974          (prog (car method))
975          (args (cdr method))
976          (arc (elmo-archive-get-archive-name folder))
977          (new-msgdb (elmo-make-msgdb))
978          n i percent num msgs case-fold-search)
979     (with-temp-buffer
980       (setq num (length numlist))
981       (setq i 0)
982       (message "Creating msgdb...")
983       (while numlist
984         (setq n (min (1- elmo-archive-fetch-headers-volume)
985                      (1- (length numlist))))
986         (setq msgs (reverse (memq (nth n numlist) (reverse numlist))))
987         (setq numlist (nthcdr (1+ n) numlist))
988         (erase-buffer)
989         (insert
990          (mapconcat
991           'concat
992           (mapcar '(lambda (x) (elmo-concat-path prefix (int-to-string x))) msgs)
993           "\n"))
994         (message "Fetching headers...")
995         (as-binary-process (apply 'call-process-region
996                                   (point-min) (point-max)
997                                   prog t t nil (append args (list arc))))
998         (goto-char (point-min))
999         (cond
1000          ((looking-at delim1)   ;; MMDF
1001           (elmo-msgdb-append
1002            new-msgdb
1003            (elmo-archive-parse-mmdf folder msgs flag-table)))
1004 ;;;      ((looking-at delim2)   ;; UNIX MAIL
1005 ;;;       (elmo-msgdb-append
1006 ;;;        new-msgdb
1007 ;;;        (elmo-archive-parse-unixmail msgs flag-table)))
1008          (t                     ;; unknown format
1009           (error "Unknown format!")))
1010         (when (> num elmo-display-progress-threshold)
1011           (setq i (+ n i))
1012           (setq percent (/ (* i 100) num))
1013           (elmo-display-progress
1014            'elmo-archive-msgdb-create-as-numlist-subr2 "Creating msgdb..."
1015            percent))))
1016     new-msgdb))
1017
1018 (defun elmo-archive-parse-mmdf (folder msgs flag-table)
1019   (let ((delim elmo-mmdf-delimiter)
1020         (new-msgdb (elmo-make-msgdb))
1021         number sp ep rest entity
1022         message-id flags)
1023     (goto-char (point-min))
1024     (setq rest msgs)
1025     (while (and rest (re-search-forward delim nil t)
1026                 (not (eobp)))
1027       (setq number (car rest))
1028       (setq sp (1+ (point)))
1029       (setq ep (prog2 (re-search-forward delim)
1030                    (1+ (- (point) (length delim)))))
1031       (if (>= sp ep)                    ; no article!
1032           ()                            ; nop
1033         (save-excursion
1034           (narrow-to-region sp ep)
1035           (setq entity (elmo-archive-msgdb-create-entity-subr new-msgdb number)
1036                 message-id (elmo-message-entity-field entity 'message-id)
1037                 flags (elmo-flag-table-get flag-table message-id))
1038           (elmo-global-flags-set flags folder number message-id)
1039           (elmo-msgdb-append-entity new-msgdb entity flags)
1040           (widen)))
1041       (forward-line 1)
1042       (setq rest (cdr rest)))
1043     new-msgdb))
1044
1045
1046 ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
1047 ;;; Search functions
1048
1049 (defsubst elmo-archive-field-condition-match (folder number number-list
1050                                                      condition prefix)
1051   (save-excursion
1052     (let* ((type (elmo-archive-folder-archive-type-internal folder))
1053            (arc (elmo-archive-get-archive-name folder))
1054            (method (elmo-archive-get-method type 'cat))
1055            (args (list arc (elmo-concat-path prefix (int-to-string number)))))
1056       (elmo-set-work-buf
1057        (when (file-exists-p arc)
1058          (as-binary-process
1059           (elmo-archive-call-method method args t))
1060          (elmo-set-buffer-multibyte default-enable-multibyte-characters)
1061          (decode-mime-charset-region (point-min)(point-max) elmo-mime-charset)
1062          (elmo-buffer-field-condition-match condition number number-list))))))
1063
1064 (luna-define-method elmo-folder-search ((folder elmo-archive-folder)
1065                                         condition &optional from-msgs)
1066   (let* (;;(args (elmo-string-to-list key))
1067          ;; XXX: I don't know whether `elmo-archive-list-folder'
1068          ;;      updates match-data.
1069          ;; (msgs (or from-msgs (elmo-archive-list-folder spec)))
1070          (msgs (or from-msgs (elmo-folder-list-messages folder)))
1071          (num (length msgs))
1072          (i 0)
1073          (case-fold-search nil)
1074          number-list ret-val)
1075     (setq number-list msgs)
1076     (while msgs
1077       (if (elmo-archive-field-condition-match
1078            folder (car msgs) number-list
1079            condition
1080            (elmo-archive-folder-archive-prefix-internal folder))
1081           (setq ret-val (cons (car msgs) ret-val)))
1082       (when (> num elmo-display-progress-threshold)
1083         (setq i (1+ i))
1084         (elmo-display-progress
1085          'elmo-archive-search "Searching..."
1086          (/ (* i 100) num)))
1087       (setq msgs (cdr msgs)))
1088     (nreverse ret-val)))
1089
1090 ;;; method(alist)
1091 (if (null elmo-archive-method-alist)
1092     (let ((mlist elmo-archive-method-list) ; from mew-highlight.el
1093           method type str)
1094       (while mlist
1095         (setq method (car mlist))
1096         (setq mlist (cdr mlist))
1097         (setq str (symbol-name method))
1098         (string-match "elmo-archive-\\([^-].*\\)-method-alist$" str)
1099         (setq type (intern-soft
1100                     (elmo-match-string 1 str)))
1101         (setq elmo-archive-method-alist
1102               (cons (cons type
1103                           (symbol-value method))
1104                     elmo-archive-method-alist)))))
1105
1106 ;;; valid suffix(list)
1107 (if (null elmo-archive-suffixes)
1108     (let ((slist elmo-archive-suffix-alist)
1109           tmp)
1110       (while slist
1111         (setq tmp (car slist))
1112         (setq elmo-archive-suffixes
1113               (nconc elmo-archive-suffixes (list (cdr tmp))))
1114         (setq slist (cdr slist)))))
1115
1116 (luna-define-method elmo-message-use-cache-p ((folder elmo-archive-folder)
1117                                               number)
1118   elmo-archive-use-cache)
1119
1120 ;;; End
1121 (run-hooks 'elmo-archive-load-hook)
1122
1123 (require 'product)
1124 (product-provide (provide 'elmo-archive) (require 'elmo-version))
1125
1126 ;;; elmo-archive.el ends here