Synch to No Gnus 200512141312.
[elisp/gnus.git-] / lisp / pop3.el
index 6189a61..8a43c47 100644 (file)
@@ -1,7 +1,7 @@
 ;;; pop3.el --- Post Office Protocol (RFC 1460) interface
 
-;; Copyright (C) 1996, 1997, 1998, 1999, 2000, 2001, 2002, 2003
-;;        Free Software Foundation, Inc.
+;; Copyright (C) 1996, 1997, 1998, 1999, 2000, 2001, 2002, 2003,
+;;   2004, 2005 Free Software Foundation, Inc.
 
 ;; Author: Richard L. Pieri <ratinox@peorth.gweep.net>
 ;;      Daiki Ueno  <ueno@ueda.info.waseda.ac.jp>
@@ -23,8 +23,8 @@
 
 ;; You should have received a copy of the GNU General Public License
 ;; along with GNU Emacs; see the file COPYING.  If not, write to the
-;; Free Software Foundation, Inc., 59 Temple Place - Suite 330,
-;; Boston, MA 02111-1307, USA.
+;; Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
+;; Boston, MA 02110-1301, USA.
 
 ;;; Commentary:
 
 
 ;;; Gnus:
 
-;; You can use this program for Gnus, without needing any modification.
-;; There are two ways to do that; one is to replace Gnus' pop3.el with
-;; it when installing Gnus; the other is to replace Gnus' pop3.el which
-;; has been installed with this module and byte-compile it.
+;; Put something like the following line in your ~/.gnus.el file if
+;; you'd like to use this module together with Gnus, not T-gnus.
+;;
+;;(eval-after-load "mail-source" '(require 'pop3))
+;;
+;; There are two ways to install this module; one is to replace
+;; pop3.el of the Gnus version with this module when installing Gnus;
+;; the other is to replace pop3.el of the Gnus version which has been
+;; installed with this module and byte-compile it.
 
 ;; Note: you should not modify the value for the `pop' section of the
 ;; `mail-source-keyword-map' variable.
@@ -64,7 +69,7 @@
 ;;(setq mail-sources '((pop :server "pop3.mail.server" :leave t)))
 ;;
 ;;    Already read mails are registered into the ~/.uidls-SERVER file
-;;    (which is the default, see `pop3-uidl-file-name'), and You will
+;;    (which is the default, see `pop3-uidl-file-name'), and you will
 ;;    never need to fetch them twice.  The default value for the
 ;;    `:leave' keyword is specified by the `pop3-leave-mail-on-server'
 ;;    variable.  You have no need to modify that value normally.
   (require 'cl))
 
 (require 'mail-utils)
-(require 'nnheader)
-
-(defvar pop3-maildrop (or (user-login-name) (getenv "LOGNAME") (getenv "USER") nil)
-  "*POP3 maildrop.")
-(defvar pop3-mailhost (or (getenv "MAILHOST") nil)
-  "*POP3 mailhost.")
-(defvar pop3-port 110
-  "*POP3 port.")
-(defvar pop3-connection-type nil
-  "*POP3 connection type.")
-
-(defvar pop3-password-required t
-  "*Non-nil if a password is required when connecting to POP server.")
+
+(defgroup pop3 nil
+  "Post Office Protocol."
+  :group 'mail
+  :group 'mail-source)
+
+(defcustom pop3-maildrop (or (user-login-name)
+                            (getenv "LOGNAME")
+                            (getenv "USER"))
+  "*POP3 maildrop."
+  :version "22.1" ;; Oort Gnus
+  :type 'string
+  :group 'pop3)
+
+(defcustom pop3-mailhost (or (getenv "MAILHOST") ;; nil -> mismatch
+                            "pop3")
+  "*POP3 mailhost."
+  :version "22.1" ;; Oort Gnus
+  :type 'string
+  :group 'pop3)
+
+(defcustom pop3-port 110
+  "*POP3 port."
+  :version "22.1" ;; Oort Gnus
+  :type 'number
+  :group 'pop3)
+
+(defcustom pop3-connection-type nil
+  "*POP3 connection type."
+  :type '(choice (const :tag "Not specified" nil)
+                (const tls)
+                (const ssl))
+  :group 'pop3)
+
+(defcustom pop3-password-required t
+  "*Non-nil if a password is required when connecting to POP server."
+  :version "22.1" ;; Oort Gnus
+  :type 'boolean
+  :group 'pop3)
+
+;; Should this be customizable?
 (defvar pop3-password nil
   "*Password to use when connecting to POP server.")
 
-(defvar pop3-authentication-scheme 'pass
+(defcustom pop3-authentication-scheme 'pass
   "*POP3 authentication scheme.
-Defaults to 'pass, for the standard USER/PASS authentication.  Other valid
-values are 'apop.")
+Defaults to `pass', for the standard USER/PASS authentication.  The other
+valid value is 'apop'."
+  :type '(choice (const :tag "Normal user/password" pass)
+                (const :tag "APOP" apop))
+  :version "22.1" ;; Oort Gnus
+  :group 'pop3)
+
+(defcustom pop3-leave-mail-on-server nil
+  "*Non-nil if the mail is to be left on the POP server after fetching.
+
+If `pop3-leave-mail-on-server' is non-nil the mail is to be left
+on the POP server after fetching.  Note that POP servers maintain
+no state information between sessions, so what the client
+believes is there and what is actually there may not match up.
+If they do not, then the whole thing can fall apart and leave you
+with a corrupt mailbox."
+  :version "22.1" ;; Oort Gnus
+  :type 'boolean
+  :group 'pop3)
 
 (defvar pop3-timestamp nil
   "Timestamp returned when initially connected to the POP server.
 Used for APOP authentication.")
 
-(defvar pop3-leave-mail-on-server nil
-  "Non-nil if mail is to be left on the server and UIDL used for message retrieval.")
+(defcustom pop3-maximum-message-size nil
+  "If non-nil only download messages smaller than this."
+  :type '(choice (const :tag "Unlimited" nil)
+                (integer :tag "Maximum size"))
+  :group 'pop3)
 
-(defvar pop3-maximum-message-size nil
-  "If non-nil only download messages smaller than this.")
+(defcustom pop3-except-header-regexp nil
+  "If non-nil we do not retrieve messages whose headers are matching this regexp."
+  :type '(choice (const :tag "Retrieve any messages" nil)
+                (regexp :format "\n%t: %v"))
+  :group 'pop3)
 
-(defvar pop3-except-header-regexp nil
-  "If non-nil we do not retrieve messages whose headers are matching this regexp.")
-
-(defvar pop3-uidl-file-name "~/.uidls"
-  "File in which to store the UIDL of processed messages.")
+(defcustom pop3-uidl-file-name "~/.uidls"
+  "File in which to store the UIDL of processed messages."
+  :type 'file
+  :group 'pop3)
 
 (defvar pop3-uidl-support nil
   "Alist of servers and flags of whether they support UIDLs.
@@ -128,19 +183,49 @@ Users don't have to set this value.")
   (autoload 'starttls-open-stream "starttls")
   (autoload 'starttls-negotiate "starttls"))
 
-(defvar pop3-ssl-program-name
+(defcustom pop3-ssl-program-name
   (if (executable-find "openssl")
       "openssl"
     "ssleay")
-  "The program to run in a subprocess to open an SSL connection.")
+  "The program to run in a subprocess to open an SSL connection."
+  :type 'string
+  :group 'pop3)
 
-(defvar pop3-ssl-program-arguments
+(defcustom pop3-ssl-program-arguments
   '("s_client" "-quiet")
-  "Arguments to be passed to the program `pop3-ssl-program-name'.")
+  "Arguments to be passed to the program `pop3-ssl-program-name'."
+  :type '(repeat (string :format "%v"))
+  :group 'pop3)
 
 (defun pop3-progress-message (format percent &rest args)
   (apply (function message) format args))
 
+;; Borrowed from nnheader-accept-process-output in nnheader.el.
+(defvar pop3-read-timeout
+  (if (string-match "windows-nt\\|os/2\\|emx\\|cygwin"
+                   (symbol-name system-type))
+      ;; http://thread.gmane.org/v9655t3pjo.fsf@marauder.physik.uni-ulm.de
+      ;;
+      ;; IIRC, values lower than 1.0 didn't/don't work on Windows/DOS.
+      ;;
+      ;; There should probably be a runtime test to determine the timing
+      ;; resolution, or a primitive to report it.  I don't know off-hand
+      ;; what's possible.  Perhaps better, maybe the Windows/DOS primitive
+      ;; could round up non-zero timeouts to a minimum of 1.0?
+      1.0
+    0.1)
+  "How long pop3 should wait between checking for the end of output.
+Shorter values mean quicker response, but are more CPU intensive.")
+
+;; Borrowed from nnheader-accept-process-output in nnheader.el.
+(defun pop3-accept-process-output (process)
+  (accept-process-output
+   process
+   (truncate pop3-read-timeout)
+   (truncate (* (- pop3-read-timeout
+                  (truncate pop3-read-timeout))
+               1000))))
+
 (defun pop3-movemail (&optional crashbox)
   "Transfer contents of a maildrop to the specified CRASHBOX."
   (or crashbox (setq crashbox (expand-file-name "~/.crashbox")))
@@ -195,8 +280,7 @@ Users don't have to set this value.")
            (dolist (n retrieved-messages)
              (message "Deleting message %d of %d from %s..."
                       n message-count pop3-mailhost)
-             (pop3-dele process n)))
-         )
+             (pop3-dele process n))))
       (pop3-quit process))
     (kill-buffer crashbuf)
     message-count))
@@ -205,8 +289,7 @@ Users don't have to set this value.")
   "Return the number of messages in the maildrop."
   (let* ((process (pop3-open-server pop3-mailhost pop3-port))
         message-count
-        (pop3-password pop3-password)
-        )
+        (pop3-password pop3-password))
     ;; for debugging only
     (if pop3-debug (switch-to-buffer (process-buffer process)))
     ;; query for password
@@ -223,6 +306,19 @@ Users don't have to set this value.")
     (pop3-quit process)
     message-count))
 
+(defcustom pop3-stream-type nil
+  "*Transport security type for POP3 connexions.
+This may be either nil (plain connexion), `ssl' (use an
+SSL/TSL-secured stream) or `starttls' (use the starttls mechanism
+to turn on TLS security after opening the stream).  However, if
+this is nil, `ssl' is assumed for connexions to port
+995 (pop3s)."
+  :version "23.0" ;; No Gnus
+  :group 'pop3
+  :type '(choice (const :tag "Plain" nil)
+                (const :tag "SSL/TLS" ssl)
+                (const starttls)))
+
 (defun pop3-open-server (mailhost port)
   "Open TCP connection to MAILHOST on PORT.
 Returns the process associated with the connection.
@@ -236,10 +332,21 @@ Argument PORT specifies connecting port."
       (setq
        process
        (cond
-       ((eq pop3-connection-type 'ssl)
+       ((or (eq pop3-connection-type 'ssl)
+            (eq pop3-stream-type 'ssl)
+            (and (not pop3-stream-type) (member port '(995 "pop3s"))))
+        ;; gnutls-cli, openssl don't accept service names
+        (if (or (equal port "pop3s")
+                (null port))
+            (setq port 995))
         (pop3-open-ssl-stream "POP" (current-buffer) mailhost port))
-       ((eq pop3-connection-type 'tls)
-        (pop3-open-tls-stream "POP" (current-buffer) mailhost port))
+       ((or (memq pop3-connection-type '(tls starttls))
+            (memq pop3-stream-type '(tls starttls)))
+        ;; gnutls-cli, openssl don't accept service names
+        (if (equal port "pop3")
+            (setq port 110))
+        (pop3-open-tls-stream "POP" (current-buffer)
+                              mailhost (or port 110)))
        (t
         (let ((coding-system-for-read 'binary)
               (coding-system-for-write 'binary))
@@ -263,13 +370,14 @@ Argument PORT specifies connecting port."
            "-connect" ,(format "%s:%d" host service)))
         (process (open-ssl-stream name buffer host service)))
     (when process
+      ;; There's a load of info printed that needs deleting.
       (with-current-buffer buffer
        (goto-char (point-min))
        (while (and (memq (process-status process) '(open run))
                    (goto-char (point-max))
                    (forward-line -1)
                    (not (looking-at "+OK")))
-         (nnheader-accept-process-output process)
+         (pop3-accept-process-output process)
          (sit-for 1))
        (delete-region (point-min) (point)))
       (and process (memq (process-status process) '(open run))
@@ -308,13 +416,12 @@ Args are NAME BUFFER HOST SERVICE."
 (defun pop3-send-command (process command)
   (set-buffer (process-buffer process))
   (goto-char (point-max))
-;;  (if (= (aref command 0) ?P)
-;;      (insert "PASS <omitted>\r\n")
-;;    (insert command "\r\n"))
+  ;; (if (= (aref command 0) ?P)
+  ;;     (insert "PASS <omitted>\r\n")
+  ;;   (insert command "\r\n"))
   (setq pop3-read-point (point))
   (goto-char (point-max))
-  (process-send-string process (concat command "\r\n"))
-  )
+  (process-send-string process (concat command "\r\n")))
 
 (defun pop3-read-response (process &optional return)
   "Read the response from the server PROCESS.
@@ -326,7 +433,7 @@ Return the response string if optional second argument RETURN is non-nil."
       (goto-char pop3-read-point)
       (while (and (memq (process-status process) '(open run))
                  (not (search-forward "\r\n" nil t)))
-       (nnheader-accept-process-output process)
+       (pop3-accept-process-output process)
        (goto-char pop3-read-point))
       (setq match-end (point))
       (goto-char pop3-read-point)
@@ -337,8 +444,7 @@ Return the response string if optional second argument RETURN is non-nil."
          (setq pop3-read-point match-end)
          (if return
              (buffer-substring (point) match-end)
-           t)
-         )))))
+           t))))))
 
 (defun pop3-clean-region (start end)
   (setq end (set-marker (make-marker) end))
@@ -386,8 +492,7 @@ If NOW, use that time instead."
       (goto-char (point-min))
       (if (not (or (looking-at "From .?") ; Unix mail
                   (looking-at "\001\001\001\001\n") ; MMDF
-                  (looking-at "BABYL OPTIONS:") ; Babyl
-                  ))
+                  (looking-at "BABYL OPTIONS:"))) ; Babyl
          (let* ((from (mail-strip-quoted-names (mail-fetch-field "From")))
                 (tdate (mail-fetch-field "Date"))
                 (date (split-string (or (and tdate
@@ -401,6 +506,8 @@ If NOW, use that time instead."
            ;; Date: 08 Jul 1996 23:22:24 -0400
            ;; should be
            ;; Tue Jul 9 09:04:21 1996
+
+           ;; Fixme: This should use timezone on the date field contents.
            (setq date
                  (cond ((not date)
                         "Tue Jan 1 00:00:0 1900")
@@ -413,8 +520,7 @@ If NOW, use that time instead."
                         ;; like writing a date to day converter.
                         (format "Sun %s %s %s %s"
                                 (nth 1 date) (nth 0 date)
-                                (nth 3 date) (nth 2 date)))
-                       ))
+                                (nth 3 date) (nth 2 date)))))
            (setq From_ (format "\nFrom %s  %s\n" from date))
            (while (string-match "," From_)
              (setq From_ (concat (substring From_ 0 (match-beginning 0))
@@ -430,8 +536,7 @@ If NOW, use that time instead."
              (goto-char (point-min))
              (widen)
              (forward-line -1)
-             (insert (format "Content-Length: %s\n" size)))
-           )))))
+             (insert (format "Content-Length: %s\n" size))))))))
 
 ;; UIDL support
 
@@ -530,7 +635,7 @@ If NOW, use that time instead."
   (pop3-send-command process (format "USER %s" user))
   (let ((response (pop3-read-response process t)))
     (if (not (and response (string-match "+OK" response)))
-       (error (format "USER %s not valid" user)))))
+       (error "USER %s not valid" user))))
 
 (defun pop3-pass (process)
   "Send authentication information to the server."
@@ -552,8 +657,7 @@ If NOW, use that time instead."
          (pop3-send-command process (format "APOP %s %s" user hash))
          (let ((response (pop3-read-response process t)))
            (if (not (and response (string-match "+OK" response)))
-               (pop3-quit process)))))
-    ))
+               (pop3-quit process)))))))
 
 (defun pop3-stls (process)
   "Query whether TLS extension is supported"
@@ -568,9 +672,8 @@ If NOW, use that time instead."
   "Return the number of messages in the maildrop and the maildrop's size."
   (pop3-send-command process "STAT")
   (let ((response (pop3-read-response process t)))
-    (list (string-to-int (nth 1 (split-string response " ")))
-         (string-to-int (nth 2 (split-string response " "))))
-    ))
+    (list (string-to-number (nth 1 (split-string response " ")))
+         (string-to-number (nth 2 (split-string response " "))))))
 
 (defun pop3-retr (process msg crashbuf)
   "Retrieve message-id MSG to buffer CRASHBUF."
@@ -580,8 +683,7 @@ If NOW, use that time instead."
     (let ((region (pop3-get-extended-response process)))
       (pop3-munge-message-separator (car region) (cadr region))
       (append-to-buffer crashbuf (car region) (cadr region))
-      (delete-region (car region) (cadr region))
-      )))
+      (delete-region (car region) (cadr region)))))
 
 (defun pop3-dele (process msg)
   "Mark message-id MSG as deleted."
@@ -597,8 +699,7 @@ If NOW, use that time instead."
   "Return highest accessed message-id number for the session."
   (pop3-send-command process "LAST")
   (let ((response (pop3-read-response process t)))
-    (string-to-int (nth 1 (split-string response " ")))
-    ))
+    (string-to-number (nth 1 (split-string response " ")))))
 
 (defun pop3-rset (process)
   "Remove all delete marks from current maildrop."
@@ -643,12 +744,11 @@ where
          (apply 'narrow-to-region (pop3-get-extended-response process))
          (goto-char (point-min))
          (while (looking-at "\\([^ \n\t]*\\) \\([^ \n\t]*\\)")
-           (setq msgno (string-to-int (match-string 1))
+           (setq msgno (string-to-number (match-string 1))
                  uidl (match-string 2))
            (push (cons msgno uidl) pairs)
            (beginning-of-line 2))
-         (cons (length pairs) (nreverse pairs))
-         )))))
+         (cons (length pairs) (nreverse pairs)))))))
 
 (defun pop3-list (process &optional msgno)
   "Return the results of a LIST command for PROCESS and optional MSGNO.
@@ -673,12 +773,11 @@ where
          (apply 'narrow-to-region (pop3-get-extended-response process))
          (goto-char (point-min))
          (while (looking-at "\\([^ \n\t]*\\) \\([^ \n\t]*\\)")
-           (setq msgno (string-to-int (match-string 1))
-                 len (string-to-int (match-string 2)))
+           (setq msgno (string-to-number (match-string 1))
+                 len (string-to-number (match-string 2)))
            (push (cons msgno len) pairs)
            (beginning-of-line 2))
-         (cons (length pairs) (nreverse pairs))
-         )))))
+         (cons (length pairs) (nreverse pairs)))))))
 
 (defun pop3-top (process msgno &optional lines)
   "Return the top LINES of messages for PROCESS and MSGNO.
@@ -687,8 +786,7 @@ If msgno is invalid, return nil.  Otherwise, return a string."
   (if (pop3-read-response process t)
       nil ;; MSGNO is not valid number
     (save-excursion
-      (apply 'buffer-substring (pop3-get-extended-response process)))
-    ))
+      (apply 'buffer-substring (pop3-get-extended-response process)))))
 
 ;;; Utility code
 
@@ -698,8 +796,7 @@ If msgno is invalid, return nil.  Otherwise, return a string."
     (set-buffer (process-buffer process))
     (goto-char start)
     (while (not (re-search-forward "^\\.\r\n" nil t))
-      ;; Fixme: Shouldn't depend on nnheader.
-      (nnheader-accept-process-output process)
+      (pop3-accept-process-output process)
       (goto-char start))
     (setq pop3-read-point (point-marker))
     (goto-char (match-beginning 0))
@@ -757,6 +854,13 @@ to `mail-sources' while fetching mails with Gnus."
 ;;  +OK [negotiation is ready]
 ;;  -ERR [security layer is already active]
 
+;; STLS      (RFC 2595)
+;; Arguments: none
+;; Restrictions: Only permitted in AUTHORIZATION state.
+;; Possible responses:
+;;  +OK
+;;  -ERR
+
 ;;; TRANSACTION STATE
 
 ;; STAT