dd88de3d0c350f00a50b0d802b9b146534c780fa
[elisp/gnus.git-] / lisp / pop3.el
1 ;;; pop3.el --- Post Office Protocol (RFC 1460) interface
2
3 ;; Copyright (C) 1996, 97, 98, 1999 Free Software Foundation, Inc.
4
5 ;; Author: Richard L. Pieri <ratinox@peorth.gweep.net>
6 ;; Maintainer: FSF
7 ;; Keywords: mail
8 ;; Version: 1.3s
9
10 ;; This file is part of GNU Emacs.
11
12 ;; GNU Emacs is free software; you can redistribute it and/or modify
13 ;; it under the terms of the GNU General Public License as published by
14 ;; the Free Software Foundation; either version 2, or (at your option)
15 ;; any later version.
16
17 ;; GNU Emacs is distributed in the hope that it will be useful,
18 ;; but WITHOUT ANY WARRANTY; without even the implied warranty of
19 ;; MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
20 ;; GNU General Public License for more details.
21
22 ;; You should have received a copy of the GNU General Public License
23 ;; along with GNU Emacs; see the file COPYING.  If not, write to the
24 ;; Free Software Foundation, Inc., 59 Temple Place - Suite 330,
25 ;; Boston, MA 02111-1307, USA.
26
27 ;;; Commentary:
28
29 ;; Most of the standard Post Office Protocol version 3 (RFC 1460) commands
30 ;; are implemented.  The LIST command has not been implemented due to lack
31 ;; of actual usefulness.
32 ;; The optional POP3 command TOP has not been implemented.
33
34 ;; This program was inspired by Kyle E. Jones's vm-pop program.
35
36 ;;; Code:
37
38 (require 'mail-utils)
39
40 (defconst pop3-version "1.3s")
41
42 (defvar pop3-maildrop (or (user-login-name) (getenv "LOGNAME") (getenv "USER") nil)
43   "*POP3 maildrop.")
44 (defvar pop3-mailhost (or (getenv "MAILHOST") nil)
45   "*POP3 mailhost.")
46 (defvar pop3-port 110
47   "*POP3 port.")
48
49 (defvar pop3-password-required t
50   "*Non-nil if a password is required when connecting to POP server.")
51 (defvar pop3-password nil
52   "*Password to use when connecting to POP server.")
53
54 (defvar pop3-authentication-scheme 'pass
55   "*POP3 authentication scheme.
56 Defaults to 'pass, for the standard USER/PASS authentication.  Other valid
57 values are 'apop.")
58
59 (defvar pop3-timestamp nil
60   "Timestamp returned when initially connected to the POP server.
61 Used for APOP authentication.")
62
63 (defvar pop3-movemail-file-coding-system nil
64   "Coding system for the crashbox made by `pop3-movemail'.")
65
66 (defvar pop3-read-point nil)
67 (defvar pop3-debug nil)
68
69 (defun pop3-movemail (&optional crashbox)
70   "Transfer contents of a maildrop to the specified CRASHBOX."
71   (or crashbox (setq crashbox (expand-file-name "~/.crashbox")))
72   (let* ((process (pop3-open-server pop3-mailhost pop3-port))
73          (crashbuf (get-buffer-create " *pop3-retr*"))
74          (n 1)
75          message-count
76          (pop3-password pop3-password)
77          )
78     ;; for debugging only
79     (if pop3-debug (switch-to-buffer (process-buffer process)))
80     ;; query for password
81     (if (and pop3-password-required (not pop3-password))
82         (setq pop3-password
83               (pop3-read-passwd (format "Password for %s: " pop3-maildrop))))
84     (cond ((equal 'apop pop3-authentication-scheme)
85            (pop3-apop process pop3-maildrop))
86           ((equal 'pass pop3-authentication-scheme)
87            (pop3-user process pop3-maildrop)
88            (pop3-pass process))
89           (t (error "Invalid POP3 authentication scheme")))
90     (setq message-count (car (pop3-stat process)))
91     (unwind-protect
92         (while (<= n message-count)
93           (message (format "Retrieving message %d of %d from %s..."
94                            n message-count pop3-mailhost))
95           (pop3-retr process n crashbuf)
96           (save-excursion
97             (set-buffer crashbuf)
98             (let ((coding-system-for-write pop3-movemail-file-coding-system))
99               (write-region (point-min) (point-max) crashbox t 'nomesg))
100             (set-buffer (process-buffer process))
101             (while (> (buffer-size) 5000)
102               (goto-char (point-min))
103               (forward-line 50)
104               (delete-region (point-min) (point))))
105           (pop3-dele process n)
106           (setq n (+ 1 n))
107           (if pop3-debug (sit-for 1) (sit-for 0.1))
108           )
109       (pop3-quit process))
110     (kill-buffer crashbuf)
111     )
112   t)
113
114 (defun pop3-open-server (mailhost port)
115   "Open TCP connection to MAILHOST on PORT.
116 Returns the process associated with the connection."
117   (let ((coding-system-for-read 'binary)
118         (coding-system-for-write 'binary)
119         process)
120     (save-excursion
121       (set-buffer (get-buffer-create (concat " trace of POP session to %s"
122                                              mailhost)))
123       (erase-buffer)
124       (setq pop3-read-point (point-min))
125       (setq process (open-network-stream "POP"(current-buffer) mailhost port))
126       (let ((response (pop3-read-response process t)))
127         (setq pop3-timestamp
128               (substring response (or (string-match "<" response) 0)
129                          (+ 1 (or (string-match ">" response) -1)))))
130       process)))
131
132 ;; Support functions
133
134 (defun pop3-process-filter (process output)
135   (save-excursion
136     (set-buffer (process-buffer process))
137     (goto-char (point-max))
138     (insert output)))
139
140 (defun pop3-send-command (process command)
141     (set-buffer (process-buffer process))
142     (goto-char (point-max))
143 ;;    (if (= (aref command 0) ?P)
144 ;;      (insert "PASS <omitted>\r\n")
145 ;;      (insert command "\r\n"))
146     (setq pop3-read-point (point))
147     (goto-char (point-max))
148     (process-send-string process (concat command "\r\n"))
149     )
150
151 (defun pop3-read-response (process &optional return)
152   "Read the response from the server.
153 Return the response string if optional second argument is non-nil."
154   (let ((case-fold-search nil)
155         match-end)
156     (save-excursion
157       (set-buffer (process-buffer process))
158       (goto-char pop3-read-point)
159       (while (not (search-forward "\r\n" nil t))
160         (accept-process-output process 3)
161         (goto-char pop3-read-point))
162       (setq match-end (point))
163       (goto-char pop3-read-point)
164       (if (looking-at "-ERR")
165           (error (buffer-substring (point) (- match-end 2)))
166         (if (not (looking-at "+OK"))
167             (progn (setq pop3-read-point match-end) nil)
168           (setq pop3-read-point match-end)
169           (if return
170               (buffer-substring (point) match-end)
171             t)
172           )))))
173
174 (defvar pop3-read-passwd nil)
175 (defun pop3-read-passwd (prompt)
176   (if (not pop3-read-passwd)
177       (if (fboundp 'read-passwd)
178           (setq pop3-read-passwd 'read-passwd)
179         (if (load "passwd" t)
180             (setq pop3-read-passwd 'read-passwd)
181           (autoload 'ange-ftp-read-passwd "ange-ftp")
182           (setq pop3-read-passwd 'ange-ftp-read-passwd))))
183   (funcall pop3-read-passwd prompt))
184
185 (defun pop3-clean-region (start end)
186   (setq end (set-marker (make-marker) end))
187   (save-excursion
188     (goto-char start)
189     (while (and (< (point) end) (search-forward "\r\n" end t))
190       (replace-match "\n" t t))
191     (goto-char start)
192     (while (and (< (point) end) (re-search-forward "^\\." end t))
193       (replace-match "" t t)
194       (forward-char)))
195   (set-marker end nil))
196
197 (defun pop3-munge-message-separator (start end)
198   "Check to see if a message separator exists.  If not, generate one."
199   (if (not (fboundp 'message-make-date)) (autoload 'message-make-date "message"))
200   (save-excursion
201     (save-restriction
202       (narrow-to-region start end)
203       (goto-char (point-min))
204       (if (not (or (looking-at "From .?") ; Unix mail
205                    (looking-at "\001\001\001\001\n") ; MMDF
206                    (looking-at "BABYL OPTIONS:") ; Babyl
207                    ))
208           (let ((from (mail-strip-quoted-names (mail-fetch-field "From")))
209                 (date (split-string (or (mail-fetch-field "Date")
210                                         (message-make-date))
211                                     " "))
212                 (From_))
213             ;; sample date formats I have seen
214             ;; Date: Tue, 9 Jul 1996 09:04:21 -0400 (EDT)
215             ;; Date: 08 Jul 1996 23:22:24 -0400
216             ;; should be
217             ;; Tue Jul 9 09:04:21 1996
218             (setq date
219                   (cond ((string-match "[A-Z]" (nth 0 date))
220                          (format "%s %s %s %s %s"
221                                  (nth 0 date) (nth 2 date) (nth 1 date)
222                                  (nth 4 date) (nth 3 date)))
223                         (t
224                          ;; this really needs to be better but I don't feel
225                          ;; like writing a date to day converter.
226                          (format "Sun %s %s %s %s"
227                                  (nth 1 date) (nth 0 date)
228                                  (nth 3 date) (nth 2 date)))
229                         ))
230             (setq From_ (format "\nFrom %s  %s\n" from date))
231             (while (string-match "," From_)
232               (setq From_ (concat (substring From_ 0 (match-beginning 0))
233                                   (substring From_ (match-end 0)))))
234             (goto-char (point-min))
235             (insert From_)
236             (re-search-forward "\n\n")
237             (narrow-to-region (point) (point-max))
238             (let ((size (- (point-max) (point-min))))
239               (goto-char (point-min))
240               (widen)
241               (forward-line -1)
242               (insert (format "Content-Length: %s\n" size)))
243             )))))
244
245 ;; The Command Set
246
247 ;; AUTHORIZATION STATE
248
249 (defun pop3-user (process user)
250   "Send USER information to POP3 server."
251   (pop3-send-command process (format "USER %s" user))
252   (let ((response (pop3-read-response process t)))
253     (if (not (and response (string-match "+OK" response)))
254         (error (format "USER %s not valid." user)))))
255
256 (defun pop3-pass (process)
257   "Send authentication information to the server."
258   (pop3-send-command process (format "PASS %s" pop3-password))
259   (let ((response (pop3-read-response process t)))
260     (if (not (and response (string-match "+OK" response)))
261         (pop3-quit process))))
262
263 (defun pop3-apop (process user)
264   "Send alternate authentication information to the server."
265   (let ((pass pop3-password))
266     (if (and pop3-password-required (not pass))
267         (setq pass
268               (pop3-read-passwd (format "Password for %s: " pop3-maildrop))))
269     (if pass
270         (let ((hash (pop3-md5 (concat pop3-timestamp pass))))
271           (pop3-send-command process (format "APOP %s %s" user hash))
272           (let ((response (pop3-read-response process t)))
273             (if (not (and response (string-match "+OK" response)))
274                 (pop3-quit process)))))
275     ))
276
277 ;; TRANSACTION STATE
278
279 (defvar pop3-md5-program "md5"
280   "*Program to encode its input in MD5.")
281
282 (defun pop3-md5 (string)
283   (with-temp-buffer
284     (insert string)
285     (call-process-region (point-min) (point-max)
286                          (or shell-file-name "/bin/sh")
287                          t (current-buffer) nil
288                          "-c" pop3-md5-program)
289     ;; The meaningful output is the first 32 characters.
290     ;; Don't return the newline that follows them!
291     (buffer-substring (point-min) (+ (point-min) 32))))
292
293 (defun pop3-stat (process)
294   "Return the number of messages in the maildrop and the maildrop's size."
295   (pop3-send-command process "STAT")
296   (let ((response (pop3-read-response process t)))
297     (list (string-to-int (nth 1 (split-string response " ")))
298           (string-to-int (nth 2 (split-string response " "))))
299     ))
300
301 (defun pop3-list (process &optional msg)
302   "Scan listing of available messages.
303 This function currently does nothing.")
304
305 (defun pop3-retr (process msg crashbuf)
306   "Retrieve message-id MSG to buffer CRASHBUF."
307   (pop3-send-command process (format "RETR %s" msg))
308   (pop3-read-response process)
309   (let ((start pop3-read-point) end)
310     (save-excursion
311       (set-buffer (process-buffer process))
312       (while (not (re-search-forward "^\\.\r\n" nil t))
313         (accept-process-output process 3)
314         ;; bill@att.com ... to save wear and tear on the heap
315         ;; uncommented because the condensed version below is a problem for
316         ;; some.
317         (if (> (buffer-size)  20000) (sleep-for 1))
318         (if (> (buffer-size)  50000) (sleep-for 1))
319         (if (> (buffer-size) 100000) (sleep-for 1))
320         (if (> (buffer-size) 200000) (sleep-for 1))
321         (if (> (buffer-size) 500000) (sleep-for 1))
322         ;; bill@att.com
323         ;; condensed into:
324         ;; (sometimes causes problems for really large messages.)
325 ;       (if (> (buffer-size) 20000) (sleep-for (/ (buffer-size) 20000)))
326         (goto-char start))
327       (setq pop3-read-point (point-marker))
328 ;; this code does not seem to work for some POP servers...
329 ;; and I cannot figure out why not.
330 ;      (goto-char (match-beginning 0))
331 ;      (backward-char 2)
332 ;      (if (not (looking-at "\r\n"))
333 ;         (insert "\r\n"))
334 ;      (re-search-forward "\\.\r\n")
335       (goto-char (match-beginning 0))
336       (setq end (point-marker))
337       (pop3-clean-region start end)
338       (pop3-munge-message-separator start end)
339       (save-excursion
340         (set-buffer crashbuf)
341         (erase-buffer))
342       (copy-to-buffer crashbuf start end)
343       (delete-region start end)
344       )))
345
346 (defun pop3-dele (process msg)
347   "Mark message-id MSG as deleted."
348   (pop3-send-command process (format "DELE %s" msg))
349   (pop3-read-response process))
350
351 (defun pop3-noop (process msg)
352   "No-operation."
353   (pop3-send-command process "NOOP")
354   (pop3-read-response process))
355
356 (defun pop3-last (process)
357   "Return highest accessed message-id number for the session."
358   (pop3-send-command process "LAST")
359   (let ((response (pop3-read-response process t)))
360     (string-to-int (nth 1 (split-string response " ")))
361     ))
362
363 (defun pop3-rset (process)
364   "Remove all delete marks from current maildrop."
365   (pop3-send-command process "RSET")
366   (pop3-read-response process))
367
368 ;; UPDATE
369
370 (defun pop3-quit (process)
371   "Close connection to POP3 server.
372 Tell server to remove all messages marked as deleted, unlock the maildrop,
373 and close the connection."
374   (pop3-send-command process "QUIT")
375   (pop3-read-response process t)
376   (if process
377       (save-excursion
378         (set-buffer (process-buffer process))
379         (goto-char (point-max))
380         (delete-process process))))
381 \f
382 ;; Summary of POP3 (Post Office Protocol version 3) commands and responses
383
384 ;;; AUTHORIZATION STATE
385
386 ;; Initial TCP connection
387 ;; Arguments: none
388 ;; Restrictions: none
389 ;; Possible responses:
390 ;;  +OK [POP3 server ready]
391
392 ;; USER name
393 ;; Arguments: a server specific user-id (required)
394 ;; Restrictions: authorization state [after unsuccessful USER or PASS
395 ;; Possible responses:
396 ;;  +OK [valid user-id]
397 ;;  -ERR [invalid user-id]
398
399 ;; PASS string
400 ;; Arguments: a server/user-id specific password (required)
401 ;; Restrictions: authorization state, after successful USER
402 ;; Possible responses:
403 ;;  +OK [maildrop locked and ready]
404 ;;  -ERR [invalid password]
405 ;;  -ERR [unable to lock maildrop]
406
407 ;;; TRANSACTION STATE
408
409 ;; STAT
410 ;; Arguments: none
411 ;; Restrictions: transaction state
412 ;; Possible responses:
413 ;;  +OK nn mm [# of messages, size of maildrop]
414
415 ;; LIST [msg]
416 ;; Arguments: a message-id (optional)
417 ;; Restrictions: transaction state; msg must not be deleted
418 ;; Possible responses:
419 ;;  +OK [scan listing follows]
420 ;;  -ERR [no such message]
421
422 ;; RETR msg
423 ;; Arguments: a message-id (required)
424 ;; Restrictions: transaction state; msg must not be deleted
425 ;; Possible responses:
426 ;;  +OK [message contents follow]
427 ;;  -ERR [no such message]
428
429 ;; DELE msg
430 ;; Arguments: a message-id (required)
431 ;; Restrictions: transaction state; msg must not be deleted
432 ;; Possible responses:
433 ;;  +OK [message deleted]
434 ;;  -ERR [no such message]
435
436 ;; NOOP
437 ;; Arguments: none
438 ;; Restrictions: transaction state
439 ;; Possible responses:
440 ;;  +OK
441
442 ;; LAST
443 ;; Arguments: none
444 ;; Restrictions: transaction state
445 ;; Possible responses:
446 ;;  +OK nn [highest numbered message accessed]
447
448 ;; RSET
449 ;; Arguments: none
450 ;; Restrictions: transaction state
451 ;; Possible responses:
452 ;;  +OK [all delete marks removed]
453
454 ;;; UPDATE STATE
455
456 ;; QUIT
457 ;; Arguments: none
458 ;; Restrictions: none
459 ;; Possible responses:
460 ;;  +OK [TCP connection closed]
461
462 (provide 'pop3)
463
464 ;;; pop3.el ends here