Synch to No Gnus 200601261410.
[elisp/gnus.git-] / lisp / nnkiboze.el
1 ;;; nnkiboze.el --- select virtual news access for Gnus
2
3 ;; Copyright (C) 1995, 1996, 1997, 1998, 1999, 2000, 2002, 2003, 2004,
4 ;;   2005 Free Software Foundation, Inc.
5
6 ;; Author: Lars Magne Ingebrigtsen <larsi@gnus.org>
7 ;; Keywords: news
8
9 ;; This file is part of GNU Emacs.
10
11 ;; GNU Emacs is free software; you can redistribute it and/or modify
12 ;; it under the terms of the GNU General Public License as published by
13 ;; the Free Software Foundation; either version 2, or (at your option)
14 ;; any later version.
15
16 ;; GNU Emacs is distributed in the hope that it will be useful,
17 ;; but WITHOUT ANY WARRANTY; without even the implied warranty of
18 ;; MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
19 ;; GNU General Public License for more details.
20
21 ;; You should have received a copy of the GNU General Public License
22 ;; along with GNU Emacs; see the file COPYING.  If not, write to the
23 ;; Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
24 ;; Boston, MA 02110-1301, USA.
25
26 ;;; Commentary:
27
28 ;; The other access methods (nntp, nnspool, etc) are general news
29 ;; access methods.  This module relies on Gnus and can't be used
30 ;; separately.
31
32 ;;; Code:
33
34 (eval-when-compile (require 'cl))
35
36 (require 'nntp)
37 (require 'nnheader)
38 (require 'gnus)
39 (require 'gnus-score)
40 (require 'nnoo)
41
42 (nnoo-declare nnkiboze)
43 (defvoo nnkiboze-directory (nnheader-concat gnus-directory "kiboze/")
44   "nnkiboze will put its files in this directory.")
45
46 (defvoo nnkiboze-level 9
47   "The maximum level to be searched for articles.")
48
49 (defvoo nnkiboze-remove-read-articles t
50   "If non-nil, nnkiboze will remove read articles from the kiboze group.")
51
52 (defvoo nnkiboze-ephemeral nil
53   "If non-nil, don't store any data anywhere.")
54
55 (defvoo nnkiboze-scores nil
56   "Score rules for generating the nnkiboze group.")
57
58 (defvoo nnkiboze-regexp nil
59   "Regexp for matching component groups.")
60
61 (defvoo nnkiboze-file-coding-system nnheader-text-coding-system
62   "Coding system for nnkiboze files.")
63
64 \f
65
66 (defconst nnkiboze-version "nnkiboze 1.0")
67
68 (defvoo nnkiboze-current-group nil)
69 (defvoo nnkiboze-status-string "")
70
71 (defvoo nnkiboze-headers nil)
72
73 \f
74
75 ;;; Interface functions.
76
77 (nnoo-define-basics nnkiboze)
78
79 (deffoo nnkiboze-retrieve-headers (articles &optional group server fetch-old)
80   (nnkiboze-possibly-change-group group)
81   (unless gnus-nov-is-evil
82     (if (stringp (car articles))
83         'headers
84       (let ((nov (nnkiboze-nov-file-name)))
85         (when (file-exists-p nov)
86           (save-excursion
87             (set-buffer nntp-server-buffer)
88             (erase-buffer)
89             (let ((nnheader-file-coding-system nnkiboze-file-coding-system))
90               (nnheader-insert-file-contents nov))
91             (nnheader-nov-delete-outside-range
92              (car articles) (car (last articles)))
93             'nov))))))
94
95 (deffoo nnkiboze-request-article (article &optional newsgroup server buffer)
96   (nnkiboze-possibly-change-group newsgroup)
97   (if (not (numberp article))
98       ;; This is a real kludge.  It might not work at times, but it
99       ;; does no harm I think.  The only alternative is to offer no
100       ;; article fetching by message-id at all.
101       (nntp-request-article article newsgroup gnus-nntp-server buffer)
102     (let* ((header (gnus-summary-article-header article))
103            (xref (mail-header-xref header))
104            num group)
105       (unless xref
106         (error "nnkiboze: No xref"))
107       (unless (string-match " \\([^ ]+\\):\\([0-9]+\\)" xref)
108         (error "nnkiboze: Malformed xref"))
109       (setq num (string-to-number (match-string 2 xref))
110             group (match-string 1 xref))
111       (or (with-current-buffer buffer
112             (or (and gnus-use-cache (gnus-cache-request-article num group))
113                 (gnus-agent-request-article num group)))
114           (gnus-request-article num group buffer)))))
115
116 (deffoo nnkiboze-request-scan (&optional group server)
117   (nnkiboze-possibly-change-group group)
118   (nnkiboze-generate-group (concat "nnkiboze:" group)))
119
120 (deffoo nnkiboze-request-group (group &optional server dont-check)
121   "Make GROUP the current newsgroup."
122   (nnkiboze-possibly-change-group group)
123   (if dont-check
124       t
125     (let ((nov-file (nnkiboze-nov-file-name))
126           beg end total)
127       (save-excursion
128         (set-buffer nntp-server-buffer)
129         (erase-buffer)
130         (unless (file-exists-p nov-file)
131           (nnkiboze-request-scan group))
132         (if (not (file-exists-p nov-file))
133             (nnheader-report 'nnkiboze "Can't select group %s" group)
134           (let ((nnheader-file-coding-system nnkiboze-file-coding-system))
135             (nnheader-insert-file-contents nov-file))
136           (if (zerop (buffer-size))
137               (nnheader-insert "211 0 0 0 %s\n" group)
138             (goto-char (point-min))
139             (when (looking-at "[0-9]+")
140               (setq beg (read (current-buffer))))
141             (goto-char (point-max))
142             (when (re-search-backward "^[0-9]" nil t)
143               (setq end (read (current-buffer))))
144             (setq total (count-lines (point-min) (point-max)))
145             (nnheader-insert "211 %d %d %d %s\n" total beg end group)))))))
146
147 (deffoo nnkiboze-close-group (group &optional server)
148   (nnkiboze-possibly-change-group group)
149   ;; Remove NOV lines of articles that are marked as read.
150   (when (and (file-exists-p (nnkiboze-nov-file-name))
151              nnkiboze-remove-read-articles)
152     (let ((coding-system-for-write nnkiboze-file-coding-system))
153       (with-temp-file (nnkiboze-nov-file-name)
154         (let ((cur (current-buffer))
155               (nnheader-file-coding-system nnkiboze-file-coding-system))
156           (nnheader-insert-file-contents (nnkiboze-nov-file-name))
157           (goto-char (point-min))
158           (while (not (eobp))
159             (if (not (gnus-article-read-p (read cur)))
160                 (forward-line 1)
161               (gnus-delete-line))))))
162     (setq nnkiboze-current-group nil)))
163
164 (deffoo nnkiboze-open-server (server &optional defs)
165   (unless (assq 'nnkiboze-regexp defs)
166     (push `(nnkiboze-regexp ,server)
167           defs))
168   (nnoo-change-server 'nnkiboze server defs))
169
170 (deffoo nnkiboze-request-delete-group (group &optional force server)
171   (nnkiboze-possibly-change-group group)
172   (when force
173     (let ((files (nconc
174                   (nnkiboze-score-file group)
175                   (list (nnkiboze-nov-file-name)
176                         (nnkiboze-nov-file-name ".newsrc")))))
177       (while files
178         (and (file-exists-p (car files))
179              (file-writable-p (car files))
180              (delete-file (car files)))
181         (setq files (cdr files)))))
182   (setq nnkiboze-current-group nil)
183   t)
184
185 (nnoo-define-skeleton nnkiboze)
186
187 \f
188 ;;; Internal functions.
189
190 (defun nnkiboze-possibly-change-group (group)
191   (setq nnkiboze-current-group group))
192
193 (defun nnkiboze-prefixed-name (group)
194   (gnus-group-prefixed-name group '(nnkiboze "")))
195
196 ;;;###autoload
197 (defun nnkiboze-generate-groups ()
198   "\"Usage: emacs -batch -l nnkiboze -f nnkiboze-generate-groups\".
199 Finds out what articles are to be part of the nnkiboze groups."
200   (interactive)
201   (let ((nnmail-spool-file nil)
202         (mail-sources nil)
203         (gnus-use-dribble-file nil)
204         (gnus-read-active-file t)
205         (gnus-expert-user t))
206     (gnus))
207   (let* ((gnus-newsrc-alist (gnus-copy-sequence gnus-newsrc-alist))
208          (newsrc (cdr gnus-newsrc-alist))
209          gnus-newsrc-hashtb info)
210     (gnus-make-hashtable-from-newsrc-alist)
211     ;; We have copied all the newsrc alist info over to local copies
212     ;; so that we can mess all we want with these lists.
213     (while (setq info (pop newsrc))
214       (when (string-match "nnkiboze" (gnus-info-group info))
215         ;; For each kiboze group, we call this function to generate
216         ;; it.
217         (nnkiboze-generate-group (gnus-info-group info) t))))
218   (save-excursion
219     (set-buffer gnus-group-buffer)
220     (gnus-group-list-groups)))
221
222 (defun nnkiboze-score-file (group)
223   (list (expand-file-name
224          (concat (file-name-as-directory gnus-kill-files-directory)
225                  (nnheader-translate-file-chars
226                   (concat (nnkiboze-prefixed-name nnkiboze-current-group)
227                           "." gnus-score-file-suffix))))))
228
229 (defun nnkiboze-generate-group (group &optional inhibit-list-groups)
230   (let* ((info (gnus-get-info group))
231          (newsrc-file (concat nnkiboze-directory
232                               (nnheader-translate-file-chars
233                                (concat group ".newsrc"))))
234          (nov-file (concat nnkiboze-directory
235                            (nnheader-translate-file-chars
236                             (concat group ".nov"))))
237          method nnkiboze-newsrc gname newsrc active
238          ginfo lowest glevel orig-info nov-buffer
239          ;; Bind various things to nil to make group entry faster.
240          (gnus-expert-user t)
241          (gnus-large-newsgroup nil)
242          (gnus-score-find-score-files-function 'nnkiboze-score-file)
243          ;; Use only nnkiboze-score-file!
244          (gnus-score-use-all-scores nil)
245          (gnus-use-scoring t)
246          (gnus-verbose (min gnus-verbose 3))
247          gnus-select-group-hook gnus-summary-prepare-hook
248          gnus-thread-sort-functions gnus-show-threads
249          gnus-visual gnus-suppress-duplicates num-unread)
250     (unless info
251       (error "No such group: %s" group))
252     ;; Load the kiboze newsrc file for this group.
253     (mm-with-unibyte
254      (when (file-exists-p newsrc-file)
255        (load newsrc-file))
256      (let ((coding-system-for-write nnkiboze-file-coding-system))
257        (gnus-make-directory (file-name-directory nov-file))
258        (with-temp-file nov-file
259          (when (file-exists-p nov-file)
260            (nnheader-insert-file-contents nov-file))
261          (setq nov-buffer (current-buffer))
262          ;; Go through the active hashtb and add new all groups that match the
263          ;; kiboze regexp.
264          (mapatoms
265           (lambda (group)
266             (and (string-match nnkiboze-regexp
267                                (setq gname (symbol-name group))) ; Match
268                  (not (assoc gname nnkiboze-newsrc)) ; It isn't registered
269                  (numberp (car (symbol-value group))) ; It is active
270                  (or (> nnkiboze-level 7)
271                      (and (setq glevel
272                                 (gnus-info-level (gnus-get-info gname)))
273                           (>= nnkiboze-level glevel)))
274                  (not (string-match "^nnkiboze:" gname)) ; Exclude kibozes
275                  (push (cons gname (1- (car (symbol-value group))))
276                        nnkiboze-newsrc)))
277           gnus-active-hashtb)
278          ;; `newsrc' is set to the list of groups that possibly are
279          ;; component groups to this kiboze group.  This list has elements
280          ;; on the form `(GROUP . NUMBER)', where NUMBER is the highest
281          ;; number that has been kibozed in GROUP in this kiboze group.
282          (setq newsrc nnkiboze-newsrc)
283          (while newsrc
284            (if (not (setq active (gnus-active (caar newsrc))))
285                ;; This group isn't active after all, so we remove it from
286                ;; the list of component groups.
287                (setq nnkiboze-newsrc (delq (car newsrc) nnkiboze-newsrc))
288              (setq lowest (cdar newsrc))
289              ;; Ok, we have a valid component group, so we jump to it.
290              (switch-to-buffer gnus-group-buffer)
291              (gnus-group-jump-to-group (caar newsrc))
292              (gnus-message 3 "nnkiboze: Checking %s..." (caar newsrc))
293              (setq ginfo (gnus-get-info (gnus-group-group-name))
294                    orig-info (gnus-copy-sequence ginfo)
295                    num-unread (gnus-group-unread (caar newsrc)))
296              (unwind-protect
297                  (progn
298                    ;; We set all list of article marks to nil.  Since we operate
299                    ;; on copies of the real lists, we can destroy anything we
300                    ;; want here.
301                    (when (nth 3 ginfo)
302                      (setcar (nthcdr 3 ginfo) nil))
303                    ;; We set the list of read articles to be what we expect for
304                    ;; this kiboze group -- either nil or `(1 . LOWEST)'.
305                    (when ginfo
306                      (setcar (nthcdr 2 ginfo)
307                              (and (not (= lowest 1)) (cons 1 lowest))))
308                    (when (and (or (not ginfo)
309                                   (> (length (gnus-list-of-unread-articles
310                                               (car ginfo)))
311                                      0))
312                               (progn
313                                 (ignore-errors
314                                   (gnus-group-select-group nil))
315                                 (eq major-mode 'gnus-summary-mode)))
316                      ;; We are now in the group where we want to be.
317                      (setq method (gnus-find-method-for-group
318                                    gnus-newsgroup-name))
319                      (when (eq method gnus-select-method)
320                        (setq method nil))
321                      ;; We go through the list of scored articles.
322                      (while gnus-newsgroup-scored
323                        (when (> (caar gnus-newsgroup-scored) lowest)
324                          ;; If it has a good score, then we enter this article
325                          ;; into the kiboze group.
326                          (nnkiboze-enter-nov
327                           nov-buffer
328                           (gnus-summary-article-header
329                            (caar gnus-newsgroup-scored))
330                           gnus-newsgroup-name))
331                        (setq gnus-newsgroup-scored (cdr gnus-newsgroup-scored)))
332                      ;; That's it.  We exit this group.
333                      (when (eq major-mode 'gnus-summary-mode)
334                        (kill-buffer (current-buffer)))))
335                ;; Restore the proper info.
336                (when ginfo
337                  (setcdr ginfo (cdr orig-info)))
338                (setcar (gnus-group-entry (caar newsrc)) num-unread)))
339            (setcdr (car newsrc) (cdr active))
340            (gnus-message 3 "nnkiboze: Checking %s...done" (caar newsrc))
341            (setq newsrc (cdr newsrc)))))
342      ;; We save the kiboze newsrc for this group.
343      (gnus-make-directory (file-name-directory newsrc-file))
344      (with-temp-file newsrc-file
345        (insert "(setq nnkiboze-newsrc '")
346        (gnus-prin1 nnkiboze-newsrc)
347        (insert ")\n")))
348     (unless inhibit-list-groups
349       (save-excursion
350         (set-buffer gnus-group-buffer)
351         (gnus-group-list-groups)))
352     t))
353
354 (defun nnkiboze-enter-nov (buffer header group)
355   (save-excursion
356     (set-buffer buffer)
357     (goto-char (point-max))
358     (let ((prefix (gnus-group-real-prefix group))
359           (oheader (copy-sequence header))
360           article)
361       (if (zerop (forward-line -1))
362           (progn
363             (setq article (1+ (read (current-buffer))))
364             (forward-line 1))
365         (setq article 1))
366       (mail-header-set-number oheader article)
367       (with-temp-buffer
368         (insert (or (mail-header-xref oheader) ""))
369         (goto-char (point-min))
370         (if (re-search-forward " [^ ]+:[0-9]+" nil t)
371             (goto-char (match-beginning 0))
372           (or (eobp) (forward-char 1)))
373         ;; The first Xref has to be the group this article
374         ;; really came for - this is the article nnkiboze
375         ;; will request when it is asked for the article.
376         (insert " " group ":"
377                 (int-to-string (mail-header-number header)) " ")
378         (while (re-search-forward " [^ ]+:[0-9]+" nil t)
379           (goto-char (1+ (match-beginning 0)))
380           (insert prefix))
381         (mail-header-set-xref oheader (buffer-string)))
382       (nnheader-insert-nov oheader))))
383
384 (defun nnkiboze-nov-file-name (&optional suffix)
385   (concat (file-name-as-directory nnkiboze-directory)
386           (nnheader-translate-file-chars
387            (concat (nnkiboze-prefixed-name nnkiboze-current-group)
388                    (or suffix ".nov")))))
389
390 (provide 'nnkiboze)
391
392 ;;; nnkiboze.el ends here