git.chise.org Git - elisp/gnus.git-/blob - lisp/spam-stat.el

   1 ;;; spam-stat.el --- detecting spam based on statistics
   2
   3 ;; Copyright (C) 2002, 2003, 2004 Free Software Foundation, Inc.
   4
   5 ;; Author: Alex Schroeder <alex@gnu.org>
   6 ;; Keywords: network
   7 ;; URL: http://www.emacswiki.org/cgi-bin/wiki.pl?SpamStat
   8
   9 ;; This file is part of GNU Emacs.
  10
  11 ;; This is free software; you can redistribute it and/or modify it
  12 ;; under the terms of the GNU General Public License as published by
  13 ;; the Free Software Foundation; either version 2, or (at your option)
  14 ;; any later version.
  15
  16 ;; This is distributed in the hope that it will be useful, but WITHOUT
  17 ;; ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
  18 ;; or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public
  19 ;; License for more details.
  20
  21 ;; You should have received a copy of the GNU General Public License
  22 ;; along with GNU Emacs; see the file COPYING.  If not, write to the
  23 ;; Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  24 ;; Boston, MA 02111-1307, USA.
  25
  26 ;;; Commentary:
  27
  28 ;; This implements spam analysis according to Paul Graham in "A Plan
  29 ;; for Spam".  The basis for all this is a statistical distribution of
  30 ;; words for your spam and non-spam mails.  We need this information
  31 ;; in a hash-table so that the analysis can use the information when
  32 ;; looking at your mails.  Therefore, before you begin, you need tons
  33 ;; of mails (Graham uses 4000 non-spam and 4000 spam mails for his
  34 ;; experiments).
  35 ;;
  36 ;; The main interface to using spam-stat, are the following functions:
  37 ;;
  38 ;; `spam-stat-buffer-is-spam' -- called in a buffer, that buffer is
  39 ;; considered to be a new spam mail; use this for new mail that has
  40 ;; not been processed before
  41 ;;
  42 ;; `spam-stat-buffer-is-non-spam' -- called in a buffer, that buffer
  43 ;; is considered to be a new non-spam mail; use this for new mail that
  44 ;; has not been processed before
  45 ;;
  46 ;; `spam-stat-buffer-change-to-spam' -- called in a buffer, that
  47 ;; buffer is no longer considered to be normal mail but spam; use this
  48 ;; to change the status of a mail that has already been processed as
  49 ;; non-spam
  50 ;;
  51 ;; `spam-stat-buffer-change-to-non-spam' -- called in a buffer, that
  52 ;; buffer is no longer considered to be spam but normal mail; use this
  53 ;; to change the status of a mail that has already been processed as
  54 ;; spam
  55 ;;
  56 ;; `spam-stat-save' -- save the hash table to the file; the filename
  57 ;; used is stored in the variable `spam-stat-file'
  58 ;;
  59 ;; `spam-stat-load' -- load the hash table from a file; the filename
  60 ;; used is stored in the variable `spam-stat-file'
  61 ;;
  62 ;; `spam-stat-score-word' -- return the spam score for a word
  63 ;;
  64 ;; `spam-stat-score-buffer' -- return the spam score for a buffer
  65 ;;
  66 ;; `spam-stat-split-fancy' -- for fancy mail splitting; add
  67 ;; the rule (: spam-stat-split-fancy) to `nnmail-split-fancy'
  68 ;;
  69 ;; This requires the following in your ~/.gnus file:
  70 ;;
  71 ;; (require 'spam-stat)
  72 ;; (spam-stat-load)
  73
  74 ;;; Testing:
  75
  76 ;; Typical test will involve calls to the following functions:
  77 ;;
  78 ;; Reset: (spam-stat-reset)
  79 ;; Learn spam: (spam-stat-process-spam-directory "~/Mail/mail/spam")
  80 ;; Learn non-spam: (spam-stat-process-non-spam-directory "~/Mail/mail/misc")
  81 ;; Save table: (spam-stat-save)
  82 ;; File size: (nth 7 (file-attributes spam-stat-file))
  83 ;; Number of words: (hash-table-count spam-stat)
  84 ;; Test spam: (spam-stat-test-directory "~/Mail/mail/spam")
  85 ;; Test non-spam: (spam-stat-test-directory "~/Mail/mail/misc")
  86 ;; Reduce table size: (spam-stat-reduce-size)
  87 ;; Save table: (spam-stat-save)
  88 ;; File size: (nth 7 (file-attributes spam-stat-file))
  89 ;; Number of words: (hash-table-count spam-stat)
  90 ;; Test spam: (spam-stat-test-directory "~/Mail/mail/spam")
  91 ;; Test non-spam: (spam-stat-test-directory "~/Mail/mail/misc")
  92
  93 ;;; Dictionary Creation:
  94
  95 ;; Typically, you will filter away mailing lists etc. using specific
  96 ;; rules in `nnmail-split-fancy'.  Somewhere among these rules, you
  97 ;; will filter spam.  Here is how you would create your dictionary:
  98
  99 ;; Reset: (spam-stat-reset)
 100 ;; Learn spam: (spam-stat-process-spam-directory "~/Mail/mail/spam")
 101 ;; Learn non-spam: (spam-stat-process-non-spam-directory "~/Mail/mail/misc")
 102 ;; Repeat for any other non-spam group you need...
 103 ;; Reduce table size: (spam-stat-reduce-size)
 104 ;; Save table: (spam-stat-save)
 105
 106 ;;; Todo:
 107
 108 ;; Speed it up.  Integrate with Gnus such that it uses spam and expiry
 109 ;; marks to call the appropriate functions when leaving the summary
 110 ;; buffer and saves the hash table when leaving Gnus.  More testing:
 111 ;; More mails, disabling SpamAssassin, double checking algorithm, find
 112 ;; improved algorithm.
 113
 114 ;;; Thanks:
 115
 116 ;; Ted Zlatanov <tzz@lifelogs.com>
 117 ;; Jesper Harder <harder@myrealbox.com>
 118 ;; Dan Schmidt <dfan@dfan.org>
 119 ;; Lasse Rasinen <lrasinen@iki.fi>
 120 ;; Milan Zamazal <pdm@zamazal.org>
 121
 122 \f
 123
 124 ;;; Code:
 125 (require 'mail-parse)
 126
 127 (defgroup spam-stat nil
 128   "Statistical spam detection for Emacs.
 129 Use the functions to build a dictionary of words and their statistical
 130 distribution in spam and non-spam mails.  Then use a function to determine
 131 whether a buffer contains spam or not."
 132   :version "21.4"
 133   :group 'gnus)
 134
 135 (defcustom spam-stat-file "~/.spam-stat.el"
 136   "File used to save and load the dictionary.
 137 See `spam-stat-to-hash-table' for the format of the file."
 138   :type 'file
 139   :group 'spam-stat)
 140
 141 (defcustom spam-stat-install-hooks t
 142   "Whether spam-stat should install its hooks in Gnus.
 143 This is set to nil if you use spam-stat through spam.el."
 144   :type 'boolean
 145   :group 'spam-stat)
 146
 147 (defcustom spam-stat-unknown-word-score 0.2
 148   "The score to use for unknown words.
 149 Also used for words that don't appear often enough."
 150   :type 'number
 151   :group 'spam-stat)
 152
 153 (defcustom spam-stat-max-word-length 15
 154   "Only words shorter than this will be considered."
 155   :type 'integer
 156   :group 'spam-stat)
 157
 158 (defcustom spam-stat-max-buffer-length 10240
 159   "Only the beginning of buffers will be analyzed.
 160 This variable says how many characters this will be."
 161   :type 'integer
 162   :group 'spam-stat)
 163
 164 (defcustom spam-stat-split-fancy-spam-group "mail.spam"
 165   "Name of the group where spam should be stored.
 166 If `spam-stat-split-fancy' is used in fancy splitting rules.  Has
 167 no effect when spam-stat is invoked through spam.el."
 168   :type 'string
 169   :group 'spam-stat)
 170
 171 (defcustom spam-stat-split-fancy-spam-threshhold 0.9
 172   "Spam score threshold in spam-stat-split-fancy."
 173   :type 'number
 174   :group 'spam-stat)
 175
 176 (defcustom spam-stat-washing-hook nil
 177   "Hook applied to each message before analysis."
 178   :type 'hook
 179   :group 'spam-stat)
 180
 181 (defcustom spam-stat-process-directory-age 90
 182   "Max. age of files to be processed in directory, in days.
 183 When using `spam-stat-process-spam-directory' or
 184 `spam-stat-process-non-spam-directory', only files that have
 185 been touched in this many days will be considered.  Without
 186 this filter, re-training spam-stat with several thousand messages
 187 will start to take a very long time.")
 188
 189 (defvar spam-stat-syntax-table
 190   (let ((table (copy-syntax-table text-mode-syntax-table)))
 191     (modify-syntax-entry ?- "w" table)
 192     (modify-syntax-entry ?_ "w" table)
 193     (modify-syntax-entry ?. "w" table)
 194     (modify-syntax-entry ?! "w" table)
 195     (modify-syntax-entry ?? "w" table)
 196     (modify-syntax-entry ?+ "w" table)
 197     table)
 198   "Syntax table used when processing mails for statistical analysis.
 199 The important part is which characters are word constituents.")
 200
 201 (defvar spam-stat-dirty nil
 202   "Whether the spam-stat database needs saving.")
 203
 204 (defvar spam-stat-buffer nil
 205   "Buffer to use for scoring while splitting.
 206 This is set by hooking into Gnus.")
 207
 208 (defvar spam-stat-buffer-name " *spam stat buffer*"
 209   "Name of the `spam-stat-buffer'.")
 210
 211 (defvar spam-stat-coding-system
 212   (if (mm-coding-system-p 'emacs-mule) 'emacs-mule 'raw-text)
 213   "Coding system used for `spam-stat-file'.")
 214
 215 ;; Hooking into Gnus
 216
 217 (defun spam-stat-store-current-buffer ()
 218   "Store a copy of the current buffer in `spam-stat-buffer'."
 219   (let ((buf (current-buffer)))
 220     (with-current-buffer (get-buffer-create spam-stat-buffer-name)
 221       (erase-buffer)
 222       (insert-buffer-substring buf)
 223       (setq spam-stat-buffer (current-buffer)))))
 224
 225 (defun spam-stat-store-gnus-article-buffer ()
 226   "Store a copy of the current article in `spam-stat-buffer'.
 227 This uses `gnus-article-buffer'."
 228   (with-current-buffer gnus-original-article-buffer
 229     (spam-stat-store-current-buffer)))
 230
 231 ;; Data -- not using defstruct in order to save space and time
 232
 233 (defvar spam-stat (make-hash-table :test 'equal)
 234   "Hash table used to store the statistics.
 235 Use `spam-stat-load' to load the file.
 236 Every word is used as a key in this table.  The value is a vector.
 237 Use `spam-stat-ngood', `spam-stat-nbad', `spam-stat-good',
 238 `spam-stat-bad', and `spam-stat-score' to access this vector.")
 239
 240 (defvar spam-stat-ngood 0
 241   "The number of good mails in the dictionary.")
 242
 243 (defvar spam-stat-nbad 0
 244   "The number of bad mails in the dictionary.")
 245
 246 (defsubst spam-stat-good (entry)
 247   "Return the number of times this word belongs to good mails."
 248   (aref entry 0))
 249
 250 (defsubst spam-stat-bad (entry)
 251   "Return the number of times this word belongs to bad mails."
 252   (aref entry 1))
 253
 254 (defsubst spam-stat-score (entry)
 255   "Set the score of this word."
 256   (if entry
 257       (aref entry 2)
 258     spam-stat-unknown-word-score))
 259
 260 (defsubst spam-stat-set-good (entry value)
 261   "Set the number of times this word belongs to good mails."
 262   (aset entry 0 value))
 263
 264 (defsubst spam-stat-set-bad (entry value)
 265   "Set the number of times this word belongs to bad mails."
 266   (aset entry 1 value))
 267
 268 (defsubst spam-stat-set-score (entry value)
 269   "Set the score of this word."
 270   (aset entry 2 value))
 271
 272 (defsubst spam-stat-make-entry (good bad)
 273   "Return a vector with the given properties."
 274   (let ((entry (vector good bad nil)))
 275     (spam-stat-set-score entry (spam-stat-compute-score entry))
 276     entry))
 277
 278 ;; Computing
 279
 280 (defun spam-stat-compute-score (entry)
 281   "Compute the score of this word.  1.0 means spam."
 282    ;; promote all numbers to floats for the divisions
 283    (let* ((g (* 2.0 (spam-stat-good entry)))
 284           (b (float (spam-stat-bad entry))))
 285      (cond ((< (+ g b) 5)
 286             .2)
 287            ((= 0 spam-stat-ngood)
 288             .99)
 289            ((= 0 spam-stat-nbad)
 290             .01)
 291            (t
 292             (max .01
 293                  (min .99 (/ (/ b spam-stat-nbad)
 294                              (+ (/ g spam-stat-ngood)
 295                                 (/ b spam-stat-nbad)))))))))
 296
 297 ;; Parsing
 298
 299 (defmacro with-spam-stat-max-buffer-size (&rest body)
 300   "Narrow the buffer down to the first 4k characters, then evaluate BODY."
 301   `(save-restriction
 302      (when (> (- (point-max)
 303                  (point-min))
 304               spam-stat-max-buffer-length)
 305        (narrow-to-region (point-min)
 306                          (+ (point-min) spam-stat-max-buffer-length)))
 307      ,@body))
 308
 309 (defun spam-stat-buffer-words ()
 310   "Return a hash table of words and number of occurrences in the buffer."
 311   (run-hooks 'spam-stat-washing-hook)
 312   (with-spam-stat-max-buffer-size
 313    (with-syntax-table spam-stat-syntax-table
 314      (goto-char (point-min))
 315      (let ((result (make-hash-table :test 'equal))
 316            word count)
 317        (while (re-search-forward "\\w+" nil t)
 318          (setq word (match-string-no-properties 0)
 319                count (1+ (gethash word result 0)))
 320          (when (< (length word) spam-stat-max-word-length)
 321            (puthash word count result)))
 322        result))))
 323
 324 (defun spam-stat-buffer-is-spam ()
 325   "Consider current buffer to be a new spam mail."
 326   (setq spam-stat-nbad (1+ spam-stat-nbad))
 327   (maphash
 328    (lambda (word count)
 329      (let ((entry (gethash word spam-stat)))
 330        (if entry
 331            (spam-stat-set-bad entry (+ count (spam-stat-bad entry)))
 332          (setq entry (spam-stat-make-entry 0 count)))
 333        (spam-stat-set-score entry (spam-stat-compute-score entry))
 334        (puthash word entry spam-stat)))
 335    (spam-stat-buffer-words))
 336   (setq spam-stat-dirty t))
 337
 338 (defun spam-stat-buffer-is-non-spam ()
 339   "Consider current buffer to be a new non-spam mail."
 340   (setq spam-stat-ngood (1+ spam-stat-ngood))
 341   (maphash
 342    (lambda (word count)
 343      (let ((entry (gethash word spam-stat)))
 344        (if entry
 345            (spam-stat-set-good entry (+ count (spam-stat-good entry)))
 346          (setq entry (spam-stat-make-entry count 0)))
 347        (spam-stat-set-score entry (spam-stat-compute-score entry))
 348        (puthash word entry spam-stat)))
 349    (spam-stat-buffer-words))
 350   (setq spam-stat-dirty t))
 351
 352 (defun spam-stat-buffer-change-to-spam ()
 353   "Consider current buffer no longer normal mail but spam."
 354   (setq spam-stat-nbad (1+ spam-stat-nbad)
 355         spam-stat-ngood (1- spam-stat-ngood))
 356   (maphash
 357    (lambda (word count)
 358      (let ((entry (gethash word spam-stat)))
 359        (if (not entry)
 360            (gnus-message 8 "This buffer has unknown words in it")
 361          (spam-stat-set-good entry (- (spam-stat-good entry) count))
 362          (spam-stat-set-bad entry (+ (spam-stat-bad entry) count))
 363          (spam-stat-set-score entry (spam-stat-compute-score entry))
 364          (puthash word entry spam-stat))))
 365    (spam-stat-buffer-words))
 366   (setq spam-stat-dirty t))
 367
 368 (defun spam-stat-buffer-change-to-non-spam ()
 369   "Consider current buffer no longer spam but normal mail."
 370   (setq spam-stat-nbad (1- spam-stat-nbad)
 371         spam-stat-ngood (1+ spam-stat-ngood))
 372   (maphash
 373    (lambda (word count)
 374      (let ((entry (gethash word spam-stat)))
 375        (if (not entry)
 376            (gnus-message 8 "This buffer has unknown words in it")
 377          (spam-stat-set-good entry (+ (spam-stat-good entry) count))
 378          (spam-stat-set-bad entry (- (spam-stat-bad entry) count))
 379          (spam-stat-set-score entry (spam-stat-compute-score entry))
 380          (puthash word entry spam-stat))))
 381    (spam-stat-buffer-words))
 382   (setq spam-stat-dirty t))
 383
 384 ;; Saving and Loading
 385
 386 (defun spam-stat-save (&optional force)
 387   "Save the `spam-stat' hash table as lisp file.
 388 With a prefix argument save unconditionally."
 389   (interactive "P")
 390   (when (or force spam-stat-dirty)
 391     (let ((coding-system-for-write spam-stat-coding-system))
 392       (with-temp-file spam-stat-file
 393         (let ((standard-output (current-buffer))
 394               (font-lock-maximum-size 0))
 395           (insert (format ";-*- coding: %s; -*-\n" spam-stat-coding-system))
 396           (insert (format "(setq spam-stat-ngood %d spam-stat-nbad %d
 397 spam-stat (spam-stat-to-hash-table '(" spam-stat-ngood spam-stat-nbad))
 398           (maphash (lambda (word entry)
 399                      (prin1 (list word
 400                                   (spam-stat-good entry)
 401                                   (spam-stat-bad entry))))
 402                    spam-stat)
 403           (insert ")))"))))
 404         (setq spam-stat-dirty nil)))
 405
 406 (defun spam-stat-load ()
 407   "Read the `spam-stat' hash table from disk."
 408   ;; TODO: maybe we should warn the user if spam-stat-dirty is t?
 409   (let ((coding-system-for-read spam-stat-coding-system))
 410     (load-file spam-stat-file))
 411   (setq spam-stat-dirty nil))
 412
 413 (defun spam-stat-to-hash-table (entries)
 414   "Turn list ENTRIES into a hash table and store as `spam-stat'.
 415 Every element in ENTRIES has the form \(WORD GOOD BAD) where WORD is
 416 the word string, NGOOD is the number of good mails it has appeared in,
 417 NBAD is the number of bad mails it has appeared in, GOOD is the number
 418 of times it appeared in good mails, and BAD is the number of times it
 419 has appeared in bad mails."
 420   (let ((table (make-hash-table :size (length entries)
 421                                 :test 'equal)))
 422     (mapc (lambda (l)
 423             (puthash (car l)
 424                      (spam-stat-make-entry (nth 1 l) (nth 2 l))
 425                      table))
 426           entries)
 427     table))
 428
 429 (defun spam-stat-reset ()
 430   "Reset `spam-stat' to an empty hash-table.
 431 This deletes all the statistics."
 432   (interactive)
 433   (setq spam-stat (make-hash-table :test 'equal)
 434         spam-stat-ngood 0
 435         spam-stat-nbad 0)
 436   (setq spam-stat-dirty t))
 437
 438 ;; Scoring buffers
 439
 440 (defvar spam-stat-score-data nil
 441   "Raw data used in the last run of `spam-stat-score-buffer'.")
 442
 443 (defsubst spam-stat-score-word (word)
 444   "Return score for WORD.
 445 The default score for unknown words is stored in
 446 `spam-stat-unknown-word-score'."
 447   (spam-stat-score (gethash word spam-stat)))
 448
 449 (defun spam-stat-buffer-words-with-scores ()
 450   "Process current buffer, return the 15 most conspicuous words.
 451 These are the words whose spam-stat differs the most from 0.5.
 452 The list returned contains elements of the form \(WORD SCORE DIFF),
 453 where DIFF is the difference between SCORE and 0.5."
 454   (let (result word score)
 455     (maphash (lambda (word ignore)
 456                (setq score (spam-stat-score-word word)
 457                      result (cons (list word score (abs (- score 0.5)))
 458                                   result)))
 459              (spam-stat-buffer-words))
 460     (setq result (sort result (lambda (a b) (< (nth 2 b) (nth 2 a)))))
 461     (setcdr (nthcdr 14 result) nil)
 462     result))
 463
 464 (defun spam-stat-score-buffer ()
 465   "Return a score describing the spam-probability for this buffer."
 466   (setq spam-stat-score-data (spam-stat-buffer-words-with-scores))
 467   (let* ((probs (mapcar 'cadr spam-stat-score-data))
 468          (prod (apply #'* probs)))
 469     (/ prod (+ prod (apply #'* (mapcar #'(lambda (x) (- 1 x))
 470                                        probs))))))
 471
 472 (defun spam-stat-split-fancy ()
 473   "Return the name of the spam group if the current mail is spam.
 474 Use this function on `nnmail-split-fancy'.  If you are interested in
 475 the raw data used for the last run of `spam-stat-score-buffer',
 476 check the variable `spam-stat-score-data'."
 477   (condition-case var
 478       (progn
 479         (set-buffer spam-stat-buffer)
 480         (goto-char (point-min))
 481         (when (> (spam-stat-score-buffer) spam-stat-split-fancy-spam-threshhold)
 482           (when (boundp 'nnmail-split-trace)
 483             (mapc (lambda (entry)
 484                     (push entry nnmail-split-trace))
 485                   spam-stat-score-data))
 486           spam-stat-split-fancy-spam-group))
 487     (error (message "Error in spam-stat-split-fancy: %S" var)
 488            nil)))
 489
 490 ;; Testing
 491
 492 (defun spam-stat-strip-xref ()
 493   "Strip the the Xref header."
 494   (save-restriction
 495     (mail-narrow-to-head)
 496     (when (re-search-forward "^Xref:.*\n" nil t)
 497       (delete-region (match-beginning 0) (match-end 0)))))
 498
 499 (defun spam-stat-process-directory (dir func)
 500   "Process all the regular files in directory DIR using function FUNC."
 501   (let* ((files (directory-files dir t "^[^.]"))
 502          (max (/ (length files) 100.0))
 503          (count 0))
 504     (with-temp-buffer
 505       (dolist (f files)
 506         (when (and (file-readable-p f)
 507                    (file-regular-p f)
 508                    (> (nth 7 (file-attributes f)) 0)
 509                    (< (time-to-number-of-days (time-since (nth 5 (file-attributes f))))
 510                       spam-stat-process-directory-age))
 511           (setq count (1+ count))
 512           (message "Reading %s: %.2f%%" dir (/ count max))
 513           (insert-file-contents-literally f)
 514           (spam-stat-strip-xref)
 515           (funcall func)
 516           (erase-buffer))))))
 517
 518 (defun spam-stat-process-spam-directory (dir)
 519   "Process all the regular files in directory DIR as spam."
 520   (interactive "D")
 521   (spam-stat-process-directory dir 'spam-stat-buffer-is-spam))
 522
 523 (defun spam-stat-process-non-spam-directory (dir)
 524   "Process all the regular files in directory DIR as non-spam."
 525   (interactive "D")
 526   (spam-stat-process-directory dir 'spam-stat-buffer-is-non-spam))
 527
 528 (defun spam-stat-count ()
 529   "Return size of `spam-stat'."
 530   (interactive)
 531   (hash-table-count spam-stat))
 532
 533 (defun spam-stat-test-directory (dir &optional verbose)
 534   "Test all the regular files in directory DIR for spam.
 535 If the result is 1.0, then all files are considered spam.
 536 If the result is 0.0, non of the files is considered spam.
 537 You can use this to determine error rates.
 538
 539 If VERBOSE is non-nil display names of files detected as spam or
 540 non-spam in a temporary buffer.  If it is the symbol `ham',
 541 display non-spam files; otherwise display spam files."
 542   (interactive "DDirectory: ")
 543   (let* ((files (directory-files dir t "^[^.]"))
 544          display-files
 545          buffer-score
 546          (total (length files))
 547          (score 0.0); float
 548          (max (/ total 100.0)); float
 549          (count 0))
 550     (with-temp-buffer
 551       (dolist (f files)
 552         (when (and (file-readable-p f)
 553                    (file-regular-p f)
 554                    (> (nth 7 (file-attributes f)) 0))
 555           (setq count (1+ count))
 556           (message "Reading %.2f%%, score %.2f"
 557                    (/ count max) (/ score count))
 558           (insert-file-contents-literally f)
 559           (setq buffer-score (spam-stat-score-buffer))
 560           (when (> buffer-score 0.9)
 561             (setq score (1+ score)))
 562           (when verbose
 563             (if (> buffer-score 0.9)
 564                 (unless (eq verbose 'ham) (push f display-files))
 565               (when (eq verbose 'ham) (push f display-files))))
 566           (erase-buffer))))
 567     (when display-files
 568       (with-output-to-temp-buffer "*spam-stat results*"
 569         (dolist (file display-files)
 570           (princ file)
 571           (terpri))))
 572     (message "Final score: %d / %d = %f" score total (/ score total))))
 573
 574 ;; Shrinking the dictionary
 575
 576 (defun spam-stat-reduce-size (&optional count)
 577   "Reduce the size of `spam-stat'.
 578 This removes all words that occur less than COUNT from the dictionary.
 579 COUNT defaults to 5"
 580   (interactive)
 581   (setq count (or count 5))
 582   (maphash (lambda (key entry)
 583              (when (< (+ (spam-stat-good entry)
 584                          (spam-stat-bad entry))
 585                       count)
 586                (remhash key spam-stat)))
 587            spam-stat)
 588   (setq spam-stat-dirty t))
 589
 590 (defun spam-stat-install-hooks-function ()
 591   "Install the spam-stat function hooks."
 592   (interactive)
 593   (add-hook 'nnmail-prepare-incoming-message-hook
 594             'spam-stat-store-current-buffer)
 595   (add-hook 'gnus-select-article-hook
 596             'spam-stat-store-gnus-article-buffer))
 597
 598 (when spam-stat-install-hooks
 599   (spam-stat-install-hooks-function))
 600
 601 (defun spam-stat-unload-hook ()
 602   "Uninstall the spam-stat function hooks."
 603   (interactive)
 604   (remove-hook 'nnmail-prepare-incoming-message-hook
 605                'spam-stat-store-current-buffer)
 606   (remove-hook 'gnus-select-article-hook
 607                'spam-stat-store-gnus-article-buffer))
 608
 609 (add-hook 'spam-stat-unload-hook 'spam-stat-unload-hook)
 610
 611 (provide 'spam-stat)
 612
 613 ;;; spam-stat.el ends here