XEmacs 21.2.6
[chise/xemacs-chise.git.1] / lisp / package-get.el
index 4675572..acc3483 100644 (file)
@@ -3,6 +3,8 @@
 ;; Copyright (C) 1998 by Pete Ware
 
 ;; Author: Pete Ware <ware@cis.ohio-state.edu>
+;; Heavy-Modifications: Greg Klanderman <greg@alphatech.com>
+;;                      Jan Vroonhof    <vroonhof@math.ethz.ch>
 ;; Keywords: internal
 
 ;; This file is part of XEmacs.
@@ -29,6 +31,9 @@
 ;; package-get -
 ;;     Retrieve a package and any other required packages from an archive
 ;;
+;;
+;; Note (JV): Most of this no longer aplies!
+;;
 ;; The idea:
 ;;     A new XEmacs lisp-only release is generated with the following steps:
 ;;     1. The maintainer runs some yet to be written program that
 ;;; Code:
 
 (require 'package-admin)
-(require 'package-get-base)
+;; (require 'package-get-base)
+
+(defgroup package-tools nil
+  "Tools to manipulate packages."
+  :group 'emacs)
 
+(defgroup package-get nil
+  "Automatic Package Fetcher and Installer."
+  :prefix "package-get"
+  :group 'package-tools)
+  
 (defvar package-get-base nil
   "List of packages that are installed at this site.
 For each element in the alist,  car is the package name and the cdr is
@@ -145,25 +159,335 @@ recent to least recent -- in other words, the version names don't have to
 be lexically ordered.  It is debatable if it makes sense to have more than
 one version of a package available.")
 
-(defvar package-get-dir (temp-directory)
-  "*Where to store temporary files for staging.")
+(defcustom package-get-dir (temp-directory)
+  "*Where to store temporary files for staging."
+  :tag "Temporary directory"
+  :type 'directory
+  :group 'package-get)
 
-(defvar package-get-remote
-  '(("ftp.xemacs.org" "/pub/xemacs/packages"))
+(define-widget 'host-name 'string
+  "A Host name."
+  :tag "Host")
+
+(defcustom package-get-remote nil
   "*List of remote sites to contact for downloading packages.
 List format is '(site-name directory-on-site).  Each site is tried in
 order until the package is found.  As a special case, `site-name' can be
-`nil', in which case `directory-on-site' is treated as a local directory.")
+`nil', in which case `directory-on-site' is treated as a local directory."
+  :tag "Package repository"
+  :type '(repeat (choice (list :tag "Local" (const :tag "Local" nil) directory )
+                        (list :tag "Remote" host-name directory) ))
+  :group 'package-get)
+
+(defcustom package-get-download-sites
+  '(
+    ;; North America
+    ("xemacs.org" "ftp.xemacs.org" "pub/xemacs/packages")
+    ("cso.uiuc.edu" "ftp.cso.uiuc.edu" "pub/packages/xemacs/packages")
+
+    ;; South America
+    ("unicamp.br" "ftp.unicamp.br" "pub/xemacs/packages")
 
-(defvar package-get-remove-copy nil
+    ;; Europe
+    ("sunsite.cnlab-switch.ch" "sunsite.cnlab-switch.ch" "mirror/xemacs/packages")
+    ("tu-darmstadt.de" "ftp.tu-darmstadt.de" "pub/editors/xemacs/packages")
+    ("sunsite.auc.dk" "sunsite.auc.dk" "pub/emacs/xemacs/packages")
+    ("pasteur.fr" "ftp.pasteur.fr" "pub/computing/xemacs/packages")
+    ("cenatls.cena.dgac.fr" "ftp.cenatls.cena.dgac.fr" "pub/Emacs/xemacs/packages")
+    ("kfki.hu" "ftp.kfki.hu" "pub/packages/xemacs/packages")
+    ("uniroma2.it" "ftp.uniroma2.it" "unix/misc/dist/XEMACS/packages")
+    ("icm.edu.pl" "ftp.icm.edu.pl" "pub/unix/editors/xemacs/packages")
+    ("sunet.se" "ftp.sunet.se" "pub/gnu/xemacs/packages")
+    ("doc.ic.ac.uk" "ftp.doc.ic.ac.uk" "packages/xemacs/packages")
+    ("srcc.msu.su" "ftp1.srcc.msu.su" "mirror/ftp.xemacs.org/packages")
+
+    ;; Asia
+    ("usyd.edu.au" "ftp.usyd.edu.au" "pub/Xemacs/packages")
+    ("netlab.is.tsukuba.ac.jp" "ftp.netlab.is.tsukuba.ac.jp" "pub/GNU/xemacs/packages")
+    ("jaist.ac.jp" "ftp.jaist.ac.jp" "pub/GNU/xemacs/packages")
+    ("ring.aist.go.jp" "ring.aist.go.jp" "pub/text/xemacs/packages")
+    ("ring.asahi-net.or.jp" "ring.asahi-net.or.jp" "pub/text/xemacs/packages")
+    ("SunSITE.sut.ac.jp" "SunSITE.sut.ac.jp" "pub/archives/packages/xemacs/packages")
+    ("dti.ad.jp" "ftp.dti.ad.jp" "pub/unix/editor/xemacs/packages")
+    ("kreonet.re.kr" "ftp.kreonet.re.kr" "pub/tools/emacs/xemacs/packages")
+    )
+  "*List of remote sites available for downloading packages.
+List format is '(site-description site-name directory-on-site).
+SITE-DESCRIPTION is a textual description of the site.  SITE-NAME
+is the internet address of the download site.  DIRECTORY-ON-SITE
+is the directory on the site in which packages may be found.
+This variable is used to initialize `package-get-remote', the
+variable actually used to specify package download sites."
+  :tag "Package download sites"
+  :type '(repeat (list hostname directory))
+  :group 'package-get)
+
+(defcustom package-get-remove-copy t
   "*After copying and installing a package, if this is T, then remove the
-copy.  Otherwise, keep it around.")
+copy.  Otherwise, keep it around."
+  :type 'boolean
+  :group 'package-get)
+
+;; #### it may make sense for this to be a list of names.
+;; #### also, should we rename "*base*" to "*index*" or "*db*"?
+;;      "base" is a pretty poor name.
+(defcustom package-get-base-filename "package-index.LATEST.pgp"
+  "*Name of the default package-get database file.
+This may either be a relative path, in which case it is interpreted
+with respect to `package-get-remote', or an absolute path."
+  :type 'file
+  :group 'package-get)
+
+(defcustom package-get-always-update nil
+  "*If Non-nil always make sure we are using the latest package index (base).
+Otherwise respect the `force-current' argument of `package-get-require-base'."
+  :type 'boolean
+  :group 'package-get)
+
+(defcustom package-get-require-signed-base-updates t
+  "*If set to a non-nil value, require explicit user confirmation for updates
+to the package-get database which cannot have their signature verified via PGP.
+When nil, updates which are not PGP signed are allowed without confirmation."
+  :type 'boolean
+  :group 'package-get)
+
+(defvar package-get-was-current nil
+  "Non-nil we did our best to fetch a current database.")
+
+;;;###autoload
+(defun package-get-download-menu ()
+  "Build the `Add Download Site' menu."
+  (mapcar (lambda (site)
+            (vector (car site)
+                    `(push (quote ,(cdr site))
+                           package-get-remote)
+                    :style 'toggle
+                    :selected `(member (quote ,(cdr site))
+                                       package-get-remote)))
+          package-get-download-sites))
+
+;;;###autoload
+(defun package-get-require-base (&optional force-current)
+  "Require that a package-get database has been loaded.
+If the optional FORCE-CURRENT argument or the value of
+`package-get-always-update' is Non-nil, try to update the database
+from a location in `package-get-remote'. Otherwise a local copy is used
+if available and remote access is never done.
+
+Please use FORCE-CURRENT only when the user is explictly dealing with packages
+and remote access is likely in the near future."
+  (setq force-current (or force-current package-get-always-update))
+  (unless (and (boundp 'package-get-base)
+              package-get-base
+              (or (not force-current) package-get-was-current))
+    (package-get-update-base nil force-current))
+  (if (or (not (boundp 'package-get-base))
+         (not package-get-base))
+      (error "Package-get database not loaded")
+    (setq package-get-was-current force-current)))
+
+(defconst package-get-pgp-signed-begin-line "^-----BEGIN PGP SIGNED MESSAGE-----"
+  "Text for start of PGP signed messages.")
+(defconst package-get-pgp-signature-begin-line "^-----BEGIN PGP SIGNATURE-----"
+  "Text for beginning of PGP signature.")
+(defconst package-get-pgp-signature-end-line "^-----END PGP SIGNATURE-----"
+  "Text for end of PGP signature.")
+
+;;;###autoload
+(defun package-get-update-base-entry (entry)
+  "Update an entry in `package-get-base'."
+  (let ((existing (assq (car entry) package-get-base)))
+    (if existing
+        (setcdr existing (cdr entry))
+      (setq package-get-base (cons entry package-get-base))
+      (package-get-custom-add-entry (car entry) (car (cdr entry))))))
+
+(defun package-get-locate-file (file &optional nil-if-not-found no-remote)
+  "Locate an existing FILE with respect to `package-get-remote'.
+If FILE is an absolute path or is not found, simply return FILE.
+If optional argument NIL-IF-NOT-FOUND is non-nil, return nil
+if FILE can not be located.
+If NO-REMOTE is non-nil never search remote locations."
+  (if (file-name-absolute-p file)
+      file
+    (let ((entries package-get-remote)
+          (expanded nil))
+      (while entries
+       (unless (and no-remote (caar entries))
+         (let ((expn (package-get-remote-filename (car entries) file)))
+           (if (and expn (file-exists-p expn))
+               (setq entries  nil
+                     expanded expn))))
+        (setq entries (cdr entries)))
+      (or expanded
+          (and (not nil-if-not-found)
+               file)))))
+
+(defun package-get-locate-index-file (no-remote)
+  "Locate the package-get index file.  Do not return remote paths if NO-REMOTE
+is non-nil."
+  (or (package-get-locate-file package-get-base-filename t no-remote)
+      (locate-data-file package-get-base-filename)
+      package-get-base-filename))
+
+(defvar package-get-user-package-location user-init-directory)
+
+(defun package-get-maybe-save-index (filename)
+  "Offer to save the current buffer as the local package index file,
+if different."
+  (let ((location (package-get-locate-index-file t)))
+    (unless (and filename (equal filename location))
+      (unless (equal (md5 (current-buffer))
+                    (with-temp-buffer
+                      (insert-file-contents location)
+                      (md5 (current-buffer))))
+       (unless (file-writable-p location)
+         (setq location (expand-file-name package-get-base-filename
+               (expand-file-name "etc/" package-get-user-package-location))))
+       (when (y-or-n-p (concat "Update package index in" location "? "))
+         (write-file location))))))
+      
+
+;;;###autoload
+(defun package-get-update-base (&optional db-file force-current)
+  "Update the package-get database file with entries from DB-FILE.
+Unless FORCE-CURRENT is non-nil never try to update the database."
+  (interactive
+   (let ((dflt (package-get-locate-index-file nil)))
+     (list (read-file-name "Load package-get database: "
+                           (file-name-directory dflt)
+                           dflt
+                           t
+                           (file-name-nondirectory dflt)))))
+  (setq db-file (expand-file-name (or db-file
+                                      (package-get-locate-index-file
+                                        (not force-current)))))
+  (if (not (file-exists-p db-file))
+      (error "Package-get database file `%s' does not exist" db-file))
+  (if (not (file-readable-p db-file))
+      (error "Package-get database file `%s' not readable" db-file))
+  (let ((buf (get-buffer-create "*package database*")))
+    (unwind-protect
+        (save-excursion
+          (set-buffer buf)
+          (erase-buffer buf)
+          (insert-file-contents-internal db-file)
+          (package-get-update-base-from-buffer buf)
+         (if (file-remote-p db-file)
+             (package-get-maybe-save-index db-file)))
+      (kill-buffer buf))))
+
+;;;###autoload
+(defun package-get-update-base-from-buffer (&optional buf)
+  "Update the package-get database with entries from BUFFER.
+BUFFER defaults to the current buffer.  This command can be
+used interactively, for example from a mail or news buffer."
+  (interactive)
+  (setq buf (or buf (current-buffer)))
+  (let (content-beg content-end beg end)
+    (save-excursion
+      (set-buffer buf)
+      (goto-char (point-min))
+      (setq content-beg (point))
+      (setq content-end (save-excursion (goto-char (point-max)) (point)))
+      (when (re-search-forward package-get-pgp-signed-begin-line nil t)
+        (setq beg (match-beginning 0))
+        (setq content-beg (match-end 0)))
+      (when (re-search-forward package-get-pgp-signature-begin-line nil t)
+        (setq content-end (match-beginning 0)))
+      (when (re-search-forward package-get-pgp-signature-end-line nil t)
+        (setq end (point)))
+      (if (not (and content-beg content-end beg end))
+          (or (not package-get-require-signed-base-updates)
+              (yes-or-no-p "Package-get entries not PGP signed, continue? ")
+              (error "Package-get database not updated")))
+      (if (and content-beg content-end beg end)
+          (if (not (condition-case nil
+                       (or (fboundp 'mc-pgp-verify-region)
+                           (load-library "mc-pgp")
+                           (fboundp 'mc-pgp-verify-region))
+                     (error nil)))
+              (or (not package-get-require-signed-base-updates)
+                  (yes-or-no-p
+                   "No mailcrypt; can't verify package-get DB signature, continue? ")
+                  (error "Package-get database not updated"))))
+      (if (and beg end
+               (fboundp 'mc-pgp-verify-region)
+               (or (not
+                    (condition-case err
+                        (mc-pgp-verify-region beg end)
+                      (file-error
+                       (and (string-match "No such file" (nth 2 err))
+                            (or (not package-get-require-signed-base-updates)
+                                (yes-or-no-p
+                                 (concat "Can't find PGP, continue without "
+                                         "package-get DB verification? ")))))
+                      (t nil)))))
+          (error "Package-get PGP signature failed to verify"))
+      ;; ToDo: We shoud call package-get-maybe-save-index on the region
+      (package-get-update-base-entries content-beg content-end)
+      (message "Updated package-get database"))))
+
+(defun package-get-update-base-entries (beg end)
+  "Update the package-get database with the entries found between
+BEG and END in the current buffer."
+  (save-excursion
+    (goto-char beg)
+    (if (not (re-search-forward "^(package-get-update-base-entry" nil t))
+        (error "Buffer does not contain package-get database entries"))
+    (beginning-of-line)
+    (let ((count 0))
+      (while (and (< (point) end)
+                  (re-search-forward "^(package-get-update-base-entry" nil t))
+        (beginning-of-line)
+        (let ((entry (read (current-buffer))))
+          (if (or (not (consp entry))
+                  (not (eq (car entry) 'package-get-update-base-entry)))
+              (error "Invalid package-get database entry found"))
+          (package-get-update-base-entry
+           (car (cdr (car (cdr entry)))))
+          (setq count (1+ count))))
+      (message "Got %d package-get database entries" count))))
+
+;;;###autoload
+(defun package-get-save-base (file)
+  "Write the package-get database to FILE.
+
+Note: This database will be unsigned of course."
+  (interactive "FSave package-get database to: ")
+  (package-get-require-base t)
+  (let ((buf (get-buffer-create "*package database*")))
+    (unwind-protect
+        (save-excursion
+          (set-buffer buf)
+          (erase-buffer buf)
+          (goto-char (point-min))
+          (let ((entries package-get-base) entry plist)
+            (insert ";; Package Index file -- Do not edit manually.\n")
+            (insert ";;;@@@\n")
+            (while entries
+              (setq entry (car entries))
+              (setq plist (car (cdr entry)))
+              (insert "(package-get-update-base-entry (quote\n")
+              (insert (format "(%s\n" (symbol-name (car entry))))
+              (while plist
+                (insert (format "  %s%s %S\n"
+                                (if (eq plist (car (cdr entry))) "(" " ")
+                                (symbol-name (car plist))
+                                (car (cdr plist))))
+                (setq plist (cdr (cdr plist))))
+              (insert "))\n))\n;;;@@@\n")
+              (setq entries (cdr entries))))
+          (insert ";; Package Index file ends here\n")
+          (write-region (point-min) (point-max) file))
+      (kill-buffer buf))))
 
 (defun package-get-interactive-package-query (get-version package-symbol)
   "Perform interactive querying for package and optional version.
 Query for a version if GET-VERSION is non-nil.  Return package name as
 a symbol instead of a string if PACKAGE-SYMBOL is non-nil.
 The return value is suitable for direct passing to `interactive'."
+  (package-get-require-base t)
   (let ( (table (mapcar '(lambda (item)
                           (let ( (name (symbol-name (car item))) )
                             (cons name name)
@@ -206,6 +530,7 @@ This is just an interactive wrapper for `package-admin-delete-binary-package'."
 (defun package-get-update-all ()
   "Fetch and install the latest versions of all currently installed packages."
   (interactive)
+  (package-get-require-base t)
   ;; Load a fresh copy
   (catch 'exit
     (mapcar (lambda (pkg)
@@ -215,12 +540,14 @@ This is just an interactive wrapper for `package-admin-delete-binary-package'."
            packages-package-list)))
 
 ;;;###autoload
-(defun package-get-all (package version &optional fetched-packages)
+(defun package-get-all (package version &optional fetched-packages install-dir)
   "Fetch PACKAGE with VERSION and all other required packages.
 Uses `package-get-base' to determine just what is required and what
 package provides that functionality.  If VERSION is nil, retrieves
 latest version.  Optional argument FETCHED-PACKAGES is used to keep
-track of packages already fetched.
+track of packages already fetched.  Optional argument INSTALL-DIR,
+if non-nil, specifies the package directory where fetched packages
+should be installed.
 
 Returns nil upon error."
   (interactive (package-get-interactive-package-query t nil))
@@ -233,7 +560,7 @@ Returns nil upon error."
     (catch 'exit
       (setq version (package-get-info-prop this-package 'version))
       (unless (package-get-installedp package version)
-       (if (not (package-get package version))
+       (if (not (package-get package version nil install-dir))
            (progn
              (setq fetched-packages nil)
              (throw 'exit nil))))
@@ -248,7 +575,7 @@ Returns nil upon error."
       (while this-requires
        (if (not (member (car this-requires) fetched-packages))
            (let* ((reqd-package (package-get-package-provider
-                                 (car this-requires)))
+                                 (car this-requires) t))
                   (reqd-version (cadr reqd-package))
                   (reqd-name (car reqd-package)))
              (if (null reqd-name)
@@ -256,7 +583,8 @@ Returns nil upon error."
                         (car this-requires)))
              (if (not (setq fetched-packages
                             (package-get-all reqd-name reqd-version
-                                             fetched-packages)))
+                                             fetched-packages
+                                              install-dir)))
                  (throw 'exit nil)))
          )
        (setq this-requires (cdr this-requires)))
@@ -264,6 +592,41 @@ Returns nil upon error."
     fetched-packages
     ))
 
+;;;###autoload
+(defun package-get-dependencies (packages)
+  "Compute dependencies for PACKAGES.
+Uses `package-get-base' to determine just what is required and what
+package provides that functionality.  Returns the list of packages
+required by PACKAGES."
+  (package-get-require-base t)
+  (let ((orig-packages packages)
+        dependencies provided)
+    (while packages
+      (let* ((package (car packages))
+             (the-package (package-get-info-find-package
+                           package-get-base package))
+             (this-package (package-get-info-version
+                            the-package nil))
+             (this-requires (package-get-info-prop this-package 'requires))
+             (new-depends   (set-difference
+                             (mapcar
+                              #'(lambda (reqd)
+                                  (let* ((reqd-package (package-get-package-provider reqd))
+                                         (reqd-name    (car reqd-package)))
+                                    (if (null reqd-name)
+                                        (error "Unable to find a provider for %s" reqd))
+                                    reqd-name))
+                              this-requires)
+                             dependencies))
+             (this-provides (package-get-info-prop this-package 'provides)))
+        (setq dependencies
+              (union dependencies new-depends))
+        (setq provided
+              (union provided (union (list package) this-provides)))
+        (setq packages
+              (union new-depends (cdr packages)))))
+    (set-difference dependencies orig-packages)))
+
 (defun package-get-load-package-file (lispdir file)
   (let (pathname)
     (setq pathname (expand-file-name file lispdir))
@@ -328,23 +691,46 @@ Returns `t' upon success, the symbol `error' if the package was
 successfully installed but errors occurred during initialization, or
 `nil' upon error."
   (interactive (package-get-interactive-package-query nil t))
+  (catch 'skip-update
   (let* ((this-package
          (package-get-info-version
           (package-get-info-find-package package-get-base
                                          package) version))
+         (latest (package-get-info-prop this-package 'version))
+         (installed (package-get-key package :version))
+        (this-requires (package-get-info-prop this-package 'requires))
         (found nil)
         (search-dirs package-get-remote)
         (base-filename (package-get-info-prop this-package 'filename))
         (package-status t)
         filenames full-package-filename)
     (if (null this-package)
-       (error "Couldn't find package %s with version %s"
-              package version))
+       (if package-get-remote
+           (error "Couldn't find package %s with version %s"
+                  package version)
+         (error "No download sites or local package locations specified.")))
     (if (null base-filename)
        (error "No filename associated with package %s, version %s"
               package version))
-    (if (null install-dir)
-       (setq install-dir (package-admin-get-install-dir nil)))
+    (setq install-dir
+         (package-admin-get-install-dir package install-dir
+               (or (eq package 'mule-base) (memq 'mule-base this-requires))))
+
+    ;; If they asked for the latest using version=nil, don't get an older
+    ;; version than we already have.
+    (if installed
+        (if (> (if (stringp installed)
+                   (string-to-number installed)
+                 installed)
+               (if (stringp latest)
+                   (string-to-number latest)
+                 latest))
+            (if (not (null version))
+                (warn "Installing %s package version %s, you had a newer version %s"
+                      package latest installed)
+              (warn "Skipping %s package, you have a newer version %s"
+                    package installed)
+              (throw 'skip-update t))))
 
     ;; Contrive a list of possible package filenames.
     ;; Ugly.  Is there a better way to do this?
@@ -354,7 +740,7 @@ successfully installed but errors occurred during initialization, or
                                (list (concat (match-string 1 base-filename)
                                              ".tgz")))))
 
-    (setq version (package-get-info-prop this-package 'version))
+    (setq version latest)
     (unless (and (eq conflict 'never)
                 (package-get-installedp package version))
       ;; Find the package from the search list in package-get-remote
@@ -423,7 +809,10 @@ successfully installed but errors occurred during initialization, or
 
       (if (or (not full-package-filename)
              (not (file-exists-p full-package-filename)))
-         (error "Unable to find file %s" base-filename))
+         (if package-get-remote
+             (error "Unable to find file %s" base-filename)
+           (error
+            "No download sites or local package locations specified.")))
       ;; Validate the md5 checksum
       ;; Doing it with XEmacs removes the need for an external md5 program
       (message "Validating checksum for `%s'..." package) (sit-for 0)
@@ -474,7 +863,7 @@ successfully installed but errors occurred during initialization, or
     (if (and found package-get-remove-copy)
        (delete-file full-package-filename))
     package-status
-    ))
+    )))
 
 (defun package-get-info-find-package (which name)
   "Look in WHICH for the package called NAME and return all the info
@@ -556,7 +945,9 @@ words
   (if (efs-ftp-path filename)
       filename
     (let ((dir (cadr search)))
-      (concat "/"
+      (concat (if (string-match "@" (car search))
+                 "/"
+               "/anonymous@")
              (car search) ":"
              (if (string-match "/$" dir)
                  dir
@@ -575,12 +966,16 @@ some built in variables.  For now, use packages-package-list."
         (if (floatp version) version (string-to-number version))))
 
 ;;;###autoload
-(defun package-get-package-provider (sym)
+(defun package-get-package-provider (sym &optional force-current)
   "Search for a package that provides SYM and return the name and
   version.  Searches in `package-get-base' for SYM.   If SYM is a
   consp, then it must match a corresponding (provide (SYM VERSION)) from 
-  the package."
+  the package.
+
+If FORCE-CURRENT is non-nil make sure the database is up to date. This might
+lead to Emacs accessing remote sites."
   (interactive "SSymbol: ")
+  (package-get-require-base force-current)
   (let ((packages package-get-base)
        (done nil)
        (found nil))
@@ -590,12 +985,14 @@ some built in variables.  For now, use packages-package-list."
        (while (and (not done) this-package)
          (if (or (eq this-name sym)
                  (eq (cons this-name
-                           (package-get-info-prop (car this-package) 'version))
+                         (package-get-info-prop (car this-package) 'version))
                      sym)
-                 (member sym (package-get-info-prop (car this-package) 'provides)))
+                 (member sym
+                       (package-get-info-prop (car this-package) 'provides)))
              (progn (setq done t)
-                    (setq found (list (caar packages)
-                                      (package-get-info-prop (car this-package) 'version))))
+                    (setq found
+                      (list (caar packages)
+                        (package-get-info-prop (car this-package) 'version))))
            (setq this-package (cdr this-package)))))
       (setq packages (cdr packages)))
     found))
@@ -612,11 +1009,12 @@ some built in variables.  For now, use packages-package-list."
 (defun package-get-custom ()
   "Fetch and install the latest versions of all customized packages."
   (interactive)
+  (package-get-require-base t)
   ;; Load a fresh copy
   (load "package-get-custom.el")
   (mapcar (lambda (pkg)
            (if (eval (intern (concat (symbol-name (car pkg)) "-package")))
-               (package-get-all (car pkg) nil))
+               (package-get (car pkg) nil))
            t)
          package-get-base))
 
@@ -629,80 +1027,26 @@ some built in variables.  For now, use packages-package-list."
        (intern (substring (symbol-name pkg) 0 (match-beginning 0))))
        t)))
 
-(defun package-get-file-installed-p (file &optional paths)
-  "Return absolute-path of FILE if FILE exists in PATHS.
-If PATHS is omitted, `load-path' is used."
-  (if (null paths)
-      (setq paths load-path)
-    )
-  (catch 'tag
-    (let (path)
-      (while paths
-       (setq path (expand-file-name file (car paths)))
-       (if (file-exists-p path)
-           (throw 'tag path)
-         )
-       (setq paths (cdr paths))
-       ))))
+(defvar package-get-custom-groups nil
+  "List of package-get-custom groups")
 
-(defun package-get-create-custom ()
-  "Creates a package customization file package-get-custom.el.
-Entries in the customization file are retrieved from package-get-base.el."
-  (interactive)
-  ;; Load a fresh copy
-  (let ((custom-buffer (find-file-noselect 
-                       (or (package-get-file-installed-p 
-                            "package-get-custom.el")
-                           (expand-file-name
-                            "package-get-custom.el"
-                            (file-name-directory 
-                             (package-get-file-installed-p 
-                              "package-get-base.el"))
-                            ))))
-       (pkg-groups nil))
-
-    ;; clear existing stuff
-    (delete-region (point-min custom-buffer) 
-                  (point-max custom-buffer) custom-buffer)
-    (insert-string "(require 'package-get)\n" custom-buffer)
+(defun package-get-custom-add-entry (package props)
+  (let* ((category (plist-get props 'category))
+         (group (intern (concat category "-packages")))
+         (custom-var (intern (concat (symbol-name package) "-package")))
+         (description (plist-get props 'description)))
+    (when (not (memq group package-get-custom-groups))
+      (setq package-get-custom-groups (cons package
+                                            package-get-custom-groups))
+      (eval `(defgroup ,group nil
+               ,(concat category " package group")
+               :group 'packages)))
+    (eval `(defcustom ,custom-var nil
+             ,description
+             :group ',group
+             :initialize 'package-get-ever-installed-p
+             :type 'boolean))))
 
-    (mapcar (lambda (pkg)
-             (let ((category (plist-get (car (cdr pkg)) 'category)))
-               (or (memq (intern category) pkg-groups)
-                   (progn
-                     (setq pkg-groups (cons (intern category) pkg-groups))
-                     (insert-string 
-                      (concat "(defgroup " category "-packages nil\n"
-                              "  \"" category " package group\"\n"
-                              "  :group 'packages)\n\n") custom-buffer)))
-               
-               (insert-string 
-                (concat "(defcustom " (symbol-name (car pkg)) 
-                        "-package nil \n"
-                        "  \"" (plist-get (car (cdr pkg)) 'description) "\"\n"
-                        "  :group '" category "-packages\n"
-                        "  :initialize 'package-get-ever-installed-p\n"
-                        "  :type 'boolean)\n\n") custom-buffer)))
-           package-get-base) custom-buffer)
-  )
 
-;; need this first to avoid infinite dependency loops
 (provide 'package-get)
-
-;; potentially update the custom dependencies every time we load this
-(let ((custom-file (package-get-file-installed-p "package-get-custom.el"))
-      (package-file (package-get-file-installed-p "package-get-base.el")))
-  ;; update custom file if it doesn't exist
-  (if (or (not custom-file)
-         (and (< (car (nth 5 (file-attributes custom-file)))
-                 (car (nth 5 (file-attributes package-file))))
-              (< (car (nth 5 (file-attributes custom-file)))
-                 (car (nth 5 (file-attributes package-file))))))
-      (save-excursion
-       (message "generating package customizations...")
-       (set-buffer (package-get-create-custom))
-       (save-buffer)
-       (message "generating package customizations...done")))
-  (load "package-get-custom.el"))
-
 ;;; package-get.el ends here