(sha1-string-external): Make it can return a string in binary form.
[elisp/flim.git] / sha1-el.el
1 ;;; sha1-el.el --- SHA1 Secure Hash Algorithm in Emacs-Lisp
2
3 ;; Copyright (C) 1999, 2001, 2003, 2004 Free Software Foundation, Inc.
4
5 ;; Author: Shuhei KOBAYASHI <shuhei@aqua.ocn.ne.jp>
6 ;; Keywords: SHA1, FIPS 180-1
7
8 ;; This file is part of FLIM (Faithful Library about Internet Message).
9
10 ;; This program is free software; you can redistribute it and/or
11 ;; modify it under the terms of the GNU General Public License as
12 ;; published by the Free Software Foundation; either version 2, or
13 ;; (at your option) any later version.
14
15 ;; This program is distributed in the hope that it will be useful,
16 ;; but WITHOUT ANY WARRANTY; without even the implied warranty of
17 ;; MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18 ;; GNU General Public License for more details.
19
20 ;; You should have received a copy of the GNU General Public License
21 ;; along with this program; see the file COPYING.  If not, write to
22 ;; the Free Software Foundation, Inc., 59 Temple Place - Suite 330,
23 ;; Boston, MA 02111-1307, USA.
24
25 ;;; Commentary:
26
27 ;; This program is implemented from the definition of SHA-1 in FIPS PUB
28 ;; 180-1 (Federal Information Processing Standards Publication 180-1),
29 ;; "Announcing the Standard for SECURE HASH STANDARD".
30 ;; <URL:http://www.itl.nist.gov/div897/pubs/fip180-1.htm>
31 ;; (EXCEPTION; two optimizations taken from GnuPG/cipher/sha1.c)
32 ;;
33 ;; Test cases from FIPS PUB 180-1.
34 ;;
35 ;; (sha1 "abc")
36 ;; => a9993e364706816aba3e25717850c26c9cd0d89d
37 ;;
38 ;; (sha1 "abcdbcdecdefdefgefghfghighijhijkijkljklmklmnlmnomnopnopq")
39 ;; => 84983e441c3bd26ebaae4aa1f95129e5e54670f1
40 ;;
41 ;; (sha1 (make-string 1000000 ?a))
42 ;; => 34aa973cd4c4daa4f61eeb2bdbad27316534016f
43 ;;
44 ;; BUGS:
45 ;;  * It is assumed that length of input string is less than 2^29 bytes.
46 ;;  * It is caller's responsibility to make string (or region) unibyte.
47 ;;
48 ;; TODO:
49 ;;  * Rewrite from scratch!
50 ;;    This version is much faster than Keiichi Suzuki's another sha1.el,
51 ;;    but it is too dirty.
52
53 ;;; Code:
54
55 (require 'hex-util)
56
57 (autoload 'executable-find "executable")
58
59 ;;;
60 ;;; external SHA1 function.
61 ;;;
62
63 (defgroup sha1 nil
64   "Elisp interface for SHA1 hash computation."
65   :group 'extensions)
66
67 (defcustom sha1-maximum-internal-length 500
68   "*Maximum length of message to use lisp version of SHA1 function.
69 If message is longer than this, `sha1-program' is used instead.
70
71 If this variable is set to 0, use extarnal program only.
72 If this variable is set to nil, use internal function only."
73   :type 'integer
74   :group 'sha1)
75
76 (defcustom sha1-program '("sha1sum")
77   "*Name of program to compute SHA1.
78 It must be a string \(program name\) or list of strings \(name and its args\)."
79   :type '(repeat string)
80   :group 'sha1)
81
82 (defcustom sha1-use-external (condition-case ()
83                                  (executable-find (car sha1-program))
84                                (error))
85   "*Use external SHA1 program.
86 If this variable is set to nil, use internal function only."
87   :type 'boolean
88   :group 'sha1)
89
90 (defun sha1-string-external (string &optional binary)
91   ;; `with-temp-buffer' is new in v20, so we do not use it.
92   (save-excursion
93     (let (buffer)
94       (unwind-protect
95           (let (prog args digest)
96             (if (consp sha1-program)
97                 (setq prog (car sha1-program)
98                       args (cdr sha1-program))
99               (setq prog sha1-program
100                     args nil))
101             (setq buffer (set-buffer
102                           (generate-new-buffer " *sha1 external*")))
103             (insert string)
104             (apply (function call-process-region)
105                    (point-min)(point-max)
106                    prog t t nil args)
107             ;; SHA1 is 40 bytes long in hexadecimal form.
108             (setq digest (buffer-substring (point-min)(+ (point-min) 40)))
109             (if binary
110                 (decode-hex-string digest)
111               digest))
112         (and buffer
113              (buffer-name buffer)
114              (kill-buffer buffer))))))
115
116 (defun sha1-region-external (beg end &optional binary)
117   (sha1-string-external (buffer-substring-no-properties beg end) binary))
118
119 ;;;
120 ;;; internal SHA1 function.
121 ;;;
122
123 (eval-when-compile
124   ;; optional second arg of string-to-number is new in v20.
125   (defconst sha1-K0-high 23170)         ; (string-to-number "5A82" 16)
126   (defconst sha1-K0-low  31129)         ; (string-to-number "7999" 16)
127   (defconst sha1-K1-high 28377)         ; (string-to-number "6ED9" 16)
128   (defconst sha1-K1-low  60321)         ; (string-to-number "EBA1" 16)
129   (defconst sha1-K2-high 36635)         ; (string-to-number "8F1B" 16)
130   (defconst sha1-K2-low  48348)         ; (string-to-number "BCDC" 16)
131   (defconst sha1-K3-high 51810)         ; (string-to-number "CA62" 16)
132   (defconst sha1-K3-low  49622)         ; (string-to-number "C1D6" 16)
133
134 ;;; original definition of sha1-F0.
135 ;;; (defmacro sha1-F0 (B C D)
136 ;;;   (` (logior (logand (, B) (, C))
137 ;;;          (logand (lognot (, B)) (, D)))))
138 ;;; a little optimization from GnuPG/cipher/sha1.c.
139   (defmacro sha1-F0 (B C D)
140     (` (logxor (, D) (logand (, B) (logxor (, C) (, D))))))
141   (defmacro sha1-F1 (B C D)
142     (` (logxor (, B) (, C) (, D))))
143 ;;; original definition of sha1-F2.
144 ;;; (defmacro sha1-F2 (B C D)
145 ;;;   (` (logior (logand (, B) (, C))
146 ;;;          (logand (, B) (, D))
147 ;;;          (logand (, C) (, D)))))
148 ;;; a little optimization from GnuPG/cipher/sha1.c.
149   (defmacro sha1-F2 (B C D)
150     (` (logior (logand (, B) (, C))
151                (logand (, D) (logior (, B) (, C))))))
152   (defmacro sha1-F3 (B C D)
153     (` (logxor (, B) (, C) (, D))))
154
155   (defmacro sha1-S1  (W-high W-low)
156     (` (let ((W-high (, W-high))
157              (W-low  (, W-low)))
158          (setq S1W-high (+ (% (* W-high 2) 65536)
159                            (/ W-low (, (/ 65536 2)))))
160          (setq S1W-low (+ (/ W-high (, (/ 65536 2)))
161                           (% (* W-low 2) 65536))))))
162   (defmacro sha1-S5  (A-high A-low)
163     (` (progn
164          (setq S5A-high (+ (% (* (, A-high) 32) 65536)
165                            (/ (, A-low) (, (/ 65536 32)))))
166          (setq S5A-low  (+ (/ (, A-high) (, (/ 65536 32)))
167                            (% (* (, A-low) 32) 65536))))))
168   (defmacro sha1-S30 (B-high B-low)
169     (` (progn
170          (setq S30B-high (+ (/ (, B-high) 4)
171                             (* (% (, B-low) 4) (, (/ 65536 4)))))
172          (setq S30B-low  (+ (/ (, B-low) 4)
173                             (* (% (, B-high) 4) (, (/ 65536 4))))))))
174
175   (defmacro sha1-OP (round)
176     (` (progn
177          (sha1-S5 sha1-A-high sha1-A-low)
178          (sha1-S30 sha1-B-high sha1-B-low)
179          (setq sha1-A-low (+ ((, (intern (format "sha1-F%d" round)))
180                               sha1-B-low sha1-C-low sha1-D-low)
181                              sha1-E-low
182                              (, (symbol-value
183                                  (intern (format "sha1-K%d-low" round))))
184                              (aref block-low idx)
185                              (progn
186                                (setq sha1-E-low sha1-D-low)
187                                (setq sha1-D-low sha1-C-low)
188                                (setq sha1-C-low S30B-low)
189                                (setq sha1-B-low sha1-A-low)
190                                S5A-low)))
191          (setq carry (/ sha1-A-low 65536))
192          (setq sha1-A-low (% sha1-A-low 65536))
193          (setq sha1-A-high (% (+ ((, (intern (format "sha1-F%d" round)))
194                                   sha1-B-high sha1-C-high sha1-D-high)
195                                  sha1-E-high
196                                  (, (symbol-value
197                                      (intern (format "sha1-K%d-high" round))))
198                                  (aref block-high idx)
199                                  (progn
200                                    (setq sha1-E-high sha1-D-high)
201                                    (setq sha1-D-high sha1-C-high)
202                                    (setq sha1-C-high S30B-high)
203                                    (setq sha1-B-high sha1-A-high)
204                                    S5A-high)
205                                  carry)
206                               65536)))))
207
208   (defmacro sha1-add-to-H (H X)
209     (` (progn
210          (setq (, (intern (format "sha1-%s-low" H)))
211                (+ (, (intern (format "sha1-%s-low" H)))
212                   (, (intern (format "sha1-%s-low" X)))))
213          (setq carry (/ (, (intern (format "sha1-%s-low" H))) 65536))
214          (setq (, (intern (format "sha1-%s-low" H)))
215                (% (, (intern (format "sha1-%s-low" H))) 65536))
216          (setq (, (intern (format "sha1-%s-high" H)))
217                (% (+ (, (intern (format "sha1-%s-high" H)))
218                      (, (intern (format "sha1-%s-high" X)))
219                      carry)
220                   65536)))))
221   )
222
223 ;;; buffers (H0 H1 H2 H3 H4).
224 (defvar sha1-H0-high)
225 (defvar sha1-H0-low)
226 (defvar sha1-H1-high)
227 (defvar sha1-H1-low)
228 (defvar sha1-H2-high)
229 (defvar sha1-H2-low)
230 (defvar sha1-H3-high)
231 (defvar sha1-H3-low)
232 (defvar sha1-H4-high)
233 (defvar sha1-H4-low)
234
235 (defun sha1-block (block-high block-low)
236   (let (;; step (c) --- initialize buffers (A B C D E).
237         (sha1-A-high sha1-H0-high) (sha1-A-low sha1-H0-low)
238         (sha1-B-high sha1-H1-high) (sha1-B-low sha1-H1-low)
239         (sha1-C-high sha1-H2-high) (sha1-C-low sha1-H2-low)
240         (sha1-D-high sha1-H3-high) (sha1-D-low sha1-H3-low)
241         (sha1-E-high sha1-H4-high) (sha1-E-low sha1-H4-low)
242         (idx 16))
243     ;; step (b).
244     (let (;; temporary variables used in sha1-S1 macro.
245           S1W-high S1W-low)
246       (while (< idx 80)
247         (sha1-S1 (logxor (aref block-high (- idx 3))
248                          (aref block-high (- idx 8))
249                          (aref block-high (- idx 14))
250                          (aref block-high (- idx 16)))
251                  (logxor (aref block-low  (- idx 3))
252                          (aref block-low  (- idx 8))
253                          (aref block-low  (- idx 14))
254                          (aref block-low  (- idx 16))))
255         (aset block-high idx S1W-high)
256         (aset block-low  idx S1W-low)
257         (setq idx (1+ idx))))
258     ;; step (d).
259     (setq idx 0)
260     (let (;; temporary variables used in sha1-OP macro.
261           S5A-high S5A-low S30B-high S30B-low carry)
262       (while (< idx 20) (sha1-OP 0) (setq idx (1+ idx)))
263       (while (< idx 40) (sha1-OP 1) (setq idx (1+ idx)))
264       (while (< idx 60) (sha1-OP 2) (setq idx (1+ idx)))
265       (while (< idx 80) (sha1-OP 3) (setq idx (1+ idx))))
266     ;; step (e).
267     (let (;; temporary variables used in sha1-add-to-H macro.
268           carry)
269       (sha1-add-to-H H0 A)
270       (sha1-add-to-H H1 B)
271       (sha1-add-to-H H2 C)
272       (sha1-add-to-H H3 D)
273       (sha1-add-to-H H4 E))))
274
275 (defun sha1-binary (string)
276   "Return the SHA1 of STRING in binary form."
277   (let (;; prepare buffers for a block. byte-length of block is 64.
278         ;; input block is split into two vectors.
279         ;;
280         ;; input block: 00 01 02 03 04 05 06 07 08 09 0A 0B 0C 0D 0E 0F ...
281         ;; block-high:  +-0-+       +-1-+       +-2-+       +-3-+
282         ;; block-low:         +-0-+       +-1-+       +-2-+       +-3-+
283         ;;
284         ;; length of each vector is 80, and elements of each vector are
285         ;; 16bit integers.  elements 0x10-0x4F of each vector are
286         ;; assigned later in `sha1-block'.
287         (block-high (eval-when-compile (make-vector 80 nil)))
288         (block-low  (eval-when-compile (make-vector 80 nil))))
289     (unwind-protect
290         (let* (;; byte-length of input string.
291                (len (length string))
292                (lim (* (/ len 64) 64))
293                (rem (% len 4))
294                (idx 0)(pos 0))
295           ;; initialize buffers (H0 H1 H2 H3 H4).
296           (setq sha1-H0-high 26437      ; (string-to-number "6745" 16)
297                 sha1-H0-low  8961       ; (string-to-number "2301" 16)
298                 sha1-H1-high 61389      ; (string-to-number "EFCD" 16)
299                 sha1-H1-low  43913      ; (string-to-number "AB89" 16)
300                 sha1-H2-high 39098      ; (string-to-number "98BA" 16)
301                 sha1-H2-low  56574      ; (string-to-number "DCFE" 16)
302                 sha1-H3-high 4146       ; (string-to-number "1032" 16)
303                 sha1-H3-low  21622      ; (string-to-number "5476" 16)
304                 sha1-H4-high 50130      ; (string-to-number "C3D2" 16)
305                 sha1-H4-low  57840)     ; (string-to-number "E1F0" 16)
306           ;; loop for each 64 bytes block.
307           (while (< pos lim)
308             ;; step (a).
309             (setq idx 0)
310             (while (< idx 16)
311               (aset block-high idx (+ (* (aref string pos) 256)
312                                       (aref string (1+ pos))))
313               (setq pos (+ pos 2))
314               (aset block-low  idx (+ (* (aref string pos) 256)
315                                       (aref string (1+ pos))))
316               (setq pos (+ pos 2))
317               (setq idx (1+ idx)))
318             (sha1-block block-high block-low))
319           ;; last block.
320           (if (prog1
321                   (< (- len lim) 56)
322                 (setq lim (- len rem))
323                 (setq idx 0)
324                 (while (< pos lim)
325                   (aset block-high idx (+ (* (aref string pos) 256)
326                                           (aref string (1+ pos))))
327                   (setq pos (+ pos 2))
328                   (aset block-low  idx (+ (* (aref string pos) 256)
329                                           (aref string (1+ pos))))
330                   (setq pos (+ pos 2))
331                   (setq idx (1+ idx)))
332                 ;; this is the last (at most) 32bit word.
333                 (cond
334                  ((= rem 3)
335                   (aset block-high idx (+ (* (aref string pos) 256)
336                                           (aref string (1+ pos))))
337                   (setq pos (+ pos 2))
338                   (aset block-low  idx (+ (* (aref string pos) 256)
339                                           128)))
340                  ((= rem 2)
341                   (aset block-high idx (+ (* (aref string pos) 256)
342                                           (aref string (1+ pos))))
343                   (aset block-low  idx 32768))
344                  ((= rem 1)
345                   (aset block-high idx (+ (* (aref string pos) 256)
346                                           128))
347                   (aset block-low  idx 0))
348                  (t ;; (= rem 0)
349                   (aset block-high idx 32768)
350                   (aset block-low  idx 0)))
351                 (setq idx (1+ idx))
352                 (while (< idx 16)
353                   (aset block-high idx 0)
354                   (aset block-low  idx 0)
355                   (setq idx (1+ idx))))
356               ;; last block has enough room to write the length of string.
357               (progn
358                 ;; write bit length of string to last 4 bytes of the block.
359                 (aset block-low  15 (* (% len 8192) 8))
360                 (setq len (/ len 8192))
361                 (aset block-high 15 (% len 65536))
362                 ;; XXX: It is not practical to compute SHA1 of
363                 ;;      such a huge message on emacs.
364                 ;; (setq len (/ len 65536))     ; for 64bit emacs.
365                 ;; (aset block-low  14 (% len 65536))
366                 ;; (aset block-high 14 (/ len 65536))
367                 (sha1-block block-high block-low))
368             ;; need one more block.
369             (sha1-block block-high block-low)
370             (fillarray block-high 0)
371             (fillarray block-low  0)
372             ;; write bit length of string to last 4 bytes of the block.
373             (aset block-low  15 (* (% len 8192) 8))
374             (setq len (/ len 8192))
375             (aset block-high 15 (% len 65536))
376             ;; XXX: It is not practical to compute SHA1 of
377             ;;      such a huge message on emacs.
378             ;; (setq len (/ len 65536))         ; for 64bit emacs.
379             ;; (aset block-low  14 (% len 65536))
380             ;; (aset block-high 14 (/ len 65536))
381             (sha1-block block-high block-low))
382           ;; make output string (in binary form).
383           (let ((result (make-string 20 0)))
384             (aset result  0 (/ sha1-H0-high 256))
385             (aset result  1 (% sha1-H0-high 256))
386             (aset result  2 (/ sha1-H0-low  256))
387             (aset result  3 (% sha1-H0-low  256))
388             (aset result  4 (/ sha1-H1-high 256))
389             (aset result  5 (% sha1-H1-high 256))
390             (aset result  6 (/ sha1-H1-low  256))
391             (aset result  7 (% sha1-H1-low  256))
392             (aset result  8 (/ sha1-H2-high 256))
393             (aset result  9 (% sha1-H2-high 256))
394             (aset result 10 (/ sha1-H2-low  256))
395             (aset result 11 (% sha1-H2-low  256))
396             (aset result 12 (/ sha1-H3-high 256))
397             (aset result 13 (% sha1-H3-high 256))
398             (aset result 14 (/ sha1-H3-low  256))
399             (aset result 15 (% sha1-H3-low  256))
400             (aset result 16 (/ sha1-H4-high 256))
401             (aset result 17 (% sha1-H4-high 256))
402             (aset result 18 (/ sha1-H4-low  256))
403             (aset result 19 (% sha1-H4-low  256))
404             result))
405       ;; do not leave a copy of input string.
406       (fillarray block-high nil)
407       (fillarray block-low  nil))))
408
409 (defun sha1-string-internal (string &optional binary)
410   (if binary
411       (sha1-binary string)
412     (encode-hex-string (sha1-binary string))))
413
414 (defun sha1-region-internal (beg end &optional binary)
415   (sha1-string-internal (buffer-substring-no-properties beg end) binary))
416
417 ;;;
418 ;;; application interface.
419 ;;;
420
421 (defun sha1-region (beg end &optional binary)
422   (if (and sha1-use-external
423            sha1-maximum-internal-length
424            (> (abs (- end beg)) sha1-maximum-internal-length))
425       (sha1-region-external beg end binary)
426     (sha1-region-internal beg end binary)))
427
428 (defun sha1-string (string &optional binary)
429   (if (and sha1-use-external
430            sha1-maximum-internal-length
431            (> (length string) sha1-maximum-internal-length))
432       (sha1-string-external string binary)
433     (sha1-string-internal string binary)))
434
435 ;;;###autoload
436 (defun sha1 (object &optional beg end binary)
437   "Return the SHA1 (Secure Hash Algorithm) of an object.
438 OBJECT is either a string or a buffer.
439 Optional arguments BEG and END denote buffer positions for computing the
440 hash of a portion of OBJECT.
441 If BINARY is non-nil, return a string in binary form."
442   (if (stringp object)
443       (sha1-string object binary)
444     (save-excursion
445       (set-buffer object)
446       (sha1-region (or beg (point-min)) (or end (point-max)) binary))))
447
448 (provide 'sha1-el)
449
450 ;;; sha1-el.el ends here