Update copyright years
[m17n/m17n-lib.git] / src / database.c
index e26999d..ca33ec4 100644 (file)
@@ -1,5 +1,5 @@
 /* database.c -- database module.
-   Copyright (C) 2003, 2004
+   Copyright (C) 2003, 2004, 2005, 2006, 2007, 2008, 2009, 2010, 2011, 2012
      National Institute of Advanced Industrial Science and Technology (AIST)
      Registration Number H15PRO112
 
 
    You should have received a copy of the GNU Lesser General Public
    License along with the m17n library; if not, write to the Free
-   Software Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA
+   Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
    02111-1307, USA.  */
 
 /***en
     @addtogroup m17nDatabase
     @brief The m17n database and API for it.
 
-    The m17n library dynamically acquires various kinds of information
-    in need from data in the <i> m17n database</i>.  Application
+    The m17n library acquires various kinds of information
+    from data in the <i> m17n database</i> on demand.  Application
     programs can also add/load their original data to/from the m17n
-    database.  The m17n database contains multiple heterogeneous data,
-    and each data is identified by four tags; TAG0, TAG1, TAG2, TAG3.
-    Each tag must be a symbol.
+    database by setting the variable #mdatabase_dir to an
+    application-specific directory and storing data in it.  Users can
+    overwrite those data by storing preferable data in the directory
+    specified by the environment variable "M17NDIR", or if it is not
+    set, in the directory "~/.m17n.d".
+
+    The m17n database contains multiple heterogeneous data, and each
+    data is identified by four tags; TAG0, TAG1, TAG2, TAG3.  Each tag
+    must be a symbol.
 
     TAG0 specifies the type of data stored in the database as below.
 
     @brief m17n ¥Ç¡¼¥¿¥Ù¡¼¥¹¤Ë¤È¤½¤ì¤Ë´Ø¤¹¤ë API.
 
     m17n ¥é¥¤¥Ö¥é¥ê¤ÏɬÍפ˱þ¤¸¤ÆưŪ¤Ë @e m17n @e ¥Ç¡¼¥¿¥Ù¡¼¥¹ 
-    ¤«¤é¾ðÊó¤ò¼èÆÀ¤¹¤ë¡£¤Þ¤¿¡¢¥¢¥×¥ê¥±¡¼¥·¥ç¥ó¥×¥í¥°¥é¥à¤âÆȼ«¤Î¥Ç¡¼¥¿¤ò 
-    m17n ¥Ç¡¼¥¿¥Ù¡¼¥¹¤ËÄɲä·¡¢¤½¤ì¤òưŪ¤Ë¼èÆÀ¤¹¤ë¤³¤È¤¬¤Ç¤­¤ë¡£m17n 
+    ¤«¤é¾ðÊó¤ò¼èÆÀ¤¹¤ë¡£¤Þ¤¿¥¢¥×¥ê¥±¡¼¥·¥ç¥ó¥×¥í¥°¥é¥à¤â¡¢Æȼ«¤Î¥Ç¡¼¥¿¤ò 
+    m17n ¥Ç¡¼¥¿¥Ù¡¼¥¹¤ËÄɲä·¡¢¤½¤ì¤òưŪ¤Ë¼èÆÀ¤¹¤ë¤³¤È¤¬¤Ç¤­¤ë¡£
+    ¥¢¥×¥ê¥±¡¼¥·¥ç¥ó¥×¥í¥°¥é¥à¤¬Æȼ«¤Î¥Ç¡¼¥¿¤òÄɲᦼèÆÀ¤¹¤ë¤Ë¤Ï¡¢ÊÑ¿ô 
+    #mdatabase_dir ¤Ë¤½¤Î¥¢¥×¥ê¥±¡¼¥·¥ç¥ó¸ÇÍ­¤Î¥Ç¥£¥ì¥¯¥È¥ê¤ò¥»¥Ã¥È¤·¡¢
+    ¤½¤ÎÃæ¤Ë¥Ç¡¼¥¿¤ò³ÊǼ¤¹¤ë¡£¥æ¡¼¥¶¤¬¤½¤Î¥Ç¡¼¥¿¤ò¥ª¡¼¥Ð¡¼¥é¥¤¥È¤·¤¿¤¤
+    ¤È¤­¤Ï¡¢´Ä¶­ÊÑ¿ô "M17NDIR" ¤Ç»ØÄꤵ¤ì¤ë¥Ç¥£¥ì¥¯¥È¥ê¡Ê»ØÄꤵ¤ì¤Æ¤¤¤Ê
+    ¤¤¤È¤­¤Ï "~/.m17n.d" ¤È¤¤¤¦¥Ç¥£¥ì¥¯¥È¥ê¡Ë¤ËÊ̤Υǡ¼¥¿¤òÃÖ¤¯¡£
+
+    m17n 
     ¥Ç¡¼¥¿¥Ù¡¼¥¹¤Ë¤ÏÊ£¿ô¤Î¿Íͤʥǡ¼¥¿¤¬´Þ¤Þ¤ì¤Æ¤ª¤ê¡¢³Æ¥Ç¡¼¥¿¤Ï
     TAG0, TAG1, TAG2, TAG3¡Ê¤¹¤Ù¤Æ¥·¥ó¥Ü¥ë¡Ë¤Î£´¤Ä¤Î¥¿¥°¤Ë¤è¤Ã¤Æ¼±Ê̤µ¤ì¤ë¡£
 
 #include <unistd.h>
 #include <limits.h>
 #include <glob.h>
+#include <time.h>
+#include <libgen.h>
 
-#include "m17n.h"
+#include "m17n-core.h"
 #include "m17n-misc.h"
 #include "internal.h"
 #include "mtext.h"
 #include "character.h"
-#include "charset.h"
 #include "database.h"
-#include "coding.h"
 #include "plist.h"
 
 /** The file containing a list of databases.  */
 #define MDB_DIR "mdb.dir"
-#define MDB_DIR_LEN 8
+/** Length of MDB_DIR.  */
+#define MDB_DIR_LEN 7
 
 #define MAX_TIME(TIME1, TIME2) ((TIME1) >= (TIME2) ? (TIME1) : (TIME2))
 
+#define GEN_PATH(path, dir, dir_len, file, file_len)   \
+  (dir_len + file_len > PATH_MAX ? 0                   \
+   : (memcpy (path, dir, dir_len),                     \
+      memcpy (path + dir_len, file, file_len),         \
+      path[dir_len + file_len] = '\0', 1))
+
 static MSymbol Masterisk;
+static MSymbol Mversion;
 
 /** Structure for a data in the m17n database.  */
 
@@ -157,21 +178,7 @@ struct MDatabase
   void *extra_info;
 };
 
-typedef struct
-{
-  char *filename;
-  time_t time;
-} MDatabaseInfo;
-
-/** List of all data.  */
-struct MDatabaseList
-{
-  int size, inc, used;
-  MDatabase *mdbs;
-};
-
-static struct MDatabaseList mdb_list;
-
+static MPlist *mdatabase__list;
 
 static int
 read_number (char *buf, int *i)
@@ -289,9 +296,7 @@ load_chartable (FILE *fp, MSymbol type)
          /* VAL is an M-text.  */
          MText *mt;
          if (c == '"')
-           mt = mconv_decode_buffer (Mcoding_utf_8,
-                                     (unsigned char *) (buf + i),
-                                     len - i - 1);
+           mt = mtext__from_data (buf + i, len - i - 1, MTEXT_FORMAT_UTF_8, 1);
          else
            {
              mt = mtext ();
@@ -340,84 +345,6 @@ load_chartable (FILE *fp, MSymbol type)
 }
 
 
-/** Load a data of type @c charset from the file FD.  */
-
-static void *
-load_charset (FILE *fp, MSymbol charset_name)
-{
-  MCharset *charset = MCHARSET (charset_name);
-  int *decoder;
-  MCharTable *encoder;
-  int size;
-  int i, c;
-  int found = 0;
-  MPlist *plist;
-
-  if (! charset)
-    MERROR (MERROR_DB, NULL);
-  size = (charset->code_range[15]
-         - (charset->min_code - charset->code_range_min_code));
-  MTABLE_MALLOC (decoder, size, MERROR_DB);
-  for (i = 0; i < size; i++)
-    decoder[i] = -1;
-  encoder = mchartable (Minteger, (void *) MCHAR_INVALID_CODE);
-
-  while ((c = getc (fp)) != EOF)
-    {
-      unsigned code1, code2, c1, c2;
-      int idx1, idx2;
-      char buf[256];
-
-      ungetc (c, fp);
-      fgets (buf, 256, fp);
-      if (c != '#')
-       {
-         if (sscanf (buf, "0x%x-0x%x 0x%x", &code1, &code2, &c1) == 3)
-           {
-             idx1 = CODE_POINT_TO_INDEX (charset, code1);
-             if (idx1 >= size)
-               continue;
-             idx2 = CODE_POINT_TO_INDEX (charset, code2);
-             if (idx2 >= size)
-               idx2 = size - 1;
-             c2 = c1 + (idx2 - idx1);
-           }
-         else if (sscanf (buf, "0x%x 0x%x", &code1, &c1) == 2)
-           {
-             idx1 = idx2 = CODE_POINT_TO_INDEX (charset, code1);
-             if (idx1 >= size)
-               continue;
-             c2 = c1;
-           }
-         else
-           continue;
-         if (idx1 >= 0 && idx2 >= 0)
-           {
-             decoder[idx1] = c1;
-             mchartable_set (encoder, c1, (void *) code1);
-             for (idx1++, c1++; idx1 <= idx2; idx1++, c1++)
-               {
-                 code1 = INDEX_TO_CODE_POINT (charset, idx1);
-                 decoder[idx1] = c1;
-                 mchartable_set (encoder, c1, (void *) code1);
-               }
-             found++;
-           }
-       }
-    }
-
-  if (! found)
-    {
-      free (decoder);
-      M17N_OBJECT_UNREF (encoder);
-      return NULL;
-    }
-  plist = mplist ();
-  mplist_add (plist, Mt, decoder);
-  mplist_add (plist, Mt, encoder);
-  return plist;
-}
-
 static char *
 gen_database_name (char *buf, MSymbol *tags)
 {
@@ -426,291 +353,409 @@ gen_database_name (char *buf, MSymbol *tags)
   strcpy (buf, msymbol_name (tags[0]));
   for (i = 1; i < 4; i++)
     {
-      strcat (buf, ", ");
+      strcat (buf, ",");
       strcat (buf, msymbol_name (tags[i]));
     }
   return buf;
 }
 
-static FILE *
-get_database_stream (MDatabaseInfo *db_info)
-{
-  FILE *fp = NULL;
-  struct stat buf;
+/* Return the absolute file name for DB_INFO->filename or NULL if no
+   absolute file name was found.  If BUF is non-NULL, store the result
+   of `stat' call in it.  In that case, set *RESULT to the return
+   value of `stat'.  */
 
-  if (db_info->filename[0] == '/')
+char *
+get_database_file (MDatabaseInfo *db_info, struct stat *buf, int *result)
+{
+  if (db_info->absolute_filename)
     {
-      if (stat (db_info->filename, &buf) == 0
-         && (fp = fopen (db_info->filename, "r")))
-       db_info->time = MAX_TIME (buf.st_mtime, buf.st_ctime);
+      if (buf)
+       *result = stat (db_info->absolute_filename, buf);
     }
   else
     {
+      struct stat stat_buf;
+      struct stat *statbuf = buf ? buf : &stat_buf;
+      int res;
       MPlist *plist;
-      char *path;
-      int filelen = strlen (db_info->filename);
-      USE_SAFE_ALLOCA;
+      char path[PATH_MAX + 1];
 
       MPLIST_DO (plist, mdatabase__dir_list)
        {
          MDatabaseInfo *dir_info = MPLIST_VAL (plist);
-         int require = strlen (dir_info->filename) + filelen + 1;
 
-         SAFE_ALLOCA (path, require);
-         strcpy (path, dir_info->filename);
-         strcat (path, db_info->filename);
-         if (stat (path, &buf) == 0
-             && (fp = fopen (path, "r")))
+         if (dir_info->status != MDB_STATUS_DISABLED
+             && GEN_PATH (path, dir_info->filename, dir_info->len,
+                          db_info->filename, db_info->len)
+             && (res = stat (path, statbuf)) == 0)
            {
-             free (db_info->filename);
-             db_info->filename = strdup (path);
-             db_info->time = MAX_TIME (buf.st_mtime, buf.st_ctime);
+             db_info->absolute_filename = strdup (path);
+             if (result)
+               *result = res;
              break;
            }
        }
-      SAFE_FREE (path);
     }
-  return fp;
+
+  return db_info->absolute_filename;
 }
 
 static void *
 load_database (MSymbol *tags, void *extra_info)
 {
-  FILE *fp = get_database_stream ((MDatabaseInfo *) extra_info);
+  MDatabaseInfo *db_info = extra_info;
   void *value;
+  char *filename = get_database_file (db_info, NULL, NULL);
+  FILE *fp;
+  int mdebug_flag = MDEBUG_DATABASE;
+  char buf[256];
 
-  if (! fp)
-    MERROR (MERROR_DB, NULL);
+  MDEBUG_PRINT1 (" [DB] <%s>", gen_database_name (buf, tags));
+  if (! filename || ! (fp = fopen (filename, "r")))
+    {
+      if (filename)
+       MDEBUG_PRINT1 (" open fail: %s\n", filename);
+      else
+       MDEBUG_PRINT1 (" not found: %s\n", db_info->filename);
+      MERROR (MERROR_DB, NULL);
+    }
+
+  MDEBUG_PRINT1 (" from %s\n", filename);
 
   if (tags[0] == Mchar_table)
     value = load_chartable (fp, tags[1]);
   else if (tags[0] == Mcharset)
-    value = load_charset (fp, tags[1]);
+    {
+      if (! mdatabase__load_charset_func)
+       MERROR (MERROR_DB, NULL);
+      value = (*mdatabase__load_charset_func) (fp, tags[1]);
+    }
   else
     value = mplist__from_file (fp, NULL);
   fclose (fp);
 
   if (! value)
     MERROR (MERROR_DB, NULL);
+  db_info->time = time (NULL);
   return value;
 }
 
 
-/** If DIRNAME is a readable directory, allocate MDatabaseInfo and
-    copy DIRNAME to a newly allocated memory and return it.  If
-    DIRNAME does not end with a slash, append a slash to the new memory.  */
+/** Return a newly allocated MDatabaseInfo for DIRNAME.  */
 
 static MDatabaseInfo *
 get_dir_info (char *dirname)
 {
-  struct stat buf;
-  int len;
   MDatabaseInfo *dir_info;
 
-  if (! dirname
-      || stat (dirname, &buf) < 0
-      || ! (buf.st_mode & S_IFDIR))
-    return NULL;
-
-  MSTRUCT_MALLOC (dir_info, MERROR_DB);
-  len = strlen (dirname);
-  MTABLE_MALLOC (dir_info->filename, len + 2, MERROR_DB);
-  memcpy (dir_info->filename, dirname, len + 1);
-  if (dir_info->filename[len - 1] != '/')
+  MSTRUCT_CALLOC (dir_info, MERROR_DB);
+  if (dirname)
     {
-      dir_info->filename[len] = '/';
-      dir_info->filename[len + 1] = '\0';
+      int len = strlen (dirname);
+
+      if (len + MDB_DIR_LEN < PATH_MAX)
+       {
+         MTABLE_MALLOC (dir_info->filename, len + 2, MERROR_DB);
+         memcpy (dir_info->filename, dirname, len + 1);
+         /* Append PATH_SEPARATOR if DIRNAME doesn't end with it.  */
+         if (dir_info->filename[len - 1] != PATH_SEPARATOR)
+           {
+             dir_info->filename[len] = PATH_SEPARATOR;
+             dir_info->filename[++len] = '\0';
+           }
+         dir_info->len = len;
+         dir_info->status = MDB_STATUS_OUTDATED;
+       }
+      else
+       dir_info->status = MDB_STATUS_DISABLED; 
     }
-  /* Set this to zero so that the first call of update_database_list
-     surely checks this directory.  */
-  dir_info->time = 0;
+  else
+    dir_info->status = MDB_STATUS_DISABLED;
   return dir_info;
 }
 
+static void register_databases_in_files (MSymbol tags[4],
+                                        char *filename, int len);
+
 static MDatabase *
-find_database (MSymbol tag0, MSymbol tag1, MSymbol tag2, MSymbol tag3)
+find_database (MSymbol tags[4])
 {
+  MPlist *plist;
   int i;
-
-  for (i = 0; i < mdb_list.used; i++)
+  MDatabase *mdb;
+  
+  if (! mdatabase__list)
+    return NULL;
+  for (i = 0, plist = mdatabase__list; i < 4; i++)
     {
-      MDatabase *mdb = mdb_list.mdbs + i;
+      MPlist *pl = mplist__assq (plist, tags[i]);
+      MPlist *p;
 
-      if (tag0 == mdb->tag[0]
-         && tag1 == mdb->tag[1]
-         && tag2 == mdb->tag[2]
-         && tag3 == mdb->tag[3])
-       return mdb;
+      if ((p = mplist__assq (plist, Masterisk)))
+       {
+         MDatabaseInfo *db_info;
+         int j;
+
+         p = MPLIST_PLIST (p);
+         for (j = i + 1; j < 4; j++)
+           p = MPLIST_PLIST (MPLIST_NEXT (p));
+         mdb = MPLIST_VAL (MPLIST_NEXT (p));
+         db_info = mdb->extra_info;
+         if (db_info->status != MDB_STATUS_DISABLED)
+           {
+             register_databases_in_files (mdb->tag,
+                                          db_info->filename, db_info->len);
+             db_info->status = MDB_STATUS_DISABLED;
+             return find_database (tags);
+           }
+       }
+      if (! pl)
+       return NULL;
+      plist = MPLIST_PLIST (pl);
+      plist = MPLIST_NEXT (plist);
     }
-  return NULL;
+  mdb = MPLIST_VAL (plist);
+  return mdb;
 }
 
 static void
-update_database_list ()
+free_db_info (MDatabaseInfo *db_info)
+{
+  free (db_info->filename);
+  if (db_info->absolute_filename
+      && db_info->filename != db_info->absolute_filename)
+    free (db_info->absolute_filename);
+  M17N_OBJECT_UNREF (db_info->properties);
+  free (db_info);
+}
+
+static int
+check_version (MText *version)
+{
+  char *verstr = (char *) MTEXT_DATA (version);
+  char *endp = verstr + mtext_nbytes (version);
+  int ver[3];
+  int i;
+
+  ver[0] = ver[1] = ver[2] = 0;
+  for (i = 0; verstr < endp; verstr++)
+    {
+      if (*verstr == '.')
+       {
+         i++;
+         if (i == 3)
+           break;
+         continue;
+       }
+      if (! isdigit (*verstr))
+       break;
+      ver[i] = ver[i] * 10 + (*verstr - '0');
+    }
+  return (ver[0] < M17NLIB_MAJOR_VERSION
+         || (ver[0] == M17NLIB_MAJOR_VERSION
+             && (ver[1] < M17NLIB_MINOR_VERSION
+                 || (ver[1] == M17NLIB_MINOR_VERSION
+                     && ver[2] <= M17NLIB_PATCH_LEVEL))));
+}
+
+static MDatabase *
+register_database (MSymbol tags[4],
+                  void *(*loader) (MSymbol *, void *),
+                  void *extra_info, enum MDatabaseStatus status,
+                  MPlist *properties)
 {
+  MDatabase *mdb;
+  MDatabaseInfo *db_info;
+  int i;
   MPlist *plist;
-  char *path;
-  USE_SAFE_ALLOCA;
 
-  /* Usually this avoids path to be reallocated.  */
-  SAFE_ALLOCA (path, 256);
+  if (properties)
+    {
+      MPLIST_DO (plist, properties)
+       if (MPLIST_PLIST_P (plist))
+         {
+           MPlist *p = MPLIST_PLIST (plist);
+
+           if (MPLIST_SYMBOL_P (p)
+               && MPLIST_SYMBOL (p) == Mversion
+               && MPLIST_MTEXT_P (MPLIST_NEXT (p)))
+             {
+               if (check_version (MPLIST_MTEXT (MPLIST_NEXT (p))))
+                 break;
+               return NULL;
+             }
+         }
+    }
+
+  for (i = 0, plist = mdatabase__list; i < 4; i++)
+    {
+      MPlist *pl = mplist__assq (plist, tags[i]);
+
+      if (pl)
+       pl = MPLIST_PLIST (pl);
+      else
+       {
+         pl = mplist ();
+         mplist_add (pl, Msymbol, tags[i]);
+         mplist_push (plist, Mplist, pl);
+         M17N_OBJECT_UNREF (pl);
+       }
+      plist = MPLIST_NEXT (pl);
+    }
+
+  if (MPLIST_TAIL_P (plist))
+    {
+      MSTRUCT_MALLOC (mdb, MERROR_DB);
+      for (i = 0; i < 4; i++)
+       mdb->tag[i] = tags[i];
+      mdb->loader = loader;
+      if (loader == load_database)
+       {
+         MSTRUCT_CALLOC (db_info, MERROR_DB);
+         mdb->extra_info = db_info;
+       }
+      else
+       {
+         db_info = NULL;
+         mdb->extra_info = extra_info;
+       }
+      mplist_push (plist, Mt, mdb);
+    }
+  else
+    {
+      mdb = MPLIST_VAL (plist);
+      if (loader == load_database)
+       db_info = mdb->extra_info;
+      else
+       db_info = NULL;
+    }
+
+  if (db_info)
+    {
+      db_info->status = status;
+      if (! db_info->filename
+         || strcmp (db_info->filename, (char *) extra_info) != 0)
+       {
+         if (db_info->filename)
+           free (db_info->filename);
+         if (db_info->absolute_filename
+             && db_info->filename != db_info->absolute_filename)
+           free (db_info->absolute_filename);
+         db_info->filename = strdup ((char *) extra_info);
+         db_info->len = strlen ((char *) extra_info);
+         db_info->time = 0;
+       }
+      if (db_info->filename[0] == PATH_SEPARATOR)
+       db_info->absolute_filename = db_info->filename;
+      else
+       db_info->absolute_filename = NULL;
+      M17N_OBJECT_UNREF (db_info->properties);
+      if (properties)
+       {
+         db_info->properties = properties;
+         M17N_OBJECT_REF (properties);
+       }
+    }
+
+  if (mdb->tag[0] == Mchar_table
+      && mdb->tag[2] != Mnil
+      && (mdb->tag[1] == Mstring || mdb->tag[1] == Mtext
+         || mdb->tag[1] == Msymbol || mdb->tag[1] == Minteger
+         || mdb->tag[1] == Mplist))
+    mchar__define_prop (mdb->tag[2], mdb->tag[1], mdb);
+  return mdb;
+}
+
+static void
+register_databases_in_files (MSymbol tags[4], char *filename, int len)
+{
+  int i, j;
+  MPlist *load_key = mplist ();
+  FILE *fp;
+  MPlist *plist, *pl;
 
   MPLIST_DO (plist, mdatabase__dir_list)
     {
-      MDatabaseInfo *dir_info = MPLIST_VAL (plist);
-      struct stat statbuf;
-      MPlist *pl, *p;
-      int i, j, len;
-      FILE *fp;
+      glob_t globbuf;
+      int headlen;
 
-      if (stat (dir_info->filename, &statbuf) < 0)
-       continue;
-      if (dir_info->time >= statbuf.st_ctime
-         && dir_info->time >= statbuf.st_mtime)
-       continue;
-      dir_info->time = MAX_TIME (statbuf.st_ctime, statbuf.st_mtime);
-      len = strlen (dir_info->filename);
-#ifdef PATH_MAX
-      if (len + MDB_DIR_LEN >= PATH_MAX)
-       continue;
-#endif /* PATH_MAX */
-      SAFE_ALLOCA (path, len + MDB_DIR_LEN + 1);
-      memcpy (path, dir_info->filename, len);
-      memcpy (path + len, MDB_DIR, MDB_DIR_LEN);
-      path[len + MDB_DIR_LEN] = '\0';
-      if (! (fp = fopen (path, "r")))
-       continue;
-      pl = mplist__from_file (fp, NULL);
-      fclose (fp);
-      if (! pl)
-       continue;
-      MPLIST_DO (p, pl)
+      if (filename[0] == PATH_SEPARATOR)
        {
-         MDatabase mdb;
-         MPlist *p1;
-         MText *mt;
-         int nbytes;
-         int with_wildcard = 0;
+         if (glob (filename, GLOB_NOSORT, NULL, &globbuf))
+           break;
+         headlen = 0;
+       }
+      else
+       {
+         MDatabaseInfo *d_info = MPLIST_VAL (plist);
+         char path[PATH_MAX + 1];
 
-         if (! MPLIST_PLIST_P (p))
+         if (d_info->status == MDB_STATUS_DISABLED)
            continue;
-         p1 = MPLIST_PLIST (p);
-         if (! MPLIST_SYMBOL_P (p1))
-             continue;
-         for (i = 0, p1 = MPLIST_PLIST (p);
-              i < 4 && MPLIST_KEY (p1) == Msymbol;
-              i++, p1 = MPLIST_NEXT (p1))
-           with_wildcard |= ((mdb.tag[i] = MPLIST_SYMBOL (p1)) == Masterisk);
-         if (i == 0
-             || mdb.tag[0] == Masterisk
-             || ! MPLIST_MTEXT_P (p1))
+         if (! GEN_PATH (path, d_info->filename, d_info->len, filename, len))
            continue;
-         for (; i < 4; i++)
-           mdb.tag[i] = Mnil;
-         mdb.loader = load_database;
-         mt = MPLIST_MTEXT (p1);
-         if (mt->format >= MTEXT_FORMAT_UTF_16LE)
-           mtext__adjust_format (mt, MTEXT_FORMAT_UTF_8);
-         nbytes = mtext_nbytes (mt);
-#ifdef PATH_MAX
-         if (nbytes > PATH_MAX)
+         if (glob (path, GLOB_NOSORT, NULL, &globbuf))
            continue;
-#endif /* PATH_MAX */
-         if (with_wildcard
-             && mdb.tag[0] != Mchar_table
-             && mdb.tag[0] != Mcharset)
-           {
-             glob_t globbuf;
-             MPlist *load_key;
-
-             SAFE_ALLOCA (path, len + nbytes + 1);
-             memcpy (path, dir_info->filename, len);
-             memcpy (path + len, mt->data, nbytes);
-             path[len + nbytes] = '\0';
+         headlen = d_info->len;
+       }
 
-             if (glob (path, GLOB_NOSORT | GLOB_NOCHECK, NULL, &globbuf) != 0)
-               continue;
-             load_key = mplist ();
-             for (i = 0; i < globbuf.gl_pathc; i++)
-               {
-                 if (! (fp = fopen (globbuf.gl_pathv[i], "r")))
-                   continue;
-                 p1 = mplist__from_file (fp, load_key);
-                 fclose (fp);
-                 if (! p1)
-                   continue;
-                 if (MPLIST_PLIST_P (p1))
-                   {
-                     MPlist *p0;
-                     MDatabase mdb2;
-
-                     for (j = 0, p0 = MPLIST_PLIST (p1);
-                          j < 4 && MPLIST_SYMBOL_P (p0);
-                          j++, p0 = MPLIST_NEXT (p0))
-                       mdb2.tag[j] = MPLIST_SYMBOL (p0);
-                     for (; j < 4; j++)
-                       mdb2.tag[j] = Mnil;
-                     for (j = 0; j < 4; j++)
-                       if (mdb.tag[j] == Masterisk
-                           ? mdb2.tag[j] == Mnil
-                           : (mdb.tag[j] != Mnil && mdb.tag[j] != mdb2.tag[j]))
-                         break;
-                     if (j == 4
-                         && ! find_database (mdb2.tag[0], mdb2.tag[1],
-                                             mdb2.tag[2], mdb2.tag[3]))
-                       {
-                         mdb2.loader = load_database;
-                         mdb2.extra_info = calloc (1, sizeof (MDatabaseInfo));
-                         if (! mdb2.extra_info)
-                           MEMORY_FULL (MERROR_DB);
-                         ((MDatabaseInfo*) mdb2.extra_info)->filename
-                           = strdup (globbuf.gl_pathv[i]);
-                         MLIST_APPEND1 (&mdb_list, mdbs, mdb2, MERROR_DB);
-                         if (mdb2.tag[0] == Mchar_table
-                             && mdb2.tag[2] != Mnil
-                             && (mdb2.tag[1] == Mstring
-                                 || mdb2.tag[1] == Mtext
-                                 || mdb2.tag[1] == Msymbol
-                                 || mdb2.tag[1] == Minteger
-                                 || mdb2.tag[1] == Mplist))
-                           mchar__define_prop (mdb2.tag[2], mdb2.tag[1],
-                                               (mdb_list.mdbs
-                                                + mdb_list.used - 1));
-                       }
-                   }
-                 M17N_OBJECT_UNREF (p1);
-               }
-             M17N_OBJECT_UNREF (load_key);
-             globfree (&globbuf);
-           }
-         else
+      for (i = 0; i < globbuf.gl_pathc; i++)
+       {
+         if (! (fp = fopen (globbuf.gl_pathv[i], "r")))
+           continue;
+         pl = mplist__from_file (fp, load_key);
+         fclose (fp);
+         if (! pl)
+           continue;
+         if (MPLIST_PLIST_P (pl))
            {
-             if (find_database (mdb.tag[0], mdb.tag[1],
-                                mdb.tag[2], mdb.tag[3]))
-               continue;
-             SAFE_ALLOCA (path, nbytes + 1);
-             memcpy (path, mt->data, nbytes);
-             path[nbytes] = '\0';
-             mdb.extra_info = calloc (1, sizeof (MDatabaseInfo));
-             if (! mdb.extra_info)
-               MEMORY_FULL (MERROR_DB);
-             ((MDatabaseInfo*) mdb.extra_info)->filename = strdup (path);
-             MLIST_APPEND1 (&mdb_list, mdbs, mdb, MERROR_DB);
-             if (mdb.tag[0] == Mchar_table
-                 && mdb.tag[2] != Mnil
-                 && (mdb.tag[1] == Mstring
-                     || mdb.tag[1] == Mtext
-                     || mdb.tag[1] == Msymbol
-                     || mdb.tag[1] == Minteger
-                     || mdb.tag[1] == Mplist))
-               mchar__define_prop (mdb.tag[2], mdb.tag[1], 
-                                   mdb_list.mdbs + mdb_list.used - 1);
+             MPlist *p;
+             MSymbol tags2[4];
+
+             for (j = 0, p = MPLIST_PLIST (pl); j < 4 && MPLIST_SYMBOL_P (p);
+                  j++, p = MPLIST_NEXT (p))
+               tags2[j] = MPLIST_SYMBOL (p);
+             for (; j < 4; j++)
+               tags2[j] = Mnil;
+             for (j = 0; j < 4; j++)
+               if (tags[j] != Masterisk && tags[j] != tags2[j])
+                 break;
+             if (j == 4)
+               register_database (tags2, load_database,
+                                  globbuf.gl_pathv[i] + headlen,
+                                  MDB_STATUS_AUTO, p);
            }
+         M17N_OBJECT_UNREF (pl);
        }
-      M17N_OBJECT_UNREF (pl);
+      globfree (&globbuf);
+      if (filename[0] == PATH_SEPARATOR)
+       break;
     }
+  M17N_OBJECT_UNREF (load_key);
+}
+
+static int
+expand_wildcard_database (MPlist *plist)
+{
+  MDatabase *mdb;
+  MDatabaseInfo *db_info;
 
-  SAFE_FREE (path);
+  plist = MPLIST_NEXT (plist);
+  while (MPLIST_PLIST_P (plist))
+    {
+      plist = MPLIST_PLIST (plist);
+      plist = MPLIST_NEXT (plist);
+    }
+  mdb = MPLIST_VAL (plist);
+  if (mdb->loader == load_database
+      && (db_info = mdb->extra_info)
+      && db_info->status != MDB_STATUS_DISABLED)
+    {
+      register_databases_in_files (mdb->tag, db_info->filename, db_info->len);
+      db_info->status = MDB_STATUS_DISABLED;
+      return 1;
+    }
+  return 0;
 }
 
 \f
@@ -719,86 +764,255 @@ update_database_list ()
 /** List of database directories.  */ 
 MPlist *mdatabase__dir_list;
 
+void *(*mdatabase__load_charset_func) (FILE *fp, MSymbol charset_name);
+
 int
 mdatabase__init ()
 {
   MDatabaseInfo *dir_info;
+  char *path;
+
+  mdatabase__load_charset_func = NULL;
 
   Mchar_table = msymbol ("char-table");
+  Mcharset = msymbol ("charset");
   Masterisk = msymbol ("*");
+  Mversion = msymbol ("version");
 
   mdatabase__dir_list = mplist ();
   /** The macro M17NDIR specifies a directory where the system-wide
     MDB_DIR file exists.  */
-  if ((dir_info = get_dir_info (M17NDIR)))
-    mplist_set (mdatabase__dir_list, Mt, dir_info);
+  mplist_set (mdatabase__dir_list, Mt, get_dir_info (M17NDIR));
 
   /* The variable mdatabase_dir specifies a directory where an
      application program specific MDB_DIR file exists.  */
-  if ((dir_info = get_dir_info (mdatabase_dir)))
-    mplist_push (mdatabase__dir_list, Mt, dir_info);
-
-  /* The environment variable M17NDIR (if non-NULL) specifies a
-     directory where a user specific MDB_DIR file exists.  */
-  if ((dir_info = get_dir_info (getenv ("M17NDIR"))))
-    mplist_push (mdatabase__dir_list, Mt, dir_info);
-
-  MLIST_INIT1 (&mdb_list, mdbs, 256);
-  update_database_list ();
+  if (mdatabase_dir && strlen (mdatabase_dir) > 0)
+    mplist_push (mdatabase__dir_list, Mt, get_dir_info (mdatabase_dir));
+
+  /* The environment variable M17NDIR specifies a directory where a
+     user specific MDB_DIR file exists.  */
+  path = getenv ("M17NDIR");
+  if (path && strlen (path) > 0)
+    mplist_push (mdatabase__dir_list, Mt, get_dir_info (path));
+  else
+    {
+      /* If the env var M17NDIR is not set, check "~/.m17n.d".  */
+      char *home = getenv ("HOME");
+      int len;
 
-  mdatabase__finder = ((void *(*) (MSymbol, MSymbol, MSymbol, MSymbol))
-                      mdatabase_find);
-  mdatabase__loader = (void *(*) (void *)) mdatabase_load;
+      if (home
+         && (len = strlen (home))
+         && (path = alloca (len + 9)))
+       {
+         strcpy (path, home);
+         if (path[len - 1] != PATH_SEPARATOR)
+           path[len++] = PATH_SEPARATOR;
+         strcpy (path + len, ".m17n.d");
+         dir_info = get_dir_info (path);
+         mplist_push (mdatabase__dir_list, Mt, dir_info);
+       }
+      else
+       mplist_push (mdatabase__dir_list, Mt, get_dir_info (NULL));
+    }
 
+  mdatabase__list = mplist ();
+  mdatabase__update ();
   return 0;
 }
 
 void
 mdatabase__fini (void)
 {
-  int i;
-  MPlist *plist; 
+  MPlist *plist, *p0, *p1, *p2, *p3;
+
+  MPLIST_DO (plist, mdatabase__dir_list)
+    free_db_info (MPLIST_VAL (plist));
+  M17N_OBJECT_UNREF (mdatabase__dir_list);
+
+  /* MDATABASE_LIST ::= ((TAG0 (TAG1 (TAG2 (TAG3 t:MDB) ...) ...) ...) ...) */
+  MPLIST_DO (plist, mdatabase__list)
+    {
+      p0 = MPLIST_PLIST (plist);
+      /* P0 ::= (TAG0 (TAG1 (TAG2 (TAG3 t:MDB) ...) ...) ...) */
+      MPLIST_DO (p0, MPLIST_NEXT (p0))
+       {
+         p1 = MPLIST_PLIST (p0);
+         /* P1 ::= (TAG1 (TAG2 (TAG3 t:MDB) ...) ...) */
+         MPLIST_DO (p1, MPLIST_NEXT (p1))
+           {
+             p2 = MPLIST_PLIST (p1);
+             /* P2 ::= (TAG2 (TAG3 t:MDB) ...) */
+             MPLIST_DO (p2, MPLIST_NEXT (p2))
+               {
+                 MDatabase *mdb;
+
+                 p3 = MPLIST_PLIST (p2); /* P3 ::= (TAG3 t:MDB) */
+                 p3 = MPLIST_NEXT (p3);
+                 mdb = MPLIST_VAL (p3);
+                 if (mdb->loader == load_database)
+                   free_db_info (mdb->extra_info);
+                 free (mdb);
+               }
+           }
+       }
+    }
+  M17N_OBJECT_UNREF (mdatabase__list);
+}
+
+void
+mdatabase__update (void)
+{
+  MPlist *plist, *p0, *p1, *p2, *p3;
+  char path[PATH_MAX + 1];
+  MDatabaseInfo *dir_info;
+  struct stat statbuf;
+  int rescan = 0;
 
+  /* Update elements of mdatabase__dir_list.  */
   MPLIST_DO (plist, mdatabase__dir_list)
     {
-      MDatabaseInfo *dir_info = MPLIST_VAL (plist);
+      dir_info = MPLIST_VAL (plist);
+      if (dir_info->filename)
+       {
+         if (stat (dir_info->filename, &statbuf) == 0
+             && (statbuf.st_mode & S_IFDIR))
+           {
+             if (dir_info->time < statbuf.st_mtime)
+               {
+                 rescan = 1;
+                 dir_info->time = statbuf.st_mtime;
+               }
+             if (GEN_PATH (path, dir_info->filename, dir_info->len,
+                           MDB_DIR, MDB_DIR_LEN)
+                 && stat (path, &statbuf) >= 0
+                 && dir_info->time < statbuf.st_mtime)
+               {
+                 rescan = 1;
+                 dir_info->time = statbuf.st_mtime;
+               }
+             dir_info->status = MDB_STATUS_UPDATED;
+           }
+         else
+           {
+             if (dir_info->status != MDB_STATUS_DISABLED)
+               {
+                 rescan = 1;
+                 dir_info->time = 0;
+                 dir_info->status = MDB_STATUS_DISABLED;
+               }
+           }
+       }
+    }
+
+  if (! rescan)
+    return;
 
-      free (dir_info->filename);
-      free (dir_info);
+  /* At first, mark all databases defined automatically from mdb.dir
+     file(s) as "disabled".  */
+  MPLIST_DO (plist, mdatabase__list)
+    {
+      p0 = MPLIST_PLIST (plist);
+      /* P0 ::= (TAG0 (TAG1 (TAG2 (TAG3 MDB) ...) ...) ...) */
+      MPLIST_DO (p0, MPLIST_NEXT (p0))
+       {
+         p1 = MPLIST_PLIST (p0);
+         MPLIST_DO (p1, MPLIST_NEXT (p1))
+           {
+             p2 = MPLIST_PLIST (p1);
+             MPLIST_DO (p2, MPLIST_NEXT (p2))
+               {
+                 MDatabase *mdb;
+                 MDatabaseInfo *db_info;
+
+                 p3 = MPLIST_PLIST (p2);
+                 p3 = MPLIST_NEXT (p3);
+                 mdb = MPLIST_VAL (p3);
+                 db_info = mdb->extra_info;
+                 if (db_info->status == MDB_STATUS_AUTO)
+                   db_info->status = MDB_STATUS_DISABLED;
+               }
+           }
+       }
     }
-  M17N_OBJECT_UNREF (mdatabase__dir_list);
 
-  for (i = 0; i < mdb_list.used; i++)
+  plist = mplist (); 
+  MPLIST_DO (p0, mdatabase__dir_list)
+    mplist_push (plist, MPLIST_KEY (p0), MPLIST_VAL (p0));
+
+  while (! MPLIST_TAIL_P (plist))
     {
-      MDatabase *mdb = mdb_list.mdbs + i;
+      MDatabaseInfo *dir_info = mplist_pop (plist);
+      MPlist *pl, *p;
+      int i;
+      FILE *fp;
 
-      if (mdb->loader == load_database)
+      if (dir_info->status == MDB_STATUS_DISABLED)
+       continue;
+      if (! GEN_PATH (path, dir_info->filename, dir_info->len,
+                     MDB_DIR, MDB_DIR_LEN))
+       continue;
+      if (! (fp = fopen (path, "r")))
+       continue;
+      pl = mplist__from_file (fp, NULL);
+      fclose (fp);
+      if (! pl)
+       continue;
+      MPLIST_DO (p, pl)
        {
-         MDatabaseInfo *db_info = mdb->extra_info;
+         MSymbol tags[4];
+         MPlist *p1;
+         MText *mt;
+         int nbytes;
+         int with_wildcard = 0;
 
-         free (db_info->filename);
-         free (db_info);
+         if (! MPLIST_PLIST_P (p))
+           continue;
+         for (i = 0, p1 = MPLIST_PLIST (p); i < 4 && MPLIST_SYMBOL_P (p1);
+              i++, p1 = MPLIST_NEXT (p1))
+           with_wildcard |= ((tags[i] = MPLIST_SYMBOL (p1)) == Masterisk);
+         if (i == 0
+             || tags[0] == Masterisk
+             || ! MPLIST_MTEXT_P (p1))
+           continue;
+         for (; i < 4; i++)
+           tags[i] = with_wildcard ? Masterisk : Mnil;
+         mt = MPLIST_MTEXT (p1);
+         nbytes = mtext_nbytes (mt);
+         if (nbytes > PATH_MAX)
+           continue;
+         memcpy (path, MTEXT_DATA (mt), nbytes);
+         path[nbytes] = '\0';
+         if (with_wildcard)
+           register_database (tags, load_database, path,
+                              MDB_STATUS_AUTO_WILDCARD, NULL);
+         else
+           register_database (tags, load_database, path,
+                              MDB_STATUS_AUTO, p1);
        }
+      M17N_OBJECT_UNREF (pl);
     }
-  MLIST_FREE1 (&mdb_list, mdbs);
+  M17N_OBJECT_UNREF (plist);
 }
 
 MPlist *
 mdatabase__load_for_keys (MDatabase *mdb, MPlist *keys)
 {
-  int mdebug_mask = MDEBUG_DATABASE;
+  int mdebug_flag = MDEBUG_DATABASE;
+  MDatabaseInfo *db_info;
+  char *filename;
   FILE *fp;
   MPlist *plist;
-  char buf[256];
+  char name[256];
 
   if (mdb->loader != load_database
       || mdb->tag[0] == Mchar_table
       || mdb->tag[0] == Mcharset)
     MERROR (MERROR_DB, NULL);
-  MDEBUG_PRINT1 (" [DATABASE] loading <%s>.\n",
-                gen_database_name (buf, mdb->tag));
-  fp = get_database_stream ((MDatabaseInfo *) mdb->extra_info);
-  if (! fp)
+  MDEBUG_PRINT1 (" [DB]  <%s>.\n",
+                gen_database_name (name, mdb->tag));
+  db_info = mdb->extra_info;
+  filename = get_database_file (db_info, NULL, NULL);
+  if (! filename || ! (fp = fopen (filename, "r")))
     MERROR (MERROR_DB, NULL);
   plist = mplist__from_file (fp, keys);
   fclose (fp);
@@ -806,18 +1020,204 @@ mdatabase__load_for_keys (MDatabase *mdb, MPlist *keys)
 }
 
 
-/* Check if the database MDB should be reloaded or not.  */
+/* Check if the database MDB should be reloaded or not.  It returns:
+
+       1: The database has not been updated since it was loaded last
+       time.
+
+       0: The database has never been loaded or has been updated
+       since it was loaded last time.
+
+       -1: The database is not loadable at the moment.  */
 
 int
 mdatabase__check (MDatabase *mdb)
 {
   MDatabaseInfo *db_info = (MDatabaseInfo *) mdb->extra_info;
   struct stat buf;
+  int result;
+
+  if (db_info->absolute_filename != db_info->filename
+      || db_info->status == MDB_STATUS_AUTO)
+    mdatabase__update ();
+
+  if (! get_database_file (db_info, &buf, &result)
+      || result < 0)
+    return -1;
+  if (db_info->time < buf.st_mtime)
+    return 0;
+  return 1;
+}
+
+/* Search directories in mdatabase__dir_list for file FILENAME.  If
+   the file exist, return the absolute pathname.  If FILENAME is
+   already absolute, return a copy of it.  */
+
+char *
+mdatabase__find_file (char *filename)
+{
+  struct stat buf;
+  int result;
+  MDatabaseInfo db_info;
+
+  if (filename[0] == PATH_SEPARATOR)
+    return (stat (filename, &buf) == 0 ? strdup (filename) : NULL);
+  db_info.filename = filename;
+  db_info.len = strlen (filename);
+  db_info.time = 0;
+  db_info.absolute_filename = NULL;
+  if (! get_database_file (&db_info, &buf, &result)
+      || result < 0)
+    return NULL;
+  return db_info.absolute_filename;
+}
+
+char *
+mdatabase__file (MDatabase *mdb)
+{
+  MDatabaseInfo *db_info;
+
+  if (mdb->loader != load_database)
+    return NULL;
+  db_info = mdb->extra_info;
+  return get_database_file (db_info, NULL, NULL);
+}
+
+int
+mdatabase__lock (MDatabase *mdb)
+{
+  MDatabaseInfo *db_info;
+  struct stat buf;
+  FILE *fp;
+  int len;
+  char *file;
+
+  if (mdb->loader != load_database)
+    return -1;
+  db_info = mdb->extra_info;
+  if (db_info->lock_file)
+    return -1;
+  file = get_database_file (db_info, NULL, NULL);
+  if (! file)
+    return -1;
+  len = strlen (file);
+  db_info->uniq_file = malloc (len + 35);
+  if (! db_info->uniq_file)
+    return -1;
+  db_info->lock_file = malloc (len + 5);
+  if (! db_info->lock_file)
+    {
+      free (db_info->uniq_file);
+      return -1;
+    }
+  sprintf (db_info->uniq_file, "%s.%X.%X", db_info->absolute_filename,
+          (unsigned) time (NULL), (unsigned) getpid ());
+  sprintf (db_info->lock_file, "%s.LCK", db_info->absolute_filename);
+
+  fp = fopen (db_info->uniq_file, "w");
+  if (! fp)
+    {
+      char *str = strdup (db_info->uniq_file);
+      char *dir = dirname (str);
+      
+      if (stat (dir, &buf) == 0
+         || mkdir (dir, 0777) < 0
+         || ! (fp = fopen (db_info->uniq_file, "w")))
+       {
+         free (db_info->uniq_file);
+         free (db_info->lock_file);
+         db_info->lock_file = NULL;
+         free (str);
+         return -1;
+       }
+      free (str);
+    }
+  fclose (fp);
+  if (link (db_info->uniq_file, db_info->lock_file) < 0
+      && (stat (db_info->uniq_file, &buf) < 0
+         || buf.st_nlink != 2))
+    {
+      unlink (db_info->uniq_file);
+      unlink (db_info->lock_file);
+      free (db_info->uniq_file);
+      free (db_info->lock_file);
+      db_info->lock_file = NULL;
+      return 0;
+    }
+  return 1;
+}
+
+int
+mdatabase__save (MDatabase *mdb, MPlist *data)
+{
+  MDatabaseInfo *db_info;
+  FILE *fp;
+  char *file;
+  MText *mt;
+  int ret;
+
+  if (mdb->loader != load_database)
+    return -1;
+  db_info = mdb->extra_info;
+  if (! db_info->lock_file)
+    return -1;
+  file = get_database_file (db_info, NULL, NULL);
+  if (! file)
+    return -1;
+  mt = mtext ();
+  if (mplist__serialize (mt, data, 1) < 0)
+    {
+      M17N_OBJECT_UNREF (mt);
+      return -1;
+    }
+  fp = fopen (db_info->uniq_file, "w");
+  if (! fp)
+    {
+      M17N_OBJECT_UNREF (mt);
+      return -1;
+    }
+  if (mt->format > MTEXT_FORMAT_UTF_8)
+    mtext__adjust_format (mt, MTEXT_FORMAT_UTF_8);
+  fwrite (MTEXT_DATA (mt), 1, mtext_nchars (mt), fp);
+  fclose (fp);
+  M17N_OBJECT_UNREF (mt);
+  if ((ret = rename (db_info->uniq_file, file)) < 0)
+    unlink (db_info->uniq_file);
+  free (db_info->uniq_file);
+  db_info->uniq_file = NULL;
+  return ret;
+}
 
-  if (stat (db_info->filename, &buf) < 0)
+int
+mdatabase__unlock (MDatabase *mdb)
+{
+  MDatabaseInfo *db_info;
+
+  if (mdb->loader != load_database)
     return -1;
-  return (db_info->time >= buf.st_ctime
-         && db_info->time >= buf.st_mtime);
+  db_info = mdb->extra_info;
+  if (! db_info->lock_file)
+    return -1;
+  unlink (db_info->lock_file);
+  free (db_info->lock_file);
+  db_info->lock_file = NULL;
+  if (db_info->uniq_file)
+    {
+      unlink (db_info->uniq_file);
+      free (db_info->uniq_file);
+    }
+  return 0;
+}
+
+MPlist *
+mdatabase__props (MDatabase *mdb)
+{
+  MDatabaseInfo *db_info;
+
+  if (mdb->loader != load_database)
+    return NULL;
+  db_info = mdb->extra_info;
+  return db_info->properties;
 }
 
 /*** @} */
@@ -826,6 +1226,28 @@ mdatabase__check (MDatabase *mdb)
 \f
 /* External API */
 
+/*** @addtogroup m17nCharset */
+/*** @{ */
+/*=*/
+/***en
+    @brief The symbol @c Mcharset.
+
+    Any decoded M-text has a text property whose key is the predefined
+    symbol @c Mcharset.  The name of @c Mcharset is
+    <tt>"charset"</tt>.  */
+
+/***ja
+    @brief ¥·¥ó¥Ü¥ë @c Mcharset.
+
+    ¥Ç¥³¡¼¥É¤µ¤ì¤¿ M-text ¤Ï¡¢¥­¡¼¤¬ @c Mcharset
+    ¤Ç¤¢¤ë¤è¤¦¤Ê¥Æ¥­¥¹¥È¥×¥í¥Ñ¥Æ¥£¤ò»ý¤Ä¡£
+    ¥·¥ó¥Ü¥ë @c Mcharset ¤Ï <tt>"charset"</tt> ¤È¤¤¤¦Ì¾Á°¤ò»ý¤Ä¡£  */
+
+MSymbol Mcharset;
+/*=*/
+/*** @} */
+/*=*/
+
 /*** @addtogroup m17nDatabase */
 /*** @{ */
 
@@ -874,8 +1296,11 @@ char *mdatabase_dir;
 MDatabase *
 mdatabase_find (MSymbol tag0, MSymbol tag1, MSymbol tag2, MSymbol tag3)
 {
-  update_database_list ();
-  return find_database (tag0, tag1, tag2, tag3);
+  MSymbol tags[4];
+
+  mdatabase__update ();
+  tags[0] = tag0, tags[1] = tag1, tags[2] = tag2, tags[3] = tag3;
+  return find_database (tags);
 }
 
 /*=*/
@@ -898,25 +1323,68 @@ mdatabase_find (MSymbol tag0, MSymbol tag1, MSymbol tag2, MSymbol tag3)
 MPlist *
 mdatabase_list (MSymbol tag0, MSymbol tag1, MSymbol tag2, MSymbol tag3)
 {
-  int i;
-  MPlist *plist = NULL, *pl;
+  MPlist *plist = mplist (), *pl = plist;
+  MPlist *p, *p0, *p1, *p2, *p3;
 
-  update_database_list ();
+  mdatabase__update ();
 
-  for (i = 0; i < mdb_list.used; i++)
+  MPLIST_DO (p, mdatabase__list)
     {
-      MDatabase *mdb = mdb_list.mdbs + i;
-
-      if ((tag0 == Mnil || tag0 == mdb->tag[0])
-         && (tag1 == Mnil || tag1 == mdb->tag[1])
-         && (tag2 == Mnil || tag2 == mdb->tag[2])
-         && (tag3 == Mnil || tag3 == mdb->tag[3]))
+      p0 = MPLIST_PLIST (p);
+      /* P0 ::= (TAG0 (TAG1 (TAG2 (TAG3 MDB) ...) ...) ...) */
+      if (MPLIST_SYMBOL (p0) == Masterisk
+         || (tag0 != Mnil && MPLIST_SYMBOL (p0) != tag0))
+       continue;
+      MPLIST_DO (p0, MPLIST_NEXT (p0))
        {
-         if (! plist)
-           plist = pl = mplist ();
-         pl = mplist_add (pl, Mt, mdb);
+         p1 = MPLIST_PLIST (p0);
+         if (MPLIST_SYMBOL (p1) == Masterisk)
+           {
+             if (expand_wildcard_database (p1))
+               {
+                 M17N_OBJECT_UNREF (plist);
+                 return mdatabase_list (tag0, tag1, tag2, tag3);
+               }
+             continue;
+           }
+         if (tag1 != Mnil && MPLIST_SYMBOL (p1) != tag1)
+           continue;
+         MPLIST_DO (p1, MPLIST_NEXT (p1))
+           {
+             p2 = MPLIST_PLIST (p1);
+             if (MPLIST_SYMBOL (p2) == Masterisk)
+               {
+                 if (expand_wildcard_database (p2))
+                   {
+                     M17N_OBJECT_UNREF (plist);
+                     return mdatabase_list (tag0, tag1, tag2, tag3);
+                   }
+                 continue;
+               }
+             if (tag2 != Mnil && MPLIST_SYMBOL (p2) != tag2)
+               continue;
+             MPLIST_DO (p2, MPLIST_NEXT (p2))
+               {
+                 p3 = MPLIST_PLIST (p2);
+                 if (MPLIST_SYMBOL (p3) == Masterisk)
+                   {
+                     if (expand_wildcard_database (p3))
+                       {
+                         M17N_OBJECT_UNREF (plist);
+                         return mdatabase_list (tag0, tag1, tag2, tag3);
+                       }
+                     continue;
+                   }
+                 if (tag3 != Mnil && MPLIST_SYMBOL (p3) != tag3)
+                   continue;
+                 p3 = MPLIST_NEXT (p3);
+                 pl = mplist_add (pl, Mt, MPLIST_VAL (p3));
+               }
+           }
        }
     }
+  if (MPLIST_TAIL_P (plist))
+    M17N_OBJECT_UNREF (plist);
   return plist;
 }
 
@@ -971,33 +1439,13 @@ mdatabase_define (MSymbol tag0, MSymbol tag1, MSymbol tag2, MSymbol tag3,
                  void *extra_info)
 {
   MDatabase *mdb;
+  MSymbol tags[4];
 
-  mdb = mdatabase_find (tag0, tag1, tag2, tag3);
-  if (! mdb)
-    {
-      MDatabase template;
-
-      template.tag[0] = tag0, template.tag[1] = tag1;
-      template.tag[2] = tag2, template.tag[3] = tag3;
-      template.extra_info = NULL;
-      MLIST_APPEND1 (&mdb_list, mdbs, template, MERROR_DB);
-      mdb = mdb_list.mdbs + (mdb_list.used - 1);
-    }
-  mdb->loader = loader ? loader : load_database;
-  if (mdb->loader == load_database)
-    {
-      MDatabaseInfo *db_info = mdb->extra_info;
-
-      if (db_info)
-       free (db_info->filename);
-      else
-       db_info = mdb->extra_info = malloc (sizeof (MDatabaseInfo));
-      db_info->filename = strdup ((char *) extra_info);
-      db_info->time = 0;
-    }
-  else
-    mdb->extra_info = extra_info;
-  return (&(mdb_list.mdbs[mdb_list.used - 1]));
+  tags[0] = tag0, tags[1] = tag1, tags[2] = tag2, tags[3] = tag3;
+  if (! loader)
+    loader = load_database;
+  mdb = register_database (tags, loader, extra_info, MDB_STATUS_EXPLICIT, NULL);
+  return mdb;
 }
 
 /*=*/
@@ -1057,11 +1505,6 @@ mdatabase_define (MSymbol tag0, MSymbol tag1, MSymbol tag2, MSymbol tag3,
 void *
 mdatabase_load (MDatabase *mdb)
 {
-  int mdebug_mask = MDEBUG_DATABASE;
-  char buf[256];
-
-  MDEBUG_PRINT1 (" [DATABASE] loading <%s>.\n",
-                gen_database_name (buf, mdb->tag));
   return (*mdb->loader) (mdb->tag, mdb->extra_info);
 }