MText.cs

   1 using System;
   2 using System.Text;
   3 using System.Collections;
   4 using System.Collections.Generic;
   5 using M17N.Core;
   6
   7 namespace M17N.Core
   8 {
   9 #if false
  10   public enum MTextFormat
  11     {
  12       MTEXT_FORMAT_US_ASCII,
  13       MTEXT_FORMAT_UTF_8,
  14       MTEXT_FORMAT_UTF_16BE,
  15       MTEXT_FORMAT_UTF_16LE,
  16       MTEXT_FORMAT_UTF_32BE,
  17       MTEXT_FORMAT_UTF_32LE,
  18     }
  19 #endif
  20
  21   public class MTextProperty
  22   {
  23     internal MProperty prop;
  24     internal bool front_sticky;
  25     internal bool rear_sticky;
  26     internal bool merginable;
  27     public MProperty Prop { get { return prop; } }
  28     public bool FrontSticky { get { return front_sticky; } }
  29     public bool RearSticky { get { return rear_sticky; } }
  30     public bool Merginable { get { return merginable; } }
  31
  32     public MTextProperty (bool front_sticky, bool rear_sticky)
  33     {
  34       this.front_sticky = front_sticky;
  35       this.rear_sticky = rear_sticky;
  36     }
  37     public MTextProperty (bool front_sticky, bool rear_sticky, bool merginable)
  38     {
  39       this.front_sticky = front_sticky;
  40       this.rear_sticky = rear_sticky;
  41       this.merginable = merginable;
  42     }
  43   }
  44
  45   public class MText : IEnumerable, IEquatable<MText>, IComparable<MText>
  46   {
  47 #if false
  48     public enum MTextFormat format;
  49 #endif
  50
  51     private StringBuilder sb;
  52     private int nchars;
  53     private int cache_pos;
  54     private int cache_idx;
  55     private MInterval root_interval;
  56     private bool read_only;
  57
  58     private static UTF8Encoding utf8 = new UTF8Encoding ();
  59
  60     private static int count_chars (String str)
  61     {
  62       int len = str.Length, n = 0;
  63
  64       for (int i = 0; i < len; i++, n++)
  65         if (surrogate_high_p (str[i]))
  66           i++;
  67       return n;
  68     }
  69
  70     private static int count_chars (StringBuilder str)
  71     {
  72       int len = str.Length, n = 0;
  73
  74       for (int i = 0; i < len; i++, n++)
  75         if (surrogate_high_p (str[i]))
  76           i++;
  77       return n;
  78     }
  79
  80     public MText ()
  81       {
  82         sb = new StringBuilder ();
  83       }
  84
  85     public MText (byte[] str)
  86       {
  87         sb = new StringBuilder (utf8.GetString (str));
  88         nchars = count_chars (sb);
  89       }
  90
  91     public MText (String str)
  92       {
  93         sb = new StringBuilder (str);
  94         nchars = count_chars (str);
  95       }
  96
  97     public MText (StringBuilder str)
  98       {
  99         sb = str;
 100         nchars = count_chars (str);
 101       }
 102
 103     public static MText operator+ (MText mt1, MText mt2)
 104     {
 105       MText mt = new MText ();
 106
 107       mt.sb.Append (mt1.sb);
 108       mt.sb.Append (mt2.sb);
 109       mt.nchars = mt1.nchars + mt2.nchars;
 110       return mt;
 111     }
 112
 113     // Public properties
 114     public bool ReadOnly { get { return read_only; } }
 115     public int Length { get { return nchars; } }
 116
 117     // Public methods
 118
 119     // for IEnumerable interface
 120     public IEnumerator GetEnumerator() { return new MTextEnum (this); }
 121
 122     // for IEquatable interface
 123     public bool Equals (MText other) { return this.sb.Equals (other.sb); }
 124
 125     // for IComparable interface
 126     public int CompareTo (MText other)
 127     {
 128       return this.sb.ToString ().CompareTo (other.sb.ToString ());
 129     }
 130
 131     public override String ToString () { return sb.ToString (); }
 132
 133     private static bool surrogate_high_p (char c)
 134     {
 135       return (c >= 0xD800 && c < 0xDC00);
 136     }
 137
 138     private static bool surrogate_low_p (char c)
 139     {
 140       return (c >= 0xDC00 && c < 0xE000);
 141     }
 142
 143     private static int inc_idx (StringBuilder sb, int i)
 144     {
 145       return (i + (surrogate_high_p (sb[i]) ? 2 : 1));
 146     }
 147
 148     private static int dec_idx (StringBuilder sb, int i)
 149     {
 150       return (i - (surrogate_low_p (sb[i - 1]) ? 2 : 1));
 151     }
 152
 153     private static int pos_to_idx (MText mt, int pos)
 154     {
 155       if (pos == mt.cache_pos)
 156         return mt.cache_idx;
 157
 158       int p, i;
 159       bool forward;
 160
 161       if (pos < mt.cache_pos)
 162         {
 163           if (mt.cache_pos == mt.cache_idx)
 164             return mt.cache_idx;
 165           if (pos < mt.cache_pos - pos)
 166             {
 167               p = i = 0;
 168               forward = true;
 169             }
 170           else
 171             {
 172               p = mt.cache_pos; i = mt.cache_idx;
 173               forward = false;
 174             }
 175         }
 176       else
 177         {
 178           if (mt.nchars - mt.cache_pos == mt.sb.Length - mt.cache_idx)
 179             return (mt.cache_idx + pos - mt.cache_pos);
 180           if (pos - mt.cache_pos < mt.nchars - pos)
 181             {
 182               p = mt.cache_pos; i = mt.cache_idx;
 183               forward = true;
 184             }
 185           else
 186             {
 187               p = mt.nchars; i = mt.sb.Length;
 188               forward = false;
 189             }
 190         }
 191       if (forward)
 192         for (; p < pos; i = inc_idx (mt.sb, i), p++);
 193       else
 194         for (; p > pos; i = dec_idx (mt.sb, i), p--);
 195       mt.cache_pos = p;
 196       mt.cache_idx = i;
 197       return i;
 198     }
 199
 200     private void insert (int pos, MText mt2, int from, int to)
 201     {
 202       int pos_idx = pos_to_idx (this, pos);
 203       int from_idx = pos_to_idx (mt2, from);
 204       int to_idx = pos_to_idx (mt2, to);
 205
 206       sb.Insert (pos_idx, mt2.sb.ToString (from_idx, to_idx - from_idx));
 207       nchars += to - from;
 208       if (root_interval != null)
 209         {
 210           MInterval interval = (mt2.root_interval == null
 211                                 ? new MInterval (0, false, to - from, false)
 212                                 : mt2.root_interval.CopyTree (from, to));
 213           root_interval.Insert (pos, interval);
 214         }
 215     }
 216
 217     public int this[int i]
 218     {
 219       set {
 220         i = pos_to_idx (this, i);
 221         if (value < 0x10000)
 222           {
 223             if (surrogate_high_p (sb[i]))
 224               sb.Remove (i, 1);
 225             sb[i] = (char) value;
 226           }
 227         else
 228           {
 229             char high = (char) (0xD800 + ((value - 0x10000) >> 10));
 230             char low = (char) (0xDC00 + ((value - 0x10000) & 0x3FF));
 231
 232             if (! surrogate_high_p (sb[i]))
 233               sb.Insert (i, 0);
 234             sb[i] = high;
 235             sb[i + 1] = low;
 236           }
 237       }
 238       get {
 239         i = pos_to_idx (this, i);
 240         return (surrogate_high_p (sb[i])
 241                 ? ((sb[i] - 0xD800) << 10) + (sb[i + 1] - 0xDC00) + 0x10000
 242                 : sb[i]);
 243       }
 244     }
 245
 246     public MText dup ()
 247     {
 248       return (new MText (sb.ToString ()));
 249     }
 250
 251     public MText ins (int pos, MText mt)
 252     {
 253       insert (pos, mt, 0, mt.nchars);
 254       return this;
 255     }
 256
 257     public MText ins (int pos, MText mt, int from, int to)
 258     {
 259       insert (pos, mt, from, to);
 260       return this;
 261     }
 262
 263     public MText del (int from, int to)
 264     {
 265       sb.Remove (from, pos_to_idx (this, to) - pos_to_idx (this, from));
 266       nchars -= to - from;
 267       return this;
 268     }
 269
 270     public void PushProp (int from, int to, MTextProperty prop)
 271     {
 272       if (root_interval == null)
 273         root_interval = new MInterval (this);
 274       root_interval.Push (from, to, prop);
 275     }
 276
 277     private class MInterval
 278     {
 279       // position:    0           1           2           3
 280       // index:   -1  0  1  2  3  4  5  6  7  8  9  10 11 12 13
 281       //           |     |  A  |     |  B  |     |  C  |     |
 282       // interval  |<--------->|<--->|<--------------->|<------
 283       //
 284       //                   [-1 99 (9 89)]
 285       //       [0 10 (-1 9)]            [-10 0 (89 99)]
 286       // [0 4 (-1 3)] [-4 0 (5 9)] [0 4 (89 93)] [-2 0 (97 99)]
 287       //
 288       // Start and end positions of this interval and its children.
 289       // If this is the left node, the values are relative to the
 290       // parent's total_start.  Otherwise, the values are relatie to
 291       // the parent's total_end.
 292       private int total_start, total_end;
 293       // Stack of MTextProperty
 294       private Stack<MTextProperty> stack;
 295       private MInterval left, right, parent;
 296       private MText mt;
 297
 298       private static int adjust_position (int pos, bool front_inclusive)
 299       {
 300         return (pos << 2) + (front_inclusive ? -1 : 1);
 301       }
 302
 303       private static bool before_point_p (int pos)
 304       {
 305         return ((pos + 1) % 4) == 0;
 306       }
 307
 308       public MInterval (int start, bool front_inclusive,
 309                         int end, bool rear_inclusive)
 310       {
 311         if (start > end)
 312           throw new Exception ("Invalid Interval Range");
 313         this.total_start = (start << 2) + (front_inclusive ? -1 : 1);
 314         this.total_end = (end << 2) + (rear_inclusive ? 1 : -1);
 315         this.stack = new Stack<MTextProperty> ();
 316       }
 317
 318       public MInterval (MText mt)
 319       {
 320         this.mt = mt;
 321         this.total_start = -1;
 322         this.total_end = (mt.sb.Length << 2) + 1;
 323         this.stack = new Stack<MTextProperty> ();
 324       }
 325
 326       private MInterval () { }
 327
 328       private MInterval (int start, int end, Stack<MTextProperty> stack)
 329       {
 330         this.total_start = start;
 331         this.total_end = end;
 332         this.stack = new Stack<MTextProperty> (stack);
 333       }
 334
 335       private MInterval find (int pos, out int offset)
 336       {
 337         if (pos < total_start || total_end < pos)
 338           {
 339             offset = 0;
 340             return null;
 341           }
 342         if (pos < Start)
 343           return left.find (pos, out offset);
 344         if (End < pos)
 345           return right.find (pos - total_end, out offset);
 346         offset = pos - Start;
 347         return this;
 348       }
 349
 350       //      p-. or .-p              p-. or .-p
 351       //       .-this-.                .-right-.
 352       //    left   .-right-.  ->   .-this-.    c2
 353       //          c1       c2    left     c1
 354       private MInterval promote_right ()
 355       {
 356         int right_length = - right.total_start;
 357         MInterval c1;
 358
 359         if (parent == null)
 360           mt.root_interval = right;
 361         else if (total_start == 0)
 362           parent.left = right;
 363         else
 364           parent.right = right;
 365         right.parent = parent;
 366         c1 = right.left;
 367         right.left = this;
 368
 369         parent = right;
 370         right = c1;
 371         if (c1 != null)
 372           c1.parent = this;
 373
 374         parent.total_start = total_start;
 375         parent.total_end = total_end;
 376         total_start = 0;
 377         total_end -= right_length - (c1 == null ? 0 : c1.total_end);
 378
 379         if (c1 != null)
 380           {
 381             c1.total_end = - c1.total_start;
 382             c1.total_start = 0;
 383           }
 384         return parent;
 385       }
 386
 387       //      p-. or .-p              p-. or .-p
 388       //       .-this-.                .-left-.
 389       //  .-left-.  .-right-.  ->     c1    .-this-.
 390       // c1      c2                        c2     right
 391       private MInterval promote_left ()
 392       {
 393         int left_length = left.total_end;
 394         MInterval c2;
 395
 396         if (parent == null)
 397           mt.root_interval = left;
 398         else if (total_start == 0)
 399           parent.left = left;
 400         else
 401           parent.right = left;
 402         left.parent = parent;
 403         c2 = left.right;
 404         left.right = this;
 405
 406         parent = left;
 407         left = c2;
 408         if (c2 != null)
 409           c2.parent = this;
 410
 411         parent.total_start = total_start;
 412         parent.total_end = total_end;
 413         total_start -= left_length + (c2 == null ? 0 : c2.total_end);;
 414         total_end = 0;
 415
 416         if (c2 != null)
 417           {
 418             c2.total_start = - c2.total_end;
 419             c2.total_end = 0;
 420           }
 421         return parent;
 422       }
 423
 424       private MInterval balance ()
 425       {
 426         MInterval interval = this;
 427
 428         while (true)
 429           {
 430             int this_start = interval.Start;
 431             int this_end = interval.End;
 432             int diff = ((this_start - interval.total_start)
 433                         - (interval.total_end - this_end));
 434             int abs = Math.Abs (diff);
 435
 436             if (abs < this_end - this_start)
 437               break;
 438             if (diff < 0)
 439               {
 440                 interval = interval.promote_right ();
 441                 interval.left.balance ();
 442               }
 443             else
 444               {
 445                 interval = interval.promote_left ();
 446                 interval.right.balance ();
 447               }
 448           }
 449         return interval;
 450       }
 451
 452       public MInterval CopyTree (int start, int end)
 453       {
 454         MInterval interval_start, interval_end, interval;
 455         int offset_start, offset_end;
 456
 457         start <<= 2;
 458         end  <<= 2;
 459         interval_start = find (start, out offset_start);
 460         interval_end = find (end, out offset_end);
 461
 462         interval = new MInterval ();
 463         interval.total_start = 0;
 464         interval.total_end = end - start;
 465         interval.stack = new Stack<MTextProperty> (interval_start.stack);
 466         interval = interval.divide_right (offset_start);
 467         while (interval_start != interval_end)
 468           {
 469             interval_start = interval_start.Right;
 470             interval = interval.divide_right (interval_start.End
 471                                               - interval_start.Start);
 472           }
 473         return interval;
 474       }
 475
 476       private MInterval CopyNode ()
 477       {
 478         return new MInterval (total_start, total_end, stack);
 479       }
 480
 481       private int Start {
 482         get {
 483           return (left == null ? total_start : total_start + left.total_end);
 484         }
 485       }
 486
 487       private int End {
 488         get {
 489           return (right == null ? total_end : total_end + right.total_start);
 490         }
 491       }
 492
 493       private MInterval Left {
 494         get {
 495           MInterval interval;
 496
 497           if (left != null)
 498             for (interval = left;
 499                  interval.right != null;
 500                  interval = interval.right);
 501           else
 502             for (interval = parent;
 503                  interval != null && interval.total_start == 0;
 504                  interval = interval.parent);
 505
 506           return interval;
 507         }
 508       }
 509
 510       private MInterval Right {
 511         get {
 512           MInterval interval;
 513
 514           if (right != null)
 515             for (interval = right;
 516                  interval.left != null;
 517                  interval = interval.left);
 518           else
 519             for (interval = parent;
 520                  interval != null && interval.total_start < 0;
 521                  interval = interval.parent);
 522
 523           return interval;
 524         }
 525       }
 526
 527       public void Push (int start, int end, MTextProperty prop)
 528       {
 529         start <<= 2;
 530         if (prop.FrontSticky)
 531           start--;
 532         else
 533           start++;
 534         end <<= 2;
 535         if (prop.RearSticky)
 536           end++;
 537         else
 538           end--;
 539         if (start >= end)
 540           throw new Exception ("Invalid Text Property Range");
 541
 542         push (start, end, prop);
 543       }
 544
 545       public void Insert (int pos, MInterval interval)
 546       {
 547         if (pos < Start)
 548           Left.Insert (pos - total_start, interval);
 549         else if (pos > End)
 550           Right.Insert (pos - total_end, interval);
 551         else
 552           {
 553             // position:    0           1           2           3
 554             // index:   -1  0  1  2  3  4  5  6  7  8  9  10 11 12 13
 555             // this      |<----------<-------------->->|
 556             //           |<--------->|              |<>|
 557             //
 558             // interval                 |<->----->->|
 559             //
 560             // new       |<----------<----->----->-->------------>->|
 561             //           |<--------->|     |<---->-->------------>->|
 562             //                                      |<----------->->|
 563             //                                                   |<>|
 564             int len = interval.total_end - interval.total_start;
 565             MInterval temp;
 566
 567             total_end += len;
 568             for (temp = this; temp.parent != null;
 569                  temp = temp.parent)
 570               temp.parent.total_end += len;
 571             if (End - pos < interval.End)
 572               {
 573
 574
 575               }
 576
 577             temp = divide_right (Start + 2);
 578             temp.left = interval;
 579             right = interval;
 580           }
 581
 582
 583       }
 584
 585       private MInterval divide_right (int pos)
 586       {
 587         MInterval interval = CopyNode ();
 588         int this_start = Start;
 589         int this_end = End;
 590
 591         if (left == null
 592             || (right != null && left.total_end < - right.total_start))
 593           {
 594             interval.left = this;
 595             interval.right = right;
 596             interval.parent = parent;
 597             if (parent != null)
 598               {
 599                 if (total_start == 0)
 600                   parent.left = interval;
 601                 else
 602                   parent.right = interval;
 603               }
 604             total_start = 0;
 605             total_end = pos - this_start;
 606           }
 607         else
 608           {
 609             interval.total_start = pos - this_end;
 610             interval.total_end = 0;
 611             if (right != null)
 612               right.parent = interval;
 613             right = interval;
 614           }
 615
 616         return interval;
 617       }
 618
 619       private MInterval divide_left (int pos)
 620       {
 621         MInterval interval = CopyNode ();
 622         int this_start = Start;
 623         int this_end = End;
 624
 625         if (left == null
 626             || (right != null && left.total_end < - right.total_start))
 627           {
 628             interval.total_start = 0;
 629             interval.total_end = pos - this_start;
 630             if (left != null)
 631               left.parent = interval;
 632             left = interval;
 633           }
 634         else
 635           {
 636             interval.right = this;
 637             interval.left = left;
 638             interval.parent = parent;
 639             if (parent != null)
 640               {
 641                 if (total_start == 0)
 642                   parent.left = interval;
 643                 else
 644                   parent.right = interval;
 645               }
 646             total_start = pos - this_end;
 647             total_end = 0;
 648           }
 649
 650         return interval;
 651       }
 652
 653       private void push (int start, int end, MTextProperty prop)
 654       {
 655         int this_start = Start;
 656         int this_end = End;
 657
 658         if (start < this_start)
 659           {
 660             if (end <= this_start)
 661               {
 662                 Left.push (start, end, prop);
 663                 return;
 664               }
 665             Left.push (start, this_start, prop);
 666             start = this_start;
 667           }
 668         if (this_end < end)
 669           {
 670             if (this_end < start)
 671               {
 672                 Right.push (start, end, prop);
 673                 return;
 674               }
 675             Right.push (this_end, end, prop);
 676             end = this_end;
 677           }
 678         if (this_start < start)
 679           divide_left (start);
 680         if (end < this_end)
 681           divide_right (end);
 682         stack.Push (prop);
 683       }
 684     }
 685
 686     private class MTextEnum : IEnumerator
 687     {
 688       private MText mt;
 689       private int pos = -1;
 690
 691       public MTextEnum (MText mt)
 692         {
 693           this.mt = mt;
 694         }
 695
 696       public bool MoveNext ()
 697       {
 698         pos++;
 699         return (pos < mt.nchars);
 700       }
 701
 702       public void Reset ()
 703       {
 704         pos = -1;
 705       }
 706
 707       public object Current
 708       {
 709         get {
 710           //if (pos < 0 || pos >= mt.nchars)
 711           //throw new InvalidOperationException ();
 712           return mt[pos];
 713         }
 714       }
 715     }
 716   }
 717 }