ginac/archive.cpp

   1 /** @file archive.cpp
   2  *
   3  *  Archiving of GiNaC expressions. */
   4
   5 /*
   6  *  GiNaC Copyright (C) 1999-2020 Johannes Gutenberg University Mainz, Germany
   7  *
   8  *  This program is free software; you can redistribute it and/or modify
   9  *  it under the terms of the GNU General Public License as published by
  10  *  the Free Software Foundation; either version 2 of the License, or
  11  *  (at your option) any later version.
  12  *
  13  *  This program is distributed in the hope that it will be useful,
  14  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  16  *  GNU General Public License for more details.
  17  *
  18  *  You should have received a copy of the GNU General Public License
  19  *  along with this program; if not, write to the Free Software
  20  *  Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA
  21  */
  22
  23 #include "archive.h"
  24 #include "registrar.h"
  25 #include "ex.h"
  26 #include "lst.h"
  27 #ifdef HAVE_CONFIG_H
  28 #include "config.h"
  29 #endif
  30 #include "version.h"
  31
  32 #include <iostream>
  33 #include <stdexcept>
  34
  35 namespace GiNaC {
  36
  37
  38 void archive::archive_ex(const ex &e, const char *name)
  39 {
  40         // Create root node (which recursively archives the whole expression tree)
  41         // and add it to the archive
  42         archive_node_id id = add_node(archive_node(*this, e));
  43
  44         // Add root node ID to list of archived expressions
  45         archived_ex ae = archived_ex(atomize(name), id);
  46         exprs.emplace_back(ae);
  47 }
  48
  49
  50 /** Add archive_node to archive if the corresponding expression is
  51  *  not already archived.
  52  *  @return ID of archived node */
  53 archive_node_id archive::add_node(const archive_node &n)
  54 {
  55         // Look if expression is known to be in some node already.
  56         if (n.has_ex()) {
  57                 auto i = exprtable.find(n.get_ex());
  58                 if (i != exprtable.end())
  59                         return i->second;
  60                 nodes.push_back(n);
  61                 exprtable[n.get_ex()] = nodes.size() - 1;
  62                 return nodes.size() - 1;
  63         }
  64
  65         // Not found, add archive_node to nodes vector
  66         nodes.push_back(n);
  67         return nodes.size()-1;
  68 }
  69
  70
  71 /** Retrieve archive_node by ID. */
  72 archive_node &archive::get_node(archive_node_id id)
  73 {
  74         if (id >= nodes.size())
  75                 throw (std::range_error("archive::get_node(): archive node ID out of range"));
  76
  77         return nodes[id];
  78 }
  79
  80
  81 ex archive::unarchive_ex(const lst &sym_lst, const char *name) const
  82 {
  83         // Find root node
  84         std::string name_string = name;
  85         archive_atom id = atomize(name_string);
  86         auto i = exprs.begin(), iend = exprs.end();
  87         while (i != iend) {
  88                 if (i->name == id)
  89                         goto found;
  90                 i++;
  91         }
  92         throw (std::runtime_error("expression with name '" + name_string + "' not found in archive"));
  93
  94 found:
  95         // Recursively unarchive all nodes, starting at the root node
  96         lst sym_lst_copy = sym_lst;
  97         return nodes[i->root].unarchive(sym_lst_copy);
  98 }
  99
 100 ex archive::unarchive_ex(const lst &sym_lst, unsigned index) const
 101 {
 102         if (index >= exprs.size())
 103                 throw (std::range_error("index of archived expression out of range"));
 104
 105         // Recursively unarchive all nodes, starting at the root node
 106         lst sym_lst_copy = sym_lst;
 107         return nodes[exprs[index].root].unarchive(sym_lst_copy);
 108 }
 109
 110 ex archive::unarchive_ex(const lst &sym_lst, std::string &name, unsigned index) const
 111 {
 112         if (index >= exprs.size())
 113                 throw (std::range_error("index of archived expression out of range"));
 114
 115         // Return expression name
 116         name = unatomize(exprs[index].name);
 117
 118         // Recursively unarchive all nodes, starting at the root node
 119         lst sym_lst_copy = sym_lst;
 120         return nodes[exprs[index].root].unarchive(sym_lst_copy);
 121 }
 122
 123 unsigned archive::num_expressions() const
 124 {
 125         return exprs.size();
 126 }
 127
 128 const archive_node &archive::get_top_node(unsigned index) const
 129 {
 130         if (index >= exprs.size())
 131                 throw (std::range_error("index of archived expression out of range"));
 132
 133         return nodes[exprs[index].root];
 134 }
 135
 136
 137 /*
 138  *  Archive file format
 139  *
 140  *   - 4 bytes signature 'GARC'
 141  *   - unsigned version number
 142  *   - unsigned number of atoms
 143  *      - atom strings (each zero-terminated)
 144  *   - unsigned number of expressions
 145  *      - unsigned name atom
 146  *      - unsigned root node ID
 147  *   - unsigned number of nodes
 148  *      - unsigned number of properties
 149  *        - unsigned containing type (PTYPE_*) in its lower 3 bits and
 150  *          name atom in the upper bits
 151  *        - unsigned property value
 152  *
 153  *  Unsigned quantities are stored in a compressed format:
 154  *   - numbers in the range 0x00..0x7f are stored verbatim (1 byte)
 155  *   - numbers larger than 0x7f are stored in 7-bit packets (1 byte per
 156  *     packet), starting with the LSBs; all bytes except the last one have
 157  *     their upper bit set
 158  *
 159  *  Examples:
 160  *   0x00           =   0x00
 161  *    ..                 ..
 162  *   0x7f           =   0x7f
 163  *   0x80 0x01      =   0x80
 164  *    ..   ..            ..
 165  *   0xff 0x01      =   0xff
 166  *   0x80 0x02      =  0x100
 167  *    ..   ..            ..
 168  *   0xff 0x02      =  0x17f
 169  *   0x80 0x03      =  0x180
 170  *    ..   ..            ..
 171  *   0xff 0x7f      = 0x3fff
 172  *   0x80 0x80 0x01 = 0x4000
 173  *    ..   ..   ..       ..
 174  */
 175
 176 /** Write unsigned integer quantity to stream. */
 177 static void write_unsigned(std::ostream &os, unsigned val)
 178 {
 179         while (val >= 0x80) {
 180                 os.put((val & 0x7f) | 0x80);
 181                 val >>= 7;
 182         }
 183         os.put(val);
 184 }
 185
 186 /** Read unsigned integer quantity from stream. */
 187 static unsigned read_unsigned(std::istream &is)
 188 {
 189         unsigned char b;
 190         unsigned ret = 0;
 191         unsigned shift = 0;
 192         do {
 193                 char b2;
 194                 is.get(b2);
 195                 b = b2;
 196                 ret |= (b & 0x7f) << shift;
 197                 shift += 7;
 198         } while (b & 0x80);
 199         return ret;
 200 }
 201
 202 /** Write archive_node to binary data stream. */
 203 std::ostream &operator<<(std::ostream &os, const archive_node &n)
 204 {
 205         // Write properties
 206         unsigned num_props = n.props.size();
 207         write_unsigned(os, num_props);
 208         for (unsigned i=0; i<num_props; i++) {
 209                 write_unsigned(os, n.props[i].type | (n.props[i].name << 3));
 210                 write_unsigned(os, n.props[i].value);
 211         }
 212         return os;
 213 }
 214
 215 /** Write archive to binary data stream. */
 216 std::ostream &operator<<(std::ostream &os, const archive &ar)
 217 {
 218         // Write header
 219         os.put('G');    // Signature
 220         os.put('A');
 221         os.put('R');
 222         os.put('C');
 223         write_unsigned(os, GINACLIB_ARCHIVE_VERSION);
 224
 225         // Write atoms
 226         unsigned num_atoms = ar.atoms.size();
 227         write_unsigned(os, num_atoms);
 228         for (unsigned i=0; i<num_atoms; i++)
 229                 os << ar.atoms[i] << std::ends;
 230
 231         // Write expressions
 232         unsigned num_exprs = ar.exprs.size();
 233         write_unsigned(os, num_exprs);
 234         for (unsigned i=0; i<num_exprs; i++) {
 235                 write_unsigned(os, ar.exprs[i].name);
 236                 write_unsigned(os, ar.exprs[i].root);
 237         }
 238
 239         // Write nodes
 240         unsigned num_nodes = ar.nodes.size();
 241         write_unsigned(os, num_nodes);
 242         for (unsigned i=0; i<num_nodes; i++)
 243                 os << ar.nodes[i];
 244         return os;
 245 }
 246
 247 /** Read archive_node from binary data stream. */
 248 std::istream &operator>>(std::istream &is, archive_node &n)
 249 {
 250         // Read properties
 251         unsigned num_props = read_unsigned(is);
 252         n.props.resize(num_props);
 253         for (unsigned i=0; i<num_props; i++) {
 254                 unsigned name_type = read_unsigned(is);
 255                 n.props[i].type = (archive_node::property_type)(name_type & 7);
 256                 n.props[i].name = name_type >> 3;
 257                 n.props[i].value = read_unsigned(is);
 258         }
 259         return is;
 260 }
 261
 262 /** Read archive from binary data stream. */
 263 std::istream &operator>>(std::istream &is, archive &ar)
 264 {
 265         // Read header
 266         char c1, c2, c3, c4;
 267         is.get(c1); is.get(c2); is.get(c3); is.get(c4);
 268         if (c1 != 'G' || c2 != 'A' || c3 != 'R' || c4 != 'C')
 269                 throw (std::runtime_error("not a GiNaC archive (signature not found)"));
 270         constexpr unsigned max_version = GINACLIB_ARCHIVE_VERSION;
 271         constexpr unsigned min_version = GINACLIB_ARCHIVE_VERSION - GINACLIB_ARCHIVE_AGE;
 272         unsigned version = read_unsigned(is);
 273         if ((version > max_version) || (version < min_version))
 274                 throw (std::runtime_error("archive version " + std::to_string(version) + " cannot be read by this GiNaC library (which supports versions " + std::to_string(min_version) + " thru " + std::to_string(max_version)));
 275
 276         // Read atoms
 277         unsigned num_atoms = read_unsigned(is);
 278         ar.atoms.resize(num_atoms);
 279         for (unsigned i=0; i<num_atoms; i++) {
 280                 getline(is, ar.atoms[i], '\0');
 281                 ar.inverse_atoms[ar.atoms[i]] = i;
 282         }
 283
 284         // Read expressions
 285         unsigned num_exprs = read_unsigned(is);
 286         ar.exprs.resize(num_exprs);
 287         for (unsigned i=0; i<num_exprs; i++) {
 288                 archive_atom name = read_unsigned(is);
 289                 archive_node_id root = read_unsigned(is);
 290                 ar.exprs[i] = archive::archived_ex(name, root);
 291         }
 292
 293         // Read nodes
 294         unsigned num_nodes = read_unsigned(is);
 295         ar.nodes.resize(num_nodes, ar);
 296         for (unsigned i=0; i<num_nodes; i++)
 297                 is >> ar.nodes[i];
 298         return is;
 299 }
 300
 301
 302 /** Atomize a string (i.e. convert it into an ID number that uniquely
 303  *  represents the string). */
 304 archive_atom archive::atomize(const std::string &s) const
 305 {
 306         // Search for string in inverse_atoms map.
 307         inv_at_cit i = inverse_atoms.find(s);
 308         if (i!=inverse_atoms.end())
 309                 return i->second;
 310
 311         // Not found, add to atoms vector
 312         archive_atom id = atoms.size();
 313         atoms.push_back(s);
 314         inverse_atoms[s] = id;
 315         return id;
 316 }
 317
 318 /** Unatomize a string (i.e. convert the ID number back to the string). */
 319 const std::string &archive::unatomize(archive_atom id) const
 320 {
 321         if (id >= atoms.size())
 322                 throw (std::range_error("archive::unatomize(): atom ID out of range"));
 323
 324         return atoms[id];
 325 }
 326
 327
 328 /** Assignment operator of archive_node. */
 329 const archive_node &archive_node::operator=(const archive_node &other)
 330 {
 331         if (this != &other) {
 332                 // archive &a member doesn't get copied
 333                 props = other.props;
 334                 has_expression = other.has_expression;
 335                 e = other.e;
 336         }
 337         return *this;
 338 }
 339
 340
 341 /** Recursively construct archive node from expression. */
 342 archive_node::archive_node(archive &ar, const ex &expr)
 343   : a(ar), has_expression(true), e(expr)
 344 {
 345         expr.bp->archive(*this);
 346 }
 347
 348
 349 /** Check if the archive_node stores the same expression as another
 350  *  archive_node.
 351  *  @return "true" if expressions are the same */
 352 bool archive_node::has_same_ex_as(const archive_node &other) const
 353 {
 354         if (!has_expression || !other.has_expression)
 355                 return false;
 356         return e.bp == other.e.bp;
 357 }
 358
 359 archive_node::archive_node_cit
 360 archive_node::find_first(const std::string &name) const
 361 {
 362         archive_atom name_atom = a.atomize(name);
 363         for (auto i=props.begin(); i!=props.end(); ++i)
 364                 if (i->name == name_atom)
 365                         return i;
 366         return props.end();
 367 }
 368
 369 archive_node::archive_node_cit
 370 archive_node::find_last(const std::string &name) const
 371 {
 372         archive_atom name_atom = a.atomize(name);
 373         for (auto i=props.end(); i!=props.begin();) {
 374                 --i;
 375                 if (i->name == name_atom)
 376                         return i;
 377         }
 378         return props.end();
 379 }
 380
 381 archive_node::archive_node_cit_range
 382 archive_node::find_property_range(const std::string &name1, const std::string &name2) const
 383 {
 384         archive_atom name1_atom = a.atomize(name1),
 385                      name2_atom = a.atomize(name2);
 386         archive_node_cit_range range = {props.end(), props.end()};
 387         for (auto i=props.begin(); i!=props.end(); ++i) {
 388                 if (i->name == name1_atom && range.begin == props.end()) {
 389                         range.begin = i;
 390                 }
 391                 if (i->name == name2_atom && range.begin != props.end()) {
 392                         range.end = i + 1;
 393                 }
 394         }
 395         return range;
 396 }
 397
 398 void archive_node::add_bool(const std::string &name, bool value)
 399 {
 400         props.emplace_back(property(a.atomize(name), PTYPE_BOOL, value));
 401 }
 402
 403 void archive_node::add_unsigned(const std::string &name, unsigned value)
 404 {
 405         props.emplace_back(property(a.atomize(name), PTYPE_UNSIGNED, value));
 406 }
 407
 408 void archive_node::add_string(const std::string &name, const std::string &value)
 409 {
 410         props.emplace_back(property(a.atomize(name), PTYPE_STRING, a.atomize(value)));
 411 }
 412
 413 void archive_node::add_ex(const std::string &name, const ex &value)
 414 {
 415         // Recursively create an archive_node and add its ID to the properties of this node
 416         archive_node_id id = a.add_node(archive_node(a, value));
 417         props.emplace_back(property(a.atomize(name), PTYPE_NODE, id));
 418 }
 419
 420
 421 bool archive_node::find_bool(const std::string &name, bool &ret, unsigned index) const
 422 {
 423         archive_atom name_atom = a.atomize(name);
 424         auto i = props.begin(), iend = props.end();
 425         unsigned found_index = 0;
 426         while (i != iend) {
 427                 if (i->type == PTYPE_BOOL && i->name == name_atom) {
 428                         if (found_index == index) {
 429                                 ret = i->value;
 430                                 return true;
 431                         }
 432                         found_index++;
 433                 }
 434                 i++;
 435         }
 436         return false;
 437 }
 438
 439 bool archive_node::find_unsigned(const std::string &name, unsigned &ret, unsigned index) const
 440 {
 441         archive_atom name_atom = a.atomize(name);
 442         auto i = props.begin(), iend = props.end();
 443         unsigned found_index = 0;
 444         while (i != iend) {
 445                 if (i->type == PTYPE_UNSIGNED && i->name == name_atom) {
 446                         if (found_index == index) {
 447                                 ret = i->value;
 448                                 return true;
 449                         }
 450                         found_index++;
 451                 }
 452                 i++;
 453         }
 454         return false;
 455 }
 456
 457 bool archive_node::find_string(const std::string &name, std::string &ret, unsigned index) const
 458 {
 459         archive_atom name_atom = a.atomize(name);
 460         auto i = props.begin(), iend = props.end();
 461         unsigned found_index = 0;
 462         while (i != iend) {
 463                 if (i->type == PTYPE_STRING && i->name == name_atom) {
 464                         if (found_index == index) {
 465                                 ret = a.unatomize(i->value);
 466                                 return true;
 467                         }
 468                         found_index++;
 469                 }
 470                 i++;
 471         }
 472         return false;
 473 }
 474
 475 void archive_node::find_ex_by_loc(archive_node_cit loc, ex &ret, lst &sym_lst) const
 476 {
 477         ret = a.get_node(loc->value).unarchive(sym_lst);
 478 }
 479
 480 bool archive_node::find_ex(const std::string &name, ex &ret, lst &sym_lst, unsigned index) const
 481 {
 482         archive_atom name_atom = a.atomize(name);
 483         auto i = props.begin(), iend = props.end();
 484         unsigned found_index = 0;
 485         while (i != iend) {
 486                 if (i->type == PTYPE_NODE && i->name == name_atom) {
 487                         if (found_index == index) {
 488                                 ret = a.get_node(i->value).unarchive(sym_lst);
 489                                 return true;
 490                         }
 491                         found_index++;
 492                 }
 493                 i++;
 494         }
 495         return false;
 496 }
 497
 498 const archive_node &archive_node::find_ex_node(const std::string &name, unsigned index) const
 499 {
 500         archive_atom name_atom = a.atomize(name);
 501         auto i = props.begin(), iend = props.end();
 502         unsigned found_index = 0;
 503         while (i != iend) {
 504                 if (i->type == PTYPE_NODE && i->name == name_atom) {
 505                         if (found_index == index)
 506                                 return a.get_node(i->value);
 507                         found_index++;
 508                 }
 509                 i++;
 510         }
 511         throw (std::runtime_error("property with name '" + name + "' not found in archive node"));
 512 }
 513
 514
 515 void archive_node::get_properties(propinfovector &v) const
 516 {
 517         v.clear();
 518         auto i = props.begin(), iend = props.end();
 519         while (i != iend) {
 520                 property_type type = i->type;
 521                 std::string name = a.unatomize(i->name);
 522
 523                 auto a = v.begin(), aend = v.end();
 524                 bool found = false;
 525                 while (a != aend) {
 526                         if (a->type == type && a->name == name) {
 527                                 a->count++;
 528                                 found = true;
 529                                 break;
 530                         }
 531                         ++a;
 532                 }
 533                 if (!found)
 534                         v.emplace_back(property_info(type, name));
 535                 i++;
 536         }
 537 }
 538
 539 static synthesize_func find_factory_fcn(const std::string& name)
 540 {
 541         static unarchive_table_t the_table;
 542         synthesize_func ret = the_table.find(name);
 543         return ret;
 544 }
 545
 546 /** Convert archive node to GiNaC expression. */
 547 ex archive_node::unarchive(lst &sym_lst) const
 548 {
 549         // Already unarchived? Then return cached unarchived expression.
 550         if (has_expression)
 551                 return e;
 552
 553         // Find instantiation function for class specified in node
 554         std::string class_name;
 555         if (!find_string("class", class_name))
 556                 throw (std::runtime_error("archive node contains no class name"));
 557
 558         // Call instantiation function
 559         synthesize_func factory_fcn = find_factory_fcn(class_name);
 560         ptr<basic> obj(factory_fcn());
 561         obj->setflag(status_flags::dynallocated);
 562         obj->read_archive(*this, sym_lst);
 563         e = ex(*obj);
 564         has_expression = true;
 565         return e;
 566 }
 567
 568 int unarchive_table_t::usecount = 0;
 569 unarchive_map_t* unarchive_table_t::unarch_map = nullptr;
 570
 571 unarchive_table_t::unarchive_table_t()
 572 {
 573         if (usecount == 0)
 574                 unarch_map = new unarchive_map_t();
 575         ++usecount;
 576 }
 577
 578 synthesize_func unarchive_table_t::find(const std::string& classname) const
 579 {
 580         unarchive_map_t::const_iterator i = unarch_map->find(classname);
 581         if (i != unarch_map->end())
 582                 return i->second;
 583         throw std::runtime_error(std::string("no unarchiving function for \"")
 584                         + classname + "\" class");
 585 }
 586
 587 void unarchive_table_t::insert(const std::string& classname, synthesize_func f)
 588 {
 589         if (unarch_map->find(classname) != unarch_map->end())
 590                 throw std::runtime_error(std::string("Class \"" + classname
 591                                         + "\" is already registered"));
 592         unarch_map->operator[](classname) = f;
 593 }
 594
 595 unarchive_table_t::~unarchive_table_t()
 596 {
 597         if (--usecount == 0)
 598                 delete unarch_map;
 599 }
 600
 601
 602 void archive::clear()
 603 {
 604         atoms.clear();
 605         inverse_atoms.clear();
 606         exprs.clear();
 607         nodes.clear();
 608         exprtable.clear();
 609 }
 610
 611
 612 /** Delete cached unarchived expressions in all archive_nodes (mainly for debugging). */
 613 void archive::forget()
 614 {
 615         for_each(nodes.begin(), nodes.end(), std::mem_fun_ref(&archive_node::forget));
 616 }
 617
 618 /** Delete cached unarchived expressions from node (for debugging). */
 619 void archive_node::forget()
 620 {
 621         has_expression = false;
 622         e = 0;
 623 }
 624
 625
 626 /** Print archive to stream in ugly raw format (for debugging). */
 627 void archive::printraw(std::ostream &os) const
 628 {
 629         // Dump atoms
 630         os << "Atoms:\n";
 631         {
 632                 std::vector<std::string>::const_iterator i = atoms.begin(), iend = atoms.end();
 633                 archive_atom id = 0;
 634                 while (i != iend) {
 635                         os << " " << id << " " << *i << std::endl;
 636                         i++; id++;
 637                 }
 638         }
 639         os << std::endl;
 640
 641         // Dump expressions
 642         os << "Expressions:\n";
 643         {
 644                 auto i = exprs.begin(), iend = exprs.end();
 645                 unsigned index = 0;
 646                 while (i != iend) {
 647                         os << " " << index << " \"" << unatomize(i->name) << "\" root node " << i->root << std::endl;
 648                         i++; index++;
 649                 }
 650         }
 651         os << std::endl;
 652
 653         // Dump nodes
 654         os << "Nodes:\n";
 655         {
 656                 auto i = nodes.begin(), iend = nodes.end();
 657                 archive_node_id id = 0;
 658                 while (i != iend) {
 659                         os << " " << id << " ";
 660                         i->printraw(os);
 661                         i++; id++;
 662                 }
 663         }
 664 }
 665
 666 /** Output archive_node to stream in ugly raw format (for debugging). */
 667 void archive_node::printraw(std::ostream &os) const
 668 {
 669         // Dump cached unarchived expression
 670         if (has_expression)
 671                 os << "(basic * " << e.bp << " = " << e << ")\n";
 672         else
 673                 os << "\n";
 674
 675         // Dump properties
 676         auto i = props.begin(), iend = props.end();
 677         while (i != iend) {
 678                 os << "  ";
 679                 switch (i->type) {
 680                         case PTYPE_BOOL: os << "bool"; break;
 681                         case PTYPE_UNSIGNED: os << "unsigned"; break;
 682                         case PTYPE_STRING: os << "string"; break;
 683                         case PTYPE_NODE: os << "node"; break;
 684                         default: os << "<unknown>"; break;
 685                 }
 686                 os << " \"" << a.unatomize(i->name) << "\" " << i->value << std::endl;
 687                 i++;
 688         }
 689 }
 690
 691
 692 } // namespace GiNaC