hivex: Add HIVEX_OPEN_WRITE flag to allow hive to be opened for writing.

If this flag is omitted (as in the case for all existing callers)
then the hive is still opened read-only.

We add a 'writable' flag to the hive handle, and we change the way
that the hive file (data) is stored.  The data is still mmapped if
the file is opened read-only, since that is more efficient and allows
us to handle larger hives.  However if we need to write to the file
then we have to read it all into memory, since if we had to extend the
file we need to realloc that data.

Note the manpage section L</WRITING TO HIVE FILES> comes in a later
commit.

Tools for analyzing and reverse engineering hive files.

This commit is not of general interest.  It contains the tools which
I used to reverse engineer the hive format and to test changes.
Keeping these with the rest of the code is useful in case in future
we encounter a hive file that we fail to modify.

Note that the tools are not compiled by default.  You have to compile
each explicitly with:

  make -C hivex/tools <toolname>.opt

You will also need ocaml-extlib-devel and ocaml-bitstring-devel.

hivexsh: Change some exit(1) -> exit(EXIT_FAILURE)

hivexsh: Only print final \n when interactive.

When hivexsh was called non-interactively, it would print an
annoying extra line.  Only print this line if we are being
used interactively.

hivexsh: Change handling of prompt argument to rl_gets()

Make the result of isatty into a global variable (is_tty).

Change the rl_gets() function so it takes the prompt string
instead of a "display prompt?" flag.  rl_gets() then consults
the global to find out if it should display the prompt at all.

Document that this flag is clear for default keys.

Misc documentation and gitignore update.

Move htole*/le*toh macros into a separate header file.

This allows us to reuse these macros in hivexsh later.

Add Marathi translations (RHBZ#561671).

Polish translations (RHBZ#502533).

Update PO files.

Add Gujarti translations (Sweta Kothari) (RHBZ#560918).

Update Oriya translations (thanks Manoj Kumar Giri) (RHBZ#559498).

hivex: Reimplement hivexget as a simple shell script.

hivexget is currently a large C program.  Now that we have hivexsh
(the shell) we can reimplement hivexget as a simple bash script that
calls out to hivexsh.

hivex: Add 'hivexsh' program (shell for navigating registry hives).

Set locale in C programs so l10n works (RHBZ#559962).

This commit adds the calls to setlocale &c to all of the current
C programs.

It also adds l10n support to hivexget and hivexml which lacked them
previously.

To test this, try:

LANG=pa_IN.UTF-8 guestfish --cmd-help

(You can only do this test after installing the package, or at
least the 'pa.mo' mo-file in the correct place).

Another unreadable file: /var/log/yum.log

Update PO files.

Add Tamil translation (RHBZ#559877) (thanks to I.Felix)

Update Punjabi translation (RHBZ#559480) (thanks Jaswinder Singh)

Fix regressions/rhbz557655.sh when debugging is enabled (v2).

The previous fix didn't cope with ordinary warnings emitted by
qemu (eg. "open /dev/kvm: No such file or directory").  This
is a hopefully more complete fix for the problem.

See also commit 3cd7ce75f1ce5048a4d9f6aeaf66aff3194e1096.

Fix regressions/rhbz557655.sh when debugging is enabled.

The regression test for RHBZ#557655 would fail if debugging was
enabled, because debug output would get mixed up with the test
output.

To reproduce the error do:

LIBGUESTFS_DEBUG=1 make -C regressions TESTS=rhbz557655.sh check

This commit disables debug for just this test.

Implement 'vgrename' and 'lvrename' APIs.

Version 1.0.82.

hivex: Const-correctness fix on header_checksum (thanks Jim Meyering).

hivex: Update some previously unknown nk-record fields.

Update these fields with what we found out from reverse engineering
the file.  Also bring the unknownX field names into line with
visualizer.ml.

hivex: Fix calculation of block size for vk data blocks.

hivex: Display incorrect block size as unsigned in an error message.

hivex: display bad block offset in hex

hivex: hive type in vk-record is an unsigned 32 bit int

hivex: Add missing le32toh conversion around field access.

This was missing.  It only worked because we test on a little
endian platform.

hivex: Clarify some more fields.

Taken from sentinelchicken.com documentation.

hivex: Modify children/values functions to return intermediate blocks.

Modify the functions that return child subnodes and values so they
can also be used to return a list of the intermediate blocks.  This
is so we can delete those intermediate blocks (in a later commit).

We also introduce an offset_list structure which is used for collecting
lists of offsets, ie. lists of nodes, values or blocks.

Note that this commit should not change the semantics of the code.

hivex: Add value_any callback to the visitor.

The visitor currently contains lots of value_* callbacks, such as
value_string which is called back when the value has type string.

This is fine but it makes it complicated to deal with the case where
you just want to see 'a value', and don't care about its type.

The value_any callback allows visitors to see values generically.

hivex: Move header checksum code into a function.

This function can be reused later.

hivex: page 'offset_next' field is really 'page_size'.

The documentation, as usual, is contradictory.  However this
field is definitely the page size in all observed registries.
Furthermore the following field marked 'unknown' is always
zero, although this contradicts what the sentinelchicken.com
paper says.

hivex: Collect more statistics about registries.

hivex: Store filename in hive handle.

Added Oriya translations (RHBZ#559498).

Translation by Manoj Kumar Giri.

supermin: Add special case for libgcc_s-*.so.N

Because this file contains the GCC version and a date, it frequently
changes on the host.  Create a special case so that this file is
matched using a wildcard for the version/date part of the name.

Added translations for Punjabi (pa-IN) (RHBZ#559480).

Translated by Jaswinder Singh.

Also updated pot files.

supermin: Prevent multilib corruption (RHBZ#558593).

On some combination of installing, upgrading and removing the base
libguestfs package on x86_64, multilib can corrupt libguestfs by
leaving a copy of /usr/bin/libguestfs-supermin-helper around which
references the wrong architecture (usually, contains links to the
i386-based appliance, when the x86_64 appliance should be constructed).

This commit changes libguestfs-supermin-helper so that the script is
the same on all architectures.  Instead, the library passes the
differences to the script (eg. $host_cpu).  Because the i386 and
x86_64 libraries should be at different locations (/usr/lib vs
/usr/lib64) this should prevent multilib from screwing things up.

Related links:
https://bugzilla.redhat.com/show_bug.cgi?id=558593
http://rwmj.wordpress.com/2009/11/16/please-someone-shoot-multilib/#content
https://bugzilla.redhat.com/show_bug.cgi?id=235752

Added Telugu translations (RHBZ#559237).

Also ran 'make -C po update-po' to update the POT file.

supermin: Ignore more unreadable files found on RHEL 6.

Sync to latest Gnulib.

guestfish: Use xstrtol to parse integers (RHBZ#557655).

Current code uses atoi to parse the generator Int type and
atoll to parse the generator Int64 type.  The problem with the
ato* functions is that they don't cope with errors very well,
and they cannot parse numbers that begin with 0.. or 0x..
for octal and hexadecimal respectively.

This replaces the atoi call with a call to Gnulib xstrtol
and the atoll call with a call to Gnulib xstrtoll.

The generated code looks like this for all Int arguments:

  {
    strtol_error xerr;
    long r;

    xerr = xstrtol (argv[0], NULL, 0, &r, "");
    if (xerr != LONGINT_OK) {
      fprintf (stderr,
               _("%s: %s: invalid integer parameter (%s returned %d)\n"),
               cmd, "memsize", "xstrtol", xerr);
      return -1;
    }
    /* The Int type in the generator is a signed 31 bit int. */
    if (r < (-(2LL<<30)) || r > ((2LL<<30)-1)) {
      fprintf (stderr, _("%s: %s: integer out of range\n"), cmd, "memsize");
      return -1;
    }
    /* The check above should ensure this assignment does not overflow. */
    memsize = r;
  }

and like this for all Int64 arguments (note we don't need the
range check for these):

  {
    strtol_error xerr;
    long long r;

    xerr = xstrtoll (argv[1], NULL, 0, &r, "");
    if (xerr != LONGINT_OK) {
      fprintf (stderr,
               _("%s: %s: invalid integer parameter (%s returned %d)\n"),
               cmd, "size", "xstrtoll", xerr);
      return -1;
    }
    size = r;
  }

Note this also fixes an unrelated bug in guestfish handling of
RBufferOut.  We were using 'fwrite' without checking the return
value, and this could have caused silent failures, eg. in the case
where there was not enough disk space to store the resulting file,
or even if the program was interrupted (but continued) during the
write.

Replace this with Gnulib 'full-write', and check the return value
and report errors.

Add 'filesize' call.

Returns the size of a file.  You can already do this with 'stat',
but this call is good for scripting.

Missing crc kernel module on RHEL 6 / Linux 2.6.32 (fixes RHBZ#557195)

hivex: Various improvements in header parsing, thanks to better documentation.

hivex: Print header fields.  Print all offsets in hex (in debug output).

hivex: Reenable checksum calculations, but don't check result.

hivex: Update documentation.

hivex: Send all debug messages to stderr.

hivex: Remove stray debugging message.

hivex: Documentation: Add environment variables section.

hivex: Whitespace change.

hivex: Move STR* macros into C file.

Don't pollute the public header file with these macros.

hivex: Small updates to the documentation.

Fix generation of HTML documentation for website.

Add guestfs.pod and guestfish.pod to EXTRA_DIST.

Prepare for version 1.0.81.

Update to latest Gnulib.

qemu: Upstream regression of -stdio serial option.

Best explained by the comment in the code:

    /* Newer versions of qemu (from around 2009/12) changed the
     * behaviour of monitors so that an implicit '-monitor stdio' is
     * assumed if we are in -nographic mode and there is no other
     * -monitor option.  Only a single stdio device is allowed, so
     * this broke the '-serial stdio' option.  There is a new flag
     * called -nodefaults which gets rid of all this default crud, so
     * let's use that to avoid this and any future surprises.
     */

inspector: Update example XML and RNG schema.

This updates commit a59dcdbd1b0a28c960e3792165a13f2daf4f6c35.

inspector: Make RPM application data more specific (RHBZ#552718).

List applications with epoch, release and arch data.

If epoch is 0, don't store this as an empty string, but as
undefined, and don't output empty <epoch/> element in the XML.

Use linker script to control visibility of symbols.

generator: Move all library generation code together.

generator: Print total lines of generated code.

C#: Add documentation about experimental nature of these bindings.

Experimental C# bindings.

Tested in only limited situations, with Mono on Linux.

Update copyright years.

Move guestfs(3) and guestfish(1) man pages into subdirectories.

These manual pages have for a very long time 'lived' in the top
source directory.

Clean up this situation by moving those manual pages (plus associated
generated files) into the src/ and fish/ subdirectories respectively.

generator: Move src/guestfs-bindtests.c next to other src/ files.

generator: Use Continuation Passing Style (CPS) in output_to function.

This makes the code simpler, shorter and less error-prone.

generator: Rename GPLv2 to GPLv2plus, LGPLv2 to LGPLv2plus.

The licenses are "any later version", so reflect this in the
naming of the parameter to generate_header.

generated code: Set copyright years to 2009-xxxx when current year > 2009.

Remove separate inspector_generator.ml, combine this with generator.ml.

This commit combines the previously separate "inspector_generator.ml"
program which generated bindings for virt-inspector.

Having two separate programs caused no end of troubles for developers,
so we now combine them into a single program.

NOTE: OCaml xml-light is now *required* in order to rebuild the
generated code.

generator: Comment and whitespace changes only.

daemon: Work around udevsettle issue (RHBZ#548121).

Prepare for 1.0.80.

Include latest Polish translations (Piotr Drąg, RHBZ#502533).

Update PO files.

build: Fix typo in filename.

build: Remove references to old contrib/ files which were removed.

appliance: Special case handling for libbfd in the supermin appliance.

The libbfd library has a constantly changing, non-standard and
very long name, eg:

/usr/lib64/libbfd-2.20.51.0.2-7.fc13.so

Just add a special case to deal with this.  This fixes the guestfs_strings
command, which relies on the external strings binary which uses this
library.

appliance: Ignore unreadable dbus helper programs.

lib: Link with $(LTLIBTHREAD), required by Gnulib lock module.

This fixes commit cada248a53858341c91f70392e8f5b6e47d9b4fe.

appliance: Fix code which gets list of kernels.

The first 'ls' command was failing, so the second 'ls' command
would never run at all.

accommodate leading "+" in git submodule output

* cfg.mk (_submodule_hash): Also filter out "+".
* autogen.sh: Likewise.

lib: Add thread-safety to global list of handles.

This commit uses the Gnulib 'lock' module to implement a mutex on
the global list of handles which is stored by the library.

Note that Gnulib nicely avoids explicitly linking with -lpthread
unless the application program itself links to -lpthread.  Locks
are only enabled in multithreaded applications.

$ ldd src/.libs/libguestfs.so.0.217.0
linux-vdso.so.1 =>  (0x00007fffcb7ff000)
libc.so.6 => /lib64/libc.so.6 (0x00007f96a4e6c000)
/lib64/ld-linux-x86-64.so.2 (0x00007f96a544d000)

Please enter the commit message for your changes. Lines starting

daemon error handling: Define a new function reply_with_perror_errno.

This allows you to save the errno from a previous call and
pass it to reply_with_perror.

For example, original code:

  r = some_system_call ();
  err = errno;
  do_cleanup ();
  errno = err;
  if (r == -1) {
    reply_with_perror ("failed");
    return -1;
  }

can in future be changed to:

  r = some_system_call ();
  err = errno;
  do_cleanup ();
  if (r == -1) {
    reply_with_perror_errno (err, "failed");
    return -1;
  }

daemon error handling: recursive_mkdir shouldn't need to set errno.

daemon error handling: Clear errno before calling stub functions.

This just ensures that we accurately report errors, even if our
error path code doesn't set errno.  We won't end up with a bogus
errno left over from a previous call.

Whitespace change.

virt-rescue: Freshen documentation.

guestfish: Freshen documentation.

daemon: Move prototypes around to keep functions grouped logically.

Fix error handling in 'zero' function.

daemon/Win32: Add contributed test script to test daemon using Wine.

This test script allows you to test limited features of the
Windows daemon by running it on a standard Fedora host using
Wine.

Read contrib/README and contrib/guestfsd-in-wine.sh in detail
before using.

Ignore guestfsd.exe (Windows daemon).