test-tool: Add a 'run-test-tool-locally' script.

This can be used to run the test tool without installing it.
It sets the environment variables and command line arguments
up correctly to run the tool from the build directory.
(cherry picked from commit 06c906168c0a96662ad47473cfe5f2fb3c316757)

daemon: Don't warn about 'long long' usage.

This removes a fatal warning (-Werror) which stops compilation
on 32 bit machines.
(cherry picked from commit aa96881a512a144f4611a8e7c9801be9bb7ff9cf)

build: guestfs-structs.h was missing from libguestfs_la_SOURCES.
(cherry picked from commit 5fc69ce3ece5e4d4a3da9d78da244c4fa301b5ac)

perl: Document handle is a hashref.

For details see commit eb566f7dc7974b42ac65729a2e5e5bcee329a0a9.
(cherry picked from commit b8b0c99b46172712aa190f70182734934587af7b)

perl: Add documentation about testing availability of methods and features.
(cherry picked from commit 0f24424f357e854a9da382de11e4fe81305c8743)

Consistent use of 'void *opaque' to refer to opaque pointer in C API.

We inconsistently used 'void *data' or 'void *opaque' all over to
refer to the same thing.  Use 'void *opaque' in all places in the
published API and documentation.

Cherry picked from commit 867319ec5f9030d3c14c32e3302606f2bf11ac27.

Version 1.4.4.

build: Don't add version extra string to the version number.

If this string was non-empty, then it broke a lot of things because
autoconf and other parts of the build system were expecting this
string to contain a simple MAJOR.MINOR.RELEASE version number.

This requires changes to guestfish and guestmount so they use the
guestfs_version API to fetch the version from the library.  (The
Perl tools were already doing it this way).  In a way this is more
accurate, because it's no longer hard-coded in the binary, but
fetched from the dynamically linked libguestfs.so.
(cherry picked from commit 4932fdca3ca1e9002164a1c0b73876f32739d34d)

Version 1.4.3.

rescue: Fix typo in comment.
(cherry picked from commit daead56fae46a4fedfef176fa3ed1ba37f88a078)

Rename global 'xdr_str'.

Two bits of XDR both contained a definition called 'str' which
means that 'xdr_str' was being exported globally twice.  Because
of the linker script this didn't affect us.  But it's best to
rename this global so that conflicts cannot arise.
(cherry picked from commit 27ef6f9171127afd248f38d280cf3d0eae51fdaf)

Add -nodefconfig command line option to qemu.

Without this option, qemu will read some defaults from /etc/qemu/
configuration files.
(cherry picked from commit 6d15d4e7c27477507ba355384a340ce86cec617b)

Don't print debug messages when not in verbose mode.

Don't print them because no one's listening ...
(cherry picked from commit 5c1346dae72064f7fd9c2afe5517afc6f050cd9a)

Make print_timestamped_message into a cross-module function.

This is just code movement.
(cherry picked from commit 4b753c62089be663ac722e4a875bb061d259e87d)

Factor out code for locating the temporary directory.

This is just code movement.

For stable-1.4 branch, cherry picked from
commit a2d4a8bf073c3551d174bd6c406e0cf3d27fb560
and backported.

Whitespace change: Add blank line between structures and functions.
(cherry picked from commit 4d2f1632ad655130fafab3bf7fe8fa5cb59705d8)

appliance: Remove some obsolete testing rules from Makefile.am

This haven't been used -- and haven't worked -- for a long time.
(cherry picked from commit c56fa58721a710aeb4a41bd73a472354a2128069)

generator: No need to redefine safe_* macros.

These are already defined in "guestfs-internal.h" which is
included in the .c file.
(cherry picked from commit 3cd272fc6acb043b4002dbcbbf741cecbc4820be)

Add safe_strndup call.
(cherry picked from commit 3905cc7ab496549b6ca0a0f67ec61d1d16968c33)

Version 1.4.2.

generator: Fix typo in error message for RConstOptString.
(cherry picked from commit 29925244c1be2d1d5f71d46eba205278624a1366)

Rename internal functions.

This is an update to commit 41f25ab3df5f306ac717fa7a6efd58328d30c1ae.

Internal functions should be named guestfs___* (3 underscores) to
avoid clashing with the implementation of actions (2 underscores).
(cherry picked from commit 737181bcd7b1de8c3a613d6282030c34efa78fb6)

Rearrange library code into separate files.

We split the library code into these separate files:

 - guestfs.c: creating handles, closing handles, handle-related variables
 - actions.c: generated library-side stubs for each action
 - bindtests.c: generated code to test bindings
 - launch.c: launching the appliance
 - proto.c: the library side of the daemon communications protocol

This is just code movement.

Cherry picked from commit 41f25ab3df5f306ac717fa7a6efd58328d30c1ae
and rebased for stable branch.

Rename guestfs-{actions,bindtests}.c to {actions,bindtests}.c

Rename these two generated files, in preparation for splitting
up the main src/guestfs.c file.
(cherry picked from commit a617f521a4f695a63ced1c734128dc6c05b7024f)

regressions: Don't print misleading 'Expect error ...' lines.

Some tests in the regressions directory deliberately print
error messages.  As long as they still PASS, this is OK.

However these tests also printed some misleading messages
about what error to expect.  Since error messages were slightly
different across distros, these messages were not accurate.

Therefore remove these messages, and replace with a general
message before all tests telling users not to worry about
errors from the tests as long as the tests don't fail.
(cherry picked from commit e7ee6eebed6ee3a5b56c0482ba2770e697d8febc)

Move variable initialization close to variable use.
(cherry picked from commit 2fd8c259d3daa88b0cdf98090bb57f3dbd178432)

Revert "add_drive_ro adds readonly=on option if available." (RHBZ#617200).

Adding the readonly=on option is not so clever.  This causes
qemu to present the disk as read-only to the guest.  (The
expected behaviour of snapshots=on,readonly=on was that it
would open the disk O_RDONLY but present a writable disk to
the guest).

Since the guest sees a read-only disk, we are unable to do any
recovery if a filesystem on the disk is inconsistent.  This basically
prevents most accesses to live disk images.

What we really want is a qemu option which presents a writable
disk to the guest, but only opens the disk on the host side with
O_RDONLY, to alleviate the udev bug RHBZ#571714.

This reverts commit 676462684e05dd8341dd695762dd99a87d8ec022.
(cherry picked from commit 799d52be4f08f6c70c0e8ba1aa7367ba4cdd78c4)

generator: Remove unnecessary parameter.

The 'name' parameter is not used on the right hand side of the
match, so it can be removed.
(cherry picked from commit 2e7da2a2f3bbc6d6db148d7dc2ce238bf56f34db)

Use an unsigned type (size_t) for all loop iterators.

This resolves a warning from gcc 4.5:
  assuming signed overflow does not occur when simplifying
    conditional to constant

This page explains the issues in some detail:
  http://www.airs.com/blog/archives/120
(cherry picked from commit 321ca1ef91a90cec5b94058b84420e8018e3f1d8)

generator: Don't hard-code name in DeviceList check.

Only one function currently uses DeviceList.  The generated code
unfortunately hard-coded the argument name from that function.
(cherry picked from commit aac51942aab63a9355ad6724345ea923148bf2a9)

build: Don't warn about 'long long'.

Various language bindings simply need this, so we have to allow
it even though it's a GCC extension.
(cherry picked from commit 0c0976496dafda4d172c5a7fc787d6a87d5bce8d)

doc: Add guestfish 'lvcreate 1M' gotcha.
(cherry picked from commit 5b77be72bc4e46c7a53a24f1eb4cbd107a708f17)

Version 1.4.1

tar: Remove redundant use statement.
(cherry picked from commit 70d27f6e796097630134bd8ebc2b65a65b1bf5c4)

edit: Clean up temporary files.

Note to self: The 'tempfile' function does *not* default to
removing files with the program exits!

For stable-1.4 branch:
 - Cherry picked from commit 10ea14a3f1adb7023dd0601e4759bd24a030a1c3
 - Rebased

Prepare for new stable branch, starting at version 1.4.0.

Add BUGS and RELEASE-NOTES to EXTRA_DIST.

Update RELEASE-NOTES by copying the final file from the
development branch.

fish: Don't fail if -m and --listen flags are both given (RHBZ#612178).

Testing this against a Fedora disk image:

$ ./fish/guestfish --ro -a F13.img -m /dev/sda1 --listen
export GUESTFISH_PID=6033
$ ./fish/guestfish --remote=6033 -- ping-daemon
$ ./fish/guestfish --remote=6033 -- ping-daemon
$ ./fish/guestfish --remote=6033 -- exit

Without this fix the first remote command would fail because
qemu would have already been killed.

todo: Add comment about progress of long-running operations.

inspector: Improve error message when YAML::Any library is not installed.

Explicitly depend on e2fsprogs.

See: http://lists.fedoraproject.org/pipermail/devel/2010-June/137953.html

Fix gfs2 support by adding required kernel modules.

Version 1.3.21.

ocaml: Fix thread safety of strings in bindings (RHBZ#604691).

There's a thread safety issue with the current OCaml bindings which
is well explained in the bug report:

https://bugzilla.redhat.com/show_bug.cgi?id=604691

This commit fixes the safety issue by copying strings temporarily
before releasing the thread lock.  Updated code looks like this:

  char *filename = guestfs_safe_strdup (g, String_val (filenamev));
  int r;

  caml_enter_blocking_section ();
  r = guestfs_add_drive_ro (g, filename);
  caml_leave_blocking_section ();
  free (filename);
  if (r == -1)
    ocaml_guestfs_raise_error (g, "add_drive_ro");

Also included is a regression test.

TODO: Add a note about impl of list-filesystems.

todo: More ideas for TODO list.

Update Spanish translations (RHBZ#603870).

perl: Check all images are defined in first param of open_guest.

perl: Add explicit close() method (RHBZ#602592).

This add an optional explicit $g->close method which may be
used to force the handle to be closed immediately.  Note the
provisos about this method in the manual page entry.  Callers
should *not* normally use this method.

The implementation of the handle also changes.  Before, the
handle was a blessed reference to an integer (the integer
being the pointer to the C guestfs_h handle).  Now we change
this to a hashref containing currently the following field:

  _g => pointer to C guestfs_h handle (as an integer)

If this field is not present, it means that the handle has been
explicitly closed.  This avoids double-freeing the handle.

The user may add their own fields to this hash in order to store
per-handle data.  However any fields whose names begin with
an underscore are reserved for use by the Perl bindings.

This commit also adds a regression test.

This commit also changes the existing warning when you call
a method without a Sys::Guestfs handle as the first parameter,
into an error.  This is because such cases are always errors.

Add error callback (RHBZ#602599).

Read the note in the man page before using this feature.

Fix typo in documentation of guestfs_set_launch_done_callback.

Version 1.3.20.

Revert "perl: Rerun configure if MAX_PROC_NR changes."

This reverts commit f8ee7869f4836427109959cf20e299a31fa86eaf.

TODO: Freeze/thaw filesystems.

TODO: Need to add regression test for virt-inspector.

TODO: 'file' command should be fixed.

virt-df: Disallow -h and --csv options together (RHBZ#600977).

Before this commit, if you used the -h and --csv options together
you would get these warnings from virt-df:

$ virt-df -h --csv Guest
Virtual Machine,Filesystem,Size,Used,Available,Use%
Argument "13.5G" isn't numeric in printf at /home/rjones/d/libguestfs/tools/virt-df line 298.
Argument "4.7G" isn't numeric in printf at /home/rjones/d/libguestfs/tools/virt-df line 298.
Argument "8.1G" isn't numeric in printf at /home/rjones/d/libguestfs/tools/virt-df line 298.
"/dev/vg_trick/RHEL55x64","/dev/VolGroup00/LogVol00",13,4,8,34.8%
Argument "98.7M" isn't numeric in printf at /home/rjones/d/libguestfs/tools/virt-df line 298.
Argument "18.8M" isn't numeric in printf at /home/rjones/d/libguestfs/tools/virt-df line 298.
Argument "74.9M" isn't numeric in printf at /home/rjones/d/libguestfs/tools/virt-df line 298.
"/dev/vg_trick/RHEL55x64","/dev/vda1",98,18,74,19.0%

We could fix this so that the human-readable numbers get written
into the CSV file.  However would probably be wrong for most uses
of the CSV format (databases and spreadsheets) since they would not
be able to interpret these human-readable numbers, or worse could
misinterpret, eg. thinking that "1M" and "1G" are both 1.

Therefore this commit disallows this combination of options.

file: Fix file command on /dev/VG/LV paths (RHBZ#582484).

Previous commit 4df593496e116dfb635731c058b7627e81fc179c broke the
"file" command on logical volume paths, since these are symbolic
links.  We *should* follow these (only).

This inadvertantly broke virt-inspector too, which indicates that
we need more regression testing in this area.  Since carrying whole
Fedora images around could make the distribution even larger than
now, I'm not sure at the moment how to do this.

Thanks to Matt Booth for diagnosing this bug.

Use the noop scheduler inside the appliance.

In my limited tests, this seems to make a small but noticable
difference, improving the performance of some straightforward
read operations by a little over 10%.

For more information see:
http://kbase.redhat.com/faq/docs/DOC-5428

Add release notes.

To generate the "Bugs fixed" list, run the bugs-in-changelog script
like this:

  ./bugs-in-changelog 1.0.89..

Version 1.3.19.

Update BUGS and PO files.

file: Restrict to regular files (RHBZ#582484).

The file call can hang if called on char devices (because we are
using the file -s option).

This is hard to solve cleanly without adding another file API.

However this restricts file to regular files, unless called explicitly
with a /dev/ path.  For non-regular files, it will now return a
string like "directory".

There is a small semantic change for symbolic links.  Previously
it would not have worked at all on absolute links (or rather, the
results would have been undefined).  It would have treated relative
symlinks to regular files as the regular file itself.  Now it will
return the string "symbolic link" in both cases.

This commit also makes the API safe when called on untrusted
filesystems.  Previously a filesystem might have been set up so
that (eg) /etc/redhat-release was a char device, which would have
caused virt-inspector and virt-v2v to hang.  Now it will not hang.

touch: Restrict touch to regular files only (RHBZ#582484).

daemon: Rearrange code in 'file' command.

  path = path to access file (/sysroot/.. or /dev/..)
  display_path = original path, saved so we can display it
  buf = optional buffer which is freed along return codepaths

There should be no change to the semantics of the code.

gnulib: Ignore asm-underscore.m4 in the correct place.

Update to latest gnulib.

mkfs-b: Map block size to cluster size for VFAT and NTFS partitions (RHBZ#599464).

This also adds a regression test for VFAT and (conditionally)
NTFS filesystems.

mkfs-b: Check that blocksize parameter is > 0 and a power of 2.

generator: Allow individual tests to depend on daemon features.

Using IfAvailable "featurename" we allow individual tests to
only run if the feature is available in the daemon.

This will allow us to extend testing to a lot more optional
features such as NTFS.

tests: Factor out common code into 'is_available' function.

This commit is just code motion.

grub-install: Enable grub-install tests and create explicit device.map file.

grub-install: In docs suggest manually creating device.map (RHBZ#484986).

Version 1.3.18.

Update BUGS and PO files.

RHEL 6: sr_mod.ko is needed for RHEL 6 to see CD-ROM devices (RHBZ#598807).

parted: Check partition number >= 1 in several calls.

daemon: Parse output of old parted which didn't support -m option (RHBZ#598309).

This fixes the following commands when run with RHEL 5-era parted:

  get-bootable
  get-parttype
  part-list

daemon: count_strings function returns size_t

base64-in: Ignore garbage characters in input.

On RHEL 5 you have to specify the -i option to get the
external 'base64' command to ignore \n characters.  (The
Fedora version seems to ignore these characters anyway).

Add this option so the tests can pass on RHEL 5.

resize2fs: Document this command also works with ext4 (thanks Yufang Zhang).

fish: help command return error for non-existent commands (RHBZ#597145).

With this change, the exit status indicates error for non-existent
commands.

$ guestfish -h foo
foo: command not known, use -h to list all commands
$ echo $?
1
$ guestfish help foo
foo: command not known, use -h to list all commands
$ echo $?
1

daemon: write-file: Check range of size parameter (RHBZ#597135).

This also adds a regression test.

daemon: Limit label lengths (RHBZ#597118).

Update BUGS and PO files.

Fix and deprecate get_e2label and get_e2uuid (RHBZ#597112).

Fix these calls (see description in RHBZ#597112), but also
deprecate them since the new calls vfs_label and vfs_uuid can
work on any filesystem type.

This also adds a regression test for the original bug reported
in RHBZ#597112.

New APIs: vfs-label and vfs-uuid return label and uuid for many fs types.

These APIs generalize the existing 'get-e2label' and 'get-e2uuid'
calls, to provide calls which should be able to get the label
and UUID for most filesystem types.  These use 'blkid' to do the
work.

I have tested that the blkid commands themselves work on RHEL 5.

(Suggested by Yufang Zhang).

daemon: Kill blkid cache to improve reliability of blkid commands.

By killing the cache file, we make blkid work in situations such
as a just-created filesystem.

daemon: Generalize the implementation of vfs-type.

Note that there is no change to the semantics of the code.

todo: Should generate -N option.

todo: Remove implemented resize functions from TODO file.

Make the supermin appliance include local augeas lenses

Rely on new augeas lens for modules.conf and conf.modules

Latest augeas includes a lens for /etc/modules.conf. If this new lens is
present, the code to force the Modprobe lens to try to match /etc/modules.conf
as well results in /etc/modules.conf not being parsed at all. This results in
modprobe_aliases in virt-inspector output being empty.

This change is equivalent to change cfd28d1140393667913689b7b9bcf21c8bfe592c
from virt-v2v.

An effect of this change is that the Modules_conf augeas lens is now required
for correct operation on guests which use /etc/modules.conf.

Fixes RHBZ#596776

Updates to Spanish translation (RHBZ#596763).

Version 1.3.17.

Fix documentation for vfs-type to reflect reality.

Clarify documentation on distro backports in version command.

Add reference to version number documentation to version command.

Clarify sparse behaviour of truncate-size command.

Fix typo in documentation of guestfs_readlinklist.

Fix missing word in docuentation of guestfs_readdir.

Revise documentation on creating files.

New API: fallocate64 (replaces fallocate).

guestfs_fallocate takes an integer for the length, effectively
limiting it to creating 1GB files.  This new call takes an int64_t
for the length, but is otherwise identical.