build: Remove references to old contrib/ files which were removed.

appliance: Special case handling for libbfd in the supermin appliance.

The libbfd library has a constantly changing, non-standard and
very long name, eg:

/usr/lib64/libbfd-2.20.51.0.2-7.fc13.so

Just add a special case to deal with this.  This fixes the guestfs_strings
command, which relies on the external strings binary which uses this
library.

appliance: Ignore unreadable dbus helper programs.

lib: Link with $(LTLIBTHREAD), required by Gnulib lock module.

This fixes commit cada248a53858341c91f70392e8f5b6e47d9b4fe.

appliance: Fix code which gets list of kernels.

The first 'ls' command was failing, so the second 'ls' command
would never run at all.

accommodate leading "+" in git submodule output

* cfg.mk (_submodule_hash): Also filter out "+".
* autogen.sh: Likewise.

lib: Add thread-safety to global list of handles.

This commit uses the Gnulib 'lock' module to implement a mutex on
the global list of handles which is stored by the library.

Note that Gnulib nicely avoids explicitly linking with -lpthread
unless the application program itself links to -lpthread.  Locks
are only enabled in multithreaded applications.

$ ldd src/.libs/libguestfs.so.0.217.0
linux-vdso.so.1 =>  (0x00007fffcb7ff000)
libc.so.6 => /lib64/libc.so.6 (0x00007f96a4e6c000)
/lib64/ld-linux-x86-64.so.2 (0x00007f96a544d000)

Please enter the commit message for your changes. Lines starting

daemon error handling: Define a new function reply_with_perror_errno.

This allows you to save the errno from a previous call and
pass it to reply_with_perror.

For example, original code:

  r = some_system_call ();
  err = errno;
  do_cleanup ();
  errno = err;
  if (r == -1) {
    reply_with_perror ("failed");
    return -1;
  }

can in future be changed to:

  r = some_system_call ();
  err = errno;
  do_cleanup ();
  if (r == -1) {
    reply_with_perror_errno (err, "failed");
    return -1;
  }

daemon error handling: recursive_mkdir shouldn't need to set errno.

daemon error handling: Clear errno before calling stub functions.

This just ensures that we accurately report errors, even if our
error path code doesn't set errno.  We won't end up with a bogus
errno left over from a previous call.

Whitespace change.

virt-rescue: Freshen documentation.

guestfish: Freshen documentation.

daemon: Move prototypes around to keep functions grouped logically.

Fix error handling in 'zero' function.

daemon/Win32: Add contributed test script to test daemon using Wine.

This test script allows you to test limited features of the
Windows daemon by running it on a standard Fedora host using
Wine.

Read contrib/README and contrib/guestfsd-in-wine.sh in detail
before using.

Ignore guestfsd.exe (Windows daemon).

Remove old contrib/febootstrap directory.

Update PO files.

Make realpath call optional, disable it for Windows.

build: update gnulib submodule to latest

daemon: program_name must be defined for Gnulib error module.

daemon/Win32: use gnulib modules connect, socket and symlinkat (for readlinkat).

daemon/Win32: provide htonl, htons, ntohl, ntohs functions.

These functions are not available on Windows.

daemon/Win32: Use Gnulib perror module.

daemon: Link guestfs_protocol.[ch] into the daemon directory.

Instead of doing a recursive call into the src/ directory to build
the object files, hard link the source files into the daemon
directory and build them separately.

See:
http://www.redhat.com/archives/libguestfs/2009-November/msg00254.html

Thanks to Jim Meyering for noticing a typo in the original version.

daemon: Typo generator_build -> generator_built

daemon: Indent C macros to reflect nesting level.

daemon/Win32: Win32 can't fork message moved to separate function (Jim Meyering)

guestfs documentation: Missing space.

guestfs: Update architecture section of documentation.

Update PO files.

daemon: Fix build on Unix.

daemon: Fix sync() call on Unix.

daemon/Win32: update comment

daemon/Win32: Supply MAX macro for challenged platforms.

daemon/Win32: Windows can't daemonize.

daemon/Win32: Windows replacement for umask.

daemon/Win32: Replace setenv with Win32 equivalent.

daemon/Win32: Use xdr_u_int for PortableXDR compatibility.

PortableXDR didn't support xdr_uint32_t.  xdr_u_int is the same type.

daemon/Win32: Don't bother blocking SIGPIPE on Win32.

daemon/Win32: Use gnulib getaddrinfo module.

daemon/Win32: Implement statvfs using GetDiskFreeSpaceEx.

At the time of writing Gnulib didn't support Win32 for its
fsusage API.  Therefore this patch uses GetDiskFreeSpaceEx
if it's available (on Windows) otherwise falls back to using
Gnulib fsusage.

daemon: Move statvfs code into separate file.

This makes no functional change to the code.  It just moves the
statvfs-related code out of daemon/stat.c into a new file called
daemon/statvfs.c.

daemon: Use gnulib futimens module.

Instead of checking for futimens support and falling back
(incorrectly in one case) to using futimes, use gnulib's
module.

However the gnulib module does not yet support Win32, so
this change is only really useful on platforms like RHEL 5.

daemon/Win32: Use gnulib pread module.

sync: Windows implementation of sync() call.

Replace calls to sync() with calls to sync_disks() which supports
Win32 via FlushFileBuffers.

daemon: Alternate implementation of posix_fallocate.

If the posix_fallocate function is not available [ie. Windows]
use an alternate implementation that just loops and writes.

dd: Missing include of <string.h>

Breaks compilation on Windows.

daemon/Windows: Define _WIN32_WINNT when compiling on Windows.

build: update gnulib submodule to latest

build: update gnulib submodule to latest

supermin: Die with an error if no kernels found (RHBZ#539746).

Updated with a suggestion from Jim Meyering to use the '-d'
option to ls to avoid a future case of directories matching.

New tool: virt-list-filesystems

Use this program as a convenient way to list the filesystems
available in a disk image or libvirt guest.

Example:

  $ virt-list-filesystems /dev/vg_trick/Debian5x64
  /dev/debian5x64/home
  /dev/debian5x64/root
  /dev/debian5x64/tmp
  /dev/debian5x64/usr
  /dev/debian5x64/var
  /dev/sda1

This is designed to make it easier for novices to use guestfish
and guestmount.  In particular with guestmount this acts as a way
to get a list of filesystems to use with the '-m' option.  ie:

  $ virt-list-filesystems unknowndisk.img
  /dev/sda1
  /dev/sda2
  $ guestmount -a unknowndisk.img -m /dev/sda1 /mnt

availability: Document how to check for single API calls

This documents how to use autotools and dlopen(3) to test for
the availability of single API calls at compile time and run time
respectively.

availability: Add a test for this call.

Because all the tested groups are optional, there's not really
a group we can reliably test, therefore test against the
empty list (which should not fail).

availability: Clarify and fix documentation.

generator: Passing "" to StringList tests should turn into empty list.

This is a bug in the generator which wasn't being tickled.  If
you had a test which expected a StringList or DeviceList parameter,
and you passed "" to that test, then you'd (probably) expect to be
testing an empty list, but in fact you got a single element list
containing an empty string.  This fixes it so you get an empty list.

daemon: Fix return value from aug_defnode.

Bug fix - the return value from this function was wrong
in the no-Augeas case.

Implement 'dd' command.

Use STRPREFIX instead of STREQLEN.

generator: second parameter to upload is Dev_or_Path, not String.

build: Add missing dependencies in perl directory

make all in the perl directory was missing a check that the library had been
built.

make check in the perl directory was missing a check that the appliance and test
images had been built.

build: Ensure building appliance depends on guestfsd

Previously, only the update.sh rule checked the daemon had been built. update.sh
is called directly from within make.sh, so in that path the dependency was never
checked. This adds the daemon dependency explicitly to the rebuild-from-scratch
path.

build: Don't re-check generator.ml for each generator_built in daemon directory

build: Rebuild the daemon as necessary from other directories

This change ensure that making the appliance will always rebuild the daemon if
required.

Update TODO file.

perl: Add Sys::Guestfs::Lib::feature_available

This is a nicer Perl wrapper around $g->available call.

Update the other code in Sys::Guestfs::Lib to use it before using
LVM, Augeas.

availability: Skip tests when functions are not available.

availability: Add optional groups and implement guestfs_available call.

The current groups are defined very conservatively using the
following criteria:
 (a) Would be impossible to implement on Windows because of
     sheer architectural differences (eg: mknod).
 (b) Already optional (augeas, inotify).
 (c) Not currently optional but not implemented on older RHEL and
     Debian releases (ntfs-3g.probe, scrub, zerofree).

The optional groups I've defined according to these criteria are:

 . augeas
 . inotify
 . linuxfsuuid
 . linuxmodules
 . linuxxattrs
 . lvm2
 . mknod
 . ntfs3g
 . scrub
 . selinux
 . zerofree

(Note that these choices don't prevent us from adding more
optional groups in future.  On the other hand to avoid breaking
ABIs we would not wish to change the above groups).

The rest of this large commit is really just implementation:

Each optional function is classified using Optional "group"
flag in the generator.

The daemon has to implement a function

  int optgroup_<name>_available (void);

for each optional group.  Some of these functions are fixed at
compile time, and some do simple run-time tests.

The do_available implementation in the daemon looks up the correct
function in a table and runs it.

We document the optional groups in the guestfs(3) man page.

Also: I added a NOT_AVAILABLE macro in order to unify all the
existing places where we had a message equivalent to
"function __func__ is not available".

availability: Add guestfs_available.

Start a new API allowing groups of functions to be tested for
availability.

There are two reasons for this:

(1) If libguestfs is built with missing dependencies (eg. no Augeas lib)
then the corresponding functions are disabled in the appliance.  Up till
now there has been no way to test for this except to speculatively
issue commands and check for errors.

(2) When we port the daemon to Win32 it is likely that major pieces of
functionality won't be available (eg. LVM support).  This API gives
a way to test for that.

There is no change for existing clients: you still have to check for
errors from individual API calls.

For new clients, you will be able to test for availability of particular
APIs.

Usage scenario (A): An LVM editing tool which requires
both the LVM API and inotify in order to function at all:

  char *apis[] = { "inotify", "lvm2", NULL };
  r = guestfs_available (g, apis);
  if (r == -1) {
    /* print an error and exit */
  }

Usage scenario (B): A general purpose tool which optionally provides
configuration file editing, but this can be disabled, the result
merely being reduced functionality:

  char *apis[] = { "augeas", NULL };
  r = guestfs_available (g, apis);
  enable_config_edit_menus = r == 0;

daemon/Win32: Use gnulib modules for first porting to Win32.

build: Add missing dependency libguestfs.la->guestfs_protocol.h

build: correct sed transformation to work also on .git-module-status

My patch was wrong.
I kept the sed transformation the same in the two places,
but it wasn't strict enough to also work on the file contents.
Sorry about that.  This fixes it.

>From 93927cc7b9f63c414e5bfeb7eba393fde3295601 Mon Sep 17 00:00:00 2001
From: Jim Meyering <meyering@redhat.com>
Date: Fri, 20 Nov 2009 16:23:17 +0100
Subject: [PATCH libguestfs] build: correct sed transformation to work also on .git-module-status

* autogen.sh: Use a more strict sed transformation so it works also
on the contents of .git-module-status, which has no prefix.
* cfg.mk (_submodule_hash): Use a stricter sed regexp.

build: make autogen.sh update .git-module-status, as it should

I ran autogen.sh, but then make was always failing like this:

    $ make
    cfg.mk:141: *** gnulib update required; run ./autogen.sh first.  Stop.

Here's the fix:

>From f743f32079fea2e8a17c7f5b59305e584c75dba0 Mon Sep 17 00:00:00 2001
From: Jim Meyering <meyering@redhat.com>
Date: Fri, 20 Nov 2009 14:29:55 +0100
Subject: [PATCH libguestfs] build: make autogen.sh update .git-module-status, as it should

* autogen.sh: Without this, "make" would always say "gnulib update
required; run ./autogen.sh first", even after you'd run autogen.sh
successfully.

maint: use EXIT_* symbol (not constant, 2) to indicate key/path not found

* hivex/hivexget.c (EXIT_NOT_FOUND): Define.
(main): Use exit (EXIT_NOT_FOUND), not "exit (2)".

maint: use EXIT_SUCCESS and EXIT_FAILURE, not 0 and 1 in "usage", too

Convert by running these commands:
perl -pi -e 's/\b(usage ?)\(1\)/$1(EXIT_FAILURE)/' \
  fish/fish.c fuse/guestmount.c
perl -pi -e 's/\b(usage ?)\(0\)/$1(EXIT_SUCCESS)/' \
  fish/fish.c fuse/guestmount.c
* fish/fish.c (main): Replace 0/1 with EXIT_SUCCESS/EXIT_FAILURE.
* fuse/guestmount.c (main): Likewise.

maint: use EXIT_SUCCESS and EXIT_FAILURE, not 0 and 1 to exit

Convert all uses automatically, via these two commands:
git grep -l '\<exit *(1)' \
  | grep -vEf .x-sc_prohibit_magic_number_exit \
  | xargs --no-run-if-empty \
    perl -pi -e 's/\b(exit ?)\(1\)/$1(EXIT_FAILURE)/'
git grep -l '\<exit *(0)' \
  | grep -vEf .x-sc_prohibit_magic_number_exit \
  | xargs --no-run-if-empty \
  perl -pi -e 's/\b(exit ?)\(0\)/$1(EXIT_SUCCESS)/'
* .x-sc_prohibit_magic_number_exit: New file.

Edit (RWMJ): Don't change Java code.

maint: remove unnecessary include of openat.h

* daemon/realpath.c: Don't include "openat.h".  not used.

build: update gnulib submodule to latest

daemon/gnulib: Include glob module.

daemon/Win32: Don't include missing headers.

This is a partial fix for code in guestfsd.c where many of these
header files are missing on Win32.

daemon/Win32: make some functions and fields optional.

inotify: Make this optional on platforms that don't have this interface.

mknod, mkfifo etc.: Make these optional on non-Unix platforms.

readdir: If d_type field is missing on the platform, set the corresponding
field to 'u'.

stat: st_blocks and st_blksize are missing on non-Unix platforms, so
set these fields to -1 in the corresponding structures.

daemon/Win32: NAME_MAX does not exist on Windows, use FILENAME_MAX instead.

daemon: Missing #includes revealed by cross-compiling.

daemon/Win32: Ignore mingw32-config.cache.

The Fedora Windows cross-compiler 'mingw32-configure' script always
uses a configure cache.  Ignore that file.

generator: open Unix module by default.

Add:

  open Unix

at the top of the generator, which means that we don't need to
prefix any 'Unix.foo' symbols (we can just use 'foo' instead).

Unfortunately the Unix module shadows one symbol in Pervasives
(the Pervasives module is opened by default in OCaml code).  That
symbol is 'stdout'.  So we replace this with 'Pervasives.stdout'
in two places.  Still a net reduction in code size.

syntax-check: Fix tab-vs-space issue in the generator.

Update PO files.

Update TODO file.

build: Fix parallel build of haskell bindings

ghc isn't clever enough not to stomp on itself when building dependencies. This
change makes the 1 dependency explicit.

It also adds a dependency on src/libguestfs.la.

build: Fix inter-directory dependencies

This change adds an explicit dependency on generator.ml for every file it
generates, except java files. Java is left for another time because it's
considerably trickier.

It also adds a build rule for src/libguestfs.la so it can be rebuilt as required
from other directories.

It does this by creating a top level make file, subdir-rules.mk, which can be
included from sub-directories. sub-directories need to define 'generator_built'
to include local files which are built by generator.ml, and they will be updated
automatically.

This fixes parallel make, and will automatically re-create generated files when
make is run from any directory.

It also fixes the problem which efad4f53 was targetting. Specifically,
src/guestfs_protocol.(c|h) had an erroneous dependency on stamp-generator, and
therefore generator.ml, despite not being directly created by it. This caused
them to be recreated every time generator.ml ran rather than only when
src/guestfs_protocol.x was updated, which cascaded into a daemon and therefore
appliance update.

This patch also changes the contents of the distribution tarball by including
files created by rpcgen.

generator: Acquire lock to prevent two parallel runs of the generator.

This commit acquires a lock on a file to prevent two parallel runs of
the generator from stomping on each other.  The second run will wait
for the first to complete before starting.

The lock is acquired on the "HACKING" file because it's convenient --
we are already checking this file exists to make sure that we don't
start off in the wrong directory.

Tested by adding some artificial sleeps in the code to observe
locking behaviour between two parallel runs.

syntax-check: expand TABs in generator.ml

Jim Meyering wrote:
>>From 6f128e90afb055f9899011c4a592eb289e678936 Mon Sep 17 00:00:00 2001
> From: Jim Meyering <meyering@redhat.com>
> Date: Thu, 19 Nov 2009 11:39:10 +0100
> Subject: [PATCH libguestfs] syntax-check: expand TABs in generator.ml
>
> * src/generator.ml: Expand leading TABs to spaces.

That was incomplete.
Please use the following instead.
With it, now, "make syntax-check" now passes once again.

>From 716a30d0b692972aac8fbea1fb7ad3318ab3a0d8 Mon Sep 17 00:00:00 2001
From: Jim Meyering <meyering@redhat.com>
Date: Thu, 19 Nov 2009 11:39:10 +0100
Subject: [PATCH libguestfs] syntax-check: expand leading TABs

* src/generator.ml: Expand leading TABs to spaces.
* fuse/test-fuse.sh: Likewise.

syntax-check: exempt *.pod from no-trailing-blank prohibition

* .x-sc_trailing_blank: Exempt *.pod.

BUILT_SOURCES now depends on running the generator.

This completely reverts commit efad4f53923dcca94613e193d6383bd032e70498.

daemon/RHEL: Choose correct udev settle script.

On RHEL/CentOS 5.4, udevadm settle command does not work.  This didn't
affect us before, but now that we're using parted for partitioning, we
*do* need to wait for udev to settle (because parted isn't waiting for
this, unlike sfdisk).

This commit chooses the correct program to run.

fuse/RHEL: Don't require UTIME_{NOW,OMIT} to be defined.

These macros don't exist on RHEL/CentOS 5.4.  If the feature
is missing then just don't implement it in the FUSE layer.

appliance: Print uptime.

Print the uptime just before the init script runs the daemon, so we
have a good idea of how long the kernel boot + init script takes to run.

recipes: Fix git URL.