Remove guestfs_wait_ready (turn it into a no-op).

This commit changes guestfs_launch so that it both launches
the appliance and waits until it is ready (ie. the daemon communicates
back to us).

Since we removed the pretence that we could implement a low-level
asynchronous API, the need to call launch() followed by wait_ready()
has looked a bit silly.

Now guestfs_wait_ready() is basically a no-op.  It is left in the
API for backwards compatibility.  Any calls to guestfs_wait_ready()
can be removed from client code.

Combine temporary buffers.

buf[], append[] and memsize_str[] were all temporary buffers
used in non-overlapping code.

Combine them to use a single buffer (buf[]).

Rearrange qemu command line order (no functional change).

Enable new-style -chardev ... guestfwd command line.

Newer versions of qemu have changed the command line format
(again).  '-net channel' is now deprecated.  Instead we use:

    -chardev socket,id=guestfsvmc,path=/path/to/sock,server,nowait
    -net user,vlan=0,net=10.0.2.0/8,guestfwd=tcp:10.0.2.4:6666-chardev:guestfsvmc
    -net nic,model=ne2k_pci,vlan=0

The old style format is still used if the new style is not
detected at runtime.

Fix code which looked for leaked FDs between each command.

This code was not checking the return value from system()
so it failed if uncommented.  Add ignore_value() around the
call to system.  However, leave the code still disabled.

Remove explicit guestfs=10.0.2.4:6666 kernel command line parameter.

Since we control the appliance tightly, we can just specify
that it will always use a particular host and port, and we
don't need to pass it on the command line each time.

Also the VMCHANNEL_* constants are only relevant to the
particular guestfwd vmchannel implementation, so we rename
them as GUESTFWD_*.

Daemon: fix handling of errors from xread and xwrite.

If xread or xwrite returns -1, that indicates an error and we
should exit.  Note that xread/xwrite has already printed the
error message.

Fix verbose packet dumping functions.

Add the configure parameter --enable-packet-dump so that this
code can be enabled without editing the source.

This code is normally commented out, because it is too verbose
unless you happen to be debugging the underlying protocol.  Because
it is normally commented out, I found it had bit-rotted slightly.
This commit also fixes the obvious problems.

'len' should be an unsigned 32 bit int.

This only happened to work by accident before because 'unsigned len'
happens to be 32 bit on all platforms we support.

Disable -Wunsafe-loop-optimizations

This warning indicates that GCC could not do a particular sort
of loop optimization.  It pops up randomly in certain forms of
looping code, and seems safe to ignore.

Update PO files (no functional change).

Prepare for version 1.0.70.

Update PO files.

Set minimum gettext version to 0.17.

This fixes the problem that the 1.0.69 tarball would fail in
the po/ subdirectory when installing:

make[1]: Entering directory `/builddir/build/BUILD/libguestfs-1.0.69/po'
/bin/sh @MKINSTALLDIRS@ /builddir/build/BUILDROOT/libguestfs-1.0.69-1.fc11.x86_64/usr/share
/bin/sh: @MKINSTALLDIRS@: No such file or directory
make[1]: Leaving directory `/builddir/build/BUILD/libguestfs-1.0.69/po'

RHEL 5.3 has gettext 0.14.6.  However the tarball will still
build (since it includes all the required code).  This may cause
a problem if RHEL users want to build from the git repository.

Fix comparison between signed and unsigned (for RHEL 5).

Move decl out for C99 compliance.

Update PO files.

Move guestfs-internal-actions.h to EXTRA_DIST.

Prepare for 1.0.69.

Remove main loop.

This commit removes the external main loop, which never worked
and caused a number of bugs.  Requests are now done synchronously,
and if the user wants to have requests issued in the background
or to have a responsive GUI, then they'll just have to use threads.

The big change is to push all reads and writes through two
functions called send_to_daemon (for writes) and recv_from_daemon
(for reads) which operate synchronously.  These functions
read/write whole messages, and also handle checking for EOF
(ie. daemon died) and asynchronous log message events from
qemu (eg. from debug / dmesg printed by the guest).  A more
complete description of how these work can be found in the code.

This code passes a complete run of the tests.

Bugs believed to be fixed by this commit:

  https://bugzilla.redhat.com/show_bug.cgi?id=501888
  internal error: reply callback called twice

  https://bugzilla.redhat.com/show_bug.cgi?id=504418
  In virt-inspector: "download: guestfs_download reply failed, see earlier error messages"

I have tried to avoid reintroducing this:

  https://bugzilla.redhat.com/show_bug.cgi?id=508713
  libguestfs: error: write: Broken pipe (guestfish only)

One other benefit of this is that 'set_busy/end_busy' calls
no longer appear in traces.

Don't enable trace in set_trace test.

This leaves trace enabled afterwards, resulting in some
ugly test messages.

Fix type punning warning about use of CMSG_DATA in Rawhide.

guestfish: Enable grouping in string lists

This change adds the ability to group entries in a string list with single
quotes. So the string:
  "'foo bar'"
becomes 1 token rather than 2. Consequently single quotes must now be escaped:
  "\'"
resolves to a literal single quote.

Incidentally, this change also alters another, probably unintentional behaviour
of the previous implementation, in that tokens are separated by any amount of
whitespace rather than a single whitespace character. I.e.:
  "a  b"
resolves to:
  'a' 'b'
rather than:
  'a' '' 'b'
That last syntax can be used if an empty argument is still desired. Whitespace
is now also defined to include tabs.

parse_string_list can also now fail if it contains an unmatched open quote.

Ignore localrepo/ directory.

This can be used by people building from source and packagers for
their own purposes.

Add command trace functionality.

Enable this by calling guestfs_trace (handle, 1) or by
setting the LIBGUESTFS_TRACE=1 environment variable.

Non-daemon actions indirect through generated code.

Previously non-daemon actions were called directly by
user code, eg:

/* Non-generated */
int
guestfs_set_verbose (guestfs_h *g, int v)
{
  g->verbose = !!v;
  return 0;
}

This changes these actions so they go indirectly via
some generated code, eg:

/* Generated */
int guestfs_set_verbose (guestfs_h *g,
int verbose)
{
  return guestfs__set_verbose (g, verbose);
}

/* Non-generated */
int
guestfs__set_verbose (guestfs_h *g, int v)
{
  g->verbose = !!v;
  return 0;
}

The aim is to have a place in the generated code where
we can add debug or tracing information for these non-
daemon calls.

guestfish: Redirect stdout when executing remote commands

guestfish --listen necessarily redirects its stdout to /dev/null so as not to
interfere with eval. The remote protocol doesn't contain any other provision for
collecting stdout for the caller, so executing guestfish --remote will never
generate any output.

This patch fixes that by forwarding the caller's STDOUT to the listener over the
unix socket connection. The listener redirects its STDOUT to the caller's STDOUT
for the duration of the command, then closes it again.

Update TODO list

Add diffutils package.

On Fedora 12, /usr/bin/cmp is not pulled in unless we explicitly
add the diffutils package.

Add echo_daemon command

echo_daemon is a simple echo which can be used to test connectivity between the
client and daemon.

generator.ml: Fix string list memory leak

Parsed string lists are allocated by malloc, but were never freed.

Ignore some more m4 files.

Don't include gnulib files in POTFILES.in.

avoid build-from-scratch failure due to missing daemon/configure

* bootstrap: Don't use autoreconf's --norecursive
option.  We require the default --recursive behavior in order
to create daemon/configure.  Reported by Matthew Booth.

maint: guestfs.c: avoid warning about possible NULL deref from llvm/clang

* src/guestfs.h (guestfs_abort_cb): Declare with attribute noreturn.

maint: guestfs.c: remove unnecessary initialization

* src/guestfs.c (guestfs__receive_file_sync): Don't set "r",
only to ignore it.

generator.ml: avoid a warning about signed overflow in tests.c

* src/generator.ml: Emit "unsigned long int n_failed;" rather than
"int failed;", to avoid warning from gcc about "assuming signed
overflow does not occur when simplifying conditional to constant".

generator.ml: avoid defined-but-not-used warnings in guestfs_c_actions.c

* src/generator.ml (emit_ocaml_copy_list_function): New function.
Emit a function definition only if it will be used.

generator.ml: avoid warnings in generated ocaml/guestfs_c_actions.c

* src/generator.ml: Emit prototypes for ocaml_guestfs_* functions,
to avoid warnings from gcc -Wmissing-prototypes.  Normally we'd put
these somewhere else, but in this unusual case, they're not needed
anywhere else.  Handle the >5-argument case, too, for these:
ocaml_guestfs_test0_byte, ocaml_guestfs_sfdisk_byte,
ocaml_guestfs_sfdisk_N_byte.

build: enable gcc warnings in capitests/ and ocaml/

* capitests/Makefile.am: Use $(WARN_CFLAGS) and $(WERROR_CFLAGS).
* ocaml/Makefile.am:: Likewise.

ocaml/guestfs_c.c: avoid warning about missing prototypes

* ocaml/guestfs_c.c (ocaml_guestfs_create, ocaml_guestfs_close): Declare.

ocaml/guestfs_c.c: avoid warning about initialization discarding "const"

* ocaml/guestfs_c.c (guestfs_custom_operations): Add a cast.

ocaml/guestfs_c.c avoid signed/unsigned-comparison warning

* ocaml/guestfs_c.c (ocaml_guestfs_strings_val): Declare index as
unsigned int.

build: use only one m4/ directory

* Makefile.am (ACLOCAL_AMFLAGS): Specify only one include dir: m4.
* bootstrap: Tell gnulib-tool to put .m4 files in m4/, not gnulib/m4.
* autogen.sh: Move autoreconf from here into...
* bootstrap: ...here, so that it is run only when gnulib-tool is.
Also, tell it to skip the usual autopoint and libtoolize runs.
* m4/.gitignore: Update.

build: invoke autopoint with --force

* bootstrap: Invoke autopoint with --force, to avoid warning
about existing build-aux/config.rpath.
Invoke libtoolize before gnulib-tool, to avoid spurious warnings.
* autogen.sh: Add comments.
Remove build-aux/config.rpath before running autoreconf.

build: update gnulib submodule to latest

* .gnulib: Update to latest.

build: don't define _GNU_SOURCE manually

Now that we're using gnulib in earnest, any manual definition
would provoke a redefinition warning.
* fish/fish.c (_GNU_SOURCE): Don't define.
* fish/destpaths.c (_GNU_SOURCE): Likewise.
* src/guestfs.c (_GNU_SOURCE): Likewise.
* bootstrap (modules): Add asprintf, strchrnul, strerror, strndup
and vasprintf.
* fish/fish.c (main): Set argv[0] to sanitized program_name, so
functions like getopt_long that use argv[0] use the clean name.

guestfish: diagnose stdout write failure

Use gnulib's closeout module to ensure any failure to write to
stdout is detected and reported.
* fish/fish.c: Include "closeout.h".
(main): Call atexit (close_stdout);
* bootstrap (modules): Add closeout.

guestfish: don't try to diagnose getopt failure

* fish/fish.c: ... getopt_long already does that.  Instead, suggest
"Try `guestfish --help' for more information."

guestfish: write --help to stdout, use gnulib's progname module

* fish/fish.c: Include "progname.h".
(main): Call set_program_name to initialize.
Don't hard-code guestfish everywhere.  Use program_name.
However, be careful when modifying argv[0], since it is used
in the hopes that it is an absolute file name.
(usage): Don't spew all of --help for a mis-typed option.
Split long lines.

build: avoid some autoconf warnings

* configure.ac: Move gl_EARLY and gl_INIT to be earlier.

Todo: ntfsclone.

Add waitpid along guestfs_close path (RHBZ#518747).

fish/: enable -Werror and all of gcc's warning options

* fish/Makefile.am: Use $(WARN_CFLAGS) $(WERROR_CFLAGS).

generator.ml: avoid signed/unsigned-comparison warning in fish/cmds.c

* src/generator.ml (emit_print_list_function): Emit code that doesn't
evoke warnings.  s/int/unsigned int/
(emit print_*_indent): Likewise, s/int/unsigned int/

destpaths.c: avoid signed/unsigned-comparison warning

* fish/destpaths.c (free_words): Change param type: s/int/size_t/.

fish.c: don't perform arithmetic on void* pointers

* fish/fish.c (xwrite): Use char*.

fish.c: avoid signed/unsigned-comparison warning

* fish/fish.c (script): Change type of index to "unsigned int".

fish.c: avoid "assignment discards qualifiers..." warning

* fish/fish.c (main): Cast-away-const.
* fish/fish.h (bad_cast): Define.  Safer than using an actual cast.

tilde.c: avoid a warning

* fish/tilde.c (find_home_for_username): Change param type: s/int/size_t/
(try_tilde_expansion): Adjust caller.

fish.c: avoid warnings

* fish/rc.c (UNIX_PATH_MAX): Remove unused definition.
* fish/fish.h (rc_listen): Declare with __attribute__((noreturn)).

edit.c: avoid warning about signed/unsigned comparison

* fish/edit.c (load_file): Change type of param from int to size_t.
(do_edit): Adjust caller.

Remove virt-v2v.  New repo: gitorious.org/virt-v2v/

daemon: diagnose socket write failure

* daemon/proto.c (send_chunk): Don't ignore socket-write error.
* daemon/proto.c (send_file_end): Return "int", not void,
so we can propagate send_chunk failure to caller.
* daemon/daemon.h (send_file_end): Update prototype.
* daemon/tar.c (do_tar_out, do_tgz_out): Update uses of send_file_end.
* daemon/upload.c (do_download): Likewise.

tests: Found three more references to the squashfs, replaced with ISO.

tests: namemax on ISO devices is 255

Was 256 for the old squashfs device.

Cleanup initialisation of hash entries in Lib.pm

tests: Use ISO instead of squashfs.

The squashfs format changes too much.  Use an ISO file for
the tests instead.

mke2fs: Use e4fsprogs programs if available.

On RHEL 5, mke2fs is ancient, and there is a non-standard "mke4fs"
binary which acts like the more recent mke2fs on Fedora.  Since there
are several annoyances and actual bugs in the ancient RHEL 5 mke2fs,
use mke4fs instead if it's available.

tests: modprobe fat instead of ext2 module.

On RHEL 5, ext2 is compiled into the kernel, so trying to modprobe
it will fail.  I've checked that fat.ko is always a module on the
platforms we care about (RHEL 5, Fedora 11, Debian), so use that
to test instead.

tests: Conditionally skip UUID tests.

More tests introduced which break with old e2fsprogs that didn't
support UUIDs.  Skip those tests when the old platform is
detected.

Also tidy up this code a little.

avoid build failure due to Haskell keyword clash

* src/generator.ml: Fix this particular problem by
renaming the "module" parameter to "modulename".
Avoid the general problem by ensuring that no parameter name is
in the set of nearly all Haskell, OCaml and C reserved words.
(zfile): Adjust one more offender: s/method/meth/.

Export inspect_linux_kernel in Lib.pm

Add boot/grub_fs to output

If present, this gives the mount point of the filesystem which contains grub.
All entries in grub.conf will be relative to this filesystem.

guestfish: detect more failed syscalls

* fish/fish.c (issue_command): Detect/diagnose more failed syscalls.

Prepare for version 1.0.68.

guestfs_launch: Correct checks for dup failure.

Updated PO files.

build: Comment out some unused macros.

GCC 4.4.1 warns about some unused macros.  Comment these out
while they are not used.

build: new configure-time option: --enable-gcc-warnings

* configure.ac: Define/configure it.
* src/Makefile.am: Use new variables.

suppress warnings from -Wmissing-noreturn

Even though these functions are marked as "not implemented yet",
and they will surely return a value once implemented, ...
* src/guestfs.c (select_add_timeout): Declare with noreturn attribute.
(select_remove_timeout): Likewise.

suppress a warning from -Wswitch-default

* src/guestfs.c (guestfs_end_busy): Add a "default:" label.

suppress signed/unsigned-comparison warnings

* src/guestfs.c [struct guestfs_h] (msg_in_size, msg_in_allocated):
(msg_out_size, msg_out_allocated): Change type from int to unsigned int.

build: don't perform arithmetic on void* pointers

* src/guestfs.c (receive_file_data_sync, xread, xwrite): Use char*.

generator.ml: suppress signed/unsigned-compare warnings

* src/generator.ml (check_reply_header): Emit parameter declarations
that are unsigned, so as to avoid signed/unsigned-compare warnings.

build: suppress an ignored-dup-return-value warning

* src/guestfs.c (guestfs_launch): Handle dup failure.

build: suppress an ignored-write-return-value warning

* bootstrap (modules): Add ignore-value.
* src/guestfs.c: Include "ignore-value.h".
(stdout_event): Ignore failure to write to stderr.
Also, prefer STDERR_FILENO over the literal "2".
* src/Makefile.am (libguestfs_la_CPPFLAGS): Include gnulib's .h files.
(libprotocol_la_CFLAGS): Remove -Wall -Wno-unused.

New 'modprobe' command.

Allow kernel modules to be loaded into the appliance.

avoid compiler warnings about unused vars in generated code

* fish/Makefile.am: Compile rc_protocol.c into a convenience library,
so it can have its own CFLAGS, and link that into guestfish.

generator.ml: Use TABs, not spaces for indentation.

generator: Small code rearrangement.

Move code which updates pod2text memo file into a separate function.

generator.ml: do not emit unused print_* functions

* src/generator.ml: Do not emit functions like print_xattr,
print_lvm_vg, print_inotify_event, that are not used.

generator.ml: do not emit unused print_*_list functions

* src/generator.ml (emit_print_list_function): New function.
Emit a function definition only if it will be used.

generator.ml: avoid warnings in generated tests.c

* src/generator.ml: Avoid warnings in generated tests.c, regarding
print_strings, and in exercising any function that takes a StringList
or DeviceList parameter.
(print_strings): Change param type to "char *const *s".
Declare fully-const initializer for each list-taking function use.
Cast *List argument to "(char **)".

avoid compiler warnings about unused vars in generated code

* src/Makefile.am: Compile protocol.c into a convenience library, so it
can have its own CFLAGS, and link that with the destination one.

Implement 'debug ls' and 'debug ll' commands.

These commands can be used to list files in the appliance.

generator.ml: Use TABs, not spaces for indentation.

Ignore manywarnings.m4 / warnings.m4.

java: Small fix to Java bindings.

Missing declaration of local variable 'i'.

HACKING: Document make targets and ./configure --enable-gcc-warnings.

Remove redundant macro.