daemon: Always reflect command stderr to stderr when debugging.

When debugging (ie. LIBGUESTFS_DEBUG=1 & verbose flag set in daemon)
always reflect any stderr output from commands that we run to
stderr of the daemon, so it is visible.

Previously if stderror == NULL in command*, stderr output was
just eaten and discarded which meant useful error messages could
be lost.

daemon: Add flags argument to command*() functions.

This adds new variations of the command*() functions which
take a 'flags' argument.  Currently the only flag available
is defined as follows:

 COMMAND_FLAG_FOLD_STDOUT_ON_STDERR: For broken external commands
 that send error messages to stdout (hello, parted) but that don't
 have any useful stdout information, use this flag to capture the
 error messages in the *stderror buffer.  If using this flag,
 you should pass stdoutput as NULL because nothing could ever be
 captured in that buffer.

This patch also adds some documentation for command*()
function.

haskell: Disambiguate truncate symbol.

This is a hack, but GHC doesn't like it if we have a symbol
with the same name as one in the Haskell Prelude.  Therefore
we much hide the corresponding symbol in the Prelude when
building this module.

ocaml: Update dependencies file.

ocaml: Sort the dependencies so they are stable between machines.

ocaml: General improvements to generated code.

Fixes for compiling on 32 bit.

Don't update appliance after running generator.

I'm not sure why these dependencies exist, but they cause the
appliance to be updated every time the generator runs, which
appears to be unnecessary.

appliance: Add xfsprogs to list of packages

fish: Allow <nn>P and <nn>E for petabyte and exabyte allocations.

fish: Allow <nn>T for terabyte allocations.

fish: New command 'sparse', like 'alloc' but to generate sparse files.

With sparse you can make sparse files, which is fun because you
can experiment with really large devices:

  ><fs> sparse /tmp/test.img 100G
  ><fs> run
  ><fs> sfdiskM /dev/vda ,
  ><fs> mkfs ext2 /dev/vda1    # very long pause here ...
  ><fs> mount /dev/vda1 /

To see the real (ie. allocated) size of the sparse file, use the du
command, eg:

  ><fs> !du -h /tmp/test.img
  1.6G -rw-rw-r-- 1 rjones rjones 100G 2009-11-04 17:40 /tmp/test.img

daemon: Build daemon with AC_SYS_LARGEFILE.

Debian: Use /bin/bash as the shell for regression test scripts.

/bin/sh on Debian is a minimal shell called 'dash' which doesn't
support some features we need such as the particular 'function'
syntax used by regressions/test-stringlist.sh, and therefore
this script was failing on Debian.

Change all of these scripts to use #!/bin/bash explicitly to avoid
these sorts of problems.

daemon: When running external commands, open stdin as /dev/null

Previously when we ran external commands from the daemon, stdin
(ie. fd 0) was closed.  This caused a problem when running the
external hexdump command which seems to break if stdin is closed.

This patch opens stdin on /dev/null.

Debian: Include ISOFS driver in the kernel.

Debian: Ignore Debian appliance root when looking for translatable files.

debian: Ignore some generated debirf files.

configure: Fix summary messages.

The following 3 summary messages in the configure output
always displayed "yes" even if they were not actually
enabled.

Haskell bindings .................... yes
virt-inspector ...................... yes
virt-* tools ........................ yes

Fixed by correcting the code that tests if the automake
conditional is set.

hivex: fail upon integer overflow

* hivex/hivex.c (windows_utf16_to_utf8): Avoid overflow and a
potential infloop.

hivex: Check unchecked calloc (Jim Meyering).

Update PO files.

Fix EXTRA_DIST line in fuse/Makefile.am.

Add make.sh.in to EXTRA_DIST.

Comment out code which provokes strange gcc optimization error.

Prepare for 1.0.77.

FUSE filesystem support.

This implements FUSE filesystem support so that any libguestfs-
accessible disk image can be mounted as a local filesystem.

Note: file writes (ie. write(2) system call) is not yet implemented.

The API needs more test coverage, particularly lesser-used system
calls.

The big unresolved issue is UID/GID mapping between guest filesystem
IDs and the host.  It's not easy to automate this because you need
extra details about the guest itself in order to get to its
UID->username map (eg. /etc/passwd from the guest).

Allow callers to disable the recovery process.

New API call: pread

guestfs_pread lets you do partial file reads from arbitrary
places within a file.  It works like the pread(2) system call.

New API calls: lstatlist, lxattrlist, readlinklist.

These three functions are very specifically designed for FUSE
support, so we can list directories efficiently.  Instead of
making lots of lstat, lgetxattr and readlink calls, we can make just
three calls per directory to grab all the attributes (which we
then cache briefly).

New API calls: truncate, truncate_size, mkdir_mode, utimens, lchown.

truncate, truncate_size: Used to truncate files to a particular
size, or to zero bytes.

mkdir_mode: Like mkdir but allows you to also specify the
initial permissions for the new directory.

utimens: Set timestamp on a file with nanosecond accuracy.

lchown: Corresponding to lchown(2) syscall (we already have chown).

The implementation is complicated by the fact that we had to
add an Int64 parameter type to the generator.

examples/to-xml.c: Don't depend on Gnulib function.

Since this program is just an example, it shouldn't require
the Gnulib c-ctype functions.

appliance: Don't rebuild the appliance every time configure runs.

config.status touches make.sh each time it runs, even if the
resulting script would not change.  This causes the appliance
to get rebuilt much more frequently than is necessary.

There's no way to stop configure running, but we can move the
config.status command into a Makefile rule to stop this
undesirable behaviour.

guestfish: Fix a third indentation problem.

guestfish: Another indentation fix.

guestfish: Fix printing of buffers in structs.

Somehow an 'indent' string crept in there, so it was printing:

  <char><indent><char><indent><char>...

instead of:

  <char><char><char>...

Fix rstructs_used handling in guestfish generated code.

rstructs_used wasn't correctly generating code for guestfish
because guestfish doesn't make all functions visible.  Since the
calculation of rstructs_used was over all functions (including
ones not available in guestfish) it could have generated
unnecessary functions.

In fact this error didn't affect us before - but I discovered
it when I added some extra struct-returning functions (future
commit).

daemon: Don't warn on -Wunsafe-loop-optimizations.

Ignore -Wunsafe-loop-optimizations, same as in the top level
configure file.

Add hivex* documentation to website.

Add HTML documentation to website.

Prepare for 1.0.76.

Fix misspelling in previous commit.

RHEL 5: Also add le{16,64}toh functions

RHEL 5: Detect endianness functions and supply them.

Add virt-win-reg to toplevel Makefile.am, fix POTFILES.in

Prepare for version 1.0.75.

Support for Windows Registry.

In hivex/:  This mini-library allows us to extract Windows
Registry binary files ("hives").

There are also two tools: hivexml converts a hive to a
self-describing XML format.  hivexget can be used to extract
single subkeys from a hive.

New tool: virt-win-reg.  This is a wrapper around the library
functionality allowing you to pull out data from the registries
of Windows guests.

New API: vfs_type - get the Linux VFS driver for a mounted device.

Modify Sys::Guestfs::Lib::resolve_windows_path to use case_sensitive_path.

guestfish: Add win: prefix to use Windows paths.

Add a win: prefix for path arguments in guestfish:

><fs> file win:c:\windows\system32\config\system.log
MS Windows registry file, NT/2000 or above

daemon: Change chdir to use openat/fdopendir.

Uses Gnulib implementation of openat which should be portable.

New API: case-sensitive-path to return case sensitive path on NTFS 3g fs

This function handles an annoyance/peculiarity of the Linux
NTFS 3g driver, which is that it exports NTFS filesystems with
names case sensitive, even though under Windows they would be
case insensitive.

This causes problems because the location of (eg.) c:\windows
might appear as /windows or /WINDOWS (etc) depending on the
inconsequential details of how it was originally created.

Example of this problem on a real Windows guest:

  ><fs> file /windows/system32/config/system.log
  libguestfs: error: file: access: /windows/system32/config/system.log: No such file or directory
  ><fs> case-sensitive-path /windows/system32/config/system.log
  /WINDOWS/system32/config/system.LOG
  ><fs> file /WINDOWS/system32/config/system.LOG
  MS Windows registry file, NT/2000 or above

inspector: Remove inaccurate paragraph from documentation.

Include HFS (Mac OS X) driver.

Set LC_ALL=C before running qemu.

init: Check that start_udev succeeded

If start_udev fails for any reason, notice and fall through to manual /dev
creation.

Patch from Charles Duffy <charles@dyfis.net>

Version 1.0.74.

Tab to space fixes, now passes 'make syntax-check'

guestfs_find: Fix memory leak of sysrootdir.

virt-ls: Modify to use find0 instead of find.

find0 is more scalable than find.  virt-ls will no longer
crash if asked to recursively list / on a Linux guest.

New API: find0 (unlimited version of find)

This adds a new API call guestfs_find0, which is like guestfs_find
but mainly doesn't suffer from the protocol limit of the earlier
command.  The earlier command is not deprecated because it is
still very useful.

guestfs_find0 uses a FileOut parameter and writes the results to
an external file.  The filenames in the output are separated by
ASCII NUL characters (so a bit like "find -print0").

There is also the addition of a regression test for this command.

guestfs_find: Document protocol limits for this API call.

guestfs_find has to send the complete list of files in a single
protocol message (hence, limited to 2-4 MB).  Unfortunately on
a typical Linux guest, guestfs_find ("/") will exceed this limit
resulting in an error.

Therefore we should add an unlimited version of this call in a
future commit.  This commit just documents the current limit.

New tool: virt-ls

This tool makes available the functionality of "ls", "ll", and "find"
in a slightly simpler to use form.

Examples:

  virt-ls -l myguest /tmp

New tool: virt-tar

This adds a new tool call virt-tar which is a general purpose
archive and uploading tool.  It doesn't add any functionality
which wasn't previously possible using guestfish, but makes it
simpler to access for some users.

Examples:

 virt-tar -zx myguest /home home.tar.gz
 virt-tar -zu myguest uploadstuff.tar.gz /tmp

tools: Make warnings about running on live guests more prominent.

Add prominent warnings to the man pages about how it is dangerous
to run these tools against live guests.

Move virt tools (virt-cat, virt-edit etc) into tools/ subdirectory.

This moves the tool programs into a single directory:
  cat/* -> tools/virt-cat
  df/* -> tools/virt-df
  edit/* -> tools/virt-edit
  rescue/* -> tools/virt-rescue

This in itself simplifies the build process because we only need
one Makefile and one copy of 'run-locally'.

'run-*-locally' has become just 'run-locally' and takes an extra
parameter which is the name of the tool, eg:
  run-locally cat [virt-cat params...]

virt-inspector stays in its own directory, because this contains
more than just a single Perl script.

Comment: Describe the build order requirements for toplevel directories.

Prepare for 1.0.73.

Add some missing EXTRA_DIST files.

inspector: Generate language bindings for OCaml.

This commit adds a generic mechanism for deriving language bindings
for virt-inspector, and implements one concrete binding, for OCaml.

The bindings are generated from the RELAX NG schema (virt-inspector.rng)
which is supposed to be a correct and always up to date description
of the XML that the virt-inspector program can generate.

From the RNG we generate a set of types to describe the output of
virt-inspector for the language, plus an XML parser, plus some
glue code to actually run an external instance of virt-inspector
and parse the resulting XML.

At runtime, an external 'virt-inspector --xml <name>' command runs
and the XML is parsed into language-specific structures.

This has been tested on the four example files (inspector/example?.xml)

The only particular difficulty about the OCaml binding is the use of
Obj.magic, which is naughty but works because of the isomorphism
between the representation of tuples and records in OCaml.  This
seems to cause no problems in my test program.  Apart from this, the
OCaml binding is straightforward and could be adapted easily for any
other languages that want type-safe virt-inspector bindings.

It's important to keep virt-inspector.rng up to date with changes
to virt-inspector's XML output format.

build: avoid parallel ocaml/... build failure

A parallel build could fail due to the use in ocaml/examples
of ocaml/guestfs.cmi before it was built.
* Makefile.am (SUBDIRS): Add both ocaml and ocaml/examples,
to ensure they're built in this order, and not in parallel.
* ocaml/Makefile.am (SUBDIRS): Don't define.

Updated Polish translation

inspector: Fix inspector/Makefile.am

Accidentally pushed the older version of the patch in
commit 9d25e82491ddcf495e1d30694327e4bfd3a23445.

This includes Jim Meyering's suggested changes from
https://www.redhat.com/archives/libguestfs/2009-October/msg00017.html

build: fix compile error

Link demo scripts with just-build library, not the installed one.
* ocaml/examples/Makefile.am (OCAMLFINDFLAGS): New variable.
(lvs, viewer): Use it.
This fix is based on a suggestion from Rich Jones.
This addresses RHBZ#526917.

inspector: Add tests for RELAX NG schema.

inspector: Add RELAX NG schema for virt-inspector --xml output.

configure: Update comment about viewer.ml.

inspector: Canonicalize device names (fix RHBZ#526717).

Make filesystem device names canonical, so they are /dev/sd*
instead of /dev/vd*.

run-*-locally: The programs are now virt-[tool], not virt-[tool].pl

This fixes commit b488436cc54288fcae8988493749f2e6c87f274c.

inspector: Don't bomb if no kernels detected.

If $os->{kernels} wasn't defined, virt-inspector would exit with
an error, leaving partial XML output.

Change the code so it doesn't die in this case, instead just
leaves out the <kernels> section.

OCaml viewer: Use ocamlduce to replace xpath code.

OCaml viewer: Handle exceptions properly.

OCaml example: graphical disk usage viewer.

This is an example of how to write an app which uses libguestfs
and libvirt, and has a responsive user interface (using threads).
It is a Gtk-based "graphical virt-df".

Read the top of the 'viewer.ml' file first for instructions on
how to compile.  This program is not compiled by default.

virt-df: Add note about parsing CSV.

avoid use of all ctype macros

* cfg.mk (disable_temporarily): Don't disable sc_avoid_ctype_macros.
* fish/tilde.c: Remove unnecessary inclusion of ctype.h.
* bootstrap: Add gnulib's c-ctype module to the list.
* daemon/m4/gnulib-cache.m4: Likewise.
* daemon/ext2.c: Include "c-ctype.h", not <ctype.h>.
Use c_isspace, etc, rather than isspace.
* daemon/guestfsd.c: Likewise.
* daemon/lvm.c: Likewise.
* daemon/proto.c: Likewise.
* fish/fish.c: Likewise.
* fish/tilde.c: Likewise.
* src/generator.ml: Likewise.
* src/guestfs.c: Likewise.
* examples/to-xml.c: Likewise.
* examples/Makefile.am (to_xml_CPPFLAGS): Add -I$(top_srcdir)/gnulib/lib
so inclusion of "c-ctype.h" works.
(to_xml_CPPFLAGS): Rename from to_xml_CFLAGS.

maint: prune dead wood from list of skipped syntax-check rules

* cfg.mk (local-checks-to-skip): Remove now-passing and
no-longer-relevant rule names.

maint: use spaces, not TABs for indentation

"make syntax-check" was failing.  This fixes it.
* HACKING: Indent with spaces, not TABs.
* configure.ac: Likewise.
* rescue/virt-rescue: Likewise.
* src/generator.ml: Likewise.

Prepare for 1.0.72.

Also update PO files.

More HTMLFILES.

Include virt tools in EXTRA_DIST.

Partially revert b488436cc54288fcae8988493749f2e6c87f274c.
It turns out that automake doesn't automatically place bin_SCRIPTS
in EXTRA_DIST.

Rename virt-[tool].pl as virt-[tool]

Check return value from readlink.

Create manpage atomically.

Don't fail with a partial file if disk full, etc.

Replace @...@ with $(...) in these common Makefile.am files.

guestfish: Update 'SEE ALSO' section of the manpage.

New tool: virt-edit

Edit any file in a guest.  This was possibly previously
using guestfish, but having a separate command makes it
simpler.

The usage is simply:

  virt-edit mydomain /some/file

It runs $EDITOR or vi on the file, and if the user changes
it, uploads the result back to the VM.

virt-cat: Remove some unused Perl module includes.

Add 'virt-rescue' command.

This command runs a "rescue appliance" against a virtual machine
or disk image.  This is useful for making ad-hoc interactive
changes to virtual machines.

  $ virt-rescue --ro /dev/vg_trick/F11x64

  Welcome to virt-rescue, the libguestfs rescue shell.

  Note: The contents of / are the rescue appliance.
  You have to mount the guest's partitions under /sysroot
  before you will be able to examine them.

  bash: cannot set terminal process group (-1): Inappropriate ioctl for device
  bash: no job control in this shell
  ><rescue> mount /dev/vg_f11x64/lv_root /sysroot
  EXT4-fs (dm-0): barriers enabled
  kjournald2 starting: pid 269, dev dm-0:8, commit interval 5 seconds
  EXT4-fs (dm-0): internal journal on dm-0:8
  EXT4-fs (dm-0): delayed allocation enabled
  EXT4-fs: file extents enabled
  EXT4-fs: mballoc enabled
  EXT4-fs (dm-0): mounted filesystem with ordered data mode
  ><rescue> ls /sysroot/
  bin   dev  home  lib64       media  opt   root  selinux  sys  usr
  boot  etc  lib   lost+found  mnt    proc  sbin  srv      tmp  var
  ><rescue> exit

Add direct appliance mode flag and implementation.

When the g->direct flag is set, the appliance stdin/stdout
are not connected to the library.  Instead they inherit the
stdin/stdout of the caller.

This is used to implement virt-rescue.

Tidy up appliance rescue code.

The appliance shouldn't run the daemon after we leave the
rescue shell.  It should just exit instead.