generator: Add Pointer parameter type to the generator.

This allows generic "foo *bar" pointers to be passed to
library functions (not to daemon functions).

In the language bindings (except Perl) these are handled
as generic int64s with the assumption being that any
pointer can be converted to and from this.  There is room
to add specific support for some pointer types in future
by specializing the match cases.  However this is inherently
tricky because it depends on the implementation details of
other bindings (eg. to support virDomainPtr in OCaml depends
on the implementation details of the ocaml-libvirt project).

Perl is slightly different in that you have to supply a
typemap.  Again this would depend on the implementation
detail of an external library unless you supplied a generic
typemap for int64.
(cherry picked from commit 4ada0a7815075c9cbe9d8b00da791c105ae739a9)

lib: Make pcre, libmagic and hivex libraries optional.

This change makes these libraries optional.  If they are not
available at compile time then certain core API features will
be disabled (see below).

This also changes PCRE detection to use pkg-config instead
of the ad hoc autoconf checks.

The large inspect.c file has been split out into separate
function-specific files.

  file-architecture: requires pcre & libmagic
  inspection: requires pcre & hivex

Cherry picked from commit a0b4caa0821b759de01361b7019c9c9c9607027d.

capitests: Add whitespace in Makefile.

Cherry picked from commit 2ee6ea2ce128d200928173f3d4b40cadae17de93.

inspect: win64 regexp was dead code.
(cherry picked from commit 8ac9575b204a8ac85f9030500cb6eabbf6aa3226)

lib: Augeas (client side) is not needed by the library.

However it is used by the daemon.

Cherry picked from commit b52183b5491748d9e979d30e55db6d648b102416.

ocaml: Error on compiler warnings.
(cherry picked from commit bf3b9e2e236b4dd2216200993ba39545ad5160bb)

ruby: Remove extra space before parenthesis.
(cherry picked from commit a6454a437f98cc15d8347960f348937c651942e3)

Revert "autogen: Touch ocaml/.depend"

This reverts commit a0f85ba643990da25b6afe6a2bbd2407cf312c73.
(cherry picked from commit ed2bd31f9128036cd59399e1d8234023806082a7)

Revert "Remove ocaml/.depend from git."

This reverts commit 064569bcbf854a9cf588ce31851d987d5f114ec8.

This commit does the wrong thing: creating an empty ocaml/.depend
file is wrong because building the OCaml bindings will fail.
Not having this file will prevent automake from running.  Therefore
this file has to exist with the correct content in git.
(cherry picked from commit e3acf93ce9e87ce308cf50a4f41408b25dd910e9)

build: Don't try to rebuild po-docs/<lang> if no po4a.
(cherry picked from commit e5ec461c67820f050b049b41a630069f0efe96d1)

build: Add ./configure --disable-php option.

This disables the PHP language bindings.
(cherry picked from commit b0a48fa4504f85baa484987f54d8f99703e3ed3b)

build: Test for virt tools Perl libraries conditionally.

Only test for these if $PERL is defined, and use $PERL as
the interpreter.
(cherry picked from commit 8e4a4d3d88b814504c6f2abbf6bf3dab789021b1)

build: Add ./configure --disable-haskell option.

This disables the Haskell language bindings.
(cherry picked from commit ada875642332b56acbf75d68e964f2f16ca50530)

build: Add ./configure --disable-ruby option.

This disables the Ruby language bindings.
(cherry picked from commit 5b99e1b983b38d3405662c1e2b16f2731d465ce3)

build: Warn if Python include or site-packages not found.
(cherry picked from commit 041969480a2712311c2a82a0c118426793a9b338)

build: Add ./configure --disable-python option.

This disables the Python language bindings.
(cherry picked from commit 3a7eb8ebdb47878ab9bd6b8aff88744365179f87)

build: Add ./configure --disable-perl option.

This disables the Perl bindings.
(cherry picked from commit 57c74708ca4e00db259903998b67489e50b8d12b)

ocaml: Remove the old OCaml viewer program.

This program is obsolete and the code has been reused for
guestfs-browser here:
http://people.redhat.com/~rjones/guestfs-browser/
(cherry picked from commit 53c524819323dcea8d5e3d56ff4fc6cf49b6c64f)

build: Add ./configure --disable-ocaml option.

This can be used to disable the OCaml bindings.  Note that
OCaml is still required in any case where you need to rerun
the generator.
(cherry picked from commit af7af2fc5e48e4efecd1f65b60e61b88733161b9)

build: Add ./configure --disable-fuse option.

If this option is specified, FUSE support is unconditionally
disabled.
(cherry picked from commit 428a45c3e15f03e9861e1b551e1ae8da821dba5f)

supermin: If disabled, don't compile in supermin code or check for supermin.

If supermin is disabled at compile time and the user just wants to
use the ordinary appliance, there is no need to compile in all
the supermin code, and in particular there is no need to check
for the supermin appliance (which involves running
febootstrap-supermin-helper that probably doesn't exist).

This fixes a warning message observed under Debian w/o supermin:

  sh: febootstrap-supermin-helper: command not found
(cherry picked from commit 4e656a61d40ff51e63aa06d857c40c14ff31ddb9)

fish: Add --rw option (does nothing yet).

This adds the guestfish --rw option, intended in future
to be required for writing to disk images.

At the moment this does not change the default and so does
nothing.  This patch is intended for backporting to the
stable branches so that we can start to introduce scripts
which use 'guestfish --rw'.
(cherry picked from commit 2c4a7ef92a4583a1217213573ad406eb5d745990)

Add missing generated files to the tarball (thanks maksbotan).

C# bindings were omitted entirely.  Add a Makefile.am for this
directory even though we don't build these.

Because of a missing backslash, some POD files were not being
included.

Cherry picked from commit 26118d498eefe10c8fa604f949680d2417c8b25c.

fish: Suggest safer form of eval.

eval "$(guestfish --listen)"

instead of various other forms.

(Thanks Eric Blake).
(cherry picked from commit be728962ff636e260f09dca6a1175c442d687551)

fish: More portable export sh statment.

Don't depend on bash, but allow sh/dash/etc format:
GUESTFISH_PID=nn; export GUESTFISH_PID

(Thanks Eric Blake).
(cherry picked from commit 633ae13c80d40b0f30db73e520c08cf365d2f8a3)

Version 1.6.1.

configure: Test for 'kvm' binary.
(cherry picked from commit e51d6724d55c3a8c39b97c23abdf0b6168833e10)

Include <stdarg.h> in public header.

Public headers use va_list, and this gives an error unless <stdarg.h>
had been included before the header.
(cherry picked from commit 7fc338690f385c2495b7ba5f98346a5c057991ea)

Don't print out key material in trace output.
(cherry picked from commit 6283982e36eeb3d19940618dc0aec88da08c7516)

fish: Fix missing guestfish commands in HTML docs.
(cherry picked from commit ca236acc6773ba6712f499dc73a25e28acae85dc)

virt-win-reg: Current is the control set Windows chooses at boot.
(cherry picked from commit bfeffeb1e4d6f3725eb8148c098505a9d81a7ba5)

HACKING: Mention PHP bindings.
(cherry picked from commit 9694cd59f8250ae84c23922fda5cbb751e846e3c)

docs: Indent *_va and *_argv functions correctly.

This fixes commit f661db2c393d1b7e4211c55682b7fac82a70e36d.
(cherry picked from commit 19ea54b3f488755731ffc079519d6011dade9e5c)

fish: Use a perfect hash for faster command lookups.

Existing command lookups are approx O(n^2).  Replace this
with a perfect hash implementation which should be a lot
faster.
(cherry picked from commit 58915725b1e464f7d447c0051ad916fbc1a82210)

generator: Properly lay out and indent multi-line C function decls.
(cherry picked from commit f661db2c393d1b7e4211c55682b7fac82a70e36d)

docs: Clarify no additional error available from guestfs_create.
(cherry picked from commit 5d6a91844520d07f9477e2ddca4caf8f040ef8a1)

docs: Clarify default error handler.

Cherry picked from commit 01d613ae957431d65c700a34e369ef4c06dd6d8f.

docs: Error strings are in fact localized, documentation was wrong.

Cherry picked from commit 6a218092812783eaea43919674eb8d1c74a80b33.

docs: Clarify, not every function that returns int returns -1 for errors.

Cherry picked from commit aae5bebe6878c01803653fae166c58b7217b6100.

capitests: Test guestfs_add_drive_opts with optional args from C.
(cherry picked from commit 2be1648632e5e8dca06d84349314ab5e84f29e5c)

capitests: Test some basic aspects of the C API.
(cherry picked from commit b535363e7e7a000cca3651790f911b2d0605968f)

capitests: Use ftruncate instead of seek + write to create test files.
(cherry picked from commit 162c89ed497212859d748506209ffc1b88763ab2)

capitests: Don't open test files with O_NONBLOCK.

I have no idea why we were doing this.
(cherry picked from commit ec0fe45e48fa4621fc6fa0f5bcc44f184068c86f)

capitests: Set path in TESTS_ENVIRONMENT instead of in tests.c

By exporting LIBGUESTFS_PATH with the right path to the appliance,
we no longer need to hard code the path in tests.c
(cherry picked from commit 2a33d81e2b7fa2affaaad48538307c818b4a8260)

generator: Remove unnecessary macro redefinitions.

These macros are already defined in guestfs-internals.h
(cherry picked from commit 8ccc6cd1f798f960e520ea8de24eb1f6a1313d3a)

Define internal safe_calloc shorthand.
(cherry picked from commit 6b8d05438cc0309f762fabf2f3cc7ae4bf5521c1)

daemon: Don't use ../src path to include generator_protocol.h

This file is already hard-linked into the current directory, so
the relative path is not required.
(cherry picked from commit 9ff99418361cd1b56b00e4ffef52444021e60c72)

tests: Remove use of sfdisk from tests.

Some older tests used sfdisk to create partitions for the
tests.  sfdisk is buggy (more so than parted -- what is it
with partitioning tools?) so replace these tests with
equivalent part-* commands.
(cherry picked from commit c5a6584c4fcc0051e1a333838d7562a4fba7ad1f)

daemon: Tolerate failure of blockdev --rereadpt after sfdisk.

See commit 840536ea5a0568296dfd3e483442c76b93c5a949
and commit 956fc5a3feacc970ea763697bf28fb686c875408.
(cherry picked from commit 1937698c25fb9f066dba7b48ad4731927e3e74da)

binary: Link guestmount static binary with -lm.

This is indirectly required via the new shared guestfish
C inspection code by libxml2.
(cherry picked from commit 47d158596140328e12aa3b8028a77dd40bf12eeb)

website: Distribute BUGS and RELEASE-NOTES files to website.
(cherry picked from commit c36214c6825d77f1706c5eb5f6316bed88f240e4)

Version 1.6.0.

Final RELEASE-NOTES file for version 1.6.0.
(cherry picked from commit 3fac199a8b4f4580d348807769d964b94179cd7f)

inspect: Add support for MeeGo.

Version 1.5.26.

inspect: Add support for Ubuntu.

inspect: Add detection of Gentoo.

inspect: Add detection of Arch Linux.

inspect: Add detection of Pardus.

inspect: Generic parsing of MAJOR.MINOR in product names.

inspect: Generic parsing of release files.

inspector: Sort <filesystems> section.

inspect: Ignore Pardus "/.swap" swapfile.

autogen: Touch ocaml/.depend

inspector: List Debian packages.

List Debian packages by downloading and parsing the file
/var/lib/dpkg/status.

inspector: Introductory documentation for XML format.

inspector: Debian package format 'deb' instead of 'dpkg'.

inspector: Return canonical block device paths in XML.

Version 1.5.25.

Ensure atomic creation of a cached appliance

Cached appliances are discovered by their predictable path. Previously we were
creating a cached appliance directly in this predictable path. This had at least
2 undesirable effects:

* Interrupting appliance creation would leave a corrupt appliance
* 2 processes could simultaneously attempt to create the same appliance, causing
  corruption.

This patch causes the cached appliance to be created in a temporary directory,
and then renamed to the predictable path. As rename is an atomic operation, this
makes the whole creation atomic.

This patch also changes the predictable path to have a prefix of 'guestfs.'.
This will make it simpler for system administrators to clean up old cached
appliances.

This patch resolves RHBZ#639405

Call febootstrap-supermin-helper using the new -u and -g options

Use febootstrap-supermin-helper's new -u and -g command line options to setuid,
rather than doing it in libguestfs.

This resolves an issue with the generation of the cached appliance checksum. The
checksum was being generated by a call to febootstrap-supermin-helper through
popen(). Unfortunately, a bash misfeature meant that euid would be reset to uid,
and the checksum was generated for uid, not euid. When virt-v2v is writing to a
RHEV target, uid == 0 and euid == 36, which resulted in a cached appliance being
created for root with permissions for uid 36.

Note this requires febootstrap 2.10.

Log the febootstrap-supermin-helper command line

A side-effect of change 17e7cb9937a63ed8f9bb0fb6ac7302758be76846 was the the
febootstrap-supermin-helper was no longer logged. This change adds it back using
the new guestfs___print_timestamped_argv internal function.

New internal function guestfs___print_timestamped_argv

This function generalises the existing print_cmdline used to output the qemu
command line to output any given command line, and exports it to other modules.
It also adds a timestamp to the old print_cmdline output for consistency with
guestfs___print_timestamped_message.

list-filesystems: Use core list-filesystems API (RHBZ#642933).

Change virt-list-filesystems to use the core inspection API
instead of the deprecated Sys::Guestfs::Lib::get_partitions
function.

Sys::Guestfs::Lib: deprecate get_partitions (RHBZ#642933).

However the code is left since this function is used
by virt-v2v amongst others.

inspector: Rewrite virt-inspector (RHBZ#642930).

Rewrite virt-inspector:

 - remove old and unsupportable features
 - use the C inspection API
 - don't run programs from the guest

The RNG has been updated to reflect the new XML-only output.

The new example files show the new XML output.

tools: Use C API for inspection (RHBZ#642930).

Update the following tools to use the C API for inspection:

 - virt-cat
 - virt-edit
 - virt-ls
 - virt-tar
 - virt-win-reg

None of the tools in the tools/ directory now use the deprecated
Perl inspection APIs.

New API: inspect-get-windows-systemroot to get systemroot.

We are already using heuristics in the C inspection code to
determine the Windows %SYSTEMROOT% directory.  This change
just exposes this information through the API.

Sys::Guestfs::Lib: deprecate inspection functions (RHBZ#642930).

Deprecate the guest inspection functions in this module, remove
documentation, and point users at the core API functions instead.

However we will keep the code here since it is used by virt-v2v
and virt-inspector.

daemon: Fix /dev/mapper paths from mounts and mountpoints (RHBZ#646432).

Make the LV paths returned by these two commands canonical.

edit: Clean up tmp file handling in virt-edit.

This was probably not a security issue, but this change
makes the code cleaner by not opening the tmp file twice.

Also be more careful about error checking in close syscall.

doc: Warn about security implications of running commands.

virt-ls: Small fix to documentation.

Remove ocaml/.depend from git.

ocaml/.depend is automatically generated. This patch removes it from git.

Version 1.5.24.

Disable test for RHBZ#576879 comment 5.

This test has started to hang, for reasons we don't understand.

Unify guestfish and guestmount options processing (RHBZ#642932).

In guestfish, factor out the processing of the options -a, -c,
-d, -i, -m, -n, -r, -v, -V, -x into a separate set of files:
options.c, options.h, inspect.c, virt.c.

Change guestmount so that it uses these same files (from the
../fish directory) to process the same options.

This unifies the handling of these options between the two programs.
It also adds the useful inspection feature to guestmount, so you
can now do:

  guestmount -d Guest -i --ro mnt/

df: Add --uuid option to print guest UUIDs instead of names (RHBZ#646821).

todo: Remove obsolete items from TODO file.

Document problems mixing mkmountpoint and umount-all (RHBZ#599503).

appliance: Repo name is not Fedora-specific.

The --with-repo parameter is also used by Debian to specify
the Debian software repository, so remove references to
Fedora.

appliance: Remove repo from appliance filename (RHBZ#638901).

There's no need to have the appliance filename contain the
repository name it was built from, and this change gives
downstream users more freedom to mix and match libraries
and appliances if they want to.

inspection: Ignore floppy disks and CD-ROM drives (RHBZ#642929).

Enable autosync by default.

/dev/mapper paths should not be returned from C inspection APIs (RHBZ#638899).

With this patch, /dev/mapper paths do not appear in the output
of guestfs_inspect_os, as you can see from this example:

Welcome to guestfish, the libguestfs filesystem interactive shell for
editing virtual machine filesystems.

Type: 'help' for a list of commands
      'man' to read the manual
      'quit' to quit the shell

Operating system: Fedora release 13 (Goddard)
/dev/vg_f13x64/lv_root mounted on /              <--- NB
/dev/vda1 mounted on /boot

New API: lvm-canonical-lv-name: make LV name canonical.

When logical volume names appear in places like /etc/fstab
files they can have the form "/dev/mapper/foo-bar".  This
function takes such names and makes them canonical.

Note that this operation cannot be performed using the current
API, because 'guestfs_stat' does not work on device names, and
we don't really want to make a 'stat-device' call since that
exposes too much non-useful detail about the appliance.

With this patch you can do this:

><fs> debug ll /dev/mapper
total 8
drwxrwxr-x  2 root root   4096 Oct 25 12:51 .
drwxr-xr-x 16 root root   4096 Oct 25 12:51 ..
crw-------  1 root root 10, 62 Oct 25 12:51 control
lrwxrwxrwx  1 root root      7 Oct 25 12:51 vg_f13x64-lv_root -> ../dm-0
lrwxrwxrwx  1 root root      7 Oct 25 12:51 vg_f13x64-lv_swap -> ../dm-1

><fs> lvm-canonical-lv-name /dev/mapper/vg_f13x64-lv_root
/dev/vg_f13x64/lv_root
><fs> lvm-canonical-lv-name /dev/mapper/vg_f13x64-lv_swap
/dev/vg_f13x64/lv_swap
><fs> lvm-canonical-lv-name /dev/mapper/foo
libguestfs: error: lvm_canonical_lv_name: lvm_canonical_lv_name_stub: /dev/mapper/foo: No such file or directory
><fs> lvm-canonical-lv-name /dev/mapper/control
libguestfs: error: lvm_canonical_lv_name: /dev/mapper/control: not a logical volume
><fs> lvm-canonical-lv-name /dev/vg_f13x64/lv_root
/dev/vg_f13x64/lv_root

rescue: Add --network option.

This enables networking in the rescue shell.

Don't use kernel module whitelist with ext2-based appliance.

Since the ext2-based appliance is cached, and since it is not
all loaded into memory (as with the initrd), we might as well
put all the kernel modules in there.

Note the kmod.whitelist.in file is still used for building the
ordinary appliance.

Fix networking in the appliance.

Commit 4963be85 re-introduced networking to the appliance,
but didn't configure the custom network the appliance expects
since we switched to link local addressing. This patch
configures QEMU to use the custom network again.

Note that you still need to use guestfs_set_network (g, 1)
to enable user networking.

Don't include control characters in BufferIn trace output (RHBZ#646822).

The example below shows what the output looks like for a large
random buffer.

$ guestfish -N fs -m /dev/sda1 -x -- \
    touch /test : \
    pwrite /test "$(dd if=/dev/urandom bs=128k count=1)" 0
[...]
pwrite "/test" "\x7f\xa0/\xb3\x80\xd3\xbc\xc3\xc3.\xb1\xe0\x1b\xafC\x06\xd5;\x0ajJ[o\xc1\xdd\xae\x1f\xce\xb2\x8d\xb3\xd0\x11\xcc$%\xe6<\xc7\xc7\xe7BU*\xc4l%\xaa\xea\xe9\x1an\xda]\xc6I\x0eC\xf9;\xec\x12a\x1f\xeaRH\xb2P\xd6+\xc4\xe6\xa5bW\x99\\x9d\xc8\x9bJ\xef\x99-\x16:h5\xe2\x0f\xa2\xa08\x9bU\x0b$\x138\xcf\xd4j\x9b\x83{%\xac0\xdaa1Xx\xbd`\x8e\xdd\x82\x87\x07\x98\xd2\x9ed\x8bq\xd0\x1f5\x8f\xab\xad4z1\xda\xc4b\xc1\xbc\x0f\xaa\xea\xc1\x15(\xfd1\xc2\x0bF\xe6\x9e\xb0+/g\\xab\xb0b\xde_\xca\xf9\xad\xe1?%\x17\xad\x98\xa4e\xc1\xe0f'\x89\xe9>\xff\xadhYi\xe7\x8c]%\xef\xe0\xa1R\xe5\xd5\x03K\xefI\xdf\xad\xd3\x82\xdb\x0f\xdd\xc3\x8f"\xf1G\xea\xf9r\xdd\xff\x88\x81\xb7\xf2\x0e\x0f\x1d;:\xf2F1\xdb\xb5D\xa1^\x928\xf5\x8e)\xab\xc4\xc3H(\xd0ol\xc6\xe4\xd6\xa3L\x1c\x06\xf4"<truncated, original size 130567 bytes> 0
[...]