df, testing: Add notes on virt-df numbers (thanks Kashyap Chamarthy).
(cherry picked from commit 7b3137e664c3f4edf6ac7043a34c4166567e17bd)

sparsify: Add auto-detection of .vdi files.

Note that for this to work properly, it requires a patch to
the 'file' command.  See:
https://www.redhat.com/archives/libguestfs/2011-November/msg00120.html
(cherry picked from commit 342b4a55d056734a0344db8b4bcf1a90104a8a59)

guestfs-testing: Link to libguestfs-test-tool.
(cherry picked from commit 6f39cfaeacda146d0eaa35da6f6413fa6ab3d40a)

out-of-tree build: ruby
(cherry picked from commit 8bc6e9d6a89672bbe1e7469774abe889354deb67)

Add guestfs-testing(1) man page.

This contains suggested manual tests that users can run.
(cherry picked from commit a3b24296810d98e47552c6838dcd6ab6845aba03)

out of tree build: haskell
(cherry picked from commit 730fb50780df860474dc1fae16c9891187e99c82)

java: out-of-tree build, don't build static library
(cherry picked from commit a0509ff0715533e341573e24f6888fd7dcf4ba51)

out of tree build: erlang
(cherry picked from commit ddb3fac1bf1b0493779c9425b518598473ef106a)

32 bit: Fix printf off_t.
(cherry picked from commit 47963bc9cc0b47af0541010a4fa14260405acaa5)

32 bit: Use %td for ptrdiff_t (difference between two pointers).
(cherry picked from commit 5d48250224fcb140b7e6e17f36b37deab4e0659b)

df: Disable part of virt-df test.

See:
https://www.redhat.com/archives/libguestfs/2011-November/msg00051.html
(cherry picked from commit 6e6b3ff35f9baafb22d5459ca13c112b1e00ae1b)

generator: Support testing the output of RHashtable functions.

You can use TestOutputHashtable to test the output of RHashtable
functions.
(cherry picked from commit 5f0b75f040b118c4394466438adc99f38144722d)

daemon: Define safe ADD_ARG macro for constructing arg lists on the stack.
(cherry picked from commit edd502543adbdc2fa5dda0c015ea7c390bb39f64)

Version 1.14.2.

ocaml: Fix bindings when a function takes more than 10 parameters.

If any function had more than 10 required + optional parameters, OCaml
bindings could not be generated.  Currently there are no such
functions.
(cherry picked from commit 29172e7c4878085a680812f7f3b8ad6ea5f1193c)

tests: Fix bitmask parameter when testing optional arguments.

The bitmask was being constructed backwards(!)

As a result, any test which tested optional arguments didn't work.
There are very few such tests and they happened not to be affected by
this.
(cherry picked from commit af2b0378bbb178a4e3db326ac3082d66170fcafc)

fish: More informative documentation of optargs.
(cherry picked from commit 271f8e4b70e4acf2db96f6fe6317fda327fa5f2e)

ocaml: Compile OCaml bindings and tests with -warn-error.
(cherry picked from commit 145ed04e41a3fcd3be87c11cae0085f4551f1da8)

ocaml: Catch EVENT_ENTER case in test.

For some reason we are not compiling the tests with -warn-error so
this problem was not noticed before.

This fixes commit 9420eaf44ec4067c3740b91b0be0fede08a0c515.
(cherry picked from commit 22c72b911e65b93cfd049f42e6bd1b9ad7d55299)

Update FSF address.
(cherry picked from commit 04ea1375c55aa67df4e7fc61dbb534111767f3b6)

daemon: Use a private copy of /etc/lvm so we don't modify the real config.

In the libguestfs live case we need to be careful not to modify the
real /etc/lvm/lvm.conf file (when setting the filter rule).

When the daemon starts, make a complete copy of /etc/lvm in a
temporary directory, and adjust LVM_SYSTEM_DIR to point to the copy.
All changes are made in the temporary copy.
(cherry picked from commit 9c299b64bb24cefafa582fe425bb65b78373d205)

daemon: Don't use files with fixed names in /tmp (thanks Steve Kemp).

Although this doesn't matter for the ordinary (appliance) case, it
matters for the libguestfs live case.  In that case it could cause the
guest to be exploited by a tmp/symlink attack.
(cherry picked from commit 6011b1f803ba7308c6a94b9bf6b7212cfccb9f42)

virt-sysprep: Don't use xmlstarlet.

Use virt-inspector --xpath option instead.
(cherry picked from commit 22998927f91f123e7c35d3ebf49e5744f3d7eafe)

Add virt-inspector --xpath to run XPath queries directly.

xmlstarlet is good, but not available in Red Hat Enterprise Linux.

Build a simple but sane XPath query parser into virt-inspector
directly so that we don't need any external tools.
(cherry picked from commit d1ee71782ace98a11c5aabaf1f9fd5f601e08367)

resize: Remove requirement for ocaml Pcre library.

This library is not available in RHEL 6, and in any case removing the
dependency is a simple change.
(cherry picked from commit ffbafadcb8dfebcaba529cb8d7e2da52dd032d8a)

resize: Add tests for some Utils functions.
(cherry picked from commit 63898268101e5ec91c8dac46651dbee5976272ce)

python: Use sys.version_info[0] instead of sys.version_info.major.

The major/minor fields only exist in Python >= 2.7.  This works for at
least Python 2.5 and 2.6.

Thanks to Hilko Bengen.

This updates commit 646142f5136da9cfe2b908703a822c53350f70e9.
(cherry picked from commit 31e5539a14f78d8815d0d930e91023a65b5395e7)

python: Fixes for Python 3 (RHBZ#750889).

These fixes allow libguestfs bindings to work with Python 3 (tested
with Python 3.2)

You can select which Python you compile against by doing:

  PYTHON=python ./configure && make && make check

or:

  PYTHON=python3 ./configure && make && make check
(cherry picked from commit 2116f79cbcd4605b4997931285f14dde1f72a992)

python: Pass $PYTHON environment variable to tests.

If the user set PYTHON when configuring, this variable is not passed
through to the tests, so it is possible the tests will fail because
they are testing the wrong version of python.  By passing $PYTHON
through to the tests we ensure that we test against the same version
of python that we configured with.
(cherry picked from commit e2249b7ce1dd0a2f8f110e0e47aca397185a6373)

python: Include <config.h>.

Ooops ...
(cherry picked from commit 25454b83082a4cfed4f1664d2f9cdfcb222ba7c2)

python: Correctly check for Python major/minor.

The manual for sys.version warns that you should not parse the string,
which we were doing.  It would have failed on python "2.10" or
similar.

Do it correctly using the sys.version_info struct instead.
(cherry picked from commit 646142f5136da9cfe2b908703a822c53350f70e9)

fish: Use size_t instead of int when counting strings.
(cherry picked from commit b4da051d54a1597c7d8db8880d21a52265a6172e)

Fix debug help error message.

When given an invalid debug command, libguestfs responds with the
error message:

  libguestfs: error: debug: use 'debug help' to list the supported commands

However this command does not work, as debug requires two
arguments. This change updates the message to prompt the user to use
'debug help 0'.
(cherry picked from commit 4e3a1205ebfec1a5cbc3062d6f73a684090e80b5)

appliance: Add 'mdadm' package.
(cherry picked from commit 6f84ef6768e9c625d67f7eb015277b0ec1b2c2af)

Version 1.14.1.

perl: Add %guestfs_introspection hash with introspection information.

Because this is a useful introspection API, it is a candidate for
being backported into older stable branches.
(cherry picked from commit 365885dab2ae6dcdf0b2c45d0adeb803ade03f63)

Version 1.14.0.

Pull latest translations from Transifex.

generator: Remove DangerWillRobinson.

This warning was applied unevenly.  Potentially any command can be
dangerous or safe, so it was a needless warning.

fuse: Skip guestmount test if setfacl is not installed.

This dependency is optional, don't fail the test if it's not
installed.

virt-sysprep: Skip test if xmlstarlet is not installed.

This dependency is optional, so don't fail the test if it
is not installed.

virt-alignment-scan: Add additional data for 4K sector drives
(thanks Matt Booth).

test-virt-sparsify: Relax size_after constraint (for Debian).

size_after on Debian was 10136K.  The host filesystem was ext3 (vs
ext4 for Fedora where we did the original testing).  Probably indirect
blocks (vs more efficient extents on ext4) causes the difference,
although I did not look at it in detail.

Update RELEASE-NOTES for 1.14 release.

Update ROADMAP for 1.14 release.

Update API support.

Version 1.13.26.

guestmount: Fix --live option (RHBZ#744795).

fish and other tools: -d option uses readonlydisk="read" (RHBZ#747290).

Tools like virt-edit would not be able to edit disks marked as
<readonly/> in the libvirt XML.  It's not clear if this is a bug or a
feature.

add-domain: Add readonlydisk optional argument (RHBZ#747290).

This optional argument controls how <readonly/> disks in
the libvirt XML are handled.  It can be set to one of:

  "write" (default) - add them R/W
  "read" - add them R/O
  "error" - throw an error if asked to add them R/W
  "ignore" - ignore these disks

I have added limited regression tests for this feature.  However
libvirt's test:/// XML does not allow you to specify that a domain
starts off shut down, so we cannot fully test this.  Instead I tested
it by hand.

libvirt: Detect if a disk has the <readonly/> flag.

This changes the private function guestfs___for_each_disk so that the
<readonly/> flag on libvirt disks is detected and passed through to
the callback function.

test-user-cancel: Make this test choose smaller cancellation numbers.

Use a Gaussian distribution for random numbers so that smaller numbers
are chosen more frequently.

This also exposes a bug in this test which only happens when small
numbers are chosen:

If the test thread starts up quickly, it can get to
guestfs_user_cancel before the guestfs_upload command has happened in
the main thread.  This causes the cancel to be ignored (correctly) and
we end up in the second loop writing data until the disk runs out of
space.  Fix this by repeatedly asserting the cancel flag in the second
loop.

Version 1.13.25.

virt-resize: Be much more conservative about moving first partition.

Commit 2910413850c7d9e8df753afad179e415f0638d6d caused Windows 7
resizes to break with the 0xc0000225 boot error.

Change the --align-first auto (default) option so that it is more
conservative about when it moves the first partition.  In particular
it doesn't move it if it's already aligned (as it is for Win7), nor if
there is more than one partition (also Win7).

Tested with: Windows XP, 2003, 7, Ubuntu 10.10 and RHEL 5.

Flush stdout for progress bars used by guestfish, virt-resize.

virt-resize: Handle extended and logical partitions (RHBZ#642821).

resize: Get the partition table type of the source disk earlier.

Also we only permit MBR (DOS) and GPT partition tables.  In theory
previously we allowed other partition table types, but it is unlikely
that it would have worked in reality.

New APIs: copy-{file,device}-to-{file,device}.

The four new APIs:
guestfs_copy_device_to_device,
guestfs_copy_device_to_file,
guestfs_copy_file_to_device, and
guestfs_copy_file_to_file
let you copy from a source to a destination, between files and
devices, optionally allowing source and destination offsets and size
to be specified.

ocaml: Make sure virt-resize, virt-sparsify are rebuilt if Guestfs API changes.

Add a dependency so these tools are rebuilt from scratch if the
Guestfs API changes.  This prevents the error:
"[...] make inconsistent assumptions over interface Guestfs".

This commit includes the generated changes to .depend files.

virt-filesystems: Add MBR partition type byte to the output.

This adds an extra column containing this information, looking
like this:

Name       Type        VFS   Label  MBR  Size  Parent
/dev/sda1  filesystem  ntfs  -      -    6.0G  -
/dev/sda1  partition   -     -      07   6.0G  /dev/sda
/dev/sda   device      -     -      -    6.0G  -

In particular you can use this to tell if a partition is an extended
partition, because the field will contain '05' or '0f'.

New API: part-to-partnum

This converts a partition device name (eg. /dev/sda1) to a partition
number (eg. 1).  This is useful in conjunction with the parted APIs
that mostly take a disk device + partnum.

virt-cat: Handle Windows paths and drive letters (RHBZ#693359).

Version 1.13.24.

Add test for qemu broken -machine option (RHBZ#748266).

Also add this option, if necessary, when testing for virtio-serial
support.

When the workaround is enabled, we specify machine type 'pc'.

Revert "out-of-tree build: daemon"

This reverts commit 025dba7f803419f510fd8f085ce693838af82878.

If build and source directories are the same, you get this error:

make[3]: Leaving directory `/home/rjones/d/libguestfs/generator'
make[2]: Circular guestfs_protocol.c <- guestfs_protocol.c dependency dropped.
make[2]: Circular guestfs_protocol.h <- guestfs_protocol.h dependency dropped.
rm -f guestfs_protocol.h
ln  guestfs_protocol.h
ln: accessing `guestfs_protocol.h': No such file or directory

virt-win-reg: Document syntax for deleting keys and values (RHBZ#737944).

NB: This requires hivex >= 1.3.2 before this syntax becomes true.

virt-make-fs: Refresh man page.

Fix ./configure --disable-erlang.

out-of-tree build: fixed bindtests and inspector

out-of-tree build: fix HAVE_OCAML=false case

out-of-tree build: daemon

add-drive-opts: Correctly handle unreadable and unwritable files (RHBZ#747287).

virt-make-fs: Set MBR partition type byte correctly (RHBZ#746295).

lib: Common code for formatting the qemu -drive parameter.

This is just code refactoring.

Allow compilation without hivex (RHBZ#723474).

po-docs: Force make update-po on first build from git.

Version 1.13.23.

appliance: udev-174 moves udevd to /lib/udev/udevd (instead of /sbin/udevd)

resize: Add --align-first auto|never|always option.

The first partition can now be aligned.  We fix the bootloader
correctly for Windows by adjusting the "Hidden Sectors" field.

resize: Add --alignment flag to allow partition alignment to be picked.

resize: Refactor the code for creating target partitions.

The old code mixed the business of planning the layout of the target
partitions with the creation of the target partitions.  The
replacement code separates these into two tasks: firstly we create a
new 'partitions' list with the target layout, secondly this directly
drives the creation of the partitions.

As part of this change I have *removed* the old code that was supposed
to handle extended/logical MBR partitions.  It simply didn't work, and
didn't have any hope of working, and there is a separate bug open to
fix it.

resize: Remove p_size field from partitions structure.

This field simply contained a duplicate copy of p_part.part_size.

There is no functional change in this commit.

Update RELEASE-NOTES.

Version 1.13.22.

Pushed and pulled latest translations from Transifex.

Fixed one bug in the nl PO file:

msgid "security: cached appliance %s is not owned by UID %d"
msgstr "beveiliging: UID %d is geen eigenaar van toepassing %s in cache"

should be:

msgid "security: cached appliance %s is not owned by UID %d"
msgstr "beveiliging: UID %2$d is geen eigenaar van toepassing %1$s in cache"

inspection: Return root devices sorted.

inspect: Handle cciss devices in /etc/fstab

inspect: Don't assume number of captures in match functions

It is possible for the pcre library to return a variable number of captures for
a single regular expression. e.g.:

  ^/dev/(cciss/c\d+d\d+)(?:p(\d+))?$

This will return either 1 or 2 captures depending on whether the device has a
partition suffix. The current match wrappers don't allow for this, and require
that a predictable number of matches are returned.

This change updates match, match1, match2, and match3 to ignore the specific
number of matches returned. Instead, any returned captures are assigned to the
given arguments, and any remaining arguments are set to NULL.

inspect: Add drive naming hints

We currently use a heuristic to guess how drive names we find
referenced in the guest map to drive names in the appliance. If this
heuristic fails it can cause inspection to fail.

This change adds a new 'name' option to add_drive_opts, which allows
the user to explicitly pass the name of a drive to libguestfs if it is
known. This change also updates the fstab-parsing inspection code to
use this information if it is available.

NFC: Remove unnecessary goto

launch: Store drive information in guestfs_h

This is a NFC on its own, but provides a place-holder for drive metadata which
can be used after launch.

Fixes by RWMJ:

 - Fix the tests: this requires a new internal function 'debug-drives'
   that dumps out the g->drives information so it can be checked in
   two of the tests.  Previously these tests used 'debug-cmdline'.

 - Test file existence / use_cache_off in the add_drive_opts function,
   not when launching qemu in the child process.

 - Call free along error paths.

 - Add comments.

inspect: Fix fstab device mapping for >26 disks

The regular expression matching disk name assumed that there was only a single
letter suffix. This change handles a naming scheme for any number of disks.

launch: Ensure g->cmdline is allocated before assigning g->cmdline[0].

valgrind: guestfish -i: free strings before exit.

This isn't really necessary, but it keeps valgrind happy.

Ubuntu 11.10: Create /run and /run/lock if not already.

In real machines these directories are a ramdisk.

virt-sysprep: Fix link in documentation.

Skip guestmount and virt-sysprep tests if no /dev/fuse.

virt-sysprep: Fix test to use guestmount and virt-inspector binaries that have been built.

appliance: Fedora cryptsetup-luks renamed to cryptsetup.

Therefore we need both names to be listed in the file.

roadmap: Fix Bugzilla URL.