virt-make-fs: Use Sys::Guestfs::Lib::feature_available helper function.

Allow aug-ls to take Augeas variable as argument (RHBZ#580016).

Remove warning "No grub default" (RHBZ#580650).

If qemu dies during launch in "null vmchannel" mode, don't hang (RHBZ#579155).

Detect if qemu dies during launch by wait(2)-ing for it, and
then getting EOF on the qemu pipe.  This was broken in null
vmchannel mode, causing a hang.

Don't kill self accidentally.

Always check that pid > 0 before calling kill (pid, 9).  The
issue was that sometimes pid == 0, and this ends up killing
ourselves.

Fix for "warning: unexpected connection from UID ..."

This warning is currently a fatal error.  The code attempts
to retry the accept call, but because we don't reset sock = -1
the retry doesn't happen and it dies anyway.

Set sock = -1 so the retry attempt can happen.

New API calls to upload/download txz files (RHBZ#580556).

configure: Default to using Fedora 12 repo (was Fedora 11).

Fedora 11 is almost EOL at this point.

Version 1.3.1.

New tool: virt-make-fs for creating filesystems on devices.

Code cleanups related to RHBZ#580246.

This includes various code cleanups:

 (a) A regression test for RHBZ#580246.

 (b) Use write instead of fwrite to write out the tar file.  This is
     just because the error handling of write seems to be better
     specified and easier to use.

 (c) Use size_t instead of int for length.

 (d) Clearer debug messages when in verbose mode.

Fix tar-in command hangs when running out of disk space (RHBZ#580246).

The problem was this sequence of events:

 (1) File transfer goes through OK.

 (2) pclose returns failure (because 'tar' subprocess failed)

 (3) We try to cancel the transfer by calling cancel_receive.

Step (3) fails because the transfer (as far as the library is
concerned) has succeeded, so causing a hang.

The more fundamental reason why we see steps (1) and (2) is that
'tar' does NOT fail immediately if there is a write error.  Instead
it continues reading and discarding the input until the end of the
input before giving "Error exit delayed from previous errors".
IMHO this is a bug with tar, since an ENOSPC write error should
be fatal for tar.

fish: Print extended help when the user types an unknown command first.

$ guestfish /tmp/disk.img
/tmp/disk.img: unknown command
Did you mean to open a disk image?  guestfish -a disk.img
For a list of commands:             guestfish -h
For complete documentation:         man guestfish

Check error returns from posix_fallocate (RHBZ#579664).

posix_fallocate has a non-standard way to return error indications.
Thus all our calls to posix_fallocate were effectively unchecked.  For
example:

  $ guestfish alloc test.img 1P
  $ echo $?
  0
  $ ll test.img
  -rw-rw-r--. 1 rjones rjones 0 2010-04-06 11:02 test.img
  $ rm test.img

With this change, errors are detected and reported properly:

  $ ./fish/guestfish alloc test.img 1P
  fallocate: File too large

This is a fix for:
https://bugzilla.redhat.com/show_bug.cgi?id=579664

Signed/unsigned warning on 64 bit.

New API: guestfs_zero_device to zero whole devices.

Prettier POD CSS.

Update PO files.

chmod +x virt-resize binary.

Fix EXTRA_DIST rule.

Prepare for 1.0.89.

Improved version of virt-win-reg, supporting exporting and merging.

virt-df: Match output with native (coreutils) 'df' command (RHBZ#578123).

This commit fixes the 'Use%' field in the output so it matches what
coreutils' 'df' command would print.

Firstly we change the calculation to use the space available to root,
not the space available to non-root.  This means it matches what 'df'
when run as root in the guest would show.

Secondly we display this rounded up to the next whole percent (ie. using
ceil), which is also what 'df' does.

Thirdly we change the regression test so it tests this.

Note that even with these changes you are not guaranteed to get precisely
the same figures from inside and outside the guest, as it depends on
how quiescent the guest is and how recently the superblock was synced.

Thanks: Rita Wu

tools: Add basic tests for the virt-* tools.

tools: Sectional header for manpages in Makefile.am

tools: Rearrange list of tools in Makefile.am.

daemon: Set TERM=dumb inside the daemon.

Since commit 977edb3185fe8f we have been passing TERM from the
library into the appliance (for the benefit of virt-rescue).
However this changes the output of parted, which I would argue
is a bug in parted:

 TERM=xterm /sbin/parted -m -- /dev/sda unit b print 2>&1 | hexdump -C
 00000000  1b 5b 3f 31 30 33 34 68  42 59 54 3b 0a 2f 64 65  |.[?1034hBYT;./de|

Notice the escape-sequence junk before the official "BYT;"
header.

By setting TERM=dumb we avoid this.

Fix the error message when reply body is too large (RHBZ#509597).

tests: Move alarm(2) calls to the correct place in the tests.

This is a re-fix for RHBZ#505329.

Prepare for 1.0.88.

rescue: Pass $TERM from library into the virt-rescue appliance.

We set it on the kernel command line, then get it out from
there when the rescue appliance boots.

rescue: Sync disk on exit, and improve messaging.

Const-correctness fix.

appliance: Set $PATH instead of hard-coding paths to binaries everywhere.

Change the appliance so PATH includes common directories.  Thus
we don't need to hard-code paths to binaries (eg. "/sbin/fdisk")
everywhere.

perl: use newSVpvn for variable length strings.

Previously we used newSVpv (str, len), but if len == 0 then
this means Perl tries to calculate the string length using
strlen(3).  This is not desirable when we know the length, in
which case we should use newSVpvn instead.

Update PO files.

Update Spanish translation of libguestfs (RHBZ#576876).

Fix lvresize test on RHEL 5, by fixing guestfs_e2fsck_l.

The problem is that mkfs was making an ext2 filesystem,
which later we were checking with e4fsck.  e4fsck corrects
an "error" on the filesystem:
  /dev/VG/LV: Adding dirhash hint to filesystem.
e4fsck returns 1 (errors corrected) which we were interpreting
as an error return.

Use ext4 dev tools on RHEL 5 (RHBZ#576688).

Add support for minix filesystem (RHBZ#576689).

Version 1.0.87.

New tools: virt-resize and virt-list-partitions.

Virt-resize is the main contribution here, a program which can
be used to expand and shrink partitions in disk images.

Virt-list-partitions is used as an ancillary tool for planning
resize operations.

New API: guestfs_copy_size to copy a fixed number of bytes.

This is similar to 'guestfs_dd', but it copies just a fixed
number of bytes from the source to the destination.  It's an
error if the source is too short or if the destination is too
small.

Change some _exit(0|1) to _exit(EXIT_SUCCESS|EXIT_FAILURE).

Mac OS X: Fix configure-time tests for Ruby.

For ARCHFLAGS change, see:
http://www.ruby-forum.com/topic/129717#579065

We also add a test for the <guestfs.h> header and include
that header when testing the library.

guestfs.h: Include <stdint.h>.

This allows programs to work if they just
  #include <guestfs.h>
and no other headers.  It's not useful in the general
case, but fixes some configure-time tests, particularly
the one for Ruby on OS X.

ocaml examples: Fix linking line so it uses local library.

Mac OS X: Disable null vmchannel implementation.

As far as I can tell, Darwin has no way to check the peer euid
of a _loopback_ TCP socket.  This is required for the "null vmchannel"
implementation to work securely.

Therefore disable this - Darwin will use one of the other supported
vmchannel implementations instead.

Mac OS X: 'xdr_uint32_t' is 'xdr_u_int32_t'

Mac OS X: For PATH_MAX, include <limits.h>

Mac OS X: setlocale function requires <locale.h> header file.

Mac OS X: implement readline functions.

OS X has an older version of readline with some differences
in the names of functions.

Mac OS X: provide alternate implementation of posix_fallocate.

Mac OS X: include <rpc/types.h> before <rpc/xdr.h>

In PortableXDR this is not included automatically so we
have to include it explicitly to get definitions for the
XDR types.

Mac OS X: include <string.h> in guestfs-actions.c

This is required because guestfs-actions.c uses 'memset'.

Mac OS X: Fix HAVE_GNU_CALLOC so it works when __GLIBC__ is not defined.

Mac OS X: strerror_r on Macs is not like GNU strerror_r.

Really this should be turned into a configure-time test.
Perhaps one exists already?

Mac OS X: define MAX macro if not already defined.

Mac OS X: kill(2) requires <signal.h>

generator: Small fix for GODI users.

GODI has an odd package layout, so the generator was unable to
find xml-light.  Add the GODI directory to the search path.

Ignore m4/intmax.m4

Remove out-of-date comment.

configure: Add --disable-daemon and --disable-appliance options.

Use these on any platforms where you don't want or need to
build the daemon/appliance combination.

Run qemu with -nographic option.

On Mac OS X this prevents a short "flash" as qemu opens a
toplevel window.

configure: Move host_cpu definition to earlier in the file.

appliance: Run depmod to create modules.dep for the kernel.

Since we disabled running new-kernel-pkg in febootstrap, this
has meant that the normal appliance has not had a modules.dep
file.  (Supermin was unaffected by this).

Mac OS X: Detect bindtextdomain.

These are missing on Mac OS X.  I think you would need to install
a gettext package to get these.

Mac OS X: Use gnulib setenv module explicitly.

See:
https://www.redhat.com/archives/libguestfs/2010-March/thread.html#00094

New APIs: Query the relationship between LVM objects.

These calls allow you to query the relationship between
LVM objects, for example, which PVs contain a VG, or which
LVs are contained in a VG.

See the example / test program 'regressions/test-lvm-mapping.pl'
for an example of how to do this from Perl.

daemon: Add a trim utility function.

This function trims the whitespace from around a string.  It
does this in-place, so it can be called for malloc'd strings.

add_drive_ro adds readonly=on option if available.

Change the add_drive_ro call so it adds the readonly=on option
if qemu supports that.

This just means that qemu will not try to open the drive with
O_RDWR, and should not otherwise change the behaviour of qemu or
libguestfs.  (In particular, writes to the read-only drive are
still permitted, and are just discarded when the handle is closed).

However it should alleviate RHBZ#571714 where udev was deciding
to incorrectly relabel a device because we had opened the device
for writing (even though we didn't actually write to it).

Allow qemu_supports to run earlier.

Reimplement qemu_supports() internal function.  Allow it to run
before launch so we can test qemu features.  Document that you
should run guestfs_set_qemu as early as possible to make sure
these tests are reliable.

Add minimal vim to the appliance for virt-rescue.

virt-rescue lacks an editor.  Add vim-minimal (Fedora)
or vim-tiny (Debian) to make up for this omission.

tests: Don't use <guestfs-internal.h> in tests.

It was failing when including this header, as a consequence
of earlier commit 1f56debfcfdc35d6b0.

guestfs.h: More adjustment to comments in the header file.

guestfs.h: Move some internal functions to the internal header.

Functions like guestfs__send were never exported through the public
API (libguestfs.syms prevented that).  However they appeared in the
public header.  Move them to the internal header.

Rearrangement and comment changes in <guestfs.h> header file.

There should be no substantive change.

Prepare for version 1.0.86.

Tab to space (whitespace fixes only).

Docs: Change exit(1) -> exit(EXIT_FAILURE)

Rewrite libguestfs-supermin-helper in C.

libguestfs-supermin-helper was previously a shell script.  Although
we had steadily optimized it, there were a number of intractable
hot spots:

  (1) cpio still reads input files in 512 byte chunks; this is *very*
    pessimal behaviour, particularly when SELinux is enabled.
  (2) the hostfiles globbing was done very inefficiently by the shell,
    with the shell rereading the same directory over and over again.

This is a rewrite of this shell script in C.  It is approximately
3 times faster without SELinux, and has an even greater speed difference
with SELinux.

The main features are:

  (a) It never frees memory, making it simpler.  The program is designed
    to run and exit in sub-second times, so this is acceptable.
  (b) It caches directory reads, making the globbing of host files much
    faster (measured this as ~ 4 x speed up).
  (c) It doesn't use external cpio, but instead contains code to write
    newc format cpio files, which is all that the kernel can read.  Unlike
    cpio, this code uses large buffers for reads and writes.
  (d) Ignores missing or unreadable hostfiles, whereas cpio gave a
    warning.
  (e) Checks all return values from system calls.
  (f) With --verbose flag, it will print messages timing itself.

This passes all tests.

Updated with feedback from Jim Meyering.

guestfish: Use xstrtoll to parse Int params (RHBZ#569757 RHBZ#567567).

Change guestfish so it uses xstrtoll to parse Int (31 bit)
parameters.  This fixes two bugs on 32 bit platforms which
failed when long = 32 bits.  long long = 64 bits on both.

Special case hostfiles handling for libntfs-3g.so

The ntfs-3g project keeps bumping their soname, and this causes
dependency problems for the Fedora package.  The root of the problem
is we depend on /lib/libntfs-3g.so.<N>, but if <N> keeps bumping,
the dependency keeps breaking.

This commit changes the hostfiles (and hence dependency) to be on
/lib/libntfs-3g.so.* instead.  The downside to this is we could end
up pulling more files into the appliance than are strictly required,
but it will fix the Fedora packaging problems being felt by the
Fedora maintainer of ntfs-3g.

After applying this commit, the change to hostfiles looks like this:

@@ -1489,7 +1489,7 @@
 ./lib/libpam_misc.so.0
 ./lib/libdmraid.so
 ./lib/libidn.so.11
-./lib/libntfs-3g.so.74
+./lib/libntfs-3g.so.*
 ./lib/libext2fs.so.2.*
 ./lib/libpam.so.0
 ./lib/libsepol.so.1
@@ -1520,7 +1520,6 @@
 ./lib/libnss_files-*.so
 ./lib/libgio-2.0.so.0
 ./lib/libpam_misc.so.0.*
-./lib/libntfs-3g.so.74.*
 ./lib/libanl.so.1
 ./lib/libdevmapper-event-lvm2.so.2.*
 ./lib/libpthread.so.0

inspector: Read information about Windows guests from the Registry.

This commit changes substantially the way that we get information
about Windows guests.  We now use the Windows Registry to get
information such as the version, product name and much else.

This uses Win::Hivex (ie. the hivex library).  'reged' is no longer
needed or used.

As an incidental change, this also tries harder to search for
%systemroot%, in the case when we cannot find boot.ini (ie.
Windows Vista and more recent).  This ensures we can get more
detail from those versions of Windows.

inspector: Add product_name field to output.

This is a free text string containing the "product name" of
the OS.  It's mainly useful for Windows guests, and a forthcoming
patch will get this field from the Windows Registry.

inspector: Don't crash if $os->{kernels} does not exist.

ie. on Windows.

inspector: Sort application names.

This ensures the list of applications is stable.

Remove plymouth libraries from the appliance.

Spanish translation of libguestfs (RHBZ#570181).

More complete fix for bash regexp quoting bug.

Commit 457fccae1b665347 was not a complete fix, in that it
didn't work properly on RHEL 5 era bash (3.2.x).  For example:

  file=libntfs-3g.so.74
  [[ "$file" =~ ^lib(.*)\.so\.([0-9]+)\. ]] && \
    echo "lib${BASH_REMATCH[1]}.so.${BASH_REMATCH[2]}.*"

would on those old shells print:

  libntfs-3g.so.7.*

It seems the final \. was being treated as a plain period (ie.
match anything).

The only way to work around this incompatibility is to assign the
patterns to variables and match on those, ie:

  p='^lib(.*)\.so\.([0-9]+)\.'
  [[ "$file" =~ $p ]] && ...

This works in both old and new shells.

Prepare for version 1.0.85.

Update PO files.

fuse: Fix typo in test.

build: Fix for bash quoting in supermin-split.sh.in (RHBZ#566511 RHBZ#566512)

Bash changed how the =~ operator worked, see bash FAQ question
E14 http://tiswww.case.edu/php/chet/bash/FAQ and
http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=487387#25
(RHBZ#566511).

This also stops stray "builddir" (yum database) files being
incorporated into supermin hostfiles in Koji (RHBZ#566512).

Updated Polish translations (RHBZ#502533).

Remove bogus msgstr from kn.po.

List application in Debian based vm images

Hi,
attached patch adds the code to list applications installed in Debian
based vm images.
Cheers,
 -- Guido

>From 9427a14725b33415058a0713923c62bd231504ec Mon Sep 17 00:00:00 2001
From: =?UTF-8?q?Guido=20G=C3=BCnther?= <agx@sigxcpu.org>
Date: Tue, 23 Feb 2010 21:05:02 +0100
Subject: [PATCH 2/2] Add application listing for Debian

Debian package format

Hi,
Minor nitpick: the Debian folks usually refer to deb as the package format not dpkg.
Cheers,
 -- Guido

>From 7a9665d40e0a3109833de10f17831ae06fc8885a Mon Sep 17 00:00:00 2001
From: =?UTF-8?q?Guido=20G=C3=BCnther?= <agx@sigxcpu.org>
Date: Tue, 23 Feb 2010 21:04:37 +0100
Subject: [PATCH 1/2] Debina package format is called 'deb' not 'dpkg'

check for grub/menu.lst too

On Tue, Feb 23, 2010 at 08:07:14PM +0100, Guido Günther wrote:
> On Tue, Feb 23, 2010 at 07:52:43PM +0100, Guido Günther wrote:
> > Hi,
> > attached patch makes virt-inspector find the kernels on Debian systems.
> > Since there is no /etc/grub.conf it falls back to
> > $grubpartition/grub/menu.lst.
> Patch got somehow broken. New version fortchcoming. Sorry for the noise.
Attached now. No idea where the 'if' went in the first version ;)
 -- Guido

>From d30b4946f017ff8bde9d4ff62f93c418a707d9e8 Mon Sep 17 00:00:00 2001
From: =?UTF-8?q?Guido=20G=C3=BCnther?= <agx@sigxcpu.org>
Date: Tue, 23 Feb 2010 19:50:40 +0100
Subject: [PATCH] Check for grub/menu.lst if /etc/grub.conf can't be found

Use 'service' if installed

Hi,
attached patch should make:

http://git.debian.org/?p=pkg-libvirt/libguestfs.git;a=blob;f=debian/patches/0003-appliance-Use-service-udev-start-instead-of-running-.patch;h=c9e6b8489807d4fb1247cb6a8b6f9799bad2a09e;hb=d3a21b5b6850fc3c6e7903d0f5cafa3eb4197d49
http://git.debian.org/?p=pkg-libvirt/libguestfs.git;a=blob;f=debian/patches/0004-Ubuntu-Prefer-starting-udev-by-hand-instead-of-using.patch;h=64b65a971b186e6ab1c9351e94b46d6f5aa242e0;hb=d3a21b5b6850fc3c6e7903d0f5cafa3eb4197d49

superflous. If there's an init script it uses 'service' or falls back to
calling the init script directly if it isn't there, otherwise it starts
udev directly. Tested on Debian only so far. The patch is based on
Rich's above two patches.
Cheers,
 -- Guido

From: =?UTF-8?q?Guido=20G=C3=BCnther?= <agx@sigxcpu.org>
Date: Tue, 23 Feb 2010 18:49:34 +0100
Subject: [PATCH] Check for service and use it if it's there

Based on Richard's two patches for the Ubuntu build.

Update PO files.