tests: Don't use <guestfs-internal.h> in tests.

It was failing when including this header, as a consequence
of earlier commit 1f56debfcfdc35d6b0.

guestfs.h: More adjustment to comments in the header file.

guestfs.h: Move some internal functions to the internal header.

Functions like guestfs__send were never exported through the public
API (libguestfs.syms prevented that).  However they appeared in the
public header.  Move them to the internal header.

Rearrangement and comment changes in <guestfs.h> header file.

There should be no substantive change.

Prepare for version 1.0.86.

Tab to space (whitespace fixes only).

Docs: Change exit(1) -> exit(EXIT_FAILURE)

Rewrite libguestfs-supermin-helper in C.

libguestfs-supermin-helper was previously a shell script.  Although
we had steadily optimized it, there were a number of intractable
hot spots:

  (1) cpio still reads input files in 512 byte chunks; this is *very*
    pessimal behaviour, particularly when SELinux is enabled.
  (2) the hostfiles globbing was done very inefficiently by the shell,
    with the shell rereading the same directory over and over again.

This is a rewrite of this shell script in C.  It is approximately
3 times faster without SELinux, and has an even greater speed difference
with SELinux.

The main features are:

  (a) It never frees memory, making it simpler.  The program is designed
    to run and exit in sub-second times, so this is acceptable.
  (b) It caches directory reads, making the globbing of host files much
    faster (measured this as ~ 4 x speed up).
  (c) It doesn't use external cpio, but instead contains code to write
    newc format cpio files, which is all that the kernel can read.  Unlike
    cpio, this code uses large buffers for reads and writes.
  (d) Ignores missing or unreadable hostfiles, whereas cpio gave a
    warning.
  (e) Checks all return values from system calls.
  (f) With --verbose flag, it will print messages timing itself.

This passes all tests.

Updated with feedback from Jim Meyering.

guestfish: Use xstrtoll to parse Int params (RHBZ#569757 RHBZ#567567).

Change guestfish so it uses xstrtoll to parse Int (31 bit)
parameters.  This fixes two bugs on 32 bit platforms which
failed when long = 32 bits.  long long = 64 bits on both.

Special case hostfiles handling for libntfs-3g.so

The ntfs-3g project keeps bumping their soname, and this causes
dependency problems for the Fedora package.  The root of the problem
is we depend on /lib/libntfs-3g.so.<N>, but if <N> keeps bumping,
the dependency keeps breaking.

This commit changes the hostfiles (and hence dependency) to be on
/lib/libntfs-3g.so.* instead.  The downside to this is we could end
up pulling more files into the appliance than are strictly required,
but it will fix the Fedora packaging problems being felt by the
Fedora maintainer of ntfs-3g.

After applying this commit, the change to hostfiles looks like this:

@@ -1489,7 +1489,7 @@
 ./lib/libpam_misc.so.0
 ./lib/libdmraid.so
 ./lib/libidn.so.11
-./lib/libntfs-3g.so.74
+./lib/libntfs-3g.so.*
 ./lib/libext2fs.so.2.*
 ./lib/libpam.so.0
 ./lib/libsepol.so.1
@@ -1520,7 +1520,6 @@
 ./lib/libnss_files-*.so
 ./lib/libgio-2.0.so.0
 ./lib/libpam_misc.so.0.*
-./lib/libntfs-3g.so.74.*
 ./lib/libanl.so.1
 ./lib/libdevmapper-event-lvm2.so.2.*
 ./lib/libpthread.so.0

inspector: Read information about Windows guests from the Registry.

This commit changes substantially the way that we get information
about Windows guests.  We now use the Windows Registry to get
information such as the version, product name and much else.

This uses Win::Hivex (ie. the hivex library).  'reged' is no longer
needed or used.

As an incidental change, this also tries harder to search for
%systemroot%, in the case when we cannot find boot.ini (ie.
Windows Vista and more recent).  This ensures we can get more
detail from those versions of Windows.

inspector: Add product_name field to output.

This is a free text string containing the "product name" of
the OS.  It's mainly useful for Windows guests, and a forthcoming
patch will get this field from the Windows Registry.

inspector: Don't crash if $os->{kernels} does not exist.

ie. on Windows.

inspector: Sort application names.

This ensures the list of applications is stable.

Remove plymouth libraries from the appliance.

Spanish translation of libguestfs (RHBZ#570181).

More complete fix for bash regexp quoting bug.

Commit 457fccae1b665347 was not a complete fix, in that it
didn't work properly on RHEL 5 era bash (3.2.x).  For example:

  file=libntfs-3g.so.74
  [[ "$file" =~ ^lib(.*)\.so\.([0-9]+)\. ]] && \
    echo "lib${BASH_REMATCH[1]}.so.${BASH_REMATCH[2]}.*"

would on those old shells print:

  libntfs-3g.so.7.*

It seems the final \. was being treated as a plain period (ie.
match anything).

The only way to work around this incompatibility is to assign the
patterns to variables and match on those, ie:

  p='^lib(.*)\.so\.([0-9]+)\.'
  [[ "$file" =~ $p ]] && ...

This works in both old and new shells.

Prepare for version 1.0.85.

Update PO files.

fuse: Fix typo in test.

build: Fix for bash quoting in supermin-split.sh.in (RHBZ#566511 RHBZ#566512)

Bash changed how the =~ operator worked, see bash FAQ question
E14 http://tiswww.case.edu/php/chet/bash/FAQ and
http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=487387#25
(RHBZ#566511).

This also stops stray "builddir" (yum database) files being
incorporated into supermin hostfiles in Koji (RHBZ#566512).

Updated Polish translations (RHBZ#502533).

Remove bogus msgstr from kn.po.

List application in Debian based vm images

Hi,
attached patch adds the code to list applications installed in Debian
based vm images.
Cheers,
 -- Guido

>From 9427a14725b33415058a0713923c62bd231504ec Mon Sep 17 00:00:00 2001
From: =?UTF-8?q?Guido=20G=C3=BCnther?= <agx@sigxcpu.org>
Date: Tue, 23 Feb 2010 21:05:02 +0100
Subject: [PATCH 2/2] Add application listing for Debian

Debian package format

Hi,
Minor nitpick: the Debian folks usually refer to deb as the package format not dpkg.
Cheers,
 -- Guido

>From 7a9665d40e0a3109833de10f17831ae06fc8885a Mon Sep 17 00:00:00 2001
From: =?UTF-8?q?Guido=20G=C3=BCnther?= <agx@sigxcpu.org>
Date: Tue, 23 Feb 2010 21:04:37 +0100
Subject: [PATCH 1/2] Debina package format is called 'deb' not 'dpkg'

check for grub/menu.lst too

On Tue, Feb 23, 2010 at 08:07:14PM +0100, Guido Günther wrote:
> On Tue, Feb 23, 2010 at 07:52:43PM +0100, Guido Günther wrote:
> > Hi,
> > attached patch makes virt-inspector find the kernels on Debian systems.
> > Since there is no /etc/grub.conf it falls back to
> > $grubpartition/grub/menu.lst.
> Patch got somehow broken. New version fortchcoming. Sorry for the noise.
Attached now. No idea where the 'if' went in the first version ;)
 -- Guido

>From d30b4946f017ff8bde9d4ff62f93c418a707d9e8 Mon Sep 17 00:00:00 2001
From: =?UTF-8?q?Guido=20G=C3=BCnther?= <agx@sigxcpu.org>
Date: Tue, 23 Feb 2010 19:50:40 +0100
Subject: [PATCH] Check for grub/menu.lst if /etc/grub.conf can't be found

Use 'service' if installed

Hi,
attached patch should make:

http://git.debian.org/?p=pkg-libvirt/libguestfs.git;a=blob;f=debian/patches/0003-appliance-Use-service-udev-start-instead-of-running-.patch;h=c9e6b8489807d4fb1247cb6a8b6f9799bad2a09e;hb=d3a21b5b6850fc3c6e7903d0f5cafa3eb4197d49
http://git.debian.org/?p=pkg-libvirt/libguestfs.git;a=blob;f=debian/patches/0004-Ubuntu-Prefer-starting-udev-by-hand-instead-of-using.patch;h=64b65a971b186e6ab1c9351e94b46d6f5aa242e0;hb=d3a21b5b6850fc3c6e7903d0f5cafa3eb4197d49

superflous. If there's an init script it uses 'service' or falls back to
calling the init script directly if it isn't there, otherwise it starts
udev directly. Tested on Debian only so far. The patch is based on
Rich's above two patches.
Cheers,
 -- Guido

From: =?UTF-8?q?Guido=20G=C3=BCnther?= <agx@sigxcpu.org>
Date: Tue, 23 Feb 2010 18:49:34 +0100
Subject: [PATCH] Check for service and use it if it's there

Based on Richard's two patches for the Ubuntu build.

Update PO files.

Added Kannada translations (RHBZ#567860).

Spin off hivex as a separate upstream project.

This commit makes the semi-independent hivex library into a
separate upstream project.  The git repo for hivex is now:

http://git.annexia.org/?p=hivex.git;a=summary

Downloads of hivex are available here:

http://libguestfs.org/download/

All questions, patches, bugs etc should be sent to the libguestfs
mailing list and bug tracker.

enable scrub on Debian

hivexsh: Print hex bytes >= 0x80 correctly.

These were being interpreted as signed chars, and thus printed
as "ffffff80" etc.

Remove unused Perl modules.

These were 'use'd but not actually used.

Update PO files.

Add Hindi translations (RHBZ#565759).

Turn ProtocolLimitWarning into link to documentation section.

initrd-cat: Needs ProtocolLimitWarning.

Remove references to FTP, replace with FUSE.

We originally intended to implement an FTP server (and before
than, an NFS server).  But we didn't implement either.  We
did however implement a FUSE service (guestmount) which takes
the place of both.

Remove some unused variables.

Since we have to compile with -Wno-unused-variables, we don't
spot unused variables in code.  I found these by compiling the
code in Ubuntu.

Distribute .gitignore files.

These are useful for Debian since they keep the tarball unpacked
in git.

Add 'make quickcheck' rule to run a quick check.

Version 1.0.84.

daemon: Don't need to prefix error messages with the command name.

The RPC stubs already prefix the command name to error messages.
The daemon doesn't have to do this.  As a (small) benefit this also
makes the daemon slightly smaller.

Code in the daemon such as:

  if (argv[0] == NULL) {
    reply_with_error ("passed an empty list");
    return NULL;
  }

now results in error messages like this:

  ><fs> command ""
  libguestfs: error: command: passed an empty list

(whereas previously you would have seen ..command: command:..)

generator: Don't prefix error messages with command name.

The command name is already being added by the RPC stubs, so
adding it again in Perl and C# just results in doubled error messages
like:
  foo: foo: the error

Sys::Guestfs::Lib::open_guest: Add interface parameter.

This allows you to override the default QEMU block device emulation.

Sys::Guestfs::Lib::open_guest: Remove freeform parameters.

Remove the ability to pass freeform parameters to Sys::Virt->new.
We don't use it, it makes the code more complex to modify, and
indeed there are no other args that Sys::Virt->new supports so
this would never be used.

Also change $readwrite to $rw to match parameter name.

New APIs: add-drive{,-ro}-with-if allows you to set QEMU block emulation.

The default if=... comes from configure time (currently it
defaults to if=virtio).

This change allows you to set the QEMU block emulation.

We don't think this will be used very often, but virt-v2v
requires it in order to work around a subtle problem with
running 'mkinitrd' in an appliance attached to a guest.

generator: 'interface' is a reserved word in Java.

add_cdrom: Update docs for adding ISO images.

See also RHBZ#563450 (NB: This commit does not fix the bug).

Use mount-options instead of mount to avoid implicit -o sync.

guestfs_mount adds -o sync implicitly.  This causes a very large
performance problem for write-intensive programs (eg. virt-v2v).

Document this as a "gotcha".

Change the tests, guestfish, Sys::Guestfs::Lib, guestmount to use
mount-options instead.

(Note that this gotcha does not affect mount-ro).

The source of the performance problem was first identified by
Matthew Booth.

Add -enable-kvm option to qemu command line.

If the version of qemu being used supports -enable-kvm option,
then check if /dev/kvm is openable and add this option.

I have found this option makes no difference, although it is
*supposed* to enable KVM (hardware virtualization) support.

New API call: initrd-cat to list a file from an initrd.

Remove invalid Plural-Forms header from ml.po.

Documentation: Added a section on libguestfs gotchas.

Make virtio block driver be the default for the appliance.

Previously this caused a serious performance regression,
but we believe this is now fixed:
https://bugzilla.redhat.com/show_bug.cgi?id=509383

Added Malayalam translations (RHBZ#562710).

Distribute hivexsh.1.html HTML file.

Update PO files.

RHEL5: Keep old automake happy by defining docdir

Add scripts to EXTRA_DIST.

Update PO files.

Prepare for version 1.0.83.

Add files to EXTRA_DIST.

hivex: example6: Don't double backslashes.

hivex: example6: Hypothetical addition of keys for viostor.

hivex: Fix handling of inline VKs.

hivexsh: Set correct type for 'expandstring' values.

hivex: Documentation and cleanups.

hivex: Make limits into macros.

hivexsh: Remove unused variable.

This removes an unused variable left over by
commit ab608f3948d903af64e814b2e67949a1a71d93a4.

hivex: Complete the implementation of adding child nodes.

hivex: More debugging around nk 'unknown2' field.

hivex: Check hash fields in lf/lh records.

hivexsh: del command: Fix error message.

hivexsh: lsval: Remove stray quotation mark.

hivexsh: cd command: fix error handling

The error behaviour of hivex_node_get_child is subtle, so the 'cd'
command wouldn't always report errors correctly.  This fixes it.

hivex: allocate_block should update valid block bitmap.

The internal allocate_block() function wasn't updating the bitmap,
so if you revisited a block which you had allocated in the same
session, you could get an EFAULT error.

hivex: More debug messages.

hivex: Documentation update.

ntreg_lf_record can have id "lf" (old-style hashes) or "lh" (new-
style hashes).

hivex: Some missing le32toh endianness conversions.

hivexsh: Document some peculiarities of the "cd" command.

hivex: Implement deleting child nodes.

hivex: Add flags argument to internal get_children() function.

When we later call get_children to visit the intermediate
ri/lf/lh records, we have already deleted the subkey nk-records,
so checking that those nk-records are still valid is not very
helpful.

This commit adds a flag to turn these checks off.

hivex: Don't die on valid registries which have bad declared data lengths.

Some apparently valid registries contain value data length
declarations which exceed the allocated block size for the
value.

Previously the code would return EFAULT for such registries.
However since these appear to be otherwise valid registries,
turn this into a warning and just use the allocated block size
as the data length (in other words, truncate the value).

hivex: Minimal registry example.

This is the smallest registry you can make and still have it
load correctly in Windows regedit.

hivexsh: Add 'setval' and 'commit' commands.

This adds the 'setval' and 'commit' commands to the hivex shell.

Also adds some example scripts showing use of these.

hivex: Begin implementation of writing to hives.

This implements hivex_node_set_values which is used to
delete the (key, value) pairs at a node and optionally
replace them with a new set.

This also implements hivex_commit which is used to commit
changes to hives back to disk.

hivex: Add HIVEX_OPEN_WRITE flag to allow hive to be opened for writing.

If this flag is omitted (as in the case for all existing callers)
then the hive is still opened read-only.

We add a 'writable' flag to the hive handle, and we change the way
that the hive file (data) is stored.  The data is still mmapped if
the file is opened read-only, since that is more efficient and allows
us to handle larger hives.  However if we need to write to the file
then we have to read it all into memory, since if we had to extend the
file we need to realloc that data.

Note the manpage section L</WRITING TO HIVE FILES> comes in a later
commit.

Tools for analyzing and reverse engineering hive files.

This commit is not of general interest.  It contains the tools which
I used to reverse engineer the hive format and to test changes.
Keeping these with the rest of the code is useful in case in future
we encounter a hive file that we fail to modify.

Note that the tools are not compiled by default.  You have to compile
each explicitly with:

  make -C hivex/tools <toolname>.opt

You will also need ocaml-extlib-devel and ocaml-bitstring-devel.

hivexsh: Change some exit(1) -> exit(EXIT_FAILURE)

hivexsh: Only print final \n when interactive.

When hivexsh was called non-interactively, it would print an
annoying extra line.  Only print this line if we are being
used interactively.

hivexsh: Change handling of prompt argument to rl_gets()

Make the result of isatty into a global variable (is_tty).

Change the rl_gets() function so it takes the prompt string
instead of a "display prompt?" flag.  rl_gets() then consults
the global to find out if it should display the prompt at all.

Document that this flag is clear for default keys.

Misc documentation and gitignore update.

Move htole*/le*toh macros into a separate header file.

This allows us to reuse these macros in hivexsh later.

Add Marathi translations (RHBZ#561671).

Polish translations (RHBZ#502533).

Update PO files.

Add Gujarti translations (Sweta Kothari) (RHBZ#560918).

Update Oriya translations (thanks Manoj Kumar Giri) (RHBZ#559498).

hivex: Reimplement hivexget as a simple shell script.

hivexget is currently a large C program.  Now that we have hivexsh
(the shell) we can reimplement hivexget as a simple bash script that
calls out to hivexsh.