Version 1.10.3.

build: Sort EXTRA_DIST into lexicographic order.
(cherry picked from commit 48c91ac03cb0a6ac351822fe70200abb8ac7f761)

daemon: Remove some less useful debugging messages.

Remove some debug messages which were basically left over from when
the code was being developed.

However we leave debug messages where it is printing an external
command that is about to be executed, since those are useful.
(cherry picked from commit 5ce759bfdc70c97121ef34ab4d5c918d568f2474)

Fix guestfs___rollback_cmdline when pos == 0.

Because of the previous change to size_t, when pos == 0 the loop would
wrap around and cause a segmentation fault.

This fixes a regression introduced by
commit 10167cea98f93a74abe63f0a54d3a662997e7489.
(cherry picked from commit 607aa95de927b5b8e4b212655c71bf21acbba372)

configure: Sort output files in AC_CONFIG_FILES section.
(cherry picked from commit 8ee0ad0caf2f90f4883909cd9b61c4dd6f9cffbf)

doc: Use I<-...> for cross-references to command line options.

This is now used consistently across all the documentation.
(cherry picked from commit c49fc3831d12788c27b90d12f06a1cd69a88e3be)

df: Refresh virt-df(1) man page.

Add examples.

Refresh description.

Use I<...> to refer to command line options.
(cherry picked from commit 988a8784647a66adbece3c9fb470c06a4cce3cdd)

guestfs(3): Note that host file size limits affect guest disk limits.
(cherry picked from commit 805e6dbc15eae5a4f85eea3c37e295aefaefeb69)

guestfs(3): Refresh documentation for private data area keys.
(cherry picked from commit 40f2b698ac765128bfcda5f0db893c95d09ae89a)

guestfs(3): Referenced section is above, not below.
(cherry picked from commit 108d7a134c5d26b967fa7162d9b80b40112c2869)

guestfs(3): Refresh autosync gotcha documentation.
(cherry picked from commit a5e421570cc840f70f2931e24b3df40c9a14cd2d)

guestfs(3): Writing to a file descriptor, not just a pipe.
(cherry picked from commit 470e373eea218c8d46b0c63dda93ee9ece48940f)

guestfs(3): Refresh documentation for guestfs_create, guestfs_close.
(cherry picked from commit dd86183f3f6d4d5ad28e1f12c56ba920934e7ad0)

internal: Use size_t instead of int for command line size.
(cherry picked from commit 10167cea98f93a74abe63f0a54d3a662997e7489)

guestfs_close: Move local variables close to code that uses them.

This is just code motion.
(cherry picked from commit 478b2d80ed1d613f621e89a97a0b140004ebac29)

guestfs_close: Remove unused local variable.
(cherry picked from commit b2f8627ab59daeb03f036dde6c66fb9da736950c)

guestfs(3): Document limits.
(cherry picked from commit c0f96e9c6eda77e5e99de862dd4366010e4a1ab8)

zero: Disable file test because of bug in file command.

See: https://bugzilla.redhat.com/show_bug.cgi?id=705499
(cherry picked from commit f55b32b2db83495fc0987f0fe0e979818704dff1)

Version 1.10.2.

python: Rearrange C files for bindings.

Move the hand-written functions into two new files:
guestfs-py.h and guestfs-py-byhand.c

This is just code motion.
(cherry picked from commit 16da7589e91b0030fb5564553447f80b97c0b18c)

perl: Decrement refcount in $g->delete_event_callback.

This updates commit bc468c87d04b34faacd208c49cca4a5096e5103c.
(cherry picked from commit 3acf732c2f23d8508f692efb2b222169914bfcdc)

inspect: Look for %systemroot%/system32 for Windows heuristic.

The virt-v2v transfer ISO had a /windows directory.  The core
inspection code thought this was a Windows root filesystem.
(cherry picked from commit 0da6f55a6745686ca056c6bc8ebf647f111cb8e8)

list-applications: If software hive is missing, this is an error.

virt-inspector would exit silently if list-applications failed along
this error path.
(cherry picked from commit 782f3a36469ca396dbf998ea82af2699153be3ed)

inspect: "centos" and "scientificlinux" are now separate distros.

Previously we returned "rhel" for these, which was not accurate.
(cherry picked from commit 2b0ca7e7b8d369a42a51b1feec72ae8f17257c78)

Version 1.10.1

python: Release Python GIL while running libguestfs calls.

Release the Python global interpreter lock while running libguestfs
calls.

We don't release it around guestfs_create() because that is a short
call that just allocates memory.  We do release it around
guestfs_close() since that is a potentially long-running (it can call
wait(2) amongst other things).  We also release it around all the
other generated Python calls.

We don't yet support callbacks into Python code (ie. the new event
API).  But when we do in future, we will need to also handle the GIL
around those callbacks.

This code is adapted from libvirt's python/typewrappers.h.  Thanks to
Dan Berrange for showing us how to do this properly.
(cherry picked from commit 08dc4a87b92435678780e9c49fe3bc1e7465d99f)

fish: --rw option will be mandatory in 1.12 not 1.10.
(cherry picked from commit a3cce465570bf192e993a67feedfbab7e662c75a)

fish: Fix typo in guestfish man page (--format option).
(cherry picked from commit 4c2bb8b301970e8853a8feaa95e3698224640fba)

inspector: Refresh the virt-inspector(1) manpage.
(cherry picked from commit 34d9fed24ad6a2d2e13bb817820e31373f6756e1)

run script: Don't depend on libtool being installed.

Also use 'exec' to run the program.
(cherry picked from commit 5d139fa8a4a7f9ff65e7b936fd7376f661c72f48)

Remove local LIBGUESTFS_PATH detection from guestfish and guestmount.

Remove the hack that let you run ./fish/guestfish or
./fuse/guestmount.  You now have to do:

  ./run ./fish/guestfish
or
  ./run ./fuse/guestmount

to run these programs without installing.
(cherry picked from commit 33a2c184e12c0bdbf061a9f36c87d76c28444712)

Remove ad-hoc run*locally scripts, replace with './run'

Remove all the run*locally scripts and replace with a single top level
./run shell script.
(cherry picked from commit 5790f5bfafb12cc2ed9365461bf66e0fdfde7150)

inspector: Handle write failures when creating example-*.xml.
(cherry picked from commit 0108d7861d4cc9a1f0d87d89080d1be7750e54b5)

Delete file so db_load doesn't run incrementally.

It turns out that db_load incrementally updates the database (instead
of writing a new one).  Remove the old database to force db_load to
write a new one.

This also ensures that we handle write failure gracefully.

Cherry picked from commit 67493bfca44d436143d825b155bf2bc38990ea82
and backported to stable-1.10 branch.

inspector: Include <hostname> in output.
(cherry picked from commit 36d3a4ce53317b104d48b60c9fe1ed679065d1d4)

inspect: Abstract out db_dump code for listing RPM applications.

There are two changes here:

(1) The code for listing RPM applications ran db_dump and parsed the
output.  We abstract out that parsing code into a separate reusable
module (src/dbdump.c).

(2) The old db_dump parsing code used db_dump -p (printable) format.
Instead use db_dump -k (hex) format so we can read binary fields.
(cherry picked from commit a986e8dadb0c70634f6d1d89dd3e7bb5d9af3078)

inspect: Split code into separate files.

The src/inspect.c file had grown rather large -- 3,500 lines.  Split
it across several files according to function.

This is just moving code.

After the split the files are more evenly divided:

  536 src/inspect_apps.c
  766 src/inspect.c
  537 src/inspect_fs.c
  404 src/inspect_fs_cd.c
  785 src/inspect_fs_unix.c
  535 src/inspect_fs_windows.c
 3563 total
(cherry picked from commit 3336b5448f12c9eb25bf7a0cecda1315c4cf07ea)

inspect: Move shared PCRE match functions to separate file.

This is just moving code around.
(cherry picked from commit 439a42efdb052748c8457f866b2c68a581034826)

inspect: Cache downloaded files in the handle g->tmpdir.

During inspection we download various files such as the Windows
'software' and 'system' registries.  Previously these were downloaded
as temporary files and discarded immediately after use.  This meant
that the 'software' registry was being downloaded twice by
virt-inspector (it's required once for basic OS inspection, and a
second time to list Windows applications).

This commit changes this so that these files are cached in g->tmpdir,
and thus the second time we just reuse the file we've already
downloaded.

Callers shouldn't be relying on inspect-list-applications to reread
the actual registry from the VM (unless you close and reopen the
handle).  It says in the documentation that the results of inspection
may be cached in the handle.
(cherry picked from commit 3c1f762abed92f7a358f3bc93e3396d0606b18ad)

Remove temporary directory containing arbitrary files.

In preparation for caching inspection information in the temporary
directory (g->tmpdir), allow the temporary directory to contain
arbitrary files, and remove all of them when the handle is closed.

This just generalizes the previous method of cleaning up the tmpdir.
(cherry picked from commit 70975981bed8e0c01b5966c10b507bb82086e5f8)

Include string.h and libintl.h, as needed.

* df/df.c: As above.
* df/main.c: As above.
* df/output.c: As above.
* fuse/guestmount.c: As above.
* inspector/virt-inspector.c: As above.
* rescue/virt-rescue.c: As above.
(cherry picked from commit 6740028b333840eec5e8e46e8512f8155728b037)

Add more missing include directives.

* cat/virt-cat.c: Include string.h and libintl.h.
* cat/virt-filesystems.c: Likewise.
* cat/virt-ls.c: Likewise.
(cherry picked from commit ace1795d1045be96f92a68e6b61ffdee60431fef)

debian: Add dependency on libpcre-ocaml-dev.
(cherry picked from commit 173c374bd01e84deafdaf1f9aa65b0f623e86470)

Add missing include directives.

* fish/config.c: Include string.h, for use of strlen.
* fish/keys.c: Likewise, but for use of memcpy.
* fish/man.c: Likewise, but for use of memset.
(cherry picked from commit 0db662eae54b21fccadabe817afbc0fa89d980b2)

Avoid warning about implicit declaration of strlen.

* src/events.c: Include <string.h>, for use of strlen.
(cherry picked from commit a53833fdd21cd573fe8fd02d7a11a3a5e9764ce0)

debian: libguestfs-test-tool-helper no longer exists.
(cherry picked from commit 6ec2ed20cbbad871a8b48389cbe5785bb929c99f)

resize: Include stamp file for manpage in CLEANFILES.
(cherry picked from commit 0d9f2c7311b005b2cfe2ecb3ff9fb57d4576ef7b)

Version 1.10.0.

Update RELEASE-NOTES for 1.10 release.

Update ROADMAP for 1.12 and beyond.

README: virtio-serial is required.

guestfs(3): Fix documentation for drive letters.

We can now get drive letter mappings through the inspection API.

inspect: Fix some small memory leaks in Windows inspection.

Found using valgrind.

fish: Allows win:... paths to work with drives mounted anywhere.

This allows you to mount disks on (eg) /c and /e and have the
guestfish win:... path mechanism map drive letters to the
right places.

todo: guestfish drive letters.

resize: Update dependencies.

resize: Don't build this directory in parallel.

resize: Consistent use of 'part' in help output.

resize: Missing \n after version.

resize: Link with local copy of guestfs.

Version 1.9.18.

Update POT file.

Include po/Makefile.in.in in git, to avoid needing to rerun gettextize.

build: virt-resize manpage.

Rewrite virt-resize in OCaml.

This is a fairly straightforward translation of Perl virt-resize into
OCaml.  It is bug-for-bug and feature-for-feature identical to the
Perl version, except as noted below.

The motivation is to have a more solid, high-level, statically safe
compiled language to go forwards with fixing some of the harder bugs
in virt-resize.  In particular contracts between different parts of
the program are now handled by statically typed structures checked at
compile time, instead of the very ad-hoc unchecked hash tables used by
the Perl version.

OCaml and the ocaml-pcre library (Perl-Compatible Regular Expressions
bindings for OCaml) are required.

Extra features in this version:

- 32 bit hosts are now supported.

- We try hard to handle the case where the target disk is not "clean"
  (ie. all zeroes).  It usually works for this case, whereas the
  previous version would usually fail.  However it is still
  recommended that the system administrator creates a fresh blank disk
  for the target before running the program.

- User messages are a bit more verbose and helpful.  You can turn
  these off with the -q (--quiet) option.

There is one lost feature:

- Ability to specify >= T (terabytes) sizes in command line size
  expressions has been removed.  This probably didn't work in the Perl
  version.

Other differences:

- The first partition on the target is no longer aligned; instead we
  place it at the same sector as on the source.  I suspect that
  aligning it was causing the bootloader failures.

- Because it's easier, we do more sanity checking on the source disk.
  This might lead to more failures, but they'd be failures you'd want
  to know about.

- The order in which operations are performed has been changed to make
  it more logical.  The user should not notice any functional
  difference, but debug messages will be quite a bit different.

- virt-resize is a compiled binary, not a script.

Compile rpcgen-generated files with -fno-strict-aliasing

rpcgen generates source which can't be safely compiled with strict-aliasing
enabled.

test-tool: Don't use static binary helper program, nor ISO.

This simplifies the libguestfs-test-tool program down to essentials.
Bugs most commonly occur when starting the appliance, so what we
should concentrate on test is just that.

Previously the test tool built a special static binary helper program,
packaged it up in an ISO, then ran this inside the appliance.  None of
this really tested useful failure modes, but they did make the test
tool itself harder to build, harder for users to run, and more
brittle.

This change also adds some more debugging of libguestfs state.

Update RELEASE-NOTES file.

Version 1.9.17.

fish: copy-in, copy-out, edit, more commands can use win:... prefix.

fish: Enhance guestfish win:... parsing to understand drive letters.

edit: Allow Windows-style drive letters and paths to be used.

New API: inspect-get-drive-mappings

This returns the drive mappings from the Windows Registry.

virt-inspector displays the drive mappings, giving output
similar to this:

  <drive_mappings>
    <drive_mapping name="C">/dev/sda2</drive_mapping>
    <drive_mapping name="E">/dev/sdb1</drive_mapping>
  </drive_mappings>

New API: inspect-get-windows-current-control-set

This returns the actual registry key corresponding to
CurrentControlSet (eg. it might be "ControlSet001").

Previously the inspection code was hard-coding ControlSet001.  Now we
use the correct control set, and also make it available to callers
through the API.

This commit also updates the virt-dhcp-address example so it uses this
new API.

virt-inspector displays the current control set when available.

daemon: Reimplement 'mounts' and 'mountpoints' commands.

Reimplement these so they read /proc/mounts instead of trying to parse
the output of the 'mount' external command.

One consequence of this is that these commands now work again for
ntfs-3g filesystems.

Rename resolve_windows_path_silently to case_sensitive_path_silently.

A more accurate description of what this function does.

This is just code motion.

edit: Move 'exit 0' to end of file.

This is just code motion.

edit: Let $root == $roots[0].

This is just code motion.

cat, edit: Reference guestfish equivalent commands in the manual pages.

python: Convert any iterable argument to a list (RHBZ#693324).

Thanks to Erez Shinan.

fish: Add 'pulse mode' to the progress bar.

fish: Move variable decls to top of function.

This is just code motion.

debian: Add missing deps: ocaml-findlib, libstring-shellquote-perl.

mkisofs is obsolete.  Require genisoimage everywhere instead.

Pull translations from Transifex.

New Ukrainian po-docs translation added.

Version 1.9.16.

du: Add pulse mode progress messages.

cpmv: Add pulse mode progress messages.

checksum: Add pulse mode progress messages.

daemon: Introduce "pulse mode" progress events.

This introduces a new form of progress event, where we don't know how
much of the operation has taken place, but we nevertheless want to
send back some indication of activity.  Some progress bar indicators
directly support this, eg. GtkProgressBar where it is known as "pulse
mode".

A pulse mode progress message is a special backwards-compatible form
of the ordinary progress message.  No change is required in callers,
unless they want to add support for pulse mode.

The daemon sends:

 - zero or more progress messages with position = 0, total = 1
 - a single final progress message with position = total = 1

Note that the final progress message may not be sent if the call fails
and returns an error.  This is consistent with the behaviour of
ordinary progress messages.

The daemon allows two types of implementation.  Either you can just
call notify_progress (0, 1); ...; notify_progress (1, 1) as usual.

Or you can call the functions pulse_mode_start, pulse_mode_end and/or
pulse_mode_cancel (see documentation in daemon/daemon.h).  For this
second form of call, the guarantee is very weak: it *just* says the
daemon is still capable of doing something, and it doesn't imply that
if there is a subprocess that it is doing anything.  However this does
make it very easy to add pulse mode progress messages to all sorts of
existing calls that depend on long-running external commands.

To do: add a third variant that monitors a subprocess and only sends
back progress messages if it's doing something, where "doing
something" might indicate it's using CPU time or it's printing output.

daemon: When running commands, restart select if we receive a signal.

daemon: Reset SIGPIPE to default before running subprocesses.

Generate progress messages during launch.

This commit generates approximate progress messages during the
guestfs_launch call.  Currently this code generates:

   0 / 12: launch clock starts
   3 / 12: appliance created
   6 / 12: detected that guest kernel started
   9 / 12: detected that /init script is running
  12 / 12: launch completed successfully

(Note this is not an ABI and may be changed or removed in a future
version).

Progress messages are only generated at all if 5 seconds have elapsed
since the launch, and they are only generated for the ordinary
appliance (not if using attach-method to attach to an existing virtio
serial port).

protocol: Sleep for 1ms before reading log messages.

As explained in the comment:

  /* QEMU's console emulates a 16550A serial port.  The real 16550A
   * device has a small FIFO buffer (16 bytes) which means here we see
   * lots of small reads of 1-16 bytes in length, usually single
   * bytes.  Sleeping here for a very brief period groups reads
   * together (so we usually get a few lines of output at once) and
   * improves overall throughput, as well as making the event
   * interface a bit more sane for callers.  With a virtio-serial
   * based console (not yet implemented) we may be able to remove
   * this.  XXX
   */

Shared function to send progress messages.

This is just code motion.

Add prototype for timeval_diff.

This is just code motion.

docs: Progress messages don't necessarily reach 100% in the error case.

This should be obvious, and now it is documented to avoid any
confusion.

docs: Fix link to progress messages in guestfs(3).

This updates commit 4e0cf4dbf8a8a96288f70114fdc3939da0aa7ad1.

Update copyright date on main guestfs(3) man page.

Version 1.9.15.