cfd58c979767814f3e2264624fcabf5e2a8edd14
[libguestfs.git] / src / guestfs.pod
1 =encoding utf8
2
3 =head1 NAME
4
5 guestfs - Library for accessing and modifying virtual machine images
6
7 =head1 SYNOPSIS
8
9  #include <guestfs.h>
10  
11  guestfs_h *g = guestfs_create ();
12  guestfs_add_drive (g, "guest.img");
13  guestfs_launch (g);
14  guestfs_mount (g, "/dev/sda1", "/");
15  guestfs_touch (g, "/hello");
16  guestfs_umount (g, "/");
17  guestfs_close (g);
18
19  cc prog.c -o prog -lguestfs
20 or:
21  cc prog.c -o prog `pkg-config libguestfs --cflags --libs`
22
23 =head1 DESCRIPTION
24
25 Libguestfs is a library for accessing and modifying guest disk images.
26 Amongst the things this is good for: making batch configuration
27 changes to guests, getting disk used/free statistics (see also:
28 virt-df), migrating between virtualization systems (see also:
29 virt-p2v), performing partial backups, performing partial guest
30 clones, cloning guests and changing registry/UUID/hostname info, and
31 much else besides.
32
33 Libguestfs uses Linux kernel and qemu code, and can access any type of
34 guest filesystem that Linux and qemu can, including but not limited
35 to: ext2/3/4, btrfs, FAT and NTFS, LVM, many different disk partition
36 schemes, qcow, qcow2, vmdk.
37
38 Libguestfs provides ways to enumerate guest storage (eg. partitions,
39 LVs, what filesystem is in each LV, etc.).  It can also run commands
40 in the context of the guest.  Also you can access filesystems over
41 FUSE.
42
43 Libguestfs is a library that can be linked with C and C++ management
44 programs (or management programs written in OCaml, Perl, Python, Ruby,
45 Java, PHP, Haskell or C#).  You can also use it from shell scripts or the
46 command line.
47
48 You don't need to be root to use libguestfs, although obviously you do
49 need enough permissions to access the disk images.
50
51 Libguestfs is a large API because it can do many things.  For a gentle
52 introduction, please read the L</API OVERVIEW> section next.
53
54 There are also some example programs in the L<guestfs-examples(3)>
55 manual page.
56
57 =head1 API OVERVIEW
58
59 This section provides a gentler overview of the libguestfs API.  We
60 also try to group API calls together, where that may not be obvious
61 from reading about the individual calls in the main section of this
62 manual.
63
64 =head2 HANDLES
65
66 Before you can use libguestfs calls, you have to create a handle.
67 Then you must add at least one disk image to the handle, followed by
68 launching the handle, then performing whatever operations you want,
69 and finally closing the handle.  By convention we use the single
70 letter C<g> for the name of the handle variable, although of course
71 you can use any name you want.
72
73 The general structure of all libguestfs-using programs looks like
74 this:
75
76  guestfs_h *g = guestfs_create ();
77  
78  /* Call guestfs_add_drive additional times if there are
79   * multiple disk images.
80   */
81  guestfs_add_drive (g, "guest.img");
82  
83  /* Most manipulation calls won't work until you've launched
84   * the handle 'g'.  You have to do this _after_ adding drives
85   * and _before_ other commands.
86   */
87  guestfs_launch (g);
88  
89  /* Now you can examine what partitions, LVs etc are available.
90   */
91  char **partitions = guestfs_list_partitions (g);
92  char **logvols = guestfs_lvs (g);
93  
94  /* To access a filesystem in the image, you must mount it.
95   */
96  guestfs_mount (g, "/dev/sda1", "/");
97  
98  /* Now you can perform filesystem actions on the guest
99   * disk image.
100   */
101  guestfs_touch (g, "/hello");
102
103  /* This is only needed for libguestfs < 1.5.24.  Since then
104   * it is done automatically when you close the handle.  See
105   * discussion of autosync in this page.
106   */
107  guestfs_sync (g);
108  
109  /* Close the handle 'g'. */
110  guestfs_close (g);
111
112 The code above doesn't include any error checking.  In real code you
113 should check return values carefully for errors.  In general all
114 functions that return integers return C<-1> on error, and all
115 functions that return pointers return C<NULL> on error.  See section
116 L</ERROR HANDLING> below for how to handle errors, and consult the
117 documentation for each function call below to see precisely how they
118 return error indications.  See L<guestfs-examples(3)> for fully worked
119 examples.
120
121 =head2 DISK IMAGES
122
123 The image filename (C<"guest.img"> in the example above) could be a
124 disk image from a virtual machine, a L<dd(1)> copy of a physical hard
125 disk, an actual block device, or simply an empty file of zeroes that
126 you have created through L<posix_fallocate(3)>.  Libguestfs lets you
127 do useful things to all of these.
128
129 The call you should use in modern code for adding drives is
130 L</guestfs_add_drive_opts>.  To add a disk image, allowing writes, and
131 specifying that the format is raw, do:
132
133  guestfs_add_drive_opts (g, filename,
134                          GUESTFS_ADD_DRIVE_OPTS_FORMAT, "raw",
135                          -1);
136
137 You can add a disk read-only using:
138
139  guestfs_add_drive_opts (g, filename,
140                          GUESTFS_ADD_DRIVE_OPTS_FORMAT, "raw",
141                          GUESTFS_ADD_DRIVE_OPTS_READONLY, 1,
142                          -1);
143
144 or by calling the older function L</guestfs_add_drive_ro>.  In either
145 case libguestfs won't modify the file.
146
147 Be extremely cautious if the disk image is in use, eg. if it is being
148 used by a virtual machine.  Adding it read-write will almost certainly
149 cause disk corruption, but adding it read-only is safe.
150
151 You must add at least one disk image, and you may add multiple disk
152 images.  In the API, the disk images are usually referred to as
153 C</dev/sda> (for the first one you added), C</dev/sdb> (for the second
154 one you added), etc.
155
156 Once L</guestfs_launch> has been called you cannot add any more images.
157 You can call L</guestfs_list_devices> to get a list of the device
158 names, in the order that you added them.  See also L</BLOCK DEVICE
159 NAMING> below.
160
161 =head2 MOUNTING
162
163 Before you can read or write files, create directories and so on in a
164 disk image that contains filesystems, you have to mount those
165 filesystems using L</guestfs_mount_options> or L</guestfs_mount_ro>.
166 If you already know that a disk image contains (for example) one
167 partition with a filesystem on that partition, then you can mount it
168 directly:
169
170  guestfs_mount_options (g, "", "/dev/sda1", "/");
171
172 where C</dev/sda1> means literally the first partition (C<1>) of the
173 first disk image that we added (C</dev/sda>).  If the disk contains
174 Linux LVM2 logical volumes you could refer to those instead
175 (eg. C</dev/VG/LV>).  Note that these are libguestfs virtual devices,
176 and are nothing to do with host devices.
177
178 If you are given a disk image and you don't know what it contains then
179 you have to find out.  Libguestfs can do that too: use
180 L</guestfs_list_partitions> and L</guestfs_lvs> to list possible
181 partitions and LVs, and either try mounting each to see what is
182 mountable, or else examine them with L</guestfs_vfs_type> or
183 L</guestfs_file>.  To list just filesystems, use
184 L</guestfs_list_filesystems>.
185
186 Libguestfs also has a set of APIs for inspection of unknown disk
187 images (see L</INSPECTION> below).  But you might find it easier to
188 look at higher level programs built on top of libguestfs, in
189 particular L<virt-inspector(1)>.
190
191 To mount a filesystem read-only, use L</guestfs_mount_ro>.  There are
192 several other variations of the C<guestfs_mount_*> call.
193
194 =head2 FILESYSTEM ACCESS AND MODIFICATION
195
196 The majority of the libguestfs API consists of fairly low-level calls
197 for accessing and modifying the files, directories, symlinks etc on
198 mounted filesystems.  There are over a hundred such calls which you
199 can find listed in detail below in this man page, and we don't even
200 pretend to cover them all in this overview.
201
202 Specify filenames as full paths, starting with C<"/"> and including
203 the mount point.
204
205 For example, if you mounted a filesystem at C<"/"> and you want to
206 read the file called C<"etc/passwd"> then you could do:
207
208  char *data = guestfs_cat (g, "/etc/passwd");
209
210 This would return C<data> as a newly allocated buffer containing the
211 full content of that file (with some conditions: see also
212 L</DOWNLOADING> below), or C<NULL> if there was an error.
213
214 As another example, to create a top-level directory on that filesystem
215 called C<"var"> you would do:
216
217  guestfs_mkdir (g, "/var");
218
219 To create a symlink you could do:
220
221  guestfs_ln_s (g, "/etc/init.d/portmap",
222                "/etc/rc3.d/S30portmap");
223
224 Libguestfs will reject attempts to use relative paths and there is no
225 concept of a current working directory.
226
227 Libguestfs can return errors in many situations: for example if the
228 filesystem isn't writable, or if a file or directory that you
229 requested doesn't exist.  If you are using the C API (documented here)
230 you have to check for those error conditions after each call.  (Other
231 language bindings turn these errors into exceptions).
232
233 File writes are affected by the per-handle umask, set by calling
234 L</guestfs_umask> and defaulting to 022.  See L</UMASK>.
235
236 =head2 PARTITIONING
237
238 Libguestfs contains API calls to read, create and modify partition
239 tables on disk images.
240
241 In the common case where you want to create a single partition
242 covering the whole disk, you should use the L</guestfs_part_disk>
243 call:
244
245  const char *parttype = "mbr";
246  if (disk_is_larger_than_2TB)
247    parttype = "gpt";
248  guestfs_part_disk (g, "/dev/sda", parttype);
249
250 Obviously this effectively wipes anything that was on that disk image
251 before.
252
253 =head2 LVM2
254
255 Libguestfs provides access to a large part of the LVM2 API, such as
256 L</guestfs_lvcreate> and L</guestfs_vgremove>.  It won't make much sense
257 unless you familiarize yourself with the concepts of physical volumes,
258 volume groups and logical volumes.
259
260 This author strongly recommends reading the LVM HOWTO, online at
261 L<http://tldp.org/HOWTO/LVM-HOWTO/>.
262
263 =head2 DOWNLOADING
264
265 Use L</guestfs_cat> to download small, text only files.  This call is
266 limited to files which are less than 2 MB and which cannot contain any
267 ASCII NUL (C<\0>) characters.  However the API is very simple to use.
268
269 L</guestfs_read_file> can be used to read files which contain
270 arbitrary 8 bit data, since it returns a (pointer, size) pair.
271 However it is still limited to "small" files, less than 2 MB.
272
273 L</guestfs_download> can be used to download any file, with no
274 limits on content or size (even files larger than 4 GB).
275
276 To download multiple files, see L</guestfs_tar_out> and
277 L</guestfs_tgz_out>.
278
279 =head2 UPLOADING
280
281 It's often the case that you want to write a file or files to the disk
282 image.
283
284 To write a small file with fixed content, use L</guestfs_write>.  To
285 create a file of all zeroes, use L</guestfs_truncate_size> (sparse) or
286 L</guestfs_fallocate64> (with all disk blocks allocated).  There are a
287 variety of other functions for creating test files, for example
288 L</guestfs_fill> and L</guestfs_fill_pattern>.
289
290 To upload a single file, use L</guestfs_upload>.  This call has no
291 limits on file content or size (even files larger than 4 GB).
292
293 To upload multiple files, see L</guestfs_tar_in> and L</guestfs_tgz_in>.
294
295 However the fastest way to upload I<large numbers of arbitrary files>
296 is to turn them into a squashfs or CD ISO (see L<mksquashfs(8)> and
297 L<mkisofs(8)>), then attach this using L</guestfs_add_drive_ro>.  If
298 you add the drive in a predictable way (eg. adding it last after all
299 other drives) then you can get the device name from
300 L</guestfs_list_devices> and mount it directly using
301 L</guestfs_mount_ro>.  Note that squashfs images are sometimes
302 non-portable between kernel versions, and they don't support labels or
303 UUIDs.  If you want to pre-build an image or you need to mount it
304 using a label or UUID, use an ISO image instead.
305
306 =head2 COPYING
307
308 There are various different commands for copying between files and
309 devices and in and out of the guest filesystem.  These are summarised
310 in the table below.
311
312 =over 4
313
314 =item B<file> to B<file>
315
316 Use L</guestfs_cp> to copy a single file, or
317 L</guestfs_cp_a> to copy directories recursively.
318
319 =item B<file or device> to B<file or device>
320
321 Use L</guestfs_dd> which efficiently uses L<dd(1)>
322 to copy between files and devices in the guest.
323
324 Example: duplicate the contents of an LV:
325
326  guestfs_dd (g, "/dev/VG/Original", "/dev/VG/Copy");
327
328 The destination (C</dev/VG/Copy>) must be at least as large as the
329 source (C</dev/VG/Original>).  To copy less than the whole
330 source device, use L</guestfs_copy_size>.
331
332 =item B<file on the host> to B<file or device>
333
334 Use L</guestfs_upload>.  See L</UPLOADING> above.
335
336 =item B<file or device> to B<file on the host>
337
338 Use L</guestfs_download>.  See L</DOWNLOADING> above.
339
340 =back
341
342 =head2 UPLOADING AND DOWNLOADING TO PIPES AND FILE DESCRIPTORS
343
344 Calls like L</guestfs_upload>, L</guestfs_download>,
345 L</guestfs_tar_in>, L</guestfs_tar_out> etc appear to only take
346 filenames as arguments, so it appears you can only upload and download
347 to files.  However many Un*x-like hosts let you use the special device
348 files C</dev/stdin>, C</dev/stdout>, C</dev/stderr> and C</dev/fd/N>
349 to read and write from stdin, stdout, stderr, and arbitrary file
350 descriptor N.
351
352 For example, L<virt-cat(1)> writes its output to stdout by
353 doing:
354
355  guestfs_download (g, filename, "/dev/stdout");
356
357 and you can write tar output to a pipe C<fd> by doing:
358
359  char devfd[64];
360  snprintf (devfd, sizeof devfd, "/dev/fd/%d", fd);
361  guestfs_tar_out (g, "/", devfd);
362
363 =head2 LISTING FILES
364
365 L</guestfs_ll> is just designed for humans to read (mainly when using
366 the L<guestfish(1)>-equivalent command C<ll>).
367
368 L</guestfs_ls> is a quick way to get a list of files in a directory
369 from programs, as a flat list of strings.
370
371 L</guestfs_readdir> is a programmatic way to get a list of files in a
372 directory, plus additional information about each one.  It is more
373 equivalent to using the L<readdir(3)> call on a local filesystem.
374
375 L</guestfs_find> and L</guestfs_find0> can be used to recursively list
376 files.
377
378 =head2 RUNNING COMMANDS
379
380 Although libguestfs is primarily an API for manipulating files
381 inside guest images, we also provide some limited facilities for
382 running commands inside guests.
383
384 There are many limitations to this:
385
386 =over 4
387
388 =item *
389
390 The kernel version that the command runs under will be different
391 from what it expects.
392
393 =item *
394
395 If the command needs to communicate with daemons, then most likely
396 they won't be running.
397
398 =item *
399
400 The command will be running in limited memory.
401
402 =item *
403
404 The network may not be available unless you enable it
405 (see L</guestfs_set_network>).
406
407 =item *
408
409 Only supports Linux guests (not Windows, BSD, etc).
410
411 =item *
412
413 Architecture limitations (eg. won't work for a PPC guest on
414 an X86 host).
415
416 =item *
417
418 For SELinux guests, you may need to enable SELinux and load policy
419 first.  See L</SELINUX> in this manpage.
420
421 =item *
422
423 I<Security:> It is not safe to run commands from untrusted, possibly
424 malicious guests.  These commands may attempt to exploit your program
425 by sending unexpected output.  They could also try to exploit the
426 Linux kernel or qemu provided by the libguestfs appliance.  They could
427 use the network provided by the libguestfs appliance to bypass
428 ordinary network partitions and firewalls.  They could use the
429 elevated privileges or different SELinux context of your program
430 to their advantage.
431
432 A secure alternative is to use libguestfs to install a "firstboot"
433 script (a script which runs when the guest next boots normally), and
434 to have this script run the commands you want in the normal context of
435 the running guest, network security and so on.  For information about
436 other security issues, see L</SECURITY>.
437
438 =back
439
440 The two main API calls to run commands are L</guestfs_command> and
441 L</guestfs_sh> (there are also variations).
442
443 The difference is that L</guestfs_sh> runs commands using the shell, so
444 any shell globs, redirections, etc will work.
445
446 =head2 CONFIGURATION FILES
447
448 To read and write configuration files in Linux guest filesystems, we
449 strongly recommend using Augeas.  For example, Augeas understands how
450 to read and write, say, a Linux shadow password file or X.org
451 configuration file, and so avoids you having to write that code.
452
453 The main Augeas calls are bound through the C<guestfs_aug_*> APIs.  We
454 don't document Augeas itself here because there is excellent
455 documentation on the L<http://augeas.net/> website.
456
457 If you don't want to use Augeas (you fool!) then try calling
458 L</guestfs_read_lines> to get the file as a list of lines which
459 you can iterate over.
460
461 =head2 SELINUX
462
463 We support SELinux guests.  To ensure that labeling happens correctly
464 in SELinux guests, you need to enable SELinux and load the guest's
465 policy:
466
467 =over 4
468
469 =item 1.
470
471 Before launching, do:
472
473  guestfs_set_selinux (g, 1);
474
475 =item 2.
476
477 After mounting the guest's filesystem(s), load the policy.  This
478 is best done by running the L<load_policy(8)> command in the
479 guest itself:
480
481  guestfs_sh (g, "/usr/sbin/load_policy");
482
483 (Older versions of C<load_policy> require you to specify the
484 name of the policy file).
485
486 =item 3.
487
488 Optionally, set the security context for the API.  The correct
489 security context to use can only be known by inspecting the
490 guest.  As an example:
491
492  guestfs_setcon (g, "unconfined_u:unconfined_r:unconfined_t:s0");
493
494 =back
495
496 This will work for running commands and editing existing files.
497
498 When new files are created, you may need to label them explicitly,
499 for example by running the external command
500 C<restorecon pathname>.
501
502 =head2 UMASK
503
504 Certain calls are affected by the current file mode creation mask (the
505 "umask").  In particular ones which create files or directories, such
506 as L</guestfs_touch>, L</guestfs_mknod> or L</guestfs_mkdir>.  This
507 affects either the default mode that the file is created with or
508 modifies the mode that you supply.
509
510 The default umask is C<022>, so files are created with modes such as
511 C<0644> and directories with C<0755>.
512
513 There are two ways to avoid being affected by umask.  Either set umask
514 to 0 (call C<guestfs_umask (g, 0)> early after launching).  Or call
515 L</guestfs_chmod> after creating each file or directory.
516
517 For more information about umask, see L<umask(2)>.
518
519 =head2 ENCRYPTED DISKS
520
521 Libguestfs allows you to access Linux guests which have been
522 encrypted using whole disk encryption that conforms to the
523 Linux Unified Key Setup (LUKS) standard.  This includes
524 nearly all whole disk encryption systems used by modern
525 Linux guests.
526
527 Use L</guestfs_vfs_type> to identify LUKS-encrypted block
528 devices (it returns the string C<crypto_LUKS>).
529
530 Then open these devices by calling L</guestfs_luks_open>.
531 Obviously you will require the passphrase!
532
533 Opening a LUKS device creates a new device mapper device
534 called C</dev/mapper/mapname> (where C<mapname> is the
535 string you supply to L</guestfs_luks_open>).
536 Reads and writes to this mapper device are decrypted from and
537 encrypted to the underlying block device respectively.
538
539 LVM volume groups on the device can be made visible by calling
540 L</guestfs_vgscan> followed by L</guestfs_vg_activate_all>.
541 The logical volume(s) can now be mounted in the usual way.
542
543 Use the reverse process to close a LUKS device.  Unmount
544 any logical volumes on it, deactivate the volume groups
545 by caling C<guestfs_vg_activate (g, 0, ["/dev/VG"])>.
546 Then close the mapper device by calling
547 L</guestfs_luks_close> on the C</dev/mapper/mapname>
548 device (I<not> the underlying encrypted block device).
549
550 =head2 INSPECTION
551
552 Libguestfs has APIs for inspecting an unknown disk image to find out
553 if it contains operating systems, an install CD or a live CD.  (These
554 APIs used to be in a separate Perl-only library called
555 L<Sys::Guestfs::Lib(3)> but since version 1.5.3 the most frequently
556 used part of this library has been rewritten in C and moved into the
557 core code).
558
559 Add all disks belonging to the unknown virtual machine and call
560 L</guestfs_launch> in the usual way.
561
562 Then call L</guestfs_inspect_os>.  This function uses other libguestfs
563 calls and certain heuristics, and returns a list of operating systems
564 that were found.  An empty list means none were found.  A single
565 element is the root filesystem of the operating system.  For dual- or
566 multi-boot guests, multiple roots can be returned, each one
567 corresponding to a separate operating system.  (Multi-boot virtual
568 machines are extremely rare in the world of virtualization, but since
569 this scenario can happen, we have built libguestfs to deal with it.)
570
571 For each root, you can then call various C<guestfs_inspect_get_*>
572 functions to get additional details about that operating system.  For
573 example, call L</guestfs_inspect_get_type> to return the string
574 C<windows> or C<linux> for Windows and Linux-based operating systems
575 respectively.
576
577 Un*x-like and Linux-based operating systems usually consist of several
578 filesystems which are mounted at boot time (for example, a separate
579 boot partition mounted on C</boot>).  The inspection rules are able to
580 detect how filesystems correspond to mount points.  Call
581 C<guestfs_inspect_get_mountpoints> to get this mapping.  It might
582 return a hash table like this example:
583
584  /boot => /dev/sda1
585  /     => /dev/vg_guest/lv_root
586  /usr  => /dev/vg_guest/lv_usr
587
588 The caller can then make calls to L</guestfs_mount_options> to
589 mount the filesystems as suggested.
590
591 Be careful to mount filesystems in the right order (eg. C</> before
592 C</usr>).  Sorting the keys of the hash by length, shortest first,
593 should work.
594
595 Inspection currently only works for some common operating systems.
596 Contributors are welcome to send patches for other operating systems
597 that we currently cannot detect.
598
599 Encrypted disks must be opened before inspection.  See
600 L</ENCRYPTED DISKS> for more details.  The L</guestfs_inspect_os>
601 function just ignores any encrypted devices.
602
603 A note on the implementation: The call L</guestfs_inspect_os> performs
604 inspection and caches the results in the guest handle.  Subsequent
605 calls to C<guestfs_inspect_get_*> return this cached information, but
606 I<do not> re-read the disks.  If you change the content of the guest
607 disks, you can redo inspection by calling L</guestfs_inspect_os>
608 again.  (L</guestfs_inspect_list_applications> works a little
609 differently from the other calls and does read the disks.  See
610 documentation for that function for details).
611
612 =head3 INSPECTING INSTALL DISKS
613
614 Libguestfs (since 1.9.4) can detect some install disks, install
615 CDs, live CDs and more.
616
617 Call L</guestfs_inspect_get_format> to return the format of the
618 operating system, which currently can be C<installed> (a regular
619 operating system) or C<installer> (some sort of install disk).
620
621 Further information is available about the operating system that can
622 be installed using the regular inspection APIs like
623 L</guestfs_inspect_get_product_name>,
624 L</guestfs_inspect_get_major_version> etc.
625
626 Some additional information specific to installer disks is also
627 available from the L</guestfs_inspect_is_live>,
628 L</guestfs_inspect_is_netinst> and L</guestfs_inspect_is_multipart>
629 calls.
630
631 =head2 SPECIAL CONSIDERATIONS FOR WINDOWS GUESTS
632
633 Libguestfs can mount NTFS partitions.  It does this using the
634 L<http://www.ntfs-3g.org/> driver.
635
636 =head3 DRIVE LETTERS AND PATHS
637
638 DOS and Windows still use drive letters, and the filesystems are
639 always treated as case insensitive by Windows itself, and therefore
640 you might find a Windows configuration file referring to a path like
641 C<c:\windows\system32>.  When the filesystem is mounted in libguestfs,
642 that directory might be referred to as C</WINDOWS/System32>.
643
644 Drive letter mappings are outside the scope of libguestfs.  You have
645 to use libguestfs to read the appropriate Windows Registry and
646 configuration files, to determine yourself how drives are mapped (see
647 also L<hivex(3)> and L<virt-inspector(1)>).
648
649 Replacing backslash characters with forward slash characters is also
650 outside the scope of libguestfs, but something that you can easily do.
651
652 Where we can help is in resolving the case insensitivity of paths.
653 For this, call L</guestfs_case_sensitive_path>.
654
655 =head3 ACCESSING THE WINDOWS REGISTRY
656
657 Libguestfs also provides some help for decoding Windows Registry
658 "hive" files, through the library C<hivex> which is part of the
659 libguestfs project although ships as a separate tarball.  You have to
660 locate and download the hive file(s) yourself, and then pass them to
661 C<hivex> functions.  See also the programs L<hivexml(1)>,
662 L<hivexsh(1)>, L<hivexregedit(1)> and L<virt-win-reg(1)> for more help
663 on this issue.
664
665 =head3 SYMLINKS ON NTFS-3G FILESYSTEMS
666
667 Ntfs-3g tries to rewrite "Junction Points" and NTFS "symbolic links"
668 to provide something which looks like a Linux symlink.  The way it
669 tries to do the rewriting is described here:
670
671 L<http://www.tuxera.com/community/ntfs-3g-advanced/junction-points-and-symbolic-links/>
672
673 The essential problem is that ntfs-3g simply does not have enough
674 information to do a correct job.  NTFS links can contain drive letters
675 and references to external device GUIDs that ntfs-3g has no way of
676 resolving.  It is almost certainly the case that libguestfs callers
677 should ignore what ntfs-3g does (ie. don't use L</guestfs_readlink> on
678 NTFS volumes).
679
680 Instead if you encounter a symbolic link on an ntfs-3g filesystem, use
681 L</guestfs_lgetxattr> to read the C<system.ntfs_reparse_data> extended
682 attribute, and read the raw reparse data from that (you can find the
683 format documented in various places around the web).
684
685 =head3 EXTENDED ATTRIBUTES ON NTFS-3G FILESYSTEMS
686
687 There are other useful extended attributes that can be read from
688 ntfs-3g filesystems (using L</guestfs_getxattr>).  See:
689
690 L<http://www.tuxera.com/community/ntfs-3g-advanced/extended-attributes/>
691
692 =head2 USING LIBGUESTFS WITH OTHER PROGRAMMING LANGUAGES
693
694 Although we don't want to discourage you from using the C API, we will
695 mention here that the same API is also available in other languages.
696
697 The API is broadly identical in all supported languages.  This means
698 that the C call C<guestfs_add_drive_ro(g,file)> is
699 C<$g-E<gt>add_drive_ro($file)> in Perl, C<g.add_drive_ro(file)> in Python,
700 and C<g#add_drive_ro file> in OCaml.  In other words, a
701 straightforward, predictable isomorphism between each language.
702
703 Error messages are automatically transformed
704 into exceptions if the language supports it.
705
706 We don't try to "object orientify" parts of the API in OO languages,
707 although contributors are welcome to write higher level APIs above
708 what we provide in their favourite languages if they wish.
709
710 =over 4
711
712 =item B<C++>
713
714 You can use the I<guestfs.h> header file from C++ programs.  The C++
715 API is identical to the C API.  C++ classes and exceptions are not
716 used.
717
718 =item B<C#>
719
720 The C# bindings are highly experimental.  Please read the warnings
721 at the top of C<csharp/Libguestfs.cs>.
722
723 =item B<Haskell>
724
725 This is the only language binding that is working but incomplete.
726 Only calls which return simple integers have been bound in Haskell,
727 and we are looking for help to complete this binding.
728
729 =item B<Java>
730
731 Full documentation is contained in the Javadoc which is distributed
732 with libguestfs.
733
734 =item B<OCaml>
735
736 See L<guestfs-ocaml(3)>.
737
738 =item B<Perl>
739
740 See L<guestfs-perl(3)> and L<Sys::Guestfs(3)>.
741
742 =item B<PHP>
743
744 For documentation see C<README-PHP> supplied with libguestfs
745 sources or in the php-libguestfs package for your distribution.
746
747 The PHP binding only works correctly on 64 bit machines.
748
749 =item B<Python>
750
751 See L<guestfs-python(3)>.
752
753 =item B<Ruby>
754
755 See L<guestfs-ruby(3)>.
756
757 =item B<shell scripts>
758
759 See L<guestfish(1)>.
760
761 =back
762
763 =head2 LIBGUESTFS GOTCHAS
764
765 L<http://en.wikipedia.org/wiki/Gotcha_(programming)>: "A feature of a
766 system [...] that works in the way it is documented but is
767 counterintuitive and almost invites mistakes."
768
769 Since we developed libguestfs and the associated tools, there are
770 several things we would have designed differently, but are now stuck
771 with for backwards compatibility or other reasons.  If there is ever a
772 libguestfs 2.0 release, you can expect these to change.  Beware of
773 them.
774
775 =over 4
776
777 =item Autosync / forgetting to sync.
778
779 When modifying a filesystem from C or another language, you B<must>
780 unmount all filesystems and call L</guestfs_sync> explicitly before
781 you close the libguestfs handle.  You can also call:
782
783  guestfs_set_autosync (g, 1);
784
785 to have the unmount/sync done automatically for you when the handle 'g'
786 is closed.  (This feature is called "autosync", L</guestfs_set_autosync>
787 q.v.)
788
789 If you forget to do this, then it is entirely possible that your
790 changes won't be written out, or will be partially written, or (very
791 rarely) that you'll get disk corruption.
792
793 Note that in L<guestfish(3)> autosync is the default.  So quick and
794 dirty guestfish scripts that forget to sync will work just fine, which
795 can make this very puzzling if you are trying to debug a problem.
796
797 Update: Autosync is enabled by default for all API users starting from
798 libguestfs 1.5.24.
799
800 =item Mount option C<-o sync> should not be the default.
801
802 If you use L</guestfs_mount>, then C<-o sync,noatime> are added
803 implicitly.  However C<-o sync> does not add any reliability benefit,
804 but does have a very large performance impact.
805
806 The work around is to use L</guestfs_mount_options> and set the mount
807 options that you actually want to use.
808
809 =item Read-only should be the default.
810
811 In L<guestfish(3)>, I<--ro> should be the default, and you should
812 have to specify I<--rw> if you want to make changes to the image.
813
814 This would reduce the potential to corrupt live VM images.
815
816 Note that many filesystems change the disk when you just mount and
817 unmount, even if you didn't perform any writes.  You need to use
818 L</guestfs_add_drive_ro> to guarantee that the disk is not changed.
819
820 =item guestfish command line is hard to use.
821
822 C<guestfish disk.img> doesn't do what people expect (open C<disk.img>
823 for examination).  It tries to run a guestfish command C<disk.img>
824 which doesn't exist, so it fails.  In earlier versions of guestfish
825 the error message was also unintuitive, but we have corrected this
826 since.  Like the Bourne shell, we should have used C<guestfish -c
827 command> to run commands.
828
829 =item guestfish megabyte modifiers don't work right on all commands
830
831 In recent guestfish you can use C<1M> to mean 1 megabyte (and
832 similarly for other modifiers).  What guestfish actually does is to
833 multiply the number part by the modifier part and pass the result to
834 the C API.  However this doesn't work for a few APIs which aren't
835 expecting bytes, but are already expecting some other unit
836 (eg. megabytes).
837
838 The most common is L</guestfs_lvcreate>.  The guestfish command:
839
840  lvcreate LV VG 100M
841
842 does not do what you might expect.  Instead because
843 L</guestfs_lvcreate> is already expecting megabytes, this tries to
844 create a 100 I<terabyte> (100 megabytes * megabytes) logical volume.
845 The error message you get from this is also a little obscure.
846
847 This could be fixed in the generator by specially marking parameters
848 and return values which take bytes or other units.
849
850 =item Ambiguity between devices and paths
851
852 There is a subtle ambiguity in the API between a device name
853 (eg. C</dev/sdb2>) and a similar pathname.  A file might just happen
854 to be called C<sdb2> in the directory C</dev> (consider some non-Unix
855 VM image).
856
857 In the current API we usually resolve this ambiguity by having two
858 separate calls, for example L</guestfs_checksum> and
859 L</guestfs_checksum_device>.  Some API calls are ambiguous and
860 (incorrectly) resolve the problem by detecting if the path supplied
861 begins with C</dev/>.
862
863 To avoid both the ambiguity and the need to duplicate some calls, we
864 could make paths/devices into structured names.  One way to do this
865 would be to use a notation like grub (C<hd(0,0)>), although nobody
866 really likes this aspect of grub.  Another way would be to use a
867 structured type, equivalent to this OCaml type:
868
869  type path = Path of string | Device of int | Partition of int * int
870
871 which would allow you to pass arguments like:
872
873  Path "/foo/bar"
874  Device 1            (* /dev/sdb, or perhaps /dev/sda *)
875  Partition (1, 2)    (* /dev/sdb2 (or is it /dev/sda2 or /dev/sdb3?) *)
876  Path "/dev/sdb2"    (* not a device *)
877
878 As you can see there are still problems to resolve even with this
879 representation.  Also consider how it might work in guestfish.
880
881 =back
882
883 =head2 PROTOCOL LIMITS
884
885 Internally libguestfs uses a message-based protocol to pass API calls
886 and their responses to and from a small "appliance" (see L</INTERNALS>
887 for plenty more detail about this).  The maximum message size used by
888 the protocol is slightly less than 4 MB.  For some API calls you may
889 need to be aware of this limit.  The API calls which may be affected
890 are individually documented, with a link back to this section of the
891 documentation.
892
893 A simple call such as L</guestfs_cat> returns its result (the file
894 data) in a simple string.  Because this string is at some point
895 internally encoded as a message, the maximum size that it can return
896 is slightly under 4 MB.  If the requested file is larger than this
897 then you will get an error.
898
899 In order to transfer large files into and out of the guest filesystem,
900 you need to use particular calls that support this.  The sections
901 L</UPLOADING> and L</DOWNLOADING> document how to do this.
902
903 You might also consider mounting the disk image using our FUSE
904 filesystem support (L<guestmount(1)>).
905
906 =head2 KEYS AND PASSPHRASES
907
908 Certain libguestfs calls take a parameter that contains sensitive key
909 material, passed in as a C string.
910
911 In the future we would hope to change the libguestfs implementation so
912 that keys are L<mlock(2)>-ed into physical RAM, and thus can never end
913 up in swap.  However this is I<not> done at the moment, because of the
914 complexity of such an implementation.
915
916 Therefore you should be aware that any key parameter you pass to
917 libguestfs might end up being written out to the swap partition.  If
918 this is a concern, scrub the swap partition or don't use libguestfs on
919 encrypted devices.
920
921 =head2 MULTIPLE HANDLES AND MULTIPLE THREADS
922
923 All high-level libguestfs actions are synchronous.  If you want
924 to use libguestfs asynchronously then you must create a thread.
925
926 Only use the handle from a single thread.  Either use the handle
927 exclusively from one thread, or provide your own mutex so that two
928 threads cannot issue calls on the same handle at the same time.
929
930 See the graphical program guestfs-browser for one possible
931 architecture for multithreaded programs using libvirt and libguestfs.
932
933 =head2 PATH
934
935 Libguestfs needs a kernel and initrd.img, which it finds by looking
936 along an internal path.
937
938 By default it looks for these in the directory C<$libdir/guestfs>
939 (eg. C</usr/local/lib/guestfs> or C</usr/lib64/guestfs>).
940
941 Use L</guestfs_set_path> or set the environment variable
942 L</LIBGUESTFS_PATH> to change the directories that libguestfs will
943 search in.  The value is a colon-separated list of paths.  The current
944 directory is I<not> searched unless the path contains an empty element
945 or C<.>.  For example C<LIBGUESTFS_PATH=:/usr/lib/guestfs> would
946 search the current directory and then C</usr/lib/guestfs>.
947
948 =head2 QEMU WRAPPERS
949
950 If you want to compile your own qemu, run qemu from a non-standard
951 location, or pass extra arguments to qemu, then you can write a
952 shell-script wrapper around qemu.
953
954 There is one important rule to remember: you I<must C<exec qemu>> as
955 the last command in the shell script (so that qemu replaces the shell
956 and becomes the direct child of the libguestfs-using program).  If you
957 don't do this, then the qemu process won't be cleaned up correctly.
958
959 Here is an example of a wrapper, where I have built my own copy of
960 qemu from source:
961
962  #!/bin/sh -
963  qemudir=/home/rjones/d/qemu
964  exec $qemudir/x86_64-softmmu/qemu-system-x86_64 -L $qemudir/pc-bios "$@"
965
966 Save this script as C</tmp/qemu.wrapper> (or wherever), C<chmod +x>,
967 and then use it by setting the LIBGUESTFS_QEMU environment variable.
968 For example:
969
970  LIBGUESTFS_QEMU=/tmp/qemu.wrapper guestfish
971
972 Note that libguestfs also calls qemu with the -help and -version
973 options in order to determine features.
974
975 =head2 ABI GUARANTEE
976
977 We guarantee the libguestfs ABI (binary interface), for public,
978 high-level actions as outlined in this section.  Although we will
979 deprecate some actions, for example if they get replaced by newer
980 calls, we will keep the old actions forever.  This allows you the
981 developer to program in confidence against the libguestfs API.
982
983 =head2 BLOCK DEVICE NAMING
984
985 In the kernel there is now quite a profusion of schemata for naming
986 block devices (in this context, by I<block device> I mean a physical
987 or virtual hard drive).  The original Linux IDE driver used names
988 starting with C</dev/hd*>.  SCSI devices have historically used a
989 different naming scheme, C</dev/sd*>.  When the Linux kernel I<libata>
990 driver became a popular replacement for the old IDE driver
991 (particularly for SATA devices) those devices also used the
992 C</dev/sd*> scheme.  Additionally we now have virtual machines with
993 paravirtualized drivers.  This has created several different naming
994 systems, such as C</dev/vd*> for virtio disks and C</dev/xvd*> for Xen
995 PV disks.
996
997 As discussed above, libguestfs uses a qemu appliance running an
998 embedded Linux kernel to access block devices.  We can run a variety
999 of appliances based on a variety of Linux kernels.
1000
1001 This causes a problem for libguestfs because many API calls use device
1002 or partition names.  Working scripts and the recipe (example) scripts
1003 that we make available over the internet could fail if the naming
1004 scheme changes.
1005
1006 Therefore libguestfs defines C</dev/sd*> as the I<standard naming
1007 scheme>.  Internally C</dev/sd*> names are translated, if necessary,
1008 to other names as required.  For example, under RHEL 5 which uses the
1009 C</dev/hd*> scheme, any device parameter C</dev/sda2> is translated to
1010 C</dev/hda2> transparently.
1011
1012 Note that this I<only> applies to parameters.  The
1013 L</guestfs_list_devices>, L</guestfs_list_partitions> and similar calls
1014 return the true names of the devices and partitions as known to the
1015 appliance.
1016
1017 =head3 ALGORITHM FOR BLOCK DEVICE NAME TRANSLATION
1018
1019 Usually this translation is transparent.  However in some (very rare)
1020 cases you may need to know the exact algorithm.  Such cases include
1021 where you use L</guestfs_config> to add a mixture of virtio and IDE
1022 devices to the qemu-based appliance, so have a mixture of C</dev/sd*>
1023 and C</dev/vd*> devices.
1024
1025 The algorithm is applied only to I<parameters> which are known to be
1026 either device or partition names.  Return values from functions such
1027 as L</guestfs_list_devices> are never changed.
1028
1029 =over 4
1030
1031 =item *
1032
1033 Is the string a parameter which is a device or partition name?
1034
1035 =item *
1036
1037 Does the string begin with C</dev/sd>?
1038
1039 =item *
1040
1041 Does the named device exist?  If so, we use that device.
1042 However if I<not> then we continue with this algorithm.
1043
1044 =item *
1045
1046 Replace initial C</dev/sd> string with C</dev/hd>.
1047
1048 For example, change C</dev/sda2> to C</dev/hda2>.
1049
1050 If that named device exists, use it.  If not, continue.
1051
1052 =item *
1053
1054 Replace initial C</dev/sd> string with C</dev/vd>.
1055
1056 If that named device exists, use it.  If not, return an error.
1057
1058 =back
1059
1060 =head3 PORTABILITY CONCERNS WITH BLOCK DEVICE NAMING
1061
1062 Although the standard naming scheme and automatic translation is
1063 useful for simple programs and guestfish scripts, for larger programs
1064 it is best not to rely on this mechanism.
1065
1066 Where possible for maximum future portability programs using
1067 libguestfs should use these future-proof techniques:
1068
1069 =over 4
1070
1071 =item *
1072
1073 Use L</guestfs_list_devices> or L</guestfs_list_partitions> to list
1074 actual device names, and then use those names directly.
1075
1076 Since those device names exist by definition, they will never be
1077 translated.
1078
1079 =item *
1080
1081 Use higher level ways to identify filesystems, such as LVM names,
1082 UUIDs and filesystem labels.
1083
1084 =back
1085
1086 =head1 SECURITY
1087
1088 This section discusses security implications of using libguestfs,
1089 particularly with untrusted or malicious guests or disk images.
1090
1091 =head2 GENERAL SECURITY CONSIDERATIONS
1092
1093 Be careful with any files or data that you download from a guest (by
1094 "download" we mean not just the L</guestfs_download> command but any
1095 command that reads files, filenames, directories or anything else from
1096 a disk image).  An attacker could manipulate the data to fool your
1097 program into doing the wrong thing.  Consider cases such as:
1098
1099 =over 4
1100
1101 =item *
1102
1103 the data (file etc) not being present
1104
1105 =item *
1106
1107 being present but empty
1108
1109 =item *
1110
1111 being much larger than normal
1112
1113 =item *
1114
1115 containing arbitrary 8 bit data
1116
1117 =item *
1118
1119 being in an unexpected character encoding
1120
1121 =item *
1122
1123 containing homoglyphs.
1124
1125 =back
1126
1127 =head2 SECURITY OF MOUNTING FILESYSTEMS
1128
1129 When you mount a filesystem under Linux, mistakes in the kernel
1130 filesystem (VFS) module can sometimes be escalated into exploits by
1131 deliberately creating a malicious, malformed filesystem.  These
1132 exploits are very severe for two reasons.  Firstly there are very many
1133 filesystem drivers in the kernel, and many of them are infrequently
1134 used and not much developer attention has been paid to the code.
1135 Linux userspace helps potential crackers by detecting the filesystem
1136 type and automatically choosing the right VFS driver, even if that
1137 filesystem type is obscure or unexpected for the administrator.
1138 Secondly, a kernel-level exploit is like a local root exploit (worse
1139 in some ways), giving immediate and total access to the system right
1140 down to the hardware level.
1141
1142 That explains why you should never mount a filesystem from an
1143 untrusted guest on your host kernel.  How about libguestfs?  We run a
1144 Linux kernel inside a qemu virtual machine, usually running as a
1145 non-root user.  The attacker would need to write a filesystem which
1146 first exploited the kernel, and then exploited either qemu
1147 virtualization (eg. a faulty qemu driver) or the libguestfs protocol,
1148 and finally to be as serious as the host kernel exploit it would need
1149 to escalate its privileges to root.  This multi-step escalation,
1150 performed by a static piece of data, is thought to be extremely hard
1151 to do, although we never say 'never' about security issues.
1152
1153 In any case callers can reduce the attack surface by forcing the
1154 filesystem type when mounting (use L</guestfs_mount_vfs>).
1155
1156 =head2 PROTOCOL SECURITY
1157
1158 The protocol is designed to be secure, being based on RFC 4506 (XDR)
1159 with a defined upper message size.  However a program that uses
1160 libguestfs must also take care - for example you can write a program
1161 that downloads a binary from a disk image and executes it locally, and
1162 no amount of protocol security will save you from the consequences.
1163
1164 =head2 INSPECTION SECURITY
1165
1166 Parts of the inspection API (see L</INSPECTION>) return untrusted
1167 strings directly from the guest, and these could contain any 8 bit
1168 data.  Callers should be careful to escape these before printing them
1169 to a structured file (for example, use HTML escaping if creating a web
1170 page).
1171
1172 Guest configuration may be altered in unusual ways by the
1173 administrator of the virtual machine, and may not reflect reality
1174 (particularly for untrusted or actively malicious guests).  For
1175 example we parse the hostname from configuration files like
1176 C</etc/sysconfig/network> that we find in the guest, but the guest
1177 administrator can easily manipulate these files to provide the wrong
1178 hostname.
1179
1180 The inspection API parses guest configuration using two external
1181 libraries: Augeas (Linux configuration) and hivex (Windows Registry).
1182 Both are designed to be robust in the face of malicious data, although
1183 denial of service attacks are still possible, for example with
1184 oversized configuration files.
1185
1186 =head2 RUNNING UNTRUSTED GUEST COMMANDS
1187
1188 Be very cautious about running commands from the guest.  By running a
1189 command in the guest, you are giving CPU time to a binary that you do
1190 not control, under the same user account as the library, albeit
1191 wrapped in qemu virtualization.  More information and alternatives can
1192 be found in the section L</RUNNING COMMANDS>.
1193
1194 =head2 CVE-2010-3851
1195
1196 https://bugzilla.redhat.com/642934
1197
1198 This security bug concerns the automatic disk format detection that
1199 qemu does on disk images.
1200
1201 A raw disk image is just the raw bytes, there is no header.  Other
1202 disk images like qcow2 contain a special header.  Qemu deals with this
1203 by looking for one of the known headers, and if none is found then
1204 assuming the disk image must be raw.
1205
1206 This allows a guest which has been given a raw disk image to write
1207 some other header.  At next boot (or when the disk image is accessed
1208 by libguestfs) qemu would do autodetection and think the disk image
1209 format was, say, qcow2 based on the header written by the guest.
1210
1211 This in itself would not be a problem, but qcow2 offers many features,
1212 one of which is to allow a disk image to refer to another image
1213 (called the "backing disk").  It does this by placing the path to the
1214 backing disk into the qcow2 header.  This path is not validated and
1215 could point to any host file (eg. "/etc/passwd").  The backing disk is
1216 then exposed through "holes" in the qcow2 disk image, which of course
1217 is completely under the control of the attacker.
1218
1219 In libguestfs this is rather hard to exploit except under two
1220 circumstances:
1221
1222 =over 4
1223
1224 =item 1.
1225
1226 You have enabled the network or have opened the disk in write mode.
1227
1228 =item 2.
1229
1230 You are also running untrusted code from the guest (see
1231 L</RUNNING COMMANDS>).
1232
1233 =back
1234
1235 The way to avoid this is to specify the expected disk format when
1236 adding disks (the optional C<format> option to
1237 L</guestfs_add_drive_opts>).  You should always do this if the disk is
1238 raw format, and it's a good idea for other cases too.
1239
1240 For disks added from libvirt using calls like L</guestfs_add_domain>,
1241 the format is fetched from libvirt and passed through.
1242
1243 For libguestfs tools, use the I<--format> command line parameter as
1244 appropriate.
1245
1246 =head1 CONNECTION MANAGEMENT
1247
1248 =head2 guestfs_h *
1249
1250 C<guestfs_h> is the opaque type representing a connection handle.
1251 Create a handle by calling L</guestfs_create>.  Call L</guestfs_close>
1252 to free the handle and release all resources used.
1253
1254 For information on using multiple handles and threads, see the section
1255 L</MULTIPLE HANDLES AND MULTIPLE THREADS> below.
1256
1257 =head2 guestfs_create
1258
1259  guestfs_h *guestfs_create (void);
1260
1261 Create a connection handle.
1262
1263 You have to call L</guestfs_add_drive_opts> (or one of the equivalent
1264 calls) on the handle at least once.
1265
1266 This function returns a non-NULL pointer to a handle on success or
1267 NULL on error.
1268
1269 After configuring the handle, you have to call L</guestfs_launch>.
1270
1271 You may also want to configure error handling for the handle.  See
1272 L</ERROR HANDLING> section below.
1273
1274 =head2 guestfs_close
1275
1276  void guestfs_close (guestfs_h *g);
1277
1278 This closes the connection handle and frees up all resources used.
1279
1280 =head1 ERROR HANDLING
1281
1282 API functions can return errors.  For example, almost all functions
1283 that return C<int> will return C<-1> to indicate an error.
1284
1285 Additional information is available for errors: an error message
1286 string and optionally an error number (errno) if the thing that failed
1287 was a system call.
1288
1289 You can get at the additional information about the last error on the
1290 handle by calling L</guestfs_last_error>, L</guestfs_last_errno>,
1291 and/or by setting up an error handler with
1292 L</guestfs_set_error_handler>.
1293
1294 When the handle is created, a default error handler is installed which
1295 prints the error message string to C<stderr>.  For small short-running
1296 command line programs it is sufficient to do:
1297
1298  if (guestfs_launch (g) == -1)
1299    exit (EXIT_FAILURE);
1300
1301 since the default error handler will ensure that an error message has
1302 been printed to C<stderr> before the program exits.
1303
1304 For other programs the caller will almost certainly want to install an
1305 alternate error handler or do error handling in-line like this:
1306
1307  g = guestfs_create ();
1308  
1309  /* This disables the default behaviour of printing errors
1310     on stderr. */
1311  guestfs_set_error_handler (g, NULL, NULL);
1312  
1313  if (guestfs_launch (g) == -1) {
1314    /* Examine the error message and print it etc. */
1315    char *msg = guestfs_last_error (g);
1316    int errnum = guestfs_last_errno (g);
1317    fprintf (stderr, "%s\n", msg);
1318    /* ... */
1319   }
1320
1321 Out of memory errors are handled differently.  The default action is
1322 to call L<abort(3)>.  If this is undesirable, then you can set a
1323 handler using L</guestfs_set_out_of_memory_handler>.
1324
1325 L</guestfs_create> returns C<NULL> if the handle cannot be created,
1326 and because there is no handle if this happens there is no way to get
1327 additional error information.  However L</guestfs_create> is supposed
1328 to be a lightweight operation which can only fail because of
1329 insufficient memory (it returns NULL in this case).
1330
1331 =head2 guestfs_last_error
1332
1333  const char *guestfs_last_error (guestfs_h *g);
1334
1335 This returns the last error message that happened on C<g>.  If
1336 there has not been an error since the handle was created, then this
1337 returns C<NULL>.
1338
1339 The lifetime of the returned string is until the next error occurs, or
1340 L</guestfs_close> is called.
1341
1342 =head2 guestfs_last_errno
1343
1344  int guestfs_last_errno (guestfs_h *g);
1345
1346 This returns the last error number (errno) that happened on C<g>.
1347
1348 If successful, an errno integer not equal to zero is returned.
1349
1350 If no error, this returns 0.  This call can return 0 in three
1351 situations:
1352
1353 =over 4
1354
1355 =item 1.
1356
1357 There has not been any error on the handle.
1358
1359 =item 2.
1360
1361 There has been an error but the errno was meaningless.  This
1362 corresponds to the case where the error did not come from a
1363 failed system call, but for some other reason.
1364
1365 =item 3.
1366
1367 There was an error from a failed system call, but for some
1368 reason the errno was not captured and returned.  This usually
1369 indicates a bug in libguestfs.
1370
1371 =back
1372
1373 Libguestfs tries to convert the errno from inside the applicance into
1374 a corresponding errno for the caller (not entirely trivial: the
1375 appliance might be running a completely different operating system
1376 from the library and error numbers are not standardized across
1377 Un*xen).  If this could not be done, then the error is translated to
1378 C<EINVAL>.  In practice this should only happen in very rare
1379 circumstances.
1380
1381 =head2 guestfs_set_error_handler
1382
1383  typedef void (*guestfs_error_handler_cb) (guestfs_h *g,
1384                                            void *opaque,
1385                                            const char *msg);
1386  void guestfs_set_error_handler (guestfs_h *g,
1387                                  guestfs_error_handler_cb cb,
1388                                  void *opaque);
1389
1390 The callback C<cb> will be called if there is an error.  The
1391 parameters passed to the callback are an opaque data pointer and the
1392 error message string.
1393
1394 C<errno> is not passed to the callback.  To get that the callback must
1395 call L</guestfs_last_errno>.
1396
1397 Note that the message string C<msg> is freed as soon as the callback
1398 function returns, so if you want to stash it somewhere you must make
1399 your own copy.
1400
1401 The default handler prints messages on C<stderr>.
1402
1403 If you set C<cb> to C<NULL> then I<no> handler is called.
1404
1405 =head2 guestfs_get_error_handler
1406
1407  guestfs_error_handler_cb guestfs_get_error_handler (guestfs_h *g,
1408                                                      void **opaque_rtn);
1409
1410 Returns the current error handler callback.
1411
1412 =head2 guestfs_set_out_of_memory_handler
1413
1414  typedef void (*guestfs_abort_cb) (void);
1415  int guestfs_set_out_of_memory_handler (guestfs_h *g,
1416                                         guestfs_abort_cb);
1417
1418 The callback C<cb> will be called if there is an out of memory
1419 situation.  I<Note this callback must not return>.
1420
1421 The default is to call L<abort(3)>.
1422
1423 You cannot set C<cb> to C<NULL>.  You can't ignore out of memory
1424 situations.
1425
1426 =head2 guestfs_get_out_of_memory_handler
1427
1428  guestfs_abort_fn guestfs_get_out_of_memory_handler (guestfs_h *g);
1429
1430 This returns the current out of memory handler.
1431
1432 =head1 API CALLS
1433
1434 @ACTIONS@
1435
1436 =head1 STRUCTURES
1437
1438 @STRUCTS@
1439
1440 =head1 AVAILABILITY
1441
1442 =head2 GROUPS OF FUNCTIONALITY IN THE APPLIANCE
1443
1444 Using L</guestfs_available> you can test availability of
1445 the following groups of functions.  This test queries the
1446 appliance to see if the appliance you are currently using
1447 supports the functionality.
1448
1449 @AVAILABILITY@
1450
1451 =head2 GUESTFISH supported COMMAND
1452
1453 In L<guestfish(3)> there is a handy interactive command
1454 C<supported> which prints out the available groups and
1455 whether they are supported by this build of libguestfs.
1456 Note however that you have to do C<run> first.
1457
1458 =head2 SINGLE CALLS AT COMPILE TIME
1459
1460 Since version 1.5.8, C<E<lt>guestfs.hE<gt>> defines symbols
1461 for each C API function, such as:
1462
1463  #define LIBGUESTFS_HAVE_DD 1
1464
1465 if L</guestfs_dd> is available.
1466
1467 Before version 1.5.8, if you needed to test whether a single
1468 libguestfs function is available at compile time, we recommended using
1469 build tools such as autoconf or cmake.  For example in autotools you
1470 could use:
1471
1472  AC_CHECK_LIB([guestfs],[guestfs_create])
1473  AC_CHECK_FUNCS([guestfs_dd])
1474
1475 which would result in C<HAVE_GUESTFS_DD> being either defined
1476 or not defined in your program.
1477
1478 =head2 SINGLE CALLS AT RUN TIME
1479
1480 Testing at compile time doesn't guarantee that a function really
1481 exists in the library.  The reason is that you might be dynamically
1482 linked against a previous I<libguestfs.so> (dynamic library)
1483 which doesn't have the call.  This situation unfortunately results
1484 in a segmentation fault, which is a shortcoming of the C dynamic
1485 linking system itself.
1486
1487 You can use L<dlopen(3)> to test if a function is available
1488 at run time, as in this example program (note that you still
1489 need the compile time check as well):
1490
1491  #include <stdio.h>
1492  #include <stdlib.h>
1493  #include <unistd.h>
1494  #include <dlfcn.h>
1495  #include <guestfs.h>
1496  
1497  main ()
1498  {
1499  #ifdef LIBGUESTFS_HAVE_DD
1500    void *dl;
1501    int has_function;
1502  
1503    /* Test if the function guestfs_dd is really available. */
1504    dl = dlopen (NULL, RTLD_LAZY);
1505    if (!dl) {
1506      fprintf (stderr, "dlopen: %s\n", dlerror ());
1507      exit (EXIT_FAILURE);
1508    }
1509    has_function = dlsym (dl, "guestfs_dd") != NULL;
1510    dlclose (dl);
1511  
1512    if (!has_function)
1513      printf ("this libguestfs.so does NOT have guestfs_dd function\n");
1514    else {
1515      printf ("this libguestfs.so has guestfs_dd function\n");
1516      /* Now it's safe to call
1517      guestfs_dd (g, "foo", "bar");
1518      */
1519    }
1520  #else
1521    printf ("guestfs_dd function was not found at compile time\n");
1522  #endif
1523   }
1524
1525 You may think the above is an awful lot of hassle, and it is.
1526 There are other ways outside of the C linking system to ensure
1527 that this kind of incompatibility never arises, such as using
1528 package versioning:
1529
1530  Requires: libguestfs >= 1.0.80
1531
1532 =head1 CALLS WITH OPTIONAL ARGUMENTS
1533
1534 A recent feature of the API is the introduction of calls which take
1535 optional arguments.  In C these are declared 3 ways.  The main way is
1536 as a call which takes variable arguments (ie. C<...>), as in this
1537 example:
1538
1539  int guestfs_add_drive_opts (guestfs_h *g, const char *filename, ...);
1540
1541 Call this with a list of optional arguments, terminated by C<-1>.
1542 So to call with no optional arguments specified:
1543
1544  guestfs_add_drive_opts (g, filename, -1);
1545
1546 With a single optional argument:
1547
1548  guestfs_add_drive_opts (g, filename,
1549                          GUESTFS_ADD_DRIVE_OPTS_FORMAT, "qcow2",
1550                          -1);
1551
1552 With two:
1553
1554  guestfs_add_drive_opts (g, filename,
1555                          GUESTFS_ADD_DRIVE_OPTS_FORMAT, "qcow2",
1556                          GUESTFS_ADD_DRIVE_OPTS_READONLY, 1,
1557                          -1);
1558
1559 and so forth.  Don't forget the terminating C<-1> otherwise
1560 Bad Things will happen!
1561
1562 =head2 USING va_list FOR OPTIONAL ARGUMENTS
1563
1564 The second variant has the same name with the suffix C<_va>, which
1565 works the same way but takes a C<va_list>.  See the C manual for
1566 details.  For the example function, this is declared:
1567
1568  int guestfs_add_drive_opts_va (guestfs_h *g, const char *filename,
1569                                 va_list args);
1570
1571 =head2 CONSTRUCTING OPTIONAL ARGUMENTS
1572
1573 The third variant is useful where you need to construct these
1574 calls.  You pass in a structure where you fill in the optional
1575 fields.  The structure has a bitmask as the first element which
1576 you must set to indicate which fields you have filled in.  For
1577 our example function the structure and call are declared:
1578
1579  struct guestfs_add_drive_opts_argv {
1580    uint64_t bitmask;
1581    int readonly;
1582    const char *format;
1583    /* ... */
1584  };
1585  int guestfs_add_drive_opts_argv (guestfs_h *g, const char *filename,
1586               const struct guestfs_add_drive_opts_argv *optargs);
1587
1588 You could call it like this:
1589
1590  struct guestfs_add_drive_opts_argv optargs = {
1591    .bitmask = GUESTFS_ADD_DRIVE_OPTS_READONLY_BITMASK |
1592               GUESTFS_ADD_DRIVE_OPTS_FORMAT_BITMASK,
1593    .readonly = 1,
1594    .format = "qcow2"
1595  };
1596  
1597  guestfs_add_drive_opts_argv (g, filename, &optargs);
1598
1599 Notes:
1600
1601 =over 4
1602
1603 =item *
1604
1605 The C<_BITMASK> suffix on each option name when specifying the
1606 bitmask.
1607
1608 =item *
1609
1610 You do not need to fill in all fields of the structure.
1611
1612 =item *
1613
1614 There must be a one-to-one correspondence between fields of the
1615 structure that are filled in, and bits set in the bitmask.
1616
1617 =back
1618
1619 =head2 OPTIONAL ARGUMENTS IN OTHER LANGUAGES
1620
1621 In other languages, optional arguments are expressed in the
1622 way that is natural for that language.  We refer you to the
1623 language-specific documentation for more details on that.
1624
1625 For guestfish, see L<guestfish(1)/OPTIONAL ARGUMENTS>.
1626
1627 =head2 SETTING CALLBACKS TO HANDLE EVENTS
1628
1629 The child process generates events in some situations.  Current events
1630 include: receiving a log message, the child process exits.
1631
1632 Use the C<guestfs_set_*_callback> functions to set a callback for
1633 different types of events.
1634
1635 Only I<one callback of each type> can be registered for each handle.
1636 Calling C<guestfs_set_*_callback> again overwrites the previous
1637 callback of that type.  Cancel all callbacks of this type by calling
1638 this function with C<cb> set to C<NULL>.
1639
1640 =head2 guestfs_set_log_message_callback
1641
1642  typedef void (*guestfs_log_message_cb) (guestfs_h *g, void *opaque,
1643                                          char *buf, int len);
1644  void guestfs_set_log_message_callback (guestfs_h *g,
1645                                         guestfs_log_message_cb cb,
1646                                         void *opaque);
1647
1648 The callback function C<cb> will be called whenever qemu or the guest
1649 writes anything to the console.
1650
1651 Use this function to capture kernel messages and similar.
1652
1653 Normally there is no log message handler, and log messages are just
1654 discarded.
1655
1656 =head2 guestfs_set_subprocess_quit_callback
1657
1658  typedef void (*guestfs_subprocess_quit_cb) (guestfs_h *g, void *opaque);
1659  void guestfs_set_subprocess_quit_callback (guestfs_h *g,
1660                                             guestfs_subprocess_quit_cb cb,
1661                                             void *opaque);
1662
1663 The callback function C<cb> will be called when the child process
1664 quits, either asynchronously or if killed by
1665 L</guestfs_kill_subprocess>.  (This corresponds to a transition from
1666 any state to the CONFIG state).
1667
1668 =head2 guestfs_set_launch_done_callback
1669
1670  typedef void (*guestfs_launch_done_cb) (guestfs_h *g, void *opaque);
1671  void guestfs_set_launch_done_callback (guestfs_h *g,
1672                                         guestfs_launch_done_cb cb,
1673                                         void *opaque);
1674
1675 The callback function C<cb> will be called when the child process
1676 becomes ready first time after it has been launched.  (This
1677 corresponds to a transition from LAUNCHING to the READY state).
1678
1679 =head2 guestfs_set_close_callback
1680
1681  typedef void (*guestfs_close_cb) (guestfs_h *g, void *opaque);
1682  void guestfs_set_close_callback (guestfs_h *g,
1683                                   guestfs_close_cb cb,
1684                                   void *opaque);
1685
1686 The callback function C<cb> will be called while the handle
1687 is being closed (synchronously from L</guestfs_close>).
1688
1689 Note that libguestfs installs an L<atexit(3)> handler to try to
1690 clean up handles that are open when the program exits.  This
1691 means that this callback might be called indirectly from
1692 L<exit(3)>, which can cause unexpected problems in higher-level
1693 languages (eg. if your HLL interpreter has already been cleaned
1694 up by the time this is called, and if your callback then jumps
1695 into some HLL function).
1696
1697 =head2 guestfs_set_progress_callback
1698
1699  typedef void (*guestfs_progress_cb) (guestfs_h *g, void *opaque,
1700                                       int proc_nr, int serial,
1701                                       uint64_t position, uint64_t total);
1702  void guestfs_set_progress_callback (guestfs_h *g,
1703                                      guestfs_progress_cb cb,
1704                                      void *opaque);
1705
1706 Some long-running operations can generate progress messages.  If
1707 this callback is registered, then it will be called each time a
1708 progress message is generated (usually two seconds after the
1709 operation started, and three times per second thereafter until
1710 it completes, although the frequency may change in future versions).
1711
1712 The callback receives two numbers: C<position> and C<total>.
1713 The units of C<total> are not defined, although for some
1714 operations C<total> may relate in some way to the amount of
1715 data to be transferred (eg. in bytes or megabytes), and
1716 C<position> may be the portion which has been transferred.
1717
1718 The only defined and stable parts of the API are:
1719
1720 =over 4
1721
1722 =item *
1723
1724 The callback can display to the user some type of progress bar or
1725 indicator which shows the ratio of C<position>:C<total>.
1726
1727 =item *
1728
1729 0 E<lt>= C<position> E<lt>= C<total>
1730
1731 =item *
1732
1733 If any progress notification is sent during a call, then a final
1734 progress notification is always sent when C<position> = C<total>.
1735
1736 This is to simplify caller code, so callers can easily set the
1737 progress indicator to "100%" at the end of the operation, without
1738 requiring special code to detect this case.
1739
1740 =back
1741
1742 The callback also receives the procedure number and serial number of
1743 the call.  These are only useful for debugging protocol issues, and
1744 the callback can normally ignore them.  The callback may want to
1745 print these numbers in error messages or debugging messages.
1746
1747 =head1 PRIVATE DATA AREA
1748
1749 You can attach named pieces of private data to the libguestfs handle,
1750 and fetch them by name for the lifetime of the handle.  This is called
1751 the private data area and is only available from the C API.
1752
1753 To attach a named piece of data, use the following call:
1754
1755  void guestfs_set_private (guestfs_h *g, const char *key, void *data);
1756
1757 C<key> is the name to associate with this data, and C<data> is an
1758 arbitrary pointer (which can be C<NULL>).  Any previous item with the
1759 same name is overwritten.
1760
1761 You can use any C<key> you want, but names beginning with an
1762 underscore character are reserved for internal libguestfs purposes
1763 (for implementing language bindings).  It is recommended to prefix the
1764 name with some unique string to avoid collisions with other users.
1765
1766 To retrieve the pointer, use:
1767
1768  void *guestfs_get_private (guestfs_h *g, const char *key);
1769
1770 This function returns C<NULL> if either no data is found associated
1771 with C<key>, or if the user previously set the C<key>'s C<data>
1772 pointer to C<NULL>.
1773
1774 Libguestfs does not try to look at or interpret the C<data> pointer in
1775 any way.  As far as libguestfs is concerned, it need not be a valid
1776 pointer at all.  In particular, libguestfs does I<not> try to free the
1777 data when the handle is closed.  If the data must be freed, then the
1778 caller must either free it before calling L</guestfs_close> or must
1779 set up a close callback to do it (see L</guestfs_set_close_callback>,
1780 and note that only one callback can be registered for a handle).
1781
1782 The private data area is implemented using a hash table, and should be
1783 reasonably efficient for moderate numbers of keys.
1784
1785 =begin html
1786
1787 <!-- old anchor for the next section -->
1788 <a name="state_machine_and_low_level_event_api"/>
1789
1790 =end html
1791
1792 =head1 ARCHITECTURE
1793
1794 Internally, libguestfs is implemented by running an appliance (a
1795 special type of small virtual machine) using L<qemu(1)>.  Qemu runs as
1796 a child process of the main program.
1797
1798   ___________________
1799  /                   \
1800  | main program      |
1801  |                   |
1802  |                   |           child process / appliance
1803  |                   |           __________________________
1804  |                   |          / qemu                     \
1805  +-------------------+   RPC    |      +-----------------+ |
1806  | libguestfs     <--------------------> guestfsd        | |
1807  |                   |          |      +-----------------+ |
1808  \___________________/          |      | Linux kernel    | |
1809                                 |      +--^--------------+ |
1810                                 \_________|________________/
1811                                           |
1812                                    _______v______
1813                                   /              \
1814                                   | Device or    |
1815                                   | disk image   |
1816                                   \______________/
1817
1818 The library, linked to the main program, creates the child process and
1819 hence the appliance in the L</guestfs_launch> function.
1820
1821 Inside the appliance is a Linux kernel and a complete stack of
1822 userspace tools (such as LVM and ext2 programs) and a small
1823 controlling daemon called L</guestfsd>.  The library talks to
1824 L</guestfsd> using remote procedure calls (RPC).  There is a mostly
1825 one-to-one correspondence between libguestfs API calls and RPC calls
1826 to the daemon.  Lastly the disk image(s) are attached to the qemu
1827 process which translates device access by the appliance's Linux kernel
1828 into accesses to the image.
1829
1830 A common misunderstanding is that the appliance "is" the virtual
1831 machine.  Although the disk image you are attached to might also be
1832 used by some virtual machine, libguestfs doesn't know or care about
1833 this.  (But you will care if both libguestfs's qemu process and your
1834 virtual machine are trying to update the disk image at the same time,
1835 since these usually results in massive disk corruption).
1836
1837 =head1 STATE MACHINE
1838
1839 libguestfs uses a state machine to model the child process:
1840
1841                          |
1842                     guestfs_create
1843                          |
1844                          |
1845                      ____V_____
1846                     /          \
1847                     |  CONFIG  |
1848                     \__________/
1849                      ^ ^   ^  \
1850                     /  |    \  \ guestfs_launch
1851                    /   |    _\__V______
1852                   /    |   /           \
1853                  /     |   | LAUNCHING |
1854                 /      |   \___________/
1855                /       |       /
1856               /        |  guestfs_launch
1857              /         |     /
1858     ______  /        __|____V
1859    /      \ ------> /        \
1860    | BUSY |         | READY  |
1861    \______/ <------ \________/
1862
1863 The normal transitions are (1) CONFIG (when the handle is created, but
1864 there is no child process), (2) LAUNCHING (when the child process is
1865 booting up), (3) alternating between READY and BUSY as commands are
1866 issued to, and carried out by, the child process.
1867
1868 The guest may be killed by L</guestfs_kill_subprocess>, or may die
1869 asynchronously at any time (eg. due to some internal error), and that
1870 causes the state to transition back to CONFIG.
1871
1872 Configuration commands for qemu such as L</guestfs_add_drive> can only
1873 be issued when in the CONFIG state.
1874
1875 The API offers one call that goes from CONFIG through LAUNCHING to
1876 READY.  L</guestfs_launch> blocks until the child process is READY to
1877 accept commands (or until some failure or timeout).
1878 L</guestfs_launch> internally moves the state from CONFIG to LAUNCHING
1879 while it is running.
1880
1881 API actions such as L</guestfs_mount> can only be issued when in the
1882 READY state.  These API calls block waiting for the command to be
1883 carried out (ie. the state to transition to BUSY and then back to
1884 READY).  There are no non-blocking versions, and no way to issue more
1885 than one command per handle at the same time.
1886
1887 Finally, the child process sends asynchronous messages back to the
1888 main program, such as kernel log messages.  You can register a
1889 callback to receive these messages.
1890
1891 =head1 INTERNALS
1892
1893 =head2 COMMUNICATION PROTOCOL
1894
1895 Don't rely on using this protocol directly.  This section documents
1896 how it currently works, but it may change at any time.
1897
1898 The protocol used to talk between the library and the daemon running
1899 inside the qemu virtual machine is a simple RPC mechanism built on top
1900 of XDR (RFC 1014, RFC 1832, RFC 4506).
1901
1902 The detailed format of structures is in C<src/guestfs_protocol.x>
1903 (note: this file is automatically generated).
1904
1905 There are two broad cases, ordinary functions that don't have any
1906 C<FileIn> and C<FileOut> parameters, which are handled with very
1907 simple request/reply messages.  Then there are functions that have any
1908 C<FileIn> or C<FileOut> parameters, which use the same request and
1909 reply messages, but they may also be followed by files sent using a
1910 chunked encoding.
1911
1912 =head3 ORDINARY FUNCTIONS (NO FILEIN/FILEOUT PARAMS)
1913
1914 For ordinary functions, the request message is:
1915
1916  total length (header + arguments,
1917       but not including the length word itself)
1918  struct guestfs_message_header (encoded as XDR)
1919  struct guestfs_<foo>_args (encoded as XDR)
1920
1921 The total length field allows the daemon to allocate a fixed size
1922 buffer into which it slurps the rest of the message.  As a result, the
1923 total length is limited to C<GUESTFS_MESSAGE_MAX> bytes (currently
1924 4MB), which means the effective size of any request is limited to
1925 somewhere under this size.
1926
1927 Note also that many functions don't take any arguments, in which case
1928 the C<guestfs_I<foo>_args> is completely omitted.
1929
1930 The header contains the procedure number (C<guestfs_proc>) which is
1931 how the receiver knows what type of args structure to expect, or none
1932 at all.
1933
1934 For functions that take optional arguments, the optional arguments are
1935 encoded in the C<guestfs_I<foo>_args> structure in the same way as
1936 ordinary arguments.  A bitmask in the header indicates which optional
1937 arguments are meaningful.  The bitmask is also checked to see if it
1938 contains bits set which the daemon does not know about (eg. if more
1939 optional arguments were added in a later version of the library), and
1940 this causes the call to be rejected.
1941
1942 The reply message for ordinary functions is:
1943
1944  total length (header + ret,
1945       but not including the length word itself)
1946  struct guestfs_message_header (encoded as XDR)
1947  struct guestfs_<foo>_ret (encoded as XDR)
1948
1949 As above the C<guestfs_I<foo>_ret> structure may be completely omitted
1950 for functions that return no formal return values.
1951
1952 As above the total length of the reply is limited to
1953 C<GUESTFS_MESSAGE_MAX>.
1954
1955 In the case of an error, a flag is set in the header, and the reply
1956 message is slightly changed:
1957
1958  total length (header + error,
1959       but not including the length word itself)
1960  struct guestfs_message_header (encoded as XDR)
1961  struct guestfs_message_error (encoded as XDR)
1962
1963 The C<guestfs_message_error> structure contains the error message as a
1964 string.
1965
1966 =head3 FUNCTIONS THAT HAVE FILEIN PARAMETERS
1967
1968 A C<FileIn> parameter indicates that we transfer a file I<into> the
1969 guest.  The normal request message is sent (see above).  However this
1970 is followed by a sequence of file chunks.
1971
1972  total length (header + arguments,
1973       but not including the length word itself,
1974       and not including the chunks)
1975  struct guestfs_message_header (encoded as XDR)
1976  struct guestfs_<foo>_args (encoded as XDR)
1977  sequence of chunks for FileIn param #0
1978  sequence of chunks for FileIn param #1 etc.
1979
1980 The "sequence of chunks" is:
1981
1982  length of chunk (not including length word itself)
1983  struct guestfs_chunk (encoded as XDR)
1984  length of chunk
1985  struct guestfs_chunk (encoded as XDR)
1986    ...
1987  length of chunk
1988  struct guestfs_chunk (with data.data_len == 0)
1989
1990 The final chunk has the C<data_len> field set to zero.  Additionally a
1991 flag is set in the final chunk to indicate either successful
1992 completion or early cancellation.
1993
1994 At time of writing there are no functions that have more than one
1995 FileIn parameter.  However this is (theoretically) supported, by
1996 sending the sequence of chunks for each FileIn parameter one after
1997 another (from left to right).
1998
1999 Both the library (sender) I<and> the daemon (receiver) may cancel the
2000 transfer.  The library does this by sending a chunk with a special
2001 flag set to indicate cancellation.  When the daemon sees this, it
2002 cancels the whole RPC, does I<not> send any reply, and goes back to
2003 reading the next request.
2004
2005 The daemon may also cancel.  It does this by writing a special word
2006 C<GUESTFS_CANCEL_FLAG> to the socket.  The library listens for this
2007 during the transfer, and if it gets it, it will cancel the transfer
2008 (it sends a cancel chunk).  The special word is chosen so that even if
2009 cancellation happens right at the end of the transfer (after the
2010 library has finished writing and has started listening for the reply),
2011 the "spurious" cancel flag will not be confused with the reply
2012 message.
2013
2014 This protocol allows the transfer of arbitrary sized files (no 32 bit
2015 limit), and also files where the size is not known in advance
2016 (eg. from pipes or sockets).  However the chunks are rather small
2017 (C<GUESTFS_MAX_CHUNK_SIZE>), so that neither the library nor the
2018 daemon need to keep much in memory.
2019
2020 =head3 FUNCTIONS THAT HAVE FILEOUT PARAMETERS
2021
2022 The protocol for FileOut parameters is exactly the same as for FileIn
2023 parameters, but with the roles of daemon and library reversed.
2024
2025  total length (header + ret,
2026       but not including the length word itself,
2027       and not including the chunks)
2028  struct guestfs_message_header (encoded as XDR)
2029  struct guestfs_<foo>_ret (encoded as XDR)
2030  sequence of chunks for FileOut param #0
2031  sequence of chunks for FileOut param #1 etc.
2032
2033 =head3 INITIAL MESSAGE
2034
2035 When the daemon launches it sends an initial word
2036 (C<GUESTFS_LAUNCH_FLAG>) which indicates that the guest and daemon is
2037 alive.  This is what L</guestfs_launch> waits for.
2038
2039 =head3 PROGRESS NOTIFICATION MESSAGES
2040
2041 The daemon may send progress notification messages at any time.  These
2042 are distinguished by the normal length word being replaced by
2043 C<GUESTFS_PROGRESS_FLAG>, followed by a fixed size progress message.
2044
2045 The library turns them into progress callbacks (see
2046 C<guestfs_set_progress_callback>) if there is a callback registered,
2047 or discards them if not.
2048
2049 The daemon self-limits the frequency of progress messages it sends
2050 (see C<daemon/proto.c:notify_progress>).  Not all calls generate
2051 progress messages.
2052
2053 =head1 LIBGUESTFS VERSION NUMBERS
2054
2055 Since April 2010, libguestfs has started to make separate development
2056 and stable releases, along with corresponding branches in our git
2057 repository.  These separate releases can be identified by version
2058 number:
2059
2060                  even numbers for stable: 1.2.x, 1.4.x, ...
2061        .-------- odd numbers for development: 1.3.x, 1.5.x, ...
2062        |
2063        v
2064  1  .  3  .  5
2065  ^           ^
2066  |           |
2067  |           `-------- sub-version
2068  |
2069  `------ always '1' because we don't change the ABI
2070
2071 Thus "1.3.5" is the 5th update to the development branch "1.3".
2072
2073 As time passes we cherry pick fixes from the development branch and
2074 backport those into the stable branch, the effect being that the
2075 stable branch should get more stable and less buggy over time.  So the
2076 stable releases are ideal for people who don't need new features but
2077 would just like the software to work.
2078
2079 Our criteria for backporting changes are:
2080
2081 =over 4
2082
2083 =item *
2084
2085 Documentation changes which don't affect any code are
2086 backported unless the documentation refers to a future feature
2087 which is not in stable.
2088
2089 =item *
2090
2091 Bug fixes which are not controversial, fix obvious problems, and
2092 have been well tested are backported.
2093
2094 =item *
2095
2096 Simple rearrangements of code which shouldn't affect how it works get
2097 backported.  This is so that the code in the two branches doesn't get
2098 too far out of step, allowing us to backport future fixes more easily.
2099
2100 =item *
2101
2102 We I<don't> backport new features, new APIs, new tools etc, except in
2103 one exceptional case: the new feature is required in order to
2104 implement an important bug fix.
2105
2106 =back
2107
2108 A new stable branch starts when we think the new features in
2109 development are substantial and compelling enough over the current
2110 stable branch to warrant it.  When that happens we create new stable
2111 and development versions 1.N.0 and 1.(N+1).0 [N is even].  The new
2112 dot-oh release won't necessarily be so stable at this point, but by
2113 backporting fixes from development, that branch will stabilize over
2114 time.
2115
2116 =head1 EXTENDING LIBGUESTFS
2117
2118 =head2 ADDING A NEW API ACTION
2119
2120 Large amounts of boilerplate code in libguestfs (RPC, bindings,
2121 documentation) are generated, and this makes it easy to extend the
2122 libguestfs API.
2123
2124 To add a new API action there are two changes:
2125
2126 =over 4
2127
2128 =item 1.
2129
2130 You need to add a description of the call (name, parameters, return
2131 type, tests, documentation) to C<generator/generator_actions.ml>.
2132
2133 There are two sorts of API action, depending on whether the call goes
2134 through to the daemon in the appliance, or is serviced entirely by the
2135 library (see L</ARCHITECTURE> above).  L</guestfs_sync> is an example
2136 of the former, since the sync is done in the appliance.
2137 L</guestfs_set_trace> is an example of the latter, since a trace flag
2138 is maintained in the handle and all tracing is done on the library
2139 side.
2140
2141 Most new actions are of the first type, and get added to the
2142 C<daemon_functions> list.  Each function has a unique procedure number
2143 used in the RPC protocol which is assigned to that action when we
2144 publish libguestfs and cannot be reused.  Take the latest procedure
2145 number and increment it.
2146
2147 For library-only actions of the second type, add to the
2148 C<non_daemon_functions> list.  Since these functions are serviced by
2149 the library and do not travel over the RPC mechanism to the daemon,
2150 these functions do not need a procedure number, and so the procedure
2151 number is set to C<-1>.
2152
2153 =item 2.
2154
2155 Implement the action (in C):
2156
2157 For daemon actions, implement the function C<do_E<lt>nameE<gt>> in the
2158 C<daemon/> directory.
2159
2160 For library actions, implement the function C<guestfs__E<lt>nameE<gt>>
2161 (note: double underscore) in the C<src/> directory.
2162
2163 In either case, use another function as an example of what to do.
2164
2165 =back
2166
2167 After making these changes, use C<make> to compile.
2168
2169 Note that you don't need to implement the RPC, language bindings,
2170 manual pages or anything else.  It's all automatically generated from
2171 the OCaml description.
2172
2173 =head2 ADDING TESTS FOR AN API ACTION
2174
2175 You can supply zero or as many tests as you want per API call.  The
2176 tests can either be added as part of the API description
2177 (C<generator/generator_actions.ml>), or in some rarer cases you may
2178 want to drop a script into C<regressions/>.  Note that adding a script
2179 to C<regressions/> is slower, so if possible use the first method.
2180
2181 The following describes the test environment used when you add an API
2182 test in C<generator_actions.ml>.
2183
2184 The test environment has 4 block devices:
2185
2186 =over 4
2187
2188 =item C</dev/sda> 500MB
2189
2190 General block device for testing.
2191
2192 =item C</dev/sdb> 50MB
2193
2194 C</dev/sdb1> is an ext2 filesystem used for testing
2195 filesystem write operations.
2196
2197 =item C</dev/sdc> 10MB
2198
2199 Used in a few tests where two block devices are needed.
2200
2201 =item C</dev/sdd>
2202
2203 ISO with fixed content (see C<images/test.iso>).
2204
2205 =back
2206
2207 To be able to run the tests in a reasonable amount of time, the
2208 libguestfs appliance and block devices are reused between tests.  So
2209 don't try testing L</guestfs_kill_subprocess> :-x
2210
2211 Each test starts with an initial scenario, selected using one of the
2212 C<Init*> expressions, described in C<generator/generator_types.ml>.
2213 These initialize the disks mentioned above in a particular way as
2214 documented in C<generator_types.ml>.  You should not assume anything
2215 about the previous contents of other disks that are not initialized.
2216
2217 You can add a prerequisite clause to any individual test.  This is a
2218 run-time check, which, if it fails, causes the test to be skipped.
2219 Useful if testing a command which might not work on all variations of
2220 libguestfs builds.  A test that has prerequisite of C<Always> means to
2221 run unconditionally.
2222
2223 In addition, packagers can skip individual tests by setting
2224 environment variables before running C<make check>.
2225
2226  SKIP_TEST_<CMD>_<NUM>=1
2227
2228 eg: C<SKIP_TEST_COMMAND_3=1> skips test #3 of L</guestfs_command>.
2229
2230 or:
2231
2232  SKIP_TEST_<CMD>=1
2233
2234 eg: C<SKIP_TEST_ZEROFREE=1> skips all L</guestfs_zerofree> tests.
2235
2236 Packagers can run only certain tests by setting for example:
2237
2238  TEST_ONLY="vfs_type zerofree"
2239
2240 See C<capitests/tests.c> for more details of how these environment
2241 variables work.
2242
2243 =head2 DEBUGGING NEW API ACTIONS
2244
2245 Test new actions work before submitting them.
2246
2247 You can use guestfish to try out new commands.
2248
2249 Debugging the daemon is a problem because it runs inside a minimal
2250 environment.  However you can fprintf messages in the daemon to
2251 stderr, and they will show up if you use C<guestfish -v>.
2252
2253 =head2 FORMATTING CODE AND OTHER CONVENTIONS
2254
2255 Our C source code generally adheres to some basic code-formatting
2256 conventions.  The existing code base is not totally consistent on this
2257 front, but we do prefer that contributed code be formatted similarly.
2258 In short, use spaces-not-TABs for indentation, use 2 spaces for each
2259 indentation level, and other than that, follow the K&R style.
2260
2261 If you use Emacs, add the following to one of one of your start-up files
2262 (e.g., ~/.emacs), to help ensure that you get indentation right:
2263
2264  ;;; In libguestfs, indent with spaces everywhere (not TABs).
2265  ;;; Exceptions: Makefile and ChangeLog modes.
2266  (add-hook 'find-file-hook
2267      '(lambda () (if (and buffer-file-name
2268                           (string-match "/libguestfs\\>"
2269                               (buffer-file-name))
2270                           (not (string-equal mode-name "Change Log"))
2271                           (not (string-equal mode-name "Makefile")))
2272                      (setq indent-tabs-mode nil))))
2273  
2274  ;;; When editing C sources in libguestfs, use this style.
2275  (defun libguestfs-c-mode ()
2276    "C mode with adjusted defaults for use with libguestfs."
2277    (interactive)
2278    (c-set-style "K&R")
2279    (setq c-indent-level 2)
2280    (setq c-basic-offset 2))
2281  (add-hook 'c-mode-hook
2282            '(lambda () (if (string-match "/libguestfs\\>"
2283                                (buffer-file-name))
2284                            (libguestfs-c-mode))))
2285
2286 Enable warnings when compiling (and fix any problems this
2287 finds):
2288
2289  ./configure --enable-gcc-warnings
2290
2291 Useful targets are:
2292
2293  make syntax-check  # checks the syntax of the C code
2294  make check         # runs the test suite
2295
2296 =head2 DAEMON CUSTOM PRINTF FORMATTERS
2297
2298 In the daemon code we have created custom printf formatters C<%Q> and
2299 C<%R>, which are used to do shell quoting.
2300
2301 =over 4
2302
2303 =item %Q
2304
2305 Simple shell quoted string.  Any spaces or other shell characters are
2306 escaped for you.
2307
2308 =item %R
2309
2310 Same as C<%Q> except the string is treated as a path which is prefixed
2311 by the sysroot.
2312
2313 =back
2314
2315 For example:
2316
2317  asprintf (&cmd, "cat %R", path);
2318
2319 would produce C<cat /sysroot/some\ path\ with\ spaces>
2320
2321 I<Note:> Do I<not> use these when you are passing parameters to the
2322 C<command{,r,v,rv}()> functions.  These parameters do NOT need to be
2323 quoted because they are not passed via the shell (instead, straight to
2324 exec).  You probably want to use the C<sysroot_path()> function
2325 however.
2326
2327 =head2 SUBMITTING YOUR NEW API ACTIONS
2328
2329 Submit patches to the mailing list:
2330 L<http://www.redhat.com/mailman/listinfo/libguestfs>
2331 and CC to L<rjones@redhat.com>.
2332
2333 =head2 INTERNATIONALIZATION (I18N) SUPPORT
2334
2335 We support i18n (gettext anyhow) in the library.
2336
2337 However many messages come from the daemon, and we don't translate
2338 those at the moment.  One reason is that the appliance generally has
2339 all locale files removed from it, because they take up a lot of space.
2340 So we'd have to readd some of those, as well as copying our PO files
2341 into the appliance.
2342
2343 Debugging messages are never translated, since they are intended for
2344 the programmers.
2345
2346 =head2 SOURCE CODE SUBDIRECTORIES
2347
2348 =over 4
2349
2350 =item C<appliance>
2351
2352 The libguestfs appliance, build scripts and so on.
2353
2354 =item C<capitests>
2355
2356 Automated tests of the C API.
2357
2358 =item C<cat>
2359
2360 The L<virt-cat(1)>, L<virt-filesystems(1)> and L<virt-ls(1)> commands
2361 and documentation.
2362
2363 =item C<contrib>
2364
2365 Outside contributions, experimental parts.
2366
2367 =item C<daemon>
2368
2369 The daemon that runs inside the libguestfs appliance and carries out
2370 actions.
2371
2372 =item C<df>
2373
2374 L<virt-df(1)> command and documentation.
2375
2376 =item C<examples>
2377
2378 C API example code.
2379
2380 =item C<fish>
2381
2382 L<guestfish(1)>, the command-line shell, and various shell scripts
2383 built on top such as L<virt-copy-in(1)>, L<virt-copy-out(1)>,
2384 L<virt-tar-in(1)>, L<virt-tar-out(1)>.
2385
2386 =item C<fuse>
2387
2388 L<guestmount(1)>, FUSE (userspace filesystem) built on top of libguestfs.
2389
2390 =item C<generator>
2391
2392 The crucially important generator, used to automatically generate
2393 large amounts of boilerplate C code for things like RPC and bindings.
2394
2395 =item C<images>
2396
2397 Files used by the test suite.
2398
2399 Some "phony" guest images which we test against.
2400
2401 =item C<inspector>
2402
2403 L<virt-inspector(1)>, the virtual machine image inspector.
2404
2405 =item C<logo>
2406
2407 Logo used on the website.  The fish is called Arthur by the way.
2408
2409 =item C<m4>
2410
2411 M4 macros used by autoconf.
2412
2413 =item C<po>
2414
2415 Translations of simple gettext strings.
2416
2417 =item C<po-docs>
2418
2419 The build infrastructure and PO files for translations of manpages and
2420 POD files.  Eventually this will be combined with the C<po> directory,
2421 but that is rather complicated.
2422
2423 =item C<regressions>
2424
2425 Regression tests.
2426
2427 =item C<rescue>
2428
2429 L<virt-rescue(1)> command and documentation.
2430
2431 =item C<src>
2432
2433 Source code to the C library.
2434
2435 =item C<tools>
2436
2437 Command line tools written in Perl (L<virt-resize(1)> and many others).
2438
2439 =item C<test-tool>
2440
2441 Test tool for end users to test if their qemu/kernel combination
2442 will work with libguestfs.
2443
2444 =item C<csharp>
2445
2446 =item C<haskell>
2447
2448 =item C<java>
2449
2450 =item C<ocaml>
2451
2452 =item C<php>
2453
2454 =item C<perl>
2455
2456 =item C<python>
2457
2458 =item C<ruby>
2459
2460 Language bindings.
2461
2462 =back
2463
2464 =head1 ENVIRONMENT VARIABLES
2465
2466 =over 4
2467
2468 =item LIBGUESTFS_APPEND
2469
2470 Pass additional options to the guest kernel.
2471
2472 =item LIBGUESTFS_DEBUG
2473
2474 Set C<LIBGUESTFS_DEBUG=1> to enable verbose messages.  This
2475 has the same effect as calling C<guestfs_set_verbose (g, 1)>.
2476
2477 =item LIBGUESTFS_MEMSIZE
2478
2479 Set the memory allocated to the qemu process, in megabytes.  For
2480 example:
2481
2482  LIBGUESTFS_MEMSIZE=700
2483
2484 =item LIBGUESTFS_PATH
2485
2486 Set the path that libguestfs uses to search for kernel and initrd.img.
2487 See the discussion of paths in section PATH above.
2488
2489 =item LIBGUESTFS_QEMU
2490
2491 Set the default qemu binary that libguestfs uses.  If not set, then
2492 the qemu which was found at compile time by the configure script is
2493 used.
2494
2495 See also L</QEMU WRAPPERS> above.
2496
2497 =item LIBGUESTFS_TRACE
2498
2499 Set C<LIBGUESTFS_TRACE=1> to enable command traces.  This
2500 has the same effect as calling C<guestfs_set_trace (g, 1)>.
2501
2502 =item TMPDIR
2503
2504 Location of temporary directory, defaults to C</tmp> except for the
2505 cached supermin appliance which defaults to C</var/tmp>.
2506
2507 If libguestfs was compiled to use the supermin appliance then the
2508 real appliance is cached in this directory, shared between all
2509 handles belonging to the same EUID.  You can use C<$TMPDIR> to
2510 configure another directory to use in case C</var/tmp> is not large
2511 enough.
2512
2513 =back
2514
2515 =head1 SEE ALSO
2516
2517 L<guestfs-examples(3)>,
2518 L<guestfs-ocaml(3)>,
2519 L<guestfs-python(3)>,
2520 L<guestfs-ruby(3)>,
2521 L<guestfish(1)>,
2522 L<guestmount(1)>,
2523 L<virt-cat(1)>,
2524 L<virt-copy-in(1)>,
2525 L<virt-copy-out(1)>,
2526 L<virt-df(1)>,
2527 L<virt-edit(1)>,
2528 L<virt-filesystems(1)>,
2529 L<virt-inspector(1)>,
2530 L<virt-list-filesystems(1)>,
2531 L<virt-list-partitions(1)>,
2532 L<virt-ls(1)>,
2533 L<virt-make-fs(1)>,
2534 L<virt-rescue(1)>,
2535 L<virt-tar(1)>,
2536 L<virt-tar-in(1)>,
2537 L<virt-tar-out(1)>,
2538 L<virt-win-reg(1)>,
2539 L<qemu(1)>,
2540 L<febootstrap(1)>,
2541 L<hivex(3)>,
2542 L<http://libguestfs.org/>.
2543
2544 Tools with a similar purpose:
2545 L<fdisk(8)>,
2546 L<parted(8)>,
2547 L<kpartx(8)>,
2548 L<lvm(8)>,
2549 L<disktype(1)>.
2550
2551 =head1 BUGS
2552
2553 To get a list of bugs against libguestfs use this link:
2554
2555 L<https://bugzilla.redhat.com/buglist.cgi?component=libguestfs&product=Virtualization+Tools>
2556
2557 To report a new bug against libguestfs use this link:
2558
2559 L<https://bugzilla.redhat.com/enter_bug.cgi?component=libguestfs&product=Virtualization+Tools>
2560
2561 When reporting a bug, please check:
2562
2563 =over 4
2564
2565 =item *
2566
2567 That the bug hasn't been reported already.
2568
2569 =item *
2570
2571 That you are testing a recent version.
2572
2573 =item *
2574
2575 Describe the bug accurately, and give a way to reproduce it.
2576
2577 =item *
2578
2579 Run libguestfs-test-tool and paste the B<complete, unedited>
2580 output into the bug report.
2581
2582 =back
2583
2584 =head1 AUTHORS
2585
2586 Richard W.M. Jones (C<rjones at redhat dot com>)
2587
2588 =head1 COPYRIGHT
2589
2590 Copyright (C) 2009-2010 Red Hat Inc.
2591 L<http://libguestfs.org/>
2592
2593 This library is free software; you can redistribute it and/or
2594 modify it under the terms of the GNU Lesser General Public
2595 License as published by the Free Software Foundation; either
2596 version 2 of the License, or (at your option) any later version.
2597
2598 This library is distributed in the hope that it will be useful,
2599 but WITHOUT ANY WARRANTY; without even the implied warranty of
2600 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
2601 Lesser General Public License for more details.
2602
2603 You should have received a copy of the GNU Lesser General Public
2604 License along with this library; if not, write to the Free Software
2605 Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA