blkid: Use -c /dev/null option to kill the cache.
[libguestfs.git] / src / guestfs.pod
1 =encoding utf8
2
3 =head1 NAME
4
5 guestfs - Library for accessing and modifying virtual machine images
6
7 =head1 SYNOPSIS
8
9  #include <guestfs.h>
10  
11  guestfs_h *g = guestfs_create ();
12  guestfs_add_drive (g, "guest.img");
13  guestfs_launch (g);
14  guestfs_mount (g, "/dev/sda1", "/");
15  guestfs_touch (g, "/hello");
16  guestfs_umount (g, "/");
17  guestfs_close (g);
18
19  cc prog.c -o prog -lguestfs
20 or:
21  cc prog.c -o prog `pkg-config libguestfs --cflags --libs`
22
23 =head1 DESCRIPTION
24
25 Libguestfs is a library for accessing and modifying guest disk images.
26 Amongst the things this is good for: making batch configuration
27 changes to guests, getting disk used/free statistics (see also:
28 virt-df), migrating between virtualization systems (see also:
29 virt-p2v), performing partial backups, performing partial guest
30 clones, cloning guests and changing registry/UUID/hostname info, and
31 much else besides.
32
33 Libguestfs uses Linux kernel and qemu code, and can access any type of
34 guest filesystem that Linux and qemu can, including but not limited
35 to: ext2/3/4, btrfs, FAT and NTFS, LVM, many different disk partition
36 schemes, qcow, qcow2, vmdk.
37
38 Libguestfs provides ways to enumerate guest storage (eg. partitions,
39 LVs, what filesystem is in each LV, etc.).  It can also run commands
40 in the context of the guest.  Also you can access filesystems over
41 FUSE.
42
43 Libguestfs is a library that can be linked with C and C++ management
44 programs (or management programs written in OCaml, Perl, Python, Ruby,
45 Java, PHP, Haskell or C#).  You can also use it from shell scripts or the
46 command line.
47
48 You don't need to be root to use libguestfs, although obviously you do
49 need enough permissions to access the disk images.
50
51 Libguestfs is a large API because it can do many things.  For a gentle
52 introduction, please read the L</API OVERVIEW> section next.
53
54 There are also some example programs in the L<guestfs-examples(3)>
55 manual page.
56
57 =head1 API OVERVIEW
58
59 This section provides a gentler overview of the libguestfs API.  We
60 also try to group API calls together, where that may not be obvious
61 from reading about the individual calls in the main section of this
62 manual.
63
64 =head2 HANDLES
65
66 Before you can use libguestfs calls, you have to create a handle.
67 Then you must add at least one disk image to the handle, followed by
68 launching the handle, then performing whatever operations you want,
69 and finally closing the handle.  By convention we use the single
70 letter C<g> for the name of the handle variable, although of course
71 you can use any name you want.
72
73 The general structure of all libguestfs-using programs looks like
74 this:
75
76  guestfs_h *g = guestfs_create ();
77  
78  /* Call guestfs_add_drive additional times if there are
79   * multiple disk images.
80   */
81  guestfs_add_drive (g, "guest.img");
82  
83  /* Most manipulation calls won't work until you've launched
84   * the handle 'g'.  You have to do this _after_ adding drives
85   * and _before_ other commands.
86   */
87  guestfs_launch (g);
88  
89  /* Now you can examine what partitions, LVs etc are available.
90   */
91  char **partitions = guestfs_list_partitions (g);
92  char **logvols = guestfs_lvs (g);
93  
94  /* To access a filesystem in the image, you must mount it.
95   */
96  guestfs_mount (g, "/dev/sda1", "/");
97  
98  /* Now you can perform filesystem actions on the guest
99   * disk image.
100   */
101  guestfs_touch (g, "/hello");
102  
103  /* This is only needed for libguestfs < 1.5.24.  Since then
104   * it is done automatically when you close the handle.  See
105   * discussion of autosync in this page.
106   */
107  guestfs_sync (g);
108  
109  /* Close the handle 'g'. */
110  guestfs_close (g);
111
112 The code above doesn't include any error checking.  In real code you
113 should check return values carefully for errors.  In general all
114 functions that return integers return C<-1> on error, and all
115 functions that return pointers return C<NULL> on error.  See section
116 L</ERROR HANDLING> below for how to handle errors, and consult the
117 documentation for each function call below to see precisely how they
118 return error indications.  See L<guestfs-examples(3)> for fully worked
119 examples.
120
121 =head2 DISK IMAGES
122
123 The image filename (C<"guest.img"> in the example above) could be a
124 disk image from a virtual machine, a L<dd(1)> copy of a physical hard
125 disk, an actual block device, or simply an empty file of zeroes that
126 you have created through L<posix_fallocate(3)>.  Libguestfs lets you
127 do useful things to all of these.
128
129 The call you should use in modern code for adding drives is
130 L</guestfs_add_drive_opts>.  To add a disk image, allowing writes, and
131 specifying that the format is raw, do:
132
133  guestfs_add_drive_opts (g, filename,
134                          GUESTFS_ADD_DRIVE_OPTS_FORMAT, "raw",
135                          -1);
136
137 You can add a disk read-only using:
138
139  guestfs_add_drive_opts (g, filename,
140                          GUESTFS_ADD_DRIVE_OPTS_FORMAT, "raw",
141                          GUESTFS_ADD_DRIVE_OPTS_READONLY, 1,
142                          -1);
143
144 or by calling the older function L</guestfs_add_drive_ro>.  In either
145 case libguestfs won't modify the file.
146
147 Be extremely cautious if the disk image is in use, eg. if it is being
148 used by a virtual machine.  Adding it read-write will almost certainly
149 cause disk corruption, but adding it read-only is safe.
150
151 You must add at least one disk image, and you may add multiple disk
152 images.  In the API, the disk images are usually referred to as
153 C</dev/sda> (for the first one you added), C</dev/sdb> (for the second
154 one you added), etc.
155
156 Once L</guestfs_launch> has been called you cannot add any more images.
157 You can call L</guestfs_list_devices> to get a list of the device
158 names, in the order that you added them.  See also L</BLOCK DEVICE
159 NAMING> below.
160
161 =head2 MOUNTING
162
163 Before you can read or write files, create directories and so on in a
164 disk image that contains filesystems, you have to mount those
165 filesystems using L</guestfs_mount_options> or L</guestfs_mount_ro>.
166 If you already know that a disk image contains (for example) one
167 partition with a filesystem on that partition, then you can mount it
168 directly:
169
170  guestfs_mount_options (g, "", "/dev/sda1", "/");
171
172 where C</dev/sda1> means literally the first partition (C<1>) of the
173 first disk image that we added (C</dev/sda>).  If the disk contains
174 Linux LVM2 logical volumes you could refer to those instead
175 (eg. C</dev/VG/LV>).  Note that these are libguestfs virtual devices,
176 and are nothing to do with host devices.
177
178 If you are given a disk image and you don't know what it contains then
179 you have to find out.  Libguestfs can do that too: use
180 L</guestfs_list_partitions> and L</guestfs_lvs> to list possible
181 partitions and LVs, and either try mounting each to see what is
182 mountable, or else examine them with L</guestfs_vfs_type> or
183 L</guestfs_file>.  To list just filesystems, use
184 L</guestfs_list_filesystems>.
185
186 Libguestfs also has a set of APIs for inspection of unknown disk
187 images (see L</INSPECTION> below).  But you might find it easier to
188 look at higher level programs built on top of libguestfs, in
189 particular L<virt-inspector(1)>.
190
191 To mount a filesystem read-only, use L</guestfs_mount_ro>.  There are
192 several other variations of the C<guestfs_mount_*> call.
193
194 =head2 FILESYSTEM ACCESS AND MODIFICATION
195
196 The majority of the libguestfs API consists of fairly low-level calls
197 for accessing and modifying the files, directories, symlinks etc on
198 mounted filesystems.  There are over a hundred such calls which you
199 can find listed in detail below in this man page, and we don't even
200 pretend to cover them all in this overview.
201
202 Specify filenames as full paths, starting with C<"/"> and including
203 the mount point.
204
205 For example, if you mounted a filesystem at C<"/"> and you want to
206 read the file called C<"etc/passwd"> then you could do:
207
208  char *data = guestfs_cat (g, "/etc/passwd");
209
210 This would return C<data> as a newly allocated buffer containing the
211 full content of that file (with some conditions: see also
212 L</DOWNLOADING> below), or C<NULL> if there was an error.
213
214 As another example, to create a top-level directory on that filesystem
215 called C<"var"> you would do:
216
217  guestfs_mkdir (g, "/var");
218
219 To create a symlink you could do:
220
221  guestfs_ln_s (g, "/etc/init.d/portmap",
222                "/etc/rc3.d/S30portmap");
223
224 Libguestfs will reject attempts to use relative paths and there is no
225 concept of a current working directory.
226
227 Libguestfs can return errors in many situations: for example if the
228 filesystem isn't writable, or if a file or directory that you
229 requested doesn't exist.  If you are using the C API (documented here)
230 you have to check for those error conditions after each call.  (Other
231 language bindings turn these errors into exceptions).
232
233 File writes are affected by the per-handle umask, set by calling
234 L</guestfs_umask> and defaulting to 022.  See L</UMASK>.
235
236 =head2 PARTITIONING
237
238 Libguestfs contains API calls to read, create and modify partition
239 tables on disk images.
240
241 In the common case where you want to create a single partition
242 covering the whole disk, you should use the L</guestfs_part_disk>
243 call:
244
245  const char *parttype = "mbr";
246  if (disk_is_larger_than_2TB)
247    parttype = "gpt";
248  guestfs_part_disk (g, "/dev/sda", parttype);
249
250 Obviously this effectively wipes anything that was on that disk image
251 before.
252
253 =head2 LVM2
254
255 Libguestfs provides access to a large part of the LVM2 API, such as
256 L</guestfs_lvcreate> and L</guestfs_vgremove>.  It won't make much sense
257 unless you familiarize yourself with the concepts of physical volumes,
258 volume groups and logical volumes.
259
260 This author strongly recommends reading the LVM HOWTO, online at
261 L<http://tldp.org/HOWTO/LVM-HOWTO/>.
262
263 =head2 DOWNLOADING
264
265 Use L</guestfs_cat> to download small, text only files.  This call is
266 limited to files which are less than 2 MB and which cannot contain any
267 ASCII NUL (C<\0>) characters.  However the API is very simple to use.
268
269 L</guestfs_read_file> can be used to read files which contain
270 arbitrary 8 bit data, since it returns a (pointer, size) pair.
271 However it is still limited to "small" files, less than 2 MB.
272
273 L</guestfs_download> can be used to download any file, with no
274 limits on content or size (even files larger than 4 GB).
275
276 To download multiple files, see L</guestfs_tar_out> and
277 L</guestfs_tgz_out>.
278
279 =head2 UPLOADING
280
281 It's often the case that you want to write a file or files to the disk
282 image.
283
284 To write a small file with fixed content, use L</guestfs_write>.  To
285 create a file of all zeroes, use L</guestfs_truncate_size> (sparse) or
286 L</guestfs_fallocate64> (with all disk blocks allocated).  There are a
287 variety of other functions for creating test files, for example
288 L</guestfs_fill> and L</guestfs_fill_pattern>.
289
290 To upload a single file, use L</guestfs_upload>.  This call has no
291 limits on file content or size (even files larger than 4 GB).
292
293 To upload multiple files, see L</guestfs_tar_in> and L</guestfs_tgz_in>.
294
295 However the fastest way to upload I<large numbers of arbitrary files>
296 is to turn them into a squashfs or CD ISO (see L<mksquashfs(8)> and
297 L<mkisofs(8)>), then attach this using L</guestfs_add_drive_ro>.  If
298 you add the drive in a predictable way (eg. adding it last after all
299 other drives) then you can get the device name from
300 L</guestfs_list_devices> and mount it directly using
301 L</guestfs_mount_ro>.  Note that squashfs images are sometimes
302 non-portable between kernel versions, and they don't support labels or
303 UUIDs.  If you want to pre-build an image or you need to mount it
304 using a label or UUID, use an ISO image instead.
305
306 =head2 COPYING
307
308 There are various different commands for copying between files and
309 devices and in and out of the guest filesystem.  These are summarised
310 in the table below.
311
312 =over 4
313
314 =item B<file> to B<file>
315
316 Use L</guestfs_cp> to copy a single file, or
317 L</guestfs_cp_a> to copy directories recursively.
318
319 =item B<file or device> to B<file or device>
320
321 Use L</guestfs_dd> which efficiently uses L<dd(1)>
322 to copy between files and devices in the guest.
323
324 Example: duplicate the contents of an LV:
325
326  guestfs_dd (g, "/dev/VG/Original", "/dev/VG/Copy");
327
328 The destination (C</dev/VG/Copy>) must be at least as large as the
329 source (C</dev/VG/Original>).  To copy less than the whole
330 source device, use L</guestfs_copy_size>.
331
332 =item B<file on the host> to B<file or device>
333
334 Use L</guestfs_upload>.  See L</UPLOADING> above.
335
336 =item B<file or device> to B<file on the host>
337
338 Use L</guestfs_download>.  See L</DOWNLOADING> above.
339
340 =back
341
342 =head2 UPLOADING AND DOWNLOADING TO PIPES AND FILE DESCRIPTORS
343
344 Calls like L</guestfs_upload>, L</guestfs_download>,
345 L</guestfs_tar_in>, L</guestfs_tar_out> etc appear to only take
346 filenames as arguments, so it appears you can only upload and download
347 to files.  However many Un*x-like hosts let you use the special device
348 files C</dev/stdin>, C</dev/stdout>, C</dev/stderr> and C</dev/fd/N>
349 to read and write from stdin, stdout, stderr, and arbitrary file
350 descriptor N.
351
352 For example, L<virt-cat(1)> writes its output to stdout by
353 doing:
354
355  guestfs_download (g, filename, "/dev/stdout");
356
357 and you can write tar output to a pipe C<fd> by doing:
358
359  char devfd[64];
360  snprintf (devfd, sizeof devfd, "/dev/fd/%d", fd);
361  guestfs_tar_out (g, "/", devfd);
362
363 =head2 LISTING FILES
364
365 L</guestfs_ll> is just designed for humans to read (mainly when using
366 the L<guestfish(1)>-equivalent command C<ll>).
367
368 L</guestfs_ls> is a quick way to get a list of files in a directory
369 from programs, as a flat list of strings.
370
371 L</guestfs_readdir> is a programmatic way to get a list of files in a
372 directory, plus additional information about each one.  It is more
373 equivalent to using the L<readdir(3)> call on a local filesystem.
374
375 L</guestfs_find> and L</guestfs_find0> can be used to recursively list
376 files.
377
378 =head2 RUNNING COMMANDS
379
380 Although libguestfs is primarily an API for manipulating files
381 inside guest images, we also provide some limited facilities for
382 running commands inside guests.
383
384 There are many limitations to this:
385
386 =over 4
387
388 =item *
389
390 The kernel version that the command runs under will be different
391 from what it expects.
392
393 =item *
394
395 If the command needs to communicate with daemons, then most likely
396 they won't be running.
397
398 =item *
399
400 The command will be running in limited memory.
401
402 =item *
403
404 The network may not be available unless you enable it
405 (see L</guestfs_set_network>).
406
407 =item *
408
409 Only supports Linux guests (not Windows, BSD, etc).
410
411 =item *
412
413 Architecture limitations (eg. won't work for a PPC guest on
414 an X86 host).
415
416 =item *
417
418 For SELinux guests, you may need to enable SELinux and load policy
419 first.  See L</SELINUX> in this manpage.
420
421 =item *
422
423 I<Security:> It is not safe to run commands from untrusted, possibly
424 malicious guests.  These commands may attempt to exploit your program
425 by sending unexpected output.  They could also try to exploit the
426 Linux kernel or qemu provided by the libguestfs appliance.  They could
427 use the network provided by the libguestfs appliance to bypass
428 ordinary network partitions and firewalls.  They could use the
429 elevated privileges or different SELinux context of your program
430 to their advantage.
431
432 A secure alternative is to use libguestfs to install a "firstboot"
433 script (a script which runs when the guest next boots normally), and
434 to have this script run the commands you want in the normal context of
435 the running guest, network security and so on.  For information about
436 other security issues, see L</SECURITY>.
437
438 =back
439
440 The two main API calls to run commands are L</guestfs_command> and
441 L</guestfs_sh> (there are also variations).
442
443 The difference is that L</guestfs_sh> runs commands using the shell, so
444 any shell globs, redirections, etc will work.
445
446 =head2 CONFIGURATION FILES
447
448 To read and write configuration files in Linux guest filesystems, we
449 strongly recommend using Augeas.  For example, Augeas understands how
450 to read and write, say, a Linux shadow password file or X.org
451 configuration file, and so avoids you having to write that code.
452
453 The main Augeas calls are bound through the C<guestfs_aug_*> APIs.  We
454 don't document Augeas itself here because there is excellent
455 documentation on the L<http://augeas.net/> website.
456
457 If you don't want to use Augeas (you fool!) then try calling
458 L</guestfs_read_lines> to get the file as a list of lines which
459 you can iterate over.
460
461 =head2 SELINUX
462
463 We support SELinux guests.  To ensure that labeling happens correctly
464 in SELinux guests, you need to enable SELinux and load the guest's
465 policy:
466
467 =over 4
468
469 =item 1.
470
471 Before launching, do:
472
473  guestfs_set_selinux (g, 1);
474
475 =item 2.
476
477 After mounting the guest's filesystem(s), load the policy.  This
478 is best done by running the L<load_policy(8)> command in the
479 guest itself:
480
481  guestfs_sh (g, "/usr/sbin/load_policy");
482
483 (Older versions of C<load_policy> require you to specify the
484 name of the policy file).
485
486 =item 3.
487
488 Optionally, set the security context for the API.  The correct
489 security context to use can only be known by inspecting the
490 guest.  As an example:
491
492  guestfs_setcon (g, "unconfined_u:unconfined_r:unconfined_t:s0");
493
494 =back
495
496 This will work for running commands and editing existing files.
497
498 When new files are created, you may need to label them explicitly,
499 for example by running the external command
500 C<restorecon pathname>.
501
502 =head2 UMASK
503
504 Certain calls are affected by the current file mode creation mask (the
505 "umask").  In particular ones which create files or directories, such
506 as L</guestfs_touch>, L</guestfs_mknod> or L</guestfs_mkdir>.  This
507 affects either the default mode that the file is created with or
508 modifies the mode that you supply.
509
510 The default umask is C<022>, so files are created with modes such as
511 C<0644> and directories with C<0755>.
512
513 There are two ways to avoid being affected by umask.  Either set umask
514 to 0 (call C<guestfs_umask (g, 0)> early after launching).  Or call
515 L</guestfs_chmod> after creating each file or directory.
516
517 For more information about umask, see L<umask(2)>.
518
519 =head2 ENCRYPTED DISKS
520
521 Libguestfs allows you to access Linux guests which have been
522 encrypted using whole disk encryption that conforms to the
523 Linux Unified Key Setup (LUKS) standard.  This includes
524 nearly all whole disk encryption systems used by modern
525 Linux guests.
526
527 Use L</guestfs_vfs_type> to identify LUKS-encrypted block
528 devices (it returns the string C<crypto_LUKS>).
529
530 Then open these devices by calling L</guestfs_luks_open>.
531 Obviously you will require the passphrase!
532
533 Opening a LUKS device creates a new device mapper device
534 called C</dev/mapper/mapname> (where C<mapname> is the
535 string you supply to L</guestfs_luks_open>).
536 Reads and writes to this mapper device are decrypted from and
537 encrypted to the underlying block device respectively.
538
539 LVM volume groups on the device can be made visible by calling
540 L</guestfs_vgscan> followed by L</guestfs_vg_activate_all>.
541 The logical volume(s) can now be mounted in the usual way.
542
543 Use the reverse process to close a LUKS device.  Unmount
544 any logical volumes on it, deactivate the volume groups
545 by caling C<guestfs_vg_activate (g, 0, ["/dev/VG"])>.
546 Then close the mapper device by calling
547 L</guestfs_luks_close> on the C</dev/mapper/mapname>
548 device (I<not> the underlying encrypted block device).
549
550 =head2 INSPECTION
551
552 Libguestfs has APIs for inspecting an unknown disk image to find out
553 if it contains operating systems.  (These APIs used to be in a
554 separate Perl-only library called L<Sys::Guestfs::Lib(3)> but since
555 version 1.5.3 the most frequently used part of this library has been
556 rewritten in C and moved into the core code).
557
558 Add all disks belonging to the unknown virtual machine and call
559 L</guestfs_launch> in the usual way.
560
561 Then call L</guestfs_inspect_os>.  This function uses other libguestfs
562 calls and certain heuristics, and returns a list of operating systems
563 that were found.  An empty list means none were found.  A single
564 element is the root filesystem of the operating system.  For dual- or
565 multi-boot guests, multiple roots can be returned, each one
566 corresponding to a separate operating system.  (Multi-boot virtual
567 machines are extremely rare in the world of virtualization, but since
568 this scenario can happen, we have built libguestfs to deal with it.)
569
570 For each root, you can then call various C<guestfs_inspect_get_*>
571 functions to get additional details about that operating system.  For
572 example, call L</guestfs_inspect_get_type> to return the string
573 C<windows> or C<linux> for Windows and Linux-based operating systems
574 respectively.
575
576 Un*x-like and Linux-based operating systems usually consist of several
577 filesystems which are mounted at boot time (for example, a separate
578 boot partition mounted on C</boot>).  The inspection rules are able to
579 detect how filesystems correspond to mount points.  Call
580 C<guestfs_inspect_get_mountpoints> to get this mapping.  It might
581 return a hash table like this example:
582
583  /boot => /dev/sda1
584  /     => /dev/vg_guest/lv_root
585  /usr  => /dev/vg_guest/lv_usr
586
587 The caller can then make calls to L</guestfs_mount_options> to
588 mount the filesystems as suggested.
589
590 Be careful to mount filesystems in the right order (eg. C</> before
591 C</usr>).  Sorting the keys of the hash by length, shortest first,
592 should work.
593
594 Inspection currently only works for some common operating systems.
595 Contributors are welcome to send patches for other operating systems
596 that we currently cannot detect.
597
598 Encrypted disks must be opened before inspection.  See
599 L</ENCRYPTED DISKS> for more details.  The L</guestfs_inspect_os>
600 function just ignores any encrypted devices.
601
602 A note on the implementation: The call L</guestfs_inspect_os> performs
603 inspection and caches the results in the guest handle.  Subsequent
604 calls to C<guestfs_inspect_get_*> return this cached information, but
605 I<do not> re-read the disks.  If you change the content of the guest
606 disks, you can redo inspection by calling L</guestfs_inspect_os>
607 again.  (L</guestfs_inspect_list_applications> works a little
608 differently from the other calls and does read the disks.  See
609 documentation for that function for details).
610
611 =head2 SPECIAL CONSIDERATIONS FOR WINDOWS GUESTS
612
613 Libguestfs can mount NTFS partitions.  It does this using the
614 L<http://www.ntfs-3g.org/> driver.
615
616 =head3 DRIVE LETTERS AND PATHS
617
618 DOS and Windows still use drive letters, and the filesystems are
619 always treated as case insensitive by Windows itself, and therefore
620 you might find a Windows configuration file referring to a path like
621 C<c:\windows\system32>.  When the filesystem is mounted in libguestfs,
622 that directory might be referred to as C</WINDOWS/System32>.
623
624 Drive letter mappings are outside the scope of libguestfs.  You have
625 to use libguestfs to read the appropriate Windows Registry and
626 configuration files, to determine yourself how drives are mapped (see
627 also L<hivex(3)> and L<virt-inspector(1)>).
628
629 Replacing backslash characters with forward slash characters is also
630 outside the scope of libguestfs, but something that you can easily do.
631
632 Where we can help is in resolving the case insensitivity of paths.
633 For this, call L</guestfs_case_sensitive_path>.
634
635 =head3 ACCESSING THE WINDOWS REGISTRY
636
637 Libguestfs also provides some help for decoding Windows Registry
638 "hive" files, through the library C<hivex> which is part of the
639 libguestfs project although ships as a separate tarball.  You have to
640 locate and download the hive file(s) yourself, and then pass them to
641 C<hivex> functions.  See also the programs L<hivexml(1)>,
642 L<hivexsh(1)>, L<hivexregedit(1)> and L<virt-win-reg(1)> for more help
643 on this issue.
644
645 =head3 SYMLINKS ON NTFS-3G FILESYSTEMS
646
647 Ntfs-3g tries to rewrite "Junction Points" and NTFS "symbolic links"
648 to provide something which looks like a Linux symlink.  The way it
649 tries to do the rewriting is described here:
650
651 L<http://www.tuxera.com/community/ntfs-3g-advanced/junction-points-and-symbolic-links/>
652
653 The essential problem is that ntfs-3g simply does not have enough
654 information to do a correct job.  NTFS links can contain drive letters
655 and references to external device GUIDs that ntfs-3g has no way of
656 resolving.  It is almost certainly the case that libguestfs callers
657 should ignore what ntfs-3g does (ie. don't use L</guestfs_readlink> on
658 NTFS volumes).
659
660 Instead if you encounter a symbolic link on an ntfs-3g filesystem, use
661 L</guestfs_lgetxattr> to read the C<system.ntfs_reparse_data> extended
662 attribute, and read the raw reparse data from that (you can find the
663 format documented in various places around the web).
664
665 =head3 EXTENDED ATTRIBUTES ON NTFS-3G FILESYSTEMS
666
667 There are other useful extended attributes that can be read from
668 ntfs-3g filesystems (using L</guestfs_getxattr>).  See:
669
670 L<http://www.tuxera.com/community/ntfs-3g-advanced/extended-attributes/>
671
672 =head2 USING LIBGUESTFS WITH OTHER PROGRAMMING LANGUAGES
673
674 Although we don't want to discourage you from using the C API, we will
675 mention here that the same API is also available in other languages.
676
677 The API is broadly identical in all supported languages.  This means
678 that the C call C<guestfs_add_drive_ro(g,file)> is
679 C<$g-E<gt>add_drive_ro($file)> in Perl, C<g.add_drive_ro(file)> in Python,
680 and C<g#add_drive_ro file> in OCaml.  In other words, a
681 straightforward, predictable isomorphism between each language.
682
683 Error messages are automatically transformed
684 into exceptions if the language supports it.
685
686 We don't try to "object orientify" parts of the API in OO languages,
687 although contributors are welcome to write higher level APIs above
688 what we provide in their favourite languages if they wish.
689
690 =over 4
691
692 =item B<C++>
693
694 You can use the I<guestfs.h> header file from C++ programs.  The C++
695 API is identical to the C API.  C++ classes and exceptions are not
696 used.
697
698 =item B<C#>
699
700 The C# bindings are highly experimental.  Please read the warnings
701 at the top of C<csharp/Libguestfs.cs>.
702
703 =item B<Haskell>
704
705 This is the only language binding that is working but incomplete.
706 Only calls which return simple integers have been bound in Haskell,
707 and we are looking for help to complete this binding.
708
709 =item B<Java>
710
711 Full documentation is contained in the Javadoc which is distributed
712 with libguestfs.
713
714 =item B<OCaml>
715
716 See L<guestfs-ocaml(3)>.
717
718 =item B<Perl>
719
720 See L<Sys::Guestfs(3)>.
721
722 =item B<PHP>
723
724 For documentation see C<README-PHP> supplied with libguestfs
725 sources or in the php-libguestfs package for your distribution.
726
727 The PHP binding only works correctly on 64 bit machines.
728
729 =item B<Python>
730
731 See L<guestfs-python(3)>.
732
733 =item B<Ruby>
734
735 See L<guestfs-ruby(3)>.
736
737 =item B<shell scripts>
738
739 See L<guestfish(1)>.
740
741 =back
742
743 =head2 LIBGUESTFS GOTCHAS
744
745 L<http://en.wikipedia.org/wiki/Gotcha_(programming)>: "A feature of a
746 system [...] that works in the way it is documented but is
747 counterintuitive and almost invites mistakes."
748
749 Since we developed libguestfs and the associated tools, there are
750 several things we would have designed differently, but are now stuck
751 with for backwards compatibility or other reasons.  If there is ever a
752 libguestfs 2.0 release, you can expect these to change.  Beware of
753 them.
754
755 =over 4
756
757 =item Autosync / forgetting to sync.
758
759 When modifying a filesystem from C or another language, you B<must>
760 unmount all filesystems and call L</guestfs_sync> explicitly before
761 you close the libguestfs handle.  You can also call:
762
763  guestfs_set_autosync (g, 1);
764
765 to have the unmount/sync done automatically for you when the handle 'g'
766 is closed.  (This feature is called "autosync", L</guestfs_set_autosync>
767 q.v.)
768
769 If you forget to do this, then it is entirely possible that your
770 changes won't be written out, or will be partially written, or (very
771 rarely) that you'll get disk corruption.
772
773 Note that in L<guestfish(3)> autosync is the default.  So quick and
774 dirty guestfish scripts that forget to sync will work just fine, which
775 can make this very puzzling if you are trying to debug a problem.
776
777 Update: Autosync is enabled by default for all API users starting from
778 libguestfs 1.5.24.
779
780 =item Mount option C<-o sync> should not be the default.
781
782 If you use L</guestfs_mount>, then C<-o sync,noatime> are added
783 implicitly.  However C<-o sync> does not add any reliability benefit,
784 but does have a very large performance impact.
785
786 The work around is to use L</guestfs_mount_options> and set the mount
787 options that you actually want to use.
788
789 =item Read-only should be the default.
790
791 In L<guestfish(3)>, I<--ro> should be the default, and you should
792 have to specify I<--rw> if you want to make changes to the image.
793
794 This would reduce the potential to corrupt live VM images.
795
796 Note that many filesystems change the disk when you just mount and
797 unmount, even if you didn't perform any writes.  You need to use
798 L</guestfs_add_drive_ro> to guarantee that the disk is not changed.
799
800 =item guestfish command line is hard to use.
801
802 C<guestfish disk.img> doesn't do what people expect (open C<disk.img>
803 for examination).  It tries to run a guestfish command C<disk.img>
804 which doesn't exist, so it fails.  In earlier versions of guestfish
805 the error message was also unintuitive, but we have corrected this
806 since.  Like the Bourne shell, we should have used C<guestfish -c
807 command> to run commands.
808
809 =item guestfish megabyte modifiers don't work right on all commands
810
811 In recent guestfish you can use C<1M> to mean 1 megabyte (and
812 similarly for other modifiers).  What guestfish actually does is to
813 multiply the number part by the modifier part and pass the result to
814 the C API.  However this doesn't work for a few APIs which aren't
815 expecting bytes, but are already expecting some other unit
816 (eg. megabytes).
817
818 The most common is L</guestfs_lvcreate>.  The guestfish command:
819
820  lvcreate LV VG 100M
821
822 does not do what you might expect.  Instead because
823 L</guestfs_lvcreate> is already expecting megabytes, this tries to
824 create a 100 I<terabyte> (100 megabytes * megabytes) logical volume.
825 The error message you get from this is also a little obscure.
826
827 This could be fixed in the generator by specially marking parameters
828 and return values which take bytes or other units.
829
830 =item Ambiguity between devices and paths
831
832 There is a subtle ambiguity in the API between a device name
833 (eg. C</dev/sdb2>) and a similar pathname.  A file might just happen
834 to be called C<sdb2> in the directory C</dev> (consider some non-Unix
835 VM image).
836
837 In the current API we usually resolve this ambiguity by having two
838 separate calls, for example L</guestfs_checksum> and
839 L</guestfs_checksum_device>.  Some API calls are ambiguous and
840 (incorrectly) resolve the problem by detecting if the path supplied
841 begins with C</dev/>.
842
843 To avoid both the ambiguity and the need to duplicate some calls, we
844 could make paths/devices into structured names.  One way to do this
845 would be to use a notation like grub (C<hd(0,0)>), although nobody
846 really likes this aspect of grub.  Another way would be to use a
847 structured type, equivalent to this OCaml type:
848
849  type path = Path of string | Device of int | Partition of int * int
850
851 which would allow you to pass arguments like:
852
853  Path "/foo/bar"
854  Device 1            (* /dev/sdb, or perhaps /dev/sda *)
855  Partition (1, 2)    (* /dev/sdb2 (or is it /dev/sda2 or /dev/sdb3?) *)
856  Path "/dev/sdb2"    (* not a device *)
857
858 As you can see there are still problems to resolve even with this
859 representation.  Also consider how it might work in guestfish.
860
861 =back
862
863 =head2 PROTOCOL LIMITS
864
865 Internally libguestfs uses a message-based protocol to pass API calls
866 and their responses to and from a small "appliance" (see L</INTERNALS>
867 for plenty more detail about this).  The maximum message size used by
868 the protocol is slightly less than 4 MB.  For some API calls you may
869 need to be aware of this limit.  The API calls which may be affected
870 are individually documented, with a link back to this section of the
871 documentation.
872
873 A simple call such as L</guestfs_cat> returns its result (the file
874 data) in a simple string.  Because this string is at some point
875 internally encoded as a message, the maximum size that it can return
876 is slightly under 4 MB.  If the requested file is larger than this
877 then you will get an error.
878
879 In order to transfer large files into and out of the guest filesystem,
880 you need to use particular calls that support this.  The sections
881 L</UPLOADING> and L</DOWNLOADING> document how to do this.
882
883 You might also consider mounting the disk image using our FUSE
884 filesystem support (L<guestmount(1)>).
885
886 =head2 KEYS AND PASSPHRASES
887
888 Certain libguestfs calls take a parameter that contains sensitive key
889 material, passed in as a C string.
890
891 In the future we would hope to change the libguestfs implementation so
892 that keys are L<mlock(2)>-ed into physical RAM, and thus can never end
893 up in swap.  However this is I<not> done at the moment, because of the
894 complexity of such an implementation.
895
896 Therefore you should be aware that any key parameter you pass to
897 libguestfs might end up being written out to the swap partition.  If
898 this is a concern, scrub the swap partition or don't use libguestfs on
899 encrypted devices.
900
901 =head2 MULTIPLE HANDLES AND MULTIPLE THREADS
902
903 All high-level libguestfs actions are synchronous.  If you want
904 to use libguestfs asynchronously then you must create a thread.
905
906 Only use the handle from a single thread.  Either use the handle
907 exclusively from one thread, or provide your own mutex so that two
908 threads cannot issue calls on the same handle at the same time.
909
910 See the graphical program guestfs-browser for one possible
911 architecture for multithreaded programs using libvirt and libguestfs.
912
913 =head2 PATH
914
915 Libguestfs needs a supermin appliance, which it finds by looking along
916 an internal path.
917
918 By default it looks for these in the directory C<$libdir/guestfs>
919 (eg. C</usr/local/lib/guestfs> or C</usr/lib64/guestfs>).
920
921 Use L</guestfs_set_path> or set the environment variable
922 L</LIBGUESTFS_PATH> to change the directories that libguestfs will
923 search in.  The value is a colon-separated list of paths.  The current
924 directory is I<not> searched unless the path contains an empty element
925 or C<.>.  For example C<LIBGUESTFS_PATH=:/usr/lib/guestfs> would
926 search the current directory and then C</usr/lib/guestfs>.
927
928 =head2 QEMU WRAPPERS
929
930 If you want to compile your own qemu, run qemu from a non-standard
931 location, or pass extra arguments to qemu, then you can write a
932 shell-script wrapper around qemu.
933
934 There is one important rule to remember: you I<must C<exec qemu>> as
935 the last command in the shell script (so that qemu replaces the shell
936 and becomes the direct child of the libguestfs-using program).  If you
937 don't do this, then the qemu process won't be cleaned up correctly.
938
939 Here is an example of a wrapper, where I have built my own copy of
940 qemu from source:
941
942  #!/bin/sh -
943  qemudir=/home/rjones/d/qemu
944  exec $qemudir/x86_64-softmmu/qemu-system-x86_64 -L $qemudir/pc-bios "$@"
945
946 Save this script as C</tmp/qemu.wrapper> (or wherever), C<chmod +x>,
947 and then use it by setting the LIBGUESTFS_QEMU environment variable.
948 For example:
949
950  LIBGUESTFS_QEMU=/tmp/qemu.wrapper guestfish
951
952 Note that libguestfs also calls qemu with the -help and -version
953 options in order to determine features.
954
955 =head2 ABI GUARANTEE
956
957 We guarantee the libguestfs ABI (binary interface), for public,
958 high-level actions as outlined in this section.  Although we will
959 deprecate some actions, for example if they get replaced by newer
960 calls, we will keep the old actions forever.  This allows you the
961 developer to program in confidence against the libguestfs API.
962
963 =head2 BLOCK DEVICE NAMING
964
965 In the kernel there is now quite a profusion of schemata for naming
966 block devices (in this context, by I<block device> I mean a physical
967 or virtual hard drive).  The original Linux IDE driver used names
968 starting with C</dev/hd*>.  SCSI devices have historically used a
969 different naming scheme, C</dev/sd*>.  When the Linux kernel I<libata>
970 driver became a popular replacement for the old IDE driver
971 (particularly for SATA devices) those devices also used the
972 C</dev/sd*> scheme.  Additionally we now have virtual machines with
973 paravirtualized drivers.  This has created several different naming
974 systems, such as C</dev/vd*> for virtio disks and C</dev/xvd*> for Xen
975 PV disks.
976
977 As discussed above, libguestfs uses a qemu appliance running an
978 embedded Linux kernel to access block devices.  We can run a variety
979 of appliances based on a variety of Linux kernels.
980
981 This causes a problem for libguestfs because many API calls use device
982 or partition names.  Working scripts and the recipe (example) scripts
983 that we make available over the internet could fail if the naming
984 scheme changes.
985
986 Therefore libguestfs defines C</dev/sd*> as the I<standard naming
987 scheme>.  Internally C</dev/sd*> names are translated, if necessary,
988 to other names as required.  For example, under RHEL 5 which uses the
989 C</dev/hd*> scheme, any device parameter C</dev/sda2> is translated to
990 C</dev/hda2> transparently.
991
992 Note that this I<only> applies to parameters.  The
993 L</guestfs_list_devices>, L</guestfs_list_partitions> and similar calls
994 return the true names of the devices and partitions as known to the
995 appliance.
996
997 =head3 ALGORITHM FOR BLOCK DEVICE NAME TRANSLATION
998
999 Usually this translation is transparent.  However in some (very rare)
1000 cases you may need to know the exact algorithm.  Such cases include
1001 where you use L</guestfs_config> to add a mixture of virtio and IDE
1002 devices to the qemu-based appliance, so have a mixture of C</dev/sd*>
1003 and C</dev/vd*> devices.
1004
1005 The algorithm is applied only to I<parameters> which are known to be
1006 either device or partition names.  Return values from functions such
1007 as L</guestfs_list_devices> are never changed.
1008
1009 =over 4
1010
1011 =item *
1012
1013 Is the string a parameter which is a device or partition name?
1014
1015 =item *
1016
1017 Does the string begin with C</dev/sd>?
1018
1019 =item *
1020
1021 Does the named device exist?  If so, we use that device.
1022 However if I<not> then we continue with this algorithm.
1023
1024 =item *
1025
1026 Replace initial C</dev/sd> string with C</dev/hd>.
1027
1028 For example, change C</dev/sda2> to C</dev/hda2>.
1029
1030 If that named device exists, use it.  If not, continue.
1031
1032 =item *
1033
1034 Replace initial C</dev/sd> string with C</dev/vd>.
1035
1036 If that named device exists, use it.  If not, return an error.
1037
1038 =back
1039
1040 =head3 PORTABILITY CONCERNS WITH BLOCK DEVICE NAMING
1041
1042 Although the standard naming scheme and automatic translation is
1043 useful for simple programs and guestfish scripts, for larger programs
1044 it is best not to rely on this mechanism.
1045
1046 Where possible for maximum future portability programs using
1047 libguestfs should use these future-proof techniques:
1048
1049 =over 4
1050
1051 =item *
1052
1053 Use L</guestfs_list_devices> or L</guestfs_list_partitions> to list
1054 actual device names, and then use those names directly.
1055
1056 Since those device names exist by definition, they will never be
1057 translated.
1058
1059 =item *
1060
1061 Use higher level ways to identify filesystems, such as LVM names,
1062 UUIDs and filesystem labels.
1063
1064 =back
1065
1066 =head1 SECURITY
1067
1068 This section discusses security implications of using libguestfs,
1069 particularly with untrusted or malicious guests or disk images.
1070
1071 =head2 GENERAL SECURITY CONSIDERATIONS
1072
1073 Be careful with any files or data that you download from a guest (by
1074 "download" we mean not just the L</guestfs_download> command but any
1075 command that reads files, filenames, directories or anything else from
1076 a disk image).  An attacker could manipulate the data to fool your
1077 program into doing the wrong thing.  Consider cases such as:
1078
1079 =over 4
1080
1081 =item *
1082
1083 the data (file etc) not being present
1084
1085 =item *
1086
1087 being present but empty
1088
1089 =item *
1090
1091 being much larger than normal
1092
1093 =item *
1094
1095 containing arbitrary 8 bit data
1096
1097 =item *
1098
1099 being in an unexpected character encoding
1100
1101 =item *
1102
1103 containing homoglyphs.
1104
1105 =back
1106
1107 =head2 SECURITY OF MOUNTING FILESYSTEMS
1108
1109 When you mount a filesystem under Linux, mistakes in the kernel
1110 filesystem (VFS) module can sometimes be escalated into exploits by
1111 deliberately creating a malicious, malformed filesystem.  These
1112 exploits are very severe for two reasons.  Firstly there are very many
1113 filesystem drivers in the kernel, and many of them are infrequently
1114 used and not much developer attention has been paid to the code.
1115 Linux userspace helps potential crackers by detecting the filesystem
1116 type and automatically choosing the right VFS driver, even if that
1117 filesystem type is obscure or unexpected for the administrator.
1118 Secondly, a kernel-level exploit is like a local root exploit (worse
1119 in some ways), giving immediate and total access to the system right
1120 down to the hardware level.
1121
1122 That explains why you should never mount a filesystem from an
1123 untrusted guest on your host kernel.  How about libguestfs?  We run a
1124 Linux kernel inside a qemu virtual machine, usually running as a
1125 non-root user.  The attacker would need to write a filesystem which
1126 first exploited the kernel, and then exploited either qemu
1127 virtualization (eg. a faulty qemu driver) or the libguestfs protocol,
1128 and finally to be as serious as the host kernel exploit it would need
1129 to escalate its privileges to root.  This multi-step escalation,
1130 performed by a static piece of data, is thought to be extremely hard
1131 to do, although we never say 'never' about security issues.
1132
1133 In any case callers can reduce the attack surface by forcing the
1134 filesystem type when mounting (use L</guestfs_mount_vfs>).
1135
1136 =head2 PROTOCOL SECURITY
1137
1138 The protocol is designed to be secure, being based on RFC 4506 (XDR)
1139 with a defined upper message size.  However a program that uses
1140 libguestfs must also take care - for example you can write a program
1141 that downloads a binary from a disk image and executes it locally, and
1142 no amount of protocol security will save you from the consequences.
1143
1144 =head2 INSPECTION SECURITY
1145
1146 Parts of the inspection API (see L</INSPECTION>) return untrusted
1147 strings directly from the guest, and these could contain any 8 bit
1148 data.  Callers should be careful to escape these before printing them
1149 to a structured file (for example, use HTML escaping if creating a web
1150 page).
1151
1152 Guest configuration may be altered in unusual ways by the
1153 administrator of the virtual machine, and may not reflect reality
1154 (particularly for untrusted or actively malicious guests).  For
1155 example we parse the hostname from configuration files like
1156 C</etc/sysconfig/network> that we find in the guest, but the guest
1157 administrator can easily manipulate these files to provide the wrong
1158 hostname.
1159
1160 The inspection API parses guest configuration using two external
1161 libraries: Augeas (Linux configuration) and hivex (Windows Registry).
1162 Both are designed to be robust in the face of malicious data, although
1163 denial of service attacks are still possible, for example with
1164 oversized configuration files.
1165
1166 =head2 RUNNING UNTRUSTED GUEST COMMANDS
1167
1168 Be very cautious about running commands from the guest.  By running a
1169 command in the guest, you are giving CPU time to a binary that you do
1170 not control, under the same user account as the library, albeit
1171 wrapped in qemu virtualization.  More information and alternatives can
1172 be found in the section L</RUNNING COMMANDS>.
1173
1174 =head2 CVE-2010-3851
1175
1176 https://bugzilla.redhat.com/642934
1177
1178 This security bug concerns the automatic disk format detection that
1179 qemu does on disk images.
1180
1181 A raw disk image is just the raw bytes, there is no header.  Other
1182 disk images like qcow2 contain a special header.  Qemu deals with this
1183 by looking for one of the known headers, and if none is found then
1184 assuming the disk image must be raw.
1185
1186 This allows a guest which has been given a raw disk image to write
1187 some other header.  At next boot (or when the disk image is accessed
1188 by libguestfs) qemu would do autodetection and think the disk image
1189 format was, say, qcow2 based on the header written by the guest.
1190
1191 This in itself would not be a problem, but qcow2 offers many features,
1192 one of which is to allow a disk image to refer to another image
1193 (called the "backing disk").  It does this by placing the path to the
1194 backing disk into the qcow2 header.  This path is not validated and
1195 could point to any host file (eg. "/etc/passwd").  The backing disk is
1196 then exposed through "holes" in the qcow2 disk image, which of course
1197 is completely under the control of the attacker.
1198
1199 In libguestfs this is rather hard to exploit except under two
1200 circumstances:
1201
1202 =over 4
1203
1204 =item 1.
1205
1206 You have enabled the network or have opened the disk in write mode.
1207
1208 =item 2.
1209
1210 You are also running untrusted code from the guest (see
1211 L</RUNNING COMMANDS>).
1212
1213 =back
1214
1215 The way to avoid this is to specify the expected disk format when
1216 adding disks (the optional C<format> option to
1217 L</guestfs_add_drive_opts>).  You should always do this if the disk is
1218 raw format, and it's a good idea for other cases too.
1219
1220 For disks added from libvirt using calls like L</guestfs_add_domain>,
1221 the format is fetched from libvirt and passed through.
1222
1223 For libguestfs tools, use the I<--format> command line parameter as
1224 appropriate.
1225
1226 =head1 CONNECTION MANAGEMENT
1227
1228 =head2 guestfs_h *
1229
1230 C<guestfs_h> is the opaque type representing a connection handle.
1231 Create a handle by calling L</guestfs_create>.  Call L</guestfs_close>
1232 to free the handle and release all resources used.
1233
1234 For information on using multiple handles and threads, see the section
1235 L</MULTIPLE HANDLES AND MULTIPLE THREADS> below.
1236
1237 =head2 guestfs_create
1238
1239  guestfs_h *guestfs_create (void);
1240
1241 Create a connection handle.
1242
1243 You have to call L</guestfs_add_drive_opts> (or one of the equivalent
1244 calls) on the handle at least once.
1245
1246 This function returns a non-NULL pointer to a handle on success or
1247 NULL on error.
1248
1249 After configuring the handle, you have to call L</guestfs_launch>.
1250
1251 You may also want to configure error handling for the handle.  See
1252 L</ERROR HANDLING> section below.
1253
1254 =head2 guestfs_close
1255
1256  void guestfs_close (guestfs_h *g);
1257
1258 This closes the connection handle and frees up all resources used.
1259
1260 =head1 ERROR HANDLING
1261
1262 API functions can return errors.  For example, almost all functions
1263 that return C<int> will return C<-1> to indicate an error.
1264
1265 Additional information is available for errors: an error message
1266 string and optionally an error number (errno) if the thing that failed
1267 was a system call.
1268
1269 You can get at the additional information about the last error on the
1270 handle by calling L</guestfs_last_error>, L</guestfs_last_errno>,
1271 and/or by setting up an error handler with
1272 L</guestfs_set_error_handler>.
1273
1274 When the handle is created, a default error handler is installed which
1275 prints the error message string to C<stderr>.  For small short-running
1276 command line programs it is sufficient to do:
1277
1278  if (guestfs_launch (g) == -1)
1279    exit (EXIT_FAILURE);
1280
1281 since the default error handler will ensure that an error message has
1282 been printed to C<stderr> before the program exits.
1283
1284 For other programs the caller will almost certainly want to install an
1285 alternate error handler or do error handling in-line like this:
1286
1287  g = guestfs_create ();
1288  
1289  /* This disables the default behaviour of printing errors
1290     on stderr. */
1291  guestfs_set_error_handler (g, NULL, NULL);
1292  
1293  if (guestfs_launch (g) == -1) {
1294    /* Examine the error message and print it etc. */
1295    char *msg = guestfs_last_error (g);
1296    int errnum = guestfs_last_errno (g);
1297    fprintf (stderr, "%s\n", msg);
1298    /* ... */
1299   }
1300
1301 Out of memory errors are handled differently.  The default action is
1302 to call L<abort(3)>.  If this is undesirable, then you can set a
1303 handler using L</guestfs_set_out_of_memory_handler>.
1304
1305 L</guestfs_create> returns C<NULL> if the handle cannot be created,
1306 and because there is no handle if this happens there is no way to get
1307 additional error information.  However L</guestfs_create> is supposed
1308 to be a lightweight operation which can only fail because of
1309 insufficient memory (it returns NULL in this case).
1310
1311 =head2 guestfs_last_error
1312
1313  const char *guestfs_last_error (guestfs_h *g);
1314
1315 This returns the last error message that happened on C<g>.  If
1316 there has not been an error since the handle was created, then this
1317 returns C<NULL>.
1318
1319 The lifetime of the returned string is until the next error occurs, or
1320 L</guestfs_close> is called.
1321
1322 =head2 guestfs_last_errno
1323
1324  int guestfs_last_errno (guestfs_h *g);
1325
1326 This returns the last error number (errno) that happened on C<g>.
1327
1328 If successful, an errno integer not equal to zero is returned.
1329
1330 If no error, this returns 0.  This call can return 0 in three
1331 situations:
1332
1333 =over 4
1334
1335 =item 1.
1336
1337 There has not been any error on the handle.
1338
1339 =item 2.
1340
1341 There has been an error but the errno was meaningless.  This
1342 corresponds to the case where the error did not come from a
1343 failed system call, but for some other reason.
1344
1345 =item 3.
1346
1347 There was an error from a failed system call, but for some
1348 reason the errno was not captured and returned.  This usually
1349 indicates a bug in libguestfs.
1350
1351 =back
1352
1353 Libguestfs tries to convert the errno from inside the applicance into
1354 a corresponding errno for the caller (not entirely trivial: the
1355 appliance might be running a completely different operating system
1356 from the library and error numbers are not standardized across
1357 Un*xen).  If this could not be done, then the error is translated to
1358 C<EINVAL>.  In practice this should only happen in very rare
1359 circumstances.
1360
1361 =head2 guestfs_set_error_handler
1362
1363  typedef void (*guestfs_error_handler_cb) (guestfs_h *g,
1364                                            void *opaque,
1365                                            const char *msg);
1366  void guestfs_set_error_handler (guestfs_h *g,
1367                                  guestfs_error_handler_cb cb,
1368                                  void *opaque);
1369
1370 The callback C<cb> will be called if there is an error.  The
1371 parameters passed to the callback are an opaque data pointer and the
1372 error message string.
1373
1374 C<errno> is not passed to the callback.  To get that the callback must
1375 call L</guestfs_last_errno>.
1376
1377 Note that the message string C<msg> is freed as soon as the callback
1378 function returns, so if you want to stash it somewhere you must make
1379 your own copy.
1380
1381 The default handler prints messages on C<stderr>.
1382
1383 If you set C<cb> to C<NULL> then I<no> handler is called.
1384
1385 =head2 guestfs_get_error_handler
1386
1387  guestfs_error_handler_cb guestfs_get_error_handler (guestfs_h *g,
1388                                                      void **opaque_rtn);
1389
1390 Returns the current error handler callback.
1391
1392 =head2 guestfs_set_out_of_memory_handler
1393
1394  typedef void (*guestfs_abort_cb) (void);
1395  int guestfs_set_out_of_memory_handler (guestfs_h *g,
1396                                         guestfs_abort_cb);
1397
1398 The callback C<cb> will be called if there is an out of memory
1399 situation.  I<Note this callback must not return>.
1400
1401 The default is to call L<abort(3)>.
1402
1403 You cannot set C<cb> to C<NULL>.  You can't ignore out of memory
1404 situations.
1405
1406 =head2 guestfs_get_out_of_memory_handler
1407
1408  guestfs_abort_fn guestfs_get_out_of_memory_handler (guestfs_h *g);
1409
1410 This returns the current out of memory handler.
1411
1412 =head1 API CALLS
1413
1414 @ACTIONS@
1415
1416 =head1 STRUCTURES
1417
1418 @STRUCTS@
1419
1420 =head1 AVAILABILITY
1421
1422 =head2 GROUPS OF FUNCTIONALITY IN THE APPLIANCE
1423
1424 Using L</guestfs_available> you can test availability of
1425 the following groups of functions.  This test queries the
1426 appliance to see if the appliance you are currently using
1427 supports the functionality.
1428
1429 @AVAILABILITY@
1430
1431 =head2 GUESTFISH supported COMMAND
1432
1433 In L<guestfish(3)> there is a handy interactive command
1434 C<supported> which prints out the available groups and
1435 whether they are supported by this build of libguestfs.
1436 Note however that you have to do C<run> first.
1437
1438 =head2 SINGLE CALLS AT COMPILE TIME
1439
1440 Since version 1.5.8, C<E<lt>guestfs.hE<gt>> defines symbols
1441 for each C API function, such as:
1442
1443  #define LIBGUESTFS_HAVE_DD 1
1444
1445 if L</guestfs_dd> is available.
1446
1447 Before version 1.5.8, if you needed to test whether a single
1448 libguestfs function is available at compile time, we recommended using
1449 build tools such as autoconf or cmake.  For example in autotools you
1450 could use:
1451
1452  AC_CHECK_LIB([guestfs],[guestfs_create])
1453  AC_CHECK_FUNCS([guestfs_dd])
1454
1455 which would result in C<HAVE_GUESTFS_DD> being either defined
1456 or not defined in your program.
1457
1458 =head2 SINGLE CALLS AT RUN TIME
1459
1460 Testing at compile time doesn't guarantee that a function really
1461 exists in the library.  The reason is that you might be dynamically
1462 linked against a previous I<libguestfs.so> (dynamic library)
1463 which doesn't have the call.  This situation unfortunately results
1464 in a segmentation fault, which is a shortcoming of the C dynamic
1465 linking system itself.
1466
1467 You can use L<dlopen(3)> to test if a function is available
1468 at run time, as in this example program (note that you still
1469 need the compile time check as well):
1470
1471  #include <stdio.h>
1472  #include <stdlib.h>
1473  #include <unistd.h>
1474  #include <dlfcn.h>
1475  #include <guestfs.h>
1476  
1477  main ()
1478  {
1479  #ifdef LIBGUESTFS_HAVE_DD
1480    void *dl;
1481    int has_function;
1482  
1483    /* Test if the function guestfs_dd is really available. */
1484    dl = dlopen (NULL, RTLD_LAZY);
1485    if (!dl) {
1486      fprintf (stderr, "dlopen: %s\n", dlerror ());
1487      exit (EXIT_FAILURE);
1488    }
1489    has_function = dlsym (dl, "guestfs_dd") != NULL;
1490    dlclose (dl);
1491  
1492    if (!has_function)
1493      printf ("this libguestfs.so does NOT have guestfs_dd function\n");
1494    else {
1495      printf ("this libguestfs.so has guestfs_dd function\n");
1496      /* Now it's safe to call
1497      guestfs_dd (g, "foo", "bar");
1498      */
1499    }
1500  #else
1501    printf ("guestfs_dd function was not found at compile time\n");
1502  #endif
1503   }
1504
1505 You may think the above is an awful lot of hassle, and it is.
1506 There are other ways outside of the C linking system to ensure
1507 that this kind of incompatibility never arises, such as using
1508 package versioning:
1509
1510  Requires: libguestfs >= 1.0.80
1511
1512 =head1 CALLS WITH OPTIONAL ARGUMENTS
1513
1514 A recent feature of the API is the introduction of calls which take
1515 optional arguments.  In C these are declared 3 ways.  The main way is
1516 as a call which takes variable arguments (ie. C<...>), as in this
1517 example:
1518
1519  int guestfs_add_drive_opts (guestfs_h *g, const char *filename, ...);
1520
1521 Call this with a list of optional arguments, terminated by C<-1>.
1522 So to call with no optional arguments specified:
1523
1524  guestfs_add_drive_opts (g, filename, -1);
1525
1526 With a single optional argument:
1527
1528  guestfs_add_drive_opts (g, filename,
1529                          GUESTFS_ADD_DRIVE_OPTS_FORMAT, "qcow2",
1530                          -1);
1531
1532 With two:
1533
1534  guestfs_add_drive_opts (g, filename,
1535                          GUESTFS_ADD_DRIVE_OPTS_FORMAT, "qcow2",
1536                          GUESTFS_ADD_DRIVE_OPTS_READONLY, 1,
1537                          -1);
1538
1539 and so forth.  Don't forget the terminating C<-1> otherwise
1540 Bad Things will happen!
1541
1542 =head2 USING va_list FOR OPTIONAL ARGUMENTS
1543
1544 The second variant has the same name with the suffix C<_va>, which
1545 works the same way but takes a C<va_list>.  See the C manual for
1546 details.  For the example function, this is declared:
1547
1548  int guestfs_add_drive_opts_va (guestfs_h *g, const char *filename,
1549                                 va_list args);
1550
1551 =head2 CONSTRUCTING OPTIONAL ARGUMENTS
1552
1553 The third variant is useful where you need to construct these
1554 calls.  You pass in a structure where you fill in the optional
1555 fields.  The structure has a bitmask as the first element which
1556 you must set to indicate which fields you have filled in.  For
1557 our example function the structure and call are declared:
1558
1559  struct guestfs_add_drive_opts_argv {
1560    uint64_t bitmask;
1561    int readonly;
1562    const char *format;
1563    /* ... */
1564  };
1565  int guestfs_add_drive_opts_argv (guestfs_h *g, const char *filename,
1566               const struct guestfs_add_drive_opts_argv *optargs);
1567
1568 You could call it like this:
1569
1570  struct guestfs_add_drive_opts_argv optargs = {
1571    .bitmask = GUESTFS_ADD_DRIVE_OPTS_READONLY_BITMASK |
1572               GUESTFS_ADD_DRIVE_OPTS_FORMAT_BITMASK,
1573    .readonly = 1,
1574    .format = "qcow2"
1575  };
1576  
1577  guestfs_add_drive_opts_argv (g, filename, &optargs);
1578
1579 Notes:
1580
1581 =over 4
1582
1583 =item *
1584
1585 The C<_BITMASK> suffix on each option name when specifying the
1586 bitmask.
1587
1588 =item *
1589
1590 You do not need to fill in all fields of the structure.
1591
1592 =item *
1593
1594 There must be a one-to-one correspondence between fields of the
1595 structure that are filled in, and bits set in the bitmask.
1596
1597 =back
1598
1599 =head2 OPTIONAL ARGUMENTS IN OTHER LANGUAGES
1600
1601 In other languages, optional arguments are expressed in the
1602 way that is natural for that language.  We refer you to the
1603 language-specific documentation for more details on that.
1604
1605 For guestfish, see L<guestfish(1)/OPTIONAL ARGUMENTS>.
1606
1607 =head2 SETTING CALLBACKS TO HANDLE EVENTS
1608
1609 The child process generates events in some situations.  Current events
1610 include: receiving a log message, the child process exits.
1611
1612 Use the C<guestfs_set_*_callback> functions to set a callback for
1613 different types of events.
1614
1615 Only I<one callback of each type> can be registered for each handle.
1616 Calling C<guestfs_set_*_callback> again overwrites the previous
1617 callback of that type.  Cancel all callbacks of this type by calling
1618 this function with C<cb> set to C<NULL>.
1619
1620 =head2 guestfs_set_log_message_callback
1621
1622  typedef void (*guestfs_log_message_cb) (guestfs_h *g, void *opaque,
1623                                          char *buf, int len);
1624  void guestfs_set_log_message_callback (guestfs_h *g,
1625                                         guestfs_log_message_cb cb,
1626                                         void *opaque);
1627
1628 The callback function C<cb> will be called whenever qemu or the guest
1629 writes anything to the console.
1630
1631 Use this function to capture kernel messages and similar.
1632
1633 Normally there is no log message handler, and log messages are just
1634 discarded.
1635
1636 =head2 guestfs_set_subprocess_quit_callback
1637
1638  typedef void (*guestfs_subprocess_quit_cb) (guestfs_h *g, void *opaque);
1639  void guestfs_set_subprocess_quit_callback (guestfs_h *g,
1640                                             guestfs_subprocess_quit_cb cb,
1641                                             void *opaque);
1642
1643 The callback function C<cb> will be called when the child process
1644 quits, either asynchronously or if killed by
1645 L</guestfs_kill_subprocess>.  (This corresponds to a transition from
1646 any state to the CONFIG state).
1647
1648 =head2 guestfs_set_launch_done_callback
1649
1650  typedef void (*guestfs_launch_done_cb) (guestfs_h *g, void *opaque);
1651  void guestfs_set_launch_done_callback (guestfs_h *g,
1652                                         guestfs_launch_done_cb cb,
1653                                         void *opaque);
1654
1655 The callback function C<cb> will be called when the child process
1656 becomes ready first time after it has been launched.  (This
1657 corresponds to a transition from LAUNCHING to the READY state).
1658
1659 =head2 guestfs_set_close_callback
1660
1661  typedef void (*guestfs_close_cb) (guestfs_h *g, void *opaque);
1662  void guestfs_set_close_callback (guestfs_h *g,
1663                                   guestfs_close_cb cb,
1664                                   void *opaque);
1665
1666 The callback function C<cb> will be called while the handle
1667 is being closed (synchronously from L</guestfs_close>).
1668
1669 Note that libguestfs installs an L<atexit(3)> handler to try to
1670 clean up handles that are open when the program exits.  This
1671 means that this callback might be called indirectly from
1672 L<exit(3)>, which can cause unexpected problems in higher-level
1673 languages (eg. if your HLL interpreter has already been cleaned
1674 up by the time this is called, and if your callback then jumps
1675 into some HLL function).
1676
1677 =head2 guestfs_set_progress_callback
1678
1679  typedef void (*guestfs_progress_cb) (guestfs_h *g, void *opaque,
1680                                       int proc_nr, int serial,
1681                                       uint64_t position, uint64_t total);
1682  void guestfs_set_progress_callback (guestfs_h *g,
1683                                      guestfs_progress_cb cb,
1684                                      void *opaque);
1685
1686 Some long-running operations can generate progress messages.  If
1687 this callback is registered, then it will be called each time a
1688 progress message is generated (usually two seconds after the
1689 operation started, and three times per second thereafter until
1690 it completes, although the frequency may change in future versions).
1691
1692 The callback receives two numbers: C<position> and C<total>.
1693 The units of C<total> are not defined, although for some
1694 operations C<total> may relate in some way to the amount of
1695 data to be transferred (eg. in bytes or megabytes), and
1696 C<position> may be the portion which has been transferred.
1697
1698 The only defined and stable parts of the API are:
1699
1700 =over 4
1701
1702 =item *
1703
1704 The callback can display to the user some type of progress bar or
1705 indicator which shows the ratio of C<position>:C<total>.
1706
1707 =item *
1708
1709 0 E<lt>= C<position> E<lt>= C<total>
1710
1711 =item *
1712
1713 If any progress notification is sent during a call, then a final
1714 progress notification is always sent when C<position> = C<total>
1715 (I<unless> the call fails with an error).
1716
1717 This is to simplify caller code, so callers can easily set the
1718 progress indicator to "100%" at the end of the operation, without
1719 requiring special code to detect this case.
1720
1721 =back
1722
1723 The callback also receives the procedure number and serial number of
1724 the call.  These are only useful for debugging protocol issues, and
1725 the callback can normally ignore them.  The callback may want to
1726 print these numbers in error messages or debugging messages.
1727
1728 =head1 PRIVATE DATA AREA
1729
1730 You can attach named pieces of private data to the libguestfs handle,
1731 and fetch them by name for the lifetime of the handle.  This is called
1732 the private data area and is only available from the C API.
1733
1734 To attach a named piece of data, use the following call:
1735
1736  void guestfs_set_private (guestfs_h *g, const char *key, void *data);
1737
1738 C<key> is the name to associate with this data, and C<data> is an
1739 arbitrary pointer (which can be C<NULL>).  Any previous item with the
1740 same name is overwritten.
1741
1742 You can use any C<key> you want, but names beginning with an
1743 underscore character are reserved for internal libguestfs purposes
1744 (for implementing language bindings).  It is recommended to prefix the
1745 name with some unique string to avoid collisions with other users.
1746
1747 To retrieve the pointer, use:
1748
1749  void *guestfs_get_private (guestfs_h *g, const char *key);
1750
1751 This function returns C<NULL> if either no data is found associated
1752 with C<key>, or if the user previously set the C<key>'s C<data>
1753 pointer to C<NULL>.
1754
1755 Libguestfs does not try to look at or interpret the C<data> pointer in
1756 any way.  As far as libguestfs is concerned, it need not be a valid
1757 pointer at all.  In particular, libguestfs does I<not> try to free the
1758 data when the handle is closed.  If the data must be freed, then the
1759 caller must either free it before calling L</guestfs_close> or must
1760 set up a close callback to do it (see L</guestfs_set_close_callback>,
1761 and note that only one callback can be registered for a handle).
1762
1763 The private data area is implemented using a hash table, and should be
1764 reasonably efficient for moderate numbers of keys.
1765
1766 =begin html
1767
1768 <!-- old anchor for the next section -->
1769 <a name="state_machine_and_low_level_event_api"/>
1770
1771 =end html
1772
1773 =head1 ARCHITECTURE
1774
1775 Internally, libguestfs is implemented by running an appliance (a
1776 special type of small virtual machine) using L<qemu(1)>.  Qemu runs as
1777 a child process of the main program.
1778
1779   ___________________
1780  /                   \
1781  | main program      |
1782  |                   |
1783  |                   |           child process / appliance
1784  |                   |           __________________________
1785  |                   |          / qemu                     \
1786  +-------------------+   RPC    |      +-----------------+ |
1787  | libguestfs     <--------------------> guestfsd        | |
1788  |                   |          |      +-----------------+ |
1789  \___________________/          |      | Linux kernel    | |
1790                                 |      +--^--------------+ |
1791                                 \_________|________________/
1792                                           |
1793                                    _______v______
1794                                   /              \
1795                                   | Device or    |
1796                                   | disk image   |
1797                                   \______________/
1798
1799 The library, linked to the main program, creates the child process and
1800 hence the appliance in the L</guestfs_launch> function.
1801
1802 Inside the appliance is a Linux kernel and a complete stack of
1803 userspace tools (such as LVM and ext2 programs) and a small
1804 controlling daemon called L</guestfsd>.  The library talks to
1805 L</guestfsd> using remote procedure calls (RPC).  There is a mostly
1806 one-to-one correspondence between libguestfs API calls and RPC calls
1807 to the daemon.  Lastly the disk image(s) are attached to the qemu
1808 process which translates device access by the appliance's Linux kernel
1809 into accesses to the image.
1810
1811 A common misunderstanding is that the appliance "is" the virtual
1812 machine.  Although the disk image you are attached to might also be
1813 used by some virtual machine, libguestfs doesn't know or care about
1814 this.  (But you will care if both libguestfs's qemu process and your
1815 virtual machine are trying to update the disk image at the same time,
1816 since these usually results in massive disk corruption).
1817
1818 =head1 STATE MACHINE
1819
1820 libguestfs uses a state machine to model the child process:
1821
1822                          |
1823                     guestfs_create
1824                          |
1825                          |
1826                      ____V_____
1827                     /          \
1828                     |  CONFIG  |
1829                     \__________/
1830                      ^ ^   ^  \
1831                     /  |    \  \ guestfs_launch
1832                    /   |    _\__V______
1833                   /    |   /           \
1834                  /     |   | LAUNCHING |
1835                 /      |   \___________/
1836                /       |       /
1837               /        |  guestfs_launch
1838              /         |     /
1839     ______  /        __|____V
1840    /      \ ------> /        \
1841    | BUSY |         | READY  |
1842    \______/ <------ \________/
1843
1844 The normal transitions are (1) CONFIG (when the handle is created, but
1845 there is no child process), (2) LAUNCHING (when the child process is
1846 booting up), (3) alternating between READY and BUSY as commands are
1847 issued to, and carried out by, the child process.
1848
1849 The guest may be killed by L</guestfs_kill_subprocess>, or may die
1850 asynchronously at any time (eg. due to some internal error), and that
1851 causes the state to transition back to CONFIG.
1852
1853 Configuration commands for qemu such as L</guestfs_add_drive> can only
1854 be issued when in the CONFIG state.
1855
1856 The API offers one call that goes from CONFIG through LAUNCHING to
1857 READY.  L</guestfs_launch> blocks until the child process is READY to
1858 accept commands (or until some failure or timeout).
1859 L</guestfs_launch> internally moves the state from CONFIG to LAUNCHING
1860 while it is running.
1861
1862 API actions such as L</guestfs_mount> can only be issued when in the
1863 READY state.  These API calls block waiting for the command to be
1864 carried out (ie. the state to transition to BUSY and then back to
1865 READY).  There are no non-blocking versions, and no way to issue more
1866 than one command per handle at the same time.
1867
1868 Finally, the child process sends asynchronous messages back to the
1869 main program, such as kernel log messages.  You can register a
1870 callback to receive these messages.
1871
1872 =head1 INTERNALS
1873
1874 =head2 COMMUNICATION PROTOCOL
1875
1876 Don't rely on using this protocol directly.  This section documents
1877 how it currently works, but it may change at any time.
1878
1879 The protocol used to talk between the library and the daemon running
1880 inside the qemu virtual machine is a simple RPC mechanism built on top
1881 of XDR (RFC 1014, RFC 1832, RFC 4506).
1882
1883 The detailed format of structures is in C<src/guestfs_protocol.x>
1884 (note: this file is automatically generated).
1885
1886 There are two broad cases, ordinary functions that don't have any
1887 C<FileIn> and C<FileOut> parameters, which are handled with very
1888 simple request/reply messages.  Then there are functions that have any
1889 C<FileIn> or C<FileOut> parameters, which use the same request and
1890 reply messages, but they may also be followed by files sent using a
1891 chunked encoding.
1892
1893 =head3 ORDINARY FUNCTIONS (NO FILEIN/FILEOUT PARAMS)
1894
1895 For ordinary functions, the request message is:
1896
1897  total length (header + arguments,
1898       but not including the length word itself)
1899  struct guestfs_message_header (encoded as XDR)
1900  struct guestfs_<foo>_args (encoded as XDR)
1901
1902 The total length field allows the daemon to allocate a fixed size
1903 buffer into which it slurps the rest of the message.  As a result, the
1904 total length is limited to C<GUESTFS_MESSAGE_MAX> bytes (currently
1905 4MB), which means the effective size of any request is limited to
1906 somewhere under this size.
1907
1908 Note also that many functions don't take any arguments, in which case
1909 the C<guestfs_I<foo>_args> is completely omitted.
1910
1911 The header contains the procedure number (C<guestfs_proc>) which is
1912 how the receiver knows what type of args structure to expect, or none
1913 at all.
1914
1915 For functions that take optional arguments, the optional arguments are
1916 encoded in the C<guestfs_I<foo>_args> structure in the same way as
1917 ordinary arguments.  A bitmask in the header indicates which optional
1918 arguments are meaningful.  The bitmask is also checked to see if it
1919 contains bits set which the daemon does not know about (eg. if more
1920 optional arguments were added in a later version of the library), and
1921 this causes the call to be rejected.
1922
1923 The reply message for ordinary functions is:
1924
1925  total length (header + ret,
1926       but not including the length word itself)
1927  struct guestfs_message_header (encoded as XDR)
1928  struct guestfs_<foo>_ret (encoded as XDR)
1929
1930 As above the C<guestfs_I<foo>_ret> structure may be completely omitted
1931 for functions that return no formal return values.
1932
1933 As above the total length of the reply is limited to
1934 C<GUESTFS_MESSAGE_MAX>.
1935
1936 In the case of an error, a flag is set in the header, and the reply
1937 message is slightly changed:
1938
1939  total length (header + error,
1940       but not including the length word itself)
1941  struct guestfs_message_header (encoded as XDR)
1942  struct guestfs_message_error (encoded as XDR)
1943
1944 The C<guestfs_message_error> structure contains the error message as a
1945 string.
1946
1947 =head3 FUNCTIONS THAT HAVE FILEIN PARAMETERS
1948
1949 A C<FileIn> parameter indicates that we transfer a file I<into> the
1950 guest.  The normal request message is sent (see above).  However this
1951 is followed by a sequence of file chunks.
1952
1953  total length (header + arguments,
1954       but not including the length word itself,
1955       and not including the chunks)
1956  struct guestfs_message_header (encoded as XDR)
1957  struct guestfs_<foo>_args (encoded as XDR)
1958  sequence of chunks for FileIn param #0
1959  sequence of chunks for FileIn param #1 etc.
1960
1961 The "sequence of chunks" is:
1962
1963  length of chunk (not including length word itself)
1964  struct guestfs_chunk (encoded as XDR)
1965  length of chunk
1966  struct guestfs_chunk (encoded as XDR)
1967    ...
1968  length of chunk
1969  struct guestfs_chunk (with data.data_len == 0)
1970
1971 The final chunk has the C<data_len> field set to zero.  Additionally a
1972 flag is set in the final chunk to indicate either successful
1973 completion or early cancellation.
1974
1975 At time of writing there are no functions that have more than one
1976 FileIn parameter.  However this is (theoretically) supported, by
1977 sending the sequence of chunks for each FileIn parameter one after
1978 another (from left to right).
1979
1980 Both the library (sender) I<and> the daemon (receiver) may cancel the
1981 transfer.  The library does this by sending a chunk with a special
1982 flag set to indicate cancellation.  When the daemon sees this, it
1983 cancels the whole RPC, does I<not> send any reply, and goes back to
1984 reading the next request.
1985
1986 The daemon may also cancel.  It does this by writing a special word
1987 C<GUESTFS_CANCEL_FLAG> to the socket.  The library listens for this
1988 during the transfer, and if it gets it, it will cancel the transfer
1989 (it sends a cancel chunk).  The special word is chosen so that even if
1990 cancellation happens right at the end of the transfer (after the
1991 library has finished writing and has started listening for the reply),
1992 the "spurious" cancel flag will not be confused with the reply
1993 message.
1994
1995 This protocol allows the transfer of arbitrary sized files (no 32 bit
1996 limit), and also files where the size is not known in advance
1997 (eg. from pipes or sockets).  However the chunks are rather small
1998 (C<GUESTFS_MAX_CHUNK_SIZE>), so that neither the library nor the
1999 daemon need to keep much in memory.
2000
2001 =head3 FUNCTIONS THAT HAVE FILEOUT PARAMETERS
2002
2003 The protocol for FileOut parameters is exactly the same as for FileIn
2004 parameters, but with the roles of daemon and library reversed.
2005
2006  total length (header + ret,
2007       but not including the length word itself,
2008       and not including the chunks)
2009  struct guestfs_message_header (encoded as XDR)
2010  struct guestfs_<foo>_ret (encoded as XDR)
2011  sequence of chunks for FileOut param #0
2012  sequence of chunks for FileOut param #1 etc.
2013
2014 =head3 INITIAL MESSAGE
2015
2016 When the daemon launches it sends an initial word
2017 (C<GUESTFS_LAUNCH_FLAG>) which indicates that the guest and daemon is
2018 alive.  This is what L</guestfs_launch> waits for.
2019
2020 =head3 PROGRESS NOTIFICATION MESSAGES
2021
2022 The daemon may send progress notification messages at any time.  These
2023 are distinguished by the normal length word being replaced by
2024 C<GUESTFS_PROGRESS_FLAG>, followed by a fixed size progress message.
2025
2026 The library turns them into progress callbacks (see
2027 C<guestfs_set_progress_callback>) if there is a callback registered,
2028 or discards them if not.
2029
2030 The daemon self-limits the frequency of progress messages it sends
2031 (see C<daemon/proto.c:notify_progress>).  Not all calls generate
2032 progress messages.
2033
2034 =head1 LIBGUESTFS VERSION NUMBERS
2035
2036 Since April 2010, libguestfs has started to make separate development
2037 and stable releases, along with corresponding branches in our git
2038 repository.  These separate releases can be identified by version
2039 number:
2040
2041                  even numbers for stable: 1.2.x, 1.4.x, ...
2042        .-------- odd numbers for development: 1.3.x, 1.5.x, ...
2043        |
2044        v
2045  1  .  3  .  5
2046  ^           ^
2047  |           |
2048  |           `-------- sub-version
2049  |
2050  `------ always '1' because we don't change the ABI
2051
2052 Thus "1.3.5" is the 5th update to the development branch "1.3".
2053
2054 As time passes we cherry pick fixes from the development branch and
2055 backport those into the stable branch, the effect being that the
2056 stable branch should get more stable and less buggy over time.  So the
2057 stable releases are ideal for people who don't need new features but
2058 would just like the software to work.
2059
2060 Our criteria for backporting changes are:
2061
2062 =over 4
2063
2064 =item *
2065
2066 Documentation changes which don't affect any code are
2067 backported unless the documentation refers to a future feature
2068 which is not in stable.
2069
2070 =item *
2071
2072 Bug fixes which are not controversial, fix obvious problems, and
2073 have been well tested are backported.
2074
2075 =item *
2076
2077 Simple rearrangements of code which shouldn't affect how it works get
2078 backported.  This is so that the code in the two branches doesn't get
2079 too far out of step, allowing us to backport future fixes more easily.
2080
2081 =item *
2082
2083 We I<don't> backport new features, new APIs, new tools etc, except in
2084 one exceptional case: the new feature is required in order to
2085 implement an important bug fix.
2086
2087 =back
2088
2089 A new stable branch starts when we think the new features in
2090 development are substantial and compelling enough over the current
2091 stable branch to warrant it.  When that happens we create new stable
2092 and development versions 1.N.0 and 1.(N+1).0 [N is even].  The new
2093 dot-oh release won't necessarily be so stable at this point, but by
2094 backporting fixes from development, that branch will stabilize over
2095 time.
2096
2097 =head1 EXTENDING LIBGUESTFS
2098
2099 =head2 ADDING A NEW API ACTION
2100
2101 Large amounts of boilerplate code in libguestfs (RPC, bindings,
2102 documentation) are generated, and this makes it easy to extend the
2103 libguestfs API.
2104
2105 To add a new API action there are two changes:
2106
2107 =over 4
2108
2109 =item 1.
2110
2111 You need to add a description of the call (name, parameters, return
2112 type, tests, documentation) to C<generator/generator_actions.ml>.
2113
2114 There are two sorts of API action, depending on whether the call goes
2115 through to the daemon in the appliance, or is serviced entirely by the
2116 library (see L</ARCHITECTURE> above).  L</guestfs_sync> is an example
2117 of the former, since the sync is done in the appliance.
2118 L</guestfs_set_trace> is an example of the latter, since a trace flag
2119 is maintained in the handle and all tracing is done on the library
2120 side.
2121
2122 Most new actions are of the first type, and get added to the
2123 C<daemon_functions> list.  Each function has a unique procedure number
2124 used in the RPC protocol which is assigned to that action when we
2125 publish libguestfs and cannot be reused.  Take the latest procedure
2126 number and increment it.
2127
2128 For library-only actions of the second type, add to the
2129 C<non_daemon_functions> list.  Since these functions are serviced by
2130 the library and do not travel over the RPC mechanism to the daemon,
2131 these functions do not need a procedure number, and so the procedure
2132 number is set to C<-1>.
2133
2134 =item 2.
2135
2136 Implement the action (in C):
2137
2138 For daemon actions, implement the function C<do_E<lt>nameE<gt>> in the
2139 C<daemon/> directory.
2140
2141 For library actions, implement the function C<guestfs__E<lt>nameE<gt>>
2142 (note: double underscore) in the C<src/> directory.
2143
2144 In either case, use another function as an example of what to do.
2145
2146 =back
2147
2148 After making these changes, use C<make> to compile.
2149
2150 Note that you don't need to implement the RPC, language bindings,
2151 manual pages or anything else.  It's all automatically generated from
2152 the OCaml description.
2153
2154 =head2 ADDING TESTS FOR AN API ACTION
2155
2156 You can supply zero or as many tests as you want per API call.  The
2157 tests can either be added as part of the API description
2158 (C<generator/generator_actions.ml>), or in some rarer cases you may
2159 want to drop a script into C<regressions/>.  Note that adding a script
2160 to C<regressions/> is slower, so if possible use the first method.
2161
2162 The following describes the test environment used when you add an API
2163 test in C<generator_actions.ml>.
2164
2165 The test environment has 4 block devices:
2166
2167 =over 4
2168
2169 =item C</dev/sda> 500MB
2170
2171 General block device for testing.
2172
2173 =item C</dev/sdb> 50MB
2174
2175 C</dev/sdb1> is an ext2 filesystem used for testing
2176 filesystem write operations.
2177
2178 =item C</dev/sdc> 10MB
2179
2180 Used in a few tests where two block devices are needed.
2181
2182 =item C</dev/sdd>
2183
2184 ISO with fixed content (see C<images/test.iso>).
2185
2186 =back
2187
2188 To be able to run the tests in a reasonable amount of time, the
2189 libguestfs appliance and block devices are reused between tests.  So
2190 don't try testing L</guestfs_kill_subprocess> :-x
2191
2192 Each test starts with an initial scenario, selected using one of the
2193 C<Init*> expressions, described in C<generator/generator_types.ml>.
2194 These initialize the disks mentioned above in a particular way as
2195 documented in C<generator_types.ml>.  You should not assume anything
2196 about the previous contents of other disks that are not initialized.
2197
2198 You can add a prerequisite clause to any individual test.  This is a
2199 run-time check, which, if it fails, causes the test to be skipped.
2200 Useful if testing a command which might not work on all variations of
2201 libguestfs builds.  A test that has prerequisite of C<Always> means to
2202 run unconditionally.
2203
2204 In addition, packagers can skip individual tests by setting
2205 environment variables before running C<make check>.
2206
2207  SKIP_TEST_<CMD>_<NUM>=1
2208
2209 eg: C<SKIP_TEST_COMMAND_3=1> skips test #3 of L</guestfs_command>.
2210
2211 or:
2212
2213  SKIP_TEST_<CMD>=1
2214
2215 eg: C<SKIP_TEST_ZEROFREE=1> skips all L</guestfs_zerofree> tests.
2216
2217 Packagers can run only certain tests by setting for example:
2218
2219  TEST_ONLY="vfs_type zerofree"
2220
2221 See C<capitests/tests.c> for more details of how these environment
2222 variables work.
2223
2224 =head2 DEBUGGING NEW API ACTIONS
2225
2226 Test new actions work before submitting them.
2227
2228 You can use guestfish to try out new commands.
2229
2230 Debugging the daemon is a problem because it runs inside a minimal
2231 environment.  However you can fprintf messages in the daemon to
2232 stderr, and they will show up if you use C<guestfish -v>.
2233
2234 =head2 FORMATTING CODE AND OTHER CONVENTIONS
2235
2236 Our C source code generally adheres to some basic code-formatting
2237 conventions.  The existing code base is not totally consistent on this
2238 front, but we do prefer that contributed code be formatted similarly.
2239 In short, use spaces-not-TABs for indentation, use 2 spaces for each
2240 indentation level, and other than that, follow the K&R style.
2241
2242 If you use Emacs, add the following to one of one of your start-up files
2243 (e.g., ~/.emacs), to help ensure that you get indentation right:
2244
2245  ;;; In libguestfs, indent with spaces everywhere (not TABs).
2246  ;;; Exceptions: Makefile and ChangeLog modes.
2247  (add-hook 'find-file-hook
2248      '(lambda () (if (and buffer-file-name
2249                           (string-match "/libguestfs\\>"
2250                               (buffer-file-name))
2251                           (not (string-equal mode-name "Change Log"))
2252                           (not (string-equal mode-name "Makefile")))
2253                      (setq indent-tabs-mode nil))))
2254  
2255  ;;; When editing C sources in libguestfs, use this style.
2256  (defun libguestfs-c-mode ()
2257    "C mode with adjusted defaults for use with libguestfs."
2258    (interactive)
2259    (c-set-style "K&R")
2260    (setq c-indent-level 2)
2261    (setq c-basic-offset 2))
2262  (add-hook 'c-mode-hook
2263            '(lambda () (if (string-match "/libguestfs\\>"
2264                                (buffer-file-name))
2265                            (libguestfs-c-mode))))
2266
2267 Enable warnings when compiling (and fix any problems this
2268 finds):
2269
2270  ./configure --enable-gcc-warnings
2271
2272 Useful targets are:
2273
2274  make syntax-check  # checks the syntax of the C code
2275  make check         # runs the test suite
2276
2277 =head2 DAEMON CUSTOM PRINTF FORMATTERS
2278
2279 In the daemon code we have created custom printf formatters C<%Q> and
2280 C<%R>, which are used to do shell quoting.
2281
2282 =over 4
2283
2284 =item %Q
2285
2286 Simple shell quoted string.  Any spaces or other shell characters are
2287 escaped for you.
2288
2289 =item %R
2290
2291 Same as C<%Q> except the string is treated as a path which is prefixed
2292 by the sysroot.
2293
2294 =back
2295
2296 For example:
2297
2298  asprintf (&cmd, "cat %R", path);
2299
2300 would produce C<cat /sysroot/some\ path\ with\ spaces>
2301
2302 I<Note:> Do I<not> use these when you are passing parameters to the
2303 C<command{,r,v,rv}()> functions.  These parameters do NOT need to be
2304 quoted because they are not passed via the shell (instead, straight to
2305 exec).  You probably want to use the C<sysroot_path()> function
2306 however.
2307
2308 =head2 SUBMITTING YOUR NEW API ACTIONS
2309
2310 Submit patches to the mailing list:
2311 L<http://www.redhat.com/mailman/listinfo/libguestfs>
2312 and CC to L<rjones@redhat.com>.
2313
2314 =head2 INTERNATIONALIZATION (I18N) SUPPORT
2315
2316 We support i18n (gettext anyhow) in the library.
2317
2318 However many messages come from the daemon, and we don't translate
2319 those at the moment.  One reason is that the appliance generally has
2320 all locale files removed from it, because they take up a lot of space.
2321 So we'd have to readd some of those, as well as copying our PO files
2322 into the appliance.
2323
2324 Debugging messages are never translated, since they are intended for
2325 the programmers.
2326
2327 =head2 SOURCE CODE SUBDIRECTORIES
2328
2329 =over 4
2330
2331 =item C<appliance>
2332
2333 The libguestfs appliance, build scripts and so on.
2334
2335 =item C<capitests>
2336
2337 Automated tests of the C API.
2338
2339 =item C<cat>
2340
2341 The L<virt-cat(1)>, L<virt-filesystems(1)> and L<virt-ls(1)> commands
2342 and documentation.
2343
2344 =item C<caution>
2345
2346 Safety and liveness tests of components that libguestfs depends upon
2347 (not of libguestfs itself).  Mainly this is for qemu and the kernel.
2348
2349 =item C<contrib>
2350
2351 Outside contributions, experimental parts.
2352
2353 =item C<daemon>
2354
2355 The daemon that runs inside the libguestfs appliance and carries out
2356 actions.
2357
2358 =item C<df>
2359
2360 L<virt-df(1)> command and documentation.
2361
2362 =item C<examples>
2363
2364 C API example code.
2365
2366 =item C<fish>
2367
2368 L<guestfish(1)>, the command-line shell.
2369
2370 =item C<fuse>
2371
2372 L<guestmount(1)>, FUSE (userspace filesystem) built on top of libguestfs.
2373
2374 =item C<generator>
2375
2376 The crucially important generator, used to automatically generate
2377 large amounts of boilerplate C code for things like RPC and bindings.
2378
2379 =item C<images>
2380
2381 Files used by the test suite.
2382
2383 Some "phony" guest images which we test against.
2384
2385 =item C<inspector>
2386
2387 L<virt-inspector(1)>, the virtual machine image inspector.
2388
2389 =item C<m4>
2390
2391 M4 macros used by autoconf.
2392
2393 =item C<po>
2394
2395 Translations of simple gettext strings.
2396
2397 =item C<po-docs>
2398
2399 The build infrastructure and PO files for translations of manpages and
2400 POD files.  Eventually this will be combined with the C<po> directory,
2401 but that is rather complicated.
2402
2403 =item C<regressions>
2404
2405 Regression tests.
2406
2407 =item C<rescue>
2408
2409 L<virt-rescue(1)> command and documentation.
2410
2411 =item C<src>
2412
2413 Source code to the C library.
2414
2415 =item C<tools>
2416
2417 Command line tools written in Perl (L<virt-resize(1)> and many others).
2418
2419 =item C<test-tool>
2420
2421 Test tool for end users to test if their qemu/kernel combination
2422 will work with libguestfs.
2423
2424 =item C<csharp>
2425
2426 =item C<haskell>
2427
2428 =item C<java>
2429
2430 =item C<ocaml>
2431
2432 =item C<php>
2433
2434 =item C<perl>
2435
2436 =item C<python>
2437
2438 =item C<ruby>
2439
2440 Language bindings.
2441
2442 =back
2443
2444 =head1 ENVIRONMENT VARIABLES
2445
2446 =over 4
2447
2448 =item LIBGUESTFS_APPEND
2449
2450 Pass additional options to the guest kernel.
2451
2452 =item LIBGUESTFS_DEBUG
2453
2454 Set C<LIBGUESTFS_DEBUG=1> to enable verbose messages.  This
2455 has the same effect as calling C<guestfs_set_verbose (g, 1)>.
2456
2457 =item LIBGUESTFS_MEMSIZE
2458
2459 Set the memory allocated to the qemu process, in megabytes.  For
2460 example:
2461
2462  LIBGUESTFS_MEMSIZE=700
2463
2464 =item LIBGUESTFS_PATH
2465
2466 Set the path that libguestfs uses to search for a supermin appliance.
2467 See the discussion of paths in section L</PATH> above.
2468
2469 =item LIBGUESTFS_QEMU
2470
2471 Set the default qemu binary that libguestfs uses.  If not set, then
2472 the qemu which was found at compile time by the configure script is
2473 used.
2474
2475 See also L</QEMU WRAPPERS> above.
2476
2477 =item LIBGUESTFS_TRACE
2478
2479 Set C<LIBGUESTFS_TRACE=1> to enable command traces.  This
2480 has the same effect as calling C<guestfs_set_trace (g, 1)>.
2481
2482 =item TMPDIR
2483
2484 Location of temporary directory, defaults to C</tmp>.
2485
2486 If libguestfs was compiled to use the supermin appliance then the
2487 real appliance is cached in this directory, shared between all
2488 handles belonging to the same EUID.  You can use C<$TMPDIR> to
2489 configure another directory to use in case C</tmp> is not large
2490 enough.
2491
2492 =back
2493
2494 =head1 SEE ALSO
2495
2496 L<guestfs-examples(3)>,
2497 L<guestfs-ocaml(3)>,
2498 L<guestfs-python(3)>,
2499 L<guestfs-ruby(3)>,
2500 L<guestfish(1)>,
2501 L<guestmount(1)>,
2502 L<virt-cat(1)>,
2503 L<virt-df(1)>,
2504 L<virt-edit(1)>,
2505 L<virt-filesystems(1)>,
2506 L<virt-inspector(1)>,
2507 L<virt-list-filesystems(1)>,
2508 L<virt-list-partitions(1)>,
2509 L<virt-ls(1)>,
2510 L<virt-make-fs(1)>,
2511 L<virt-rescue(1)>,
2512 L<virt-tar(1)>,
2513 L<virt-win-reg(1)>,
2514 L<qemu(1)>,
2515 L<febootstrap(1)>,
2516 L<hivex(3)>,
2517 L<http://libguestfs.org/>.
2518
2519 Tools with a similar purpose:
2520 L<fdisk(8)>,
2521 L<parted(8)>,
2522 L<kpartx(8)>,
2523 L<lvm(8)>,
2524 L<disktype(1)>.
2525
2526 =head1 BUGS
2527
2528 To get a list of bugs against libguestfs use this link:
2529
2530 L<https://bugzilla.redhat.com/buglist.cgi?component=libguestfs&product=Virtualization+Tools>
2531
2532 To report a new bug against libguestfs use this link:
2533
2534 L<https://bugzilla.redhat.com/enter_bug.cgi?component=libguestfs&product=Virtualization+Tools>
2535
2536 When reporting a bug, please check:
2537
2538 =over 4
2539
2540 =item *
2541
2542 That the bug hasn't been reported already.
2543
2544 =item *
2545
2546 That you are testing a recent version.
2547
2548 =item *
2549
2550 Describe the bug accurately, and give a way to reproduce it.
2551
2552 =item *
2553
2554 Run libguestfs-test-tool and paste the B<complete, unedited>
2555 output into the bug report.
2556
2557 =back
2558
2559 =head1 AUTHORS
2560
2561 Richard W.M. Jones (C<rjones at redhat dot com>)
2562
2563 =head1 COPYRIGHT
2564
2565 Copyright (C) 2009-2010 Red Hat Inc.
2566 L<http://libguestfs.org/>
2567
2568 This library is free software; you can redistribute it and/or
2569 modify it under the terms of the GNU Lesser General Public
2570 License as published by the Free Software Foundation; either
2571 version 2 of the License, or (at your option) any later version.
2572
2573 This library is distributed in the hope that it will be useful,
2574 but WITHOUT ANY WARRANTY; without even the implied warranty of
2575 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
2576 Lesser General Public License for more details.
2577
2578 You should have received a copy of the GNU Lesser General Public
2579 License along with this library; if not, write to the Free Software
2580 Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA