Document that guestfs_file output depends on file(1) command.
[libguestfs.git] / src / guestfs.pod
1 =encoding utf8
2
3 =head1 NAME
4
5 guestfs - Library for accessing and modifying virtual machine images
6
7 =head1 SYNOPSIS
8
9  #include <guestfs.h>
10  
11  guestfs_h *g = guestfs_create ();
12  guestfs_add_drive (g, "guest.img");
13  guestfs_launch (g);
14  guestfs_mount (g, "/dev/sda1", "/");
15  guestfs_touch (g, "/hello");
16  guestfs_umount (g, "/");
17  guestfs_close (g);
18
19  cc prog.c -o prog -lguestfs
20 or:
21  cc prog.c -o prog `pkg-config libguestfs --cflags --libs`
22
23 =head1 DESCRIPTION
24
25 Libguestfs is a library for accessing and modifying guest disk images.
26 Amongst the things this is good for: making batch configuration
27 changes to guests, getting disk used/free statistics (see also:
28 virt-df), migrating between virtualization systems (see also:
29 virt-p2v), performing partial backups, performing partial guest
30 clones, cloning guests and changing registry/UUID/hostname info, and
31 much else besides.
32
33 Libguestfs uses Linux kernel and qemu code, and can access any type of
34 guest filesystem that Linux and qemu can, including but not limited
35 to: ext2/3/4, btrfs, FAT and NTFS, LVM, many different disk partition
36 schemes, qcow, qcow2, vmdk.
37
38 Libguestfs provides ways to enumerate guest storage (eg. partitions,
39 LVs, what filesystem is in each LV, etc.).  It can also run commands
40 in the context of the guest.  Also you can access filesystems over
41 FUSE.
42
43 Libguestfs is a library that can be linked with C and C++ management
44 programs (or management programs written in OCaml, Perl, Python, Ruby,
45 Java, PHP, Haskell or C#).  You can also use it from shell scripts or the
46 command line.
47
48 You don't need to be root to use libguestfs, although obviously you do
49 need enough permissions to access the disk images.
50
51 Libguestfs is a large API because it can do many things.  For a gentle
52 introduction, please read the L</API OVERVIEW> section next.
53
54 There are also some example programs in the L<guestfs-examples(3)>
55 manual page.
56
57 =head1 API OVERVIEW
58
59 This section provides a gentler overview of the libguestfs API.  We
60 also try to group API calls together, where that may not be obvious
61 from reading about the individual calls in the main section of this
62 manual.
63
64 =head2 HANDLES
65
66 Before you can use libguestfs calls, you have to create a handle.
67 Then you must add at least one disk image to the handle, followed by
68 launching the handle, then performing whatever operations you want,
69 and finally closing the handle.  By convention we use the single
70 letter C<g> for the name of the handle variable, although of course
71 you can use any name you want.
72
73 The general structure of all libguestfs-using programs looks like
74 this:
75
76  guestfs_h *g = guestfs_create ();
77  
78  /* Call guestfs_add_drive additional times if there are
79   * multiple disk images.
80   */
81  guestfs_add_drive (g, "guest.img");
82  
83  /* Most manipulation calls won't work until you've launched
84   * the handle 'g'.  You have to do this _after_ adding drives
85   * and _before_ other commands.
86   */
87  guestfs_launch (g);
88  
89  /* Now you can examine what partitions, LVs etc are available.
90   */
91  char **partitions = guestfs_list_partitions (g);
92  char **logvols = guestfs_lvs (g);
93  
94  /* To access a filesystem in the image, you must mount it.
95   */
96  guestfs_mount (g, "/dev/sda1", "/");
97  
98  /* Now you can perform filesystem actions on the guest
99   * disk image.
100   */
101  guestfs_touch (g, "/hello");
102  
103  /* This is only needed for libguestfs < 1.5.24.  Since then
104   * it is done automatically when you close the handle.  See
105   * discussion of autosync in this page.
106   */
107  guestfs_sync (g);
108  
109  /* Close the handle 'g'. */
110  guestfs_close (g);
111
112 The code above doesn't include any error checking.  In real code you
113 should check return values carefully for errors.  In general all
114 functions that return integers return C<-1> on error, and all
115 functions that return pointers return C<NULL> on error.  See section
116 L</ERROR HANDLING> below for how to handle errors, and consult the
117 documentation for each function call below to see precisely how they
118 return error indications.  See L<guestfs-examples(3)> for fully worked
119 examples.
120
121 =head2 DISK IMAGES
122
123 The image filename (C<"guest.img"> in the example above) could be a
124 disk image from a virtual machine, a L<dd(1)> copy of a physical hard
125 disk, an actual block device, or simply an empty file of zeroes that
126 you have created through L<posix_fallocate(3)>.  Libguestfs lets you
127 do useful things to all of these.
128
129 The call you should use in modern code for adding drives is
130 L</guestfs_add_drive_opts>.  To add a disk image, allowing writes, and
131 specifying that the format is raw, do:
132
133  guestfs_add_drive_opts (g, filename,
134                          GUESTFS_ADD_DRIVE_OPTS_FORMAT, "raw",
135                          -1);
136
137 You can add a disk read-only using:
138
139  guestfs_add_drive_opts (g, filename,
140                          GUESTFS_ADD_DRIVE_OPTS_FORMAT, "raw",
141                          GUESTFS_ADD_DRIVE_OPTS_READONLY, 1,
142                          -1);
143
144 or by calling the older function L</guestfs_add_drive_ro>.  In either
145 case libguestfs won't modify the file.
146
147 Be extremely cautious if the disk image is in use, eg. if it is being
148 used by a virtual machine.  Adding it read-write will almost certainly
149 cause disk corruption, but adding it read-only is safe.
150
151 You must add at least one disk image, and you may add multiple disk
152 images.  In the API, the disk images are usually referred to as
153 C</dev/sda> (for the first one you added), C</dev/sdb> (for the second
154 one you added), etc.
155
156 Once L</guestfs_launch> has been called you cannot add any more images.
157 You can call L</guestfs_list_devices> to get a list of the device
158 names, in the order that you added them.  See also L</BLOCK DEVICE
159 NAMING> below.
160
161 =head2 MOUNTING
162
163 Before you can read or write files, create directories and so on in a
164 disk image that contains filesystems, you have to mount those
165 filesystems using L</guestfs_mount_options> or L</guestfs_mount_ro>.
166 If you already know that a disk image contains (for example) one
167 partition with a filesystem on that partition, then you can mount it
168 directly:
169
170  guestfs_mount_options (g, "", "/dev/sda1", "/");
171
172 where C</dev/sda1> means literally the first partition (C<1>) of the
173 first disk image that we added (C</dev/sda>).  If the disk contains
174 Linux LVM2 logical volumes you could refer to those instead
175 (eg. C</dev/VG/LV>).  Note that these are libguestfs virtual devices,
176 and are nothing to do with host devices.
177
178 If you are given a disk image and you don't know what it contains then
179 you have to find out.  Libguestfs can do that too: use
180 L</guestfs_list_partitions> and L</guestfs_lvs> to list possible
181 partitions and LVs, and either try mounting each to see what is
182 mountable, or else examine them with L</guestfs_vfs_type> or
183 L</guestfs_file>.  To list just filesystems, use
184 L</guestfs_list_filesystems>.
185
186 Libguestfs also has a set of APIs for inspection of unknown disk
187 images (see L</INSPECTION> below).  But you might find it easier to
188 look at higher level programs built on top of libguestfs, in
189 particular L<virt-inspector(1)>.
190
191 To mount a filesystem read-only, use L</guestfs_mount_ro>.  There are
192 several other variations of the C<guestfs_mount_*> call.
193
194 =head2 FILESYSTEM ACCESS AND MODIFICATION
195
196 The majority of the libguestfs API consists of fairly low-level calls
197 for accessing and modifying the files, directories, symlinks etc on
198 mounted filesystems.  There are over a hundred such calls which you
199 can find listed in detail below in this man page, and we don't even
200 pretend to cover them all in this overview.
201
202 Specify filenames as full paths, starting with C<"/"> and including
203 the mount point.
204
205 For example, if you mounted a filesystem at C<"/"> and you want to
206 read the file called C<"etc/passwd"> then you could do:
207
208  char *data = guestfs_cat (g, "/etc/passwd");
209
210 This would return C<data> as a newly allocated buffer containing the
211 full content of that file (with some conditions: see also
212 L</DOWNLOADING> below), or C<NULL> if there was an error.
213
214 As another example, to create a top-level directory on that filesystem
215 called C<"var"> you would do:
216
217  guestfs_mkdir (g, "/var");
218
219 To create a symlink you could do:
220
221  guestfs_ln_s (g, "/etc/init.d/portmap",
222                "/etc/rc3.d/S30portmap");
223
224 Libguestfs will reject attempts to use relative paths and there is no
225 concept of a current working directory.
226
227 Libguestfs can return errors in many situations: for example if the
228 filesystem isn't writable, or if a file or directory that you
229 requested doesn't exist.  If you are using the C API (documented here)
230 you have to check for those error conditions after each call.  (Other
231 language bindings turn these errors into exceptions).
232
233 File writes are affected by the per-handle umask, set by calling
234 L</guestfs_umask> and defaulting to 022.  See L</UMASK>.
235
236 =head2 PARTITIONING
237
238 Libguestfs contains API calls to read, create and modify partition
239 tables on disk images.
240
241 In the common case where you want to create a single partition
242 covering the whole disk, you should use the L</guestfs_part_disk>
243 call:
244
245  const char *parttype = "mbr";
246  if (disk_is_larger_than_2TB)
247    parttype = "gpt";
248  guestfs_part_disk (g, "/dev/sda", parttype);
249
250 Obviously this effectively wipes anything that was on that disk image
251 before.
252
253 =head2 LVM2
254
255 Libguestfs provides access to a large part of the LVM2 API, such as
256 L</guestfs_lvcreate> and L</guestfs_vgremove>.  It won't make much sense
257 unless you familiarize yourself with the concepts of physical volumes,
258 volume groups and logical volumes.
259
260 This author strongly recommends reading the LVM HOWTO, online at
261 L<http://tldp.org/HOWTO/LVM-HOWTO/>.
262
263 =head2 DOWNLOADING
264
265 Use L</guestfs_cat> to download small, text only files.  This call is
266 limited to files which are less than 2 MB and which cannot contain any
267 ASCII NUL (C<\0>) characters.  However the API is very simple to use.
268
269 L</guestfs_read_file> can be used to read files which contain
270 arbitrary 8 bit data, since it returns a (pointer, size) pair.
271 However it is still limited to "small" files, less than 2 MB.
272
273 L</guestfs_download> can be used to download any file, with no
274 limits on content or size (even files larger than 4 GB).
275
276 To download multiple files, see L</guestfs_tar_out> and
277 L</guestfs_tgz_out>.
278
279 =head2 UPLOADING
280
281 It's often the case that you want to write a file or files to the disk
282 image.
283
284 To write a small file with fixed content, use L</guestfs_write>.  To
285 create a file of all zeroes, use L</guestfs_truncate_size> (sparse) or
286 L</guestfs_fallocate64> (with all disk blocks allocated).  There are a
287 variety of other functions for creating test files, for example
288 L</guestfs_fill> and L</guestfs_fill_pattern>.
289
290 To upload a single file, use L</guestfs_upload>.  This call has no
291 limits on file content or size (even files larger than 4 GB).
292
293 To upload multiple files, see L</guestfs_tar_in> and L</guestfs_tgz_in>.
294
295 However the fastest way to upload I<large numbers of arbitrary files>
296 is to turn them into a squashfs or CD ISO (see L<mksquashfs(8)> and
297 L<mkisofs(8)>), then attach this using L</guestfs_add_drive_ro>.  If
298 you add the drive in a predictable way (eg. adding it last after all
299 other drives) then you can get the device name from
300 L</guestfs_list_devices> and mount it directly using
301 L</guestfs_mount_ro>.  Note that squashfs images are sometimes
302 non-portable between kernel versions, and they don't support labels or
303 UUIDs.  If you want to pre-build an image or you need to mount it
304 using a label or UUID, use an ISO image instead.
305
306 =head2 COPYING
307
308 There are various different commands for copying between files and
309 devices and in and out of the guest filesystem.  These are summarised
310 in the table below.
311
312 =over 4
313
314 =item B<file> to B<file>
315
316 Use L</guestfs_cp> to copy a single file, or
317 L</guestfs_cp_a> to copy directories recursively.
318
319 =item B<file or device> to B<file or device>
320
321 Use L</guestfs_dd> which efficiently uses L<dd(1)>
322 to copy between files and devices in the guest.
323
324 Example: duplicate the contents of an LV:
325
326  guestfs_dd (g, "/dev/VG/Original", "/dev/VG/Copy");
327
328 The destination (C</dev/VG/Copy>) must be at least as large as the
329 source (C</dev/VG/Original>).  To copy less than the whole
330 source device, use L</guestfs_copy_size>.
331
332 =item B<file on the host> to B<file or device>
333
334 Use L</guestfs_upload>.  See L</UPLOADING> above.
335
336 =item B<file or device> to B<file on the host>
337
338 Use L</guestfs_download>.  See L</DOWNLOADING> above.
339
340 =back
341
342 =head2 UPLOADING AND DOWNLOADING TO PIPES AND FILE DESCRIPTORS
343
344 Calls like L</guestfs_upload>, L</guestfs_download>,
345 L</guestfs_tar_in>, L</guestfs_tar_out> etc appear to only take
346 filenames as arguments, so it appears you can only upload and download
347 to files.  However many Un*x-like hosts let you use the special device
348 files C</dev/stdin>, C</dev/stdout>, C</dev/stderr> and C</dev/fd/N>
349 to read and write from stdin, stdout, stderr, and arbitrary file
350 descriptor N.
351
352 For example, L<virt-cat(1)> writes its output to stdout by
353 doing:
354
355  guestfs_download (g, filename, "/dev/stdout");
356
357 and you can write tar output to a file descriptor C<fd> by doing:
358
359  char devfd[64];
360  snprintf (devfd, sizeof devfd, "/dev/fd/%d", fd);
361  guestfs_tar_out (g, "/", devfd);
362
363 =head2 LISTING FILES
364
365 L</guestfs_ll> is just designed for humans to read (mainly when using
366 the L<guestfish(1)>-equivalent command C<ll>).
367
368 L</guestfs_ls> is a quick way to get a list of files in a directory
369 from programs, as a flat list of strings.
370
371 L</guestfs_readdir> is a programmatic way to get a list of files in a
372 directory, plus additional information about each one.  It is more
373 equivalent to using the L<readdir(3)> call on a local filesystem.
374
375 L</guestfs_find> and L</guestfs_find0> can be used to recursively list
376 files.
377
378 =head2 RUNNING COMMANDS
379
380 Although libguestfs is primarily an API for manipulating files
381 inside guest images, we also provide some limited facilities for
382 running commands inside guests.
383
384 There are many limitations to this:
385
386 =over 4
387
388 =item *
389
390 The kernel version that the command runs under will be different
391 from what it expects.
392
393 =item *
394
395 If the command needs to communicate with daemons, then most likely
396 they won't be running.
397
398 =item *
399
400 The command will be running in limited memory.
401
402 =item *
403
404 The network may not be available unless you enable it
405 (see L</guestfs_set_network>).
406
407 =item *
408
409 Only supports Linux guests (not Windows, BSD, etc).
410
411 =item *
412
413 Architecture limitations (eg. won't work for a PPC guest on
414 an X86 host).
415
416 =item *
417
418 For SELinux guests, you may need to enable SELinux and load policy
419 first.  See L</SELINUX> in this manpage.
420
421 =item *
422
423 I<Security:> It is not safe to run commands from untrusted, possibly
424 malicious guests.  These commands may attempt to exploit your program
425 by sending unexpected output.  They could also try to exploit the
426 Linux kernel or qemu provided by the libguestfs appliance.  They could
427 use the network provided by the libguestfs appliance to bypass
428 ordinary network partitions and firewalls.  They could use the
429 elevated privileges or different SELinux context of your program
430 to their advantage.
431
432 A secure alternative is to use libguestfs to install a "firstboot"
433 script (a script which runs when the guest next boots normally), and
434 to have this script run the commands you want in the normal context of
435 the running guest, network security and so on.  For information about
436 other security issues, see L</SECURITY>.
437
438 =back
439
440 The two main API calls to run commands are L</guestfs_command> and
441 L</guestfs_sh> (there are also variations).
442
443 The difference is that L</guestfs_sh> runs commands using the shell, so
444 any shell globs, redirections, etc will work.
445
446 =head2 CONFIGURATION FILES
447
448 To read and write configuration files in Linux guest filesystems, we
449 strongly recommend using Augeas.  For example, Augeas understands how
450 to read and write, say, a Linux shadow password file or X.org
451 configuration file, and so avoids you having to write that code.
452
453 The main Augeas calls are bound through the C<guestfs_aug_*> APIs.  We
454 don't document Augeas itself here because there is excellent
455 documentation on the L<http://augeas.net/> website.
456
457 If you don't want to use Augeas (you fool!) then try calling
458 L</guestfs_read_lines> to get the file as a list of lines which
459 you can iterate over.
460
461 =head2 SELINUX
462
463 We support SELinux guests.  To ensure that labeling happens correctly
464 in SELinux guests, you need to enable SELinux and load the guest's
465 policy:
466
467 =over 4
468
469 =item 1.
470
471 Before launching, do:
472
473  guestfs_set_selinux (g, 1);
474
475 =item 2.
476
477 After mounting the guest's filesystem(s), load the policy.  This
478 is best done by running the L<load_policy(8)> command in the
479 guest itself:
480
481  guestfs_sh (g, "/usr/sbin/load_policy");
482
483 (Older versions of C<load_policy> require you to specify the
484 name of the policy file).
485
486 =item 3.
487
488 Optionally, set the security context for the API.  The correct
489 security context to use can only be known by inspecting the
490 guest.  As an example:
491
492  guestfs_setcon (g, "unconfined_u:unconfined_r:unconfined_t:s0");
493
494 =back
495
496 This will work for running commands and editing existing files.
497
498 When new files are created, you may need to label them explicitly,
499 for example by running the external command
500 C<restorecon pathname>.
501
502 =head2 UMASK
503
504 Certain calls are affected by the current file mode creation mask (the
505 "umask").  In particular ones which create files or directories, such
506 as L</guestfs_touch>, L</guestfs_mknod> or L</guestfs_mkdir>.  This
507 affects either the default mode that the file is created with or
508 modifies the mode that you supply.
509
510 The default umask is C<022>, so files are created with modes such as
511 C<0644> and directories with C<0755>.
512
513 There are two ways to avoid being affected by umask.  Either set umask
514 to 0 (call C<guestfs_umask (g, 0)> early after launching).  Or call
515 L</guestfs_chmod> after creating each file or directory.
516
517 For more information about umask, see L<umask(2)>.
518
519 =head2 ENCRYPTED DISKS
520
521 Libguestfs allows you to access Linux guests which have been
522 encrypted using whole disk encryption that conforms to the
523 Linux Unified Key Setup (LUKS) standard.  This includes
524 nearly all whole disk encryption systems used by modern
525 Linux guests.
526
527 Use L</guestfs_vfs_type> to identify LUKS-encrypted block
528 devices (it returns the string C<crypto_LUKS>).
529
530 Then open these devices by calling L</guestfs_luks_open>.
531 Obviously you will require the passphrase!
532
533 Opening a LUKS device creates a new device mapper device
534 called C</dev/mapper/mapname> (where C<mapname> is the
535 string you supply to L</guestfs_luks_open>).
536 Reads and writes to this mapper device are decrypted from and
537 encrypted to the underlying block device respectively.
538
539 LVM volume groups on the device can be made visible by calling
540 L</guestfs_vgscan> followed by L</guestfs_vg_activate_all>.
541 The logical volume(s) can now be mounted in the usual way.
542
543 Use the reverse process to close a LUKS device.  Unmount
544 any logical volumes on it, deactivate the volume groups
545 by caling C<guestfs_vg_activate (g, 0, ["/dev/VG"])>.
546 Then close the mapper device by calling
547 L</guestfs_luks_close> on the C</dev/mapper/mapname>
548 device (I<not> the underlying encrypted block device).
549
550 =head2 INSPECTION
551
552 Libguestfs has APIs for inspecting an unknown disk image to find out
553 if it contains operating systems, an install CD or a live CD.  (These
554 APIs used to be in a separate Perl-only library called
555 L<Sys::Guestfs::Lib(3)> but since version 1.5.3 the most frequently
556 used part of this library has been rewritten in C and moved into the
557 core code).
558
559 Add all disks belonging to the unknown virtual machine and call
560 L</guestfs_launch> in the usual way.
561
562 Then call L</guestfs_inspect_os>.  This function uses other libguestfs
563 calls and certain heuristics, and returns a list of operating systems
564 that were found.  An empty list means none were found.  A single
565 element is the root filesystem of the operating system.  For dual- or
566 multi-boot guests, multiple roots can be returned, each one
567 corresponding to a separate operating system.  (Multi-boot virtual
568 machines are extremely rare in the world of virtualization, but since
569 this scenario can happen, we have built libguestfs to deal with it.)
570
571 For each root, you can then call various C<guestfs_inspect_get_*>
572 functions to get additional details about that operating system.  For
573 example, call L</guestfs_inspect_get_type> to return the string
574 C<windows> or C<linux> for Windows and Linux-based operating systems
575 respectively.
576
577 Un*x-like and Linux-based operating systems usually consist of several
578 filesystems which are mounted at boot time (for example, a separate
579 boot partition mounted on C</boot>).  The inspection rules are able to
580 detect how filesystems correspond to mount points.  Call
581 C<guestfs_inspect_get_mountpoints> to get this mapping.  It might
582 return a hash table like this example:
583
584  /boot => /dev/sda1
585  /     => /dev/vg_guest/lv_root
586  /usr  => /dev/vg_guest/lv_usr
587
588 The caller can then make calls to L</guestfs_mount_options> to
589 mount the filesystems as suggested.
590
591 Be careful to mount filesystems in the right order (eg. C</> before
592 C</usr>).  Sorting the keys of the hash by length, shortest first,
593 should work.
594
595 Inspection currently only works for some common operating systems.
596 Contributors are welcome to send patches for other operating systems
597 that we currently cannot detect.
598
599 Encrypted disks must be opened before inspection.  See
600 L</ENCRYPTED DISKS> for more details.  The L</guestfs_inspect_os>
601 function just ignores any encrypted devices.
602
603 A note on the implementation: The call L</guestfs_inspect_os> performs
604 inspection and caches the results in the guest handle.  Subsequent
605 calls to C<guestfs_inspect_get_*> return this cached information, but
606 I<do not> re-read the disks.  If you change the content of the guest
607 disks, you can redo inspection by calling L</guestfs_inspect_os>
608 again.  (L</guestfs_inspect_list_applications> works a little
609 differently from the other calls and does read the disks.  See
610 documentation for that function for details).
611
612 =head3 INSPECTING INSTALL DISKS
613
614 Libguestfs (since 1.9.4) can detect some install disks, install
615 CDs, live CDs and more.
616
617 Call L</guestfs_inspect_get_format> to return the format of the
618 operating system, which currently can be C<installed> (a regular
619 operating system) or C<installer> (some sort of install disk).
620
621 Further information is available about the operating system that can
622 be installed using the regular inspection APIs like
623 L</guestfs_inspect_get_product_name>,
624 L</guestfs_inspect_get_major_version> etc.
625
626 Some additional information specific to installer disks is also
627 available from the L</guestfs_inspect_is_live>,
628 L</guestfs_inspect_is_netinst> and L</guestfs_inspect_is_multipart>
629 calls.
630
631 =head2 SPECIAL CONSIDERATIONS FOR WINDOWS GUESTS
632
633 Libguestfs can mount NTFS partitions.  It does this using the
634 L<http://www.ntfs-3g.org/> driver.
635
636 =head3 DRIVE LETTERS AND PATHS
637
638 DOS and Windows still use drive letters, and the filesystems are
639 always treated as case insensitive by Windows itself, and therefore
640 you might find a Windows configuration file referring to a path like
641 C<c:\windows\system32>.  When the filesystem is mounted in libguestfs,
642 that directory might be referred to as C</WINDOWS/System32>.
643
644 Drive letter mappings can be found using inspection
645 (see L</INSPECTION> and L</guestfs_inspect_get_drive_mappings>)
646
647 Dealing with separator characters (backslash vs forward slash) is
648 outside the scope of libguestfs, but usually a simple character
649 replacement will work.
650
651 To resolve the case insensitivity of paths, call
652 L</guestfs_case_sensitive_path>.
653
654 =head3 ACCESSING THE WINDOWS REGISTRY
655
656 Libguestfs also provides some help for decoding Windows Registry
657 "hive" files, through the library C<hivex> which is part of the
658 libguestfs project although ships as a separate tarball.  You have to
659 locate and download the hive file(s) yourself, and then pass them to
660 C<hivex> functions.  See also the programs L<hivexml(1)>,
661 L<hivexsh(1)>, L<hivexregedit(1)> and L<virt-win-reg(1)> for more help
662 on this issue.
663
664 =head3 SYMLINKS ON NTFS-3G FILESYSTEMS
665
666 Ntfs-3g tries to rewrite "Junction Points" and NTFS "symbolic links"
667 to provide something which looks like a Linux symlink.  The way it
668 tries to do the rewriting is described here:
669
670 L<http://www.tuxera.com/community/ntfs-3g-advanced/junction-points-and-symbolic-links/>
671
672 The essential problem is that ntfs-3g simply does not have enough
673 information to do a correct job.  NTFS links can contain drive letters
674 and references to external device GUIDs that ntfs-3g has no way of
675 resolving.  It is almost certainly the case that libguestfs callers
676 should ignore what ntfs-3g does (ie. don't use L</guestfs_readlink> on
677 NTFS volumes).
678
679 Instead if you encounter a symbolic link on an ntfs-3g filesystem, use
680 L</guestfs_lgetxattr> to read the C<system.ntfs_reparse_data> extended
681 attribute, and read the raw reparse data from that (you can find the
682 format documented in various places around the web).
683
684 =head3 EXTENDED ATTRIBUTES ON NTFS-3G FILESYSTEMS
685
686 There are other useful extended attributes that can be read from
687 ntfs-3g filesystems (using L</guestfs_getxattr>).  See:
688
689 L<http://www.tuxera.com/community/ntfs-3g-advanced/extended-attributes/>
690
691 =head2 USING LIBGUESTFS WITH OTHER PROGRAMMING LANGUAGES
692
693 Although we don't want to discourage you from using the C API, we will
694 mention here that the same API is also available in other languages.
695
696 The API is broadly identical in all supported languages.  This means
697 that the C call C<guestfs_add_drive_ro(g,file)> is
698 C<$g-E<gt>add_drive_ro($file)> in Perl, C<g.add_drive_ro(file)> in Python,
699 and C<g#add_drive_ro file> in OCaml.  In other words, a
700 straightforward, predictable isomorphism between each language.
701
702 Error messages are automatically transformed
703 into exceptions if the language supports it.
704
705 We don't try to "object orientify" parts of the API in OO languages,
706 although contributors are welcome to write higher level APIs above
707 what we provide in their favourite languages if they wish.
708
709 =over 4
710
711 =item B<C++>
712
713 You can use the I<guestfs.h> header file from C++ programs.  The C++
714 API is identical to the C API.  C++ classes and exceptions are not
715 used.
716
717 =item B<C#>
718
719 The C# bindings are highly experimental.  Please read the warnings
720 at the top of C<csharp/Libguestfs.cs>.
721
722 =item B<Haskell>
723
724 This is the only language binding that is working but incomplete.
725 Only calls which return simple integers have been bound in Haskell,
726 and we are looking for help to complete this binding.
727
728 =item B<Java>
729
730 Full documentation is contained in the Javadoc which is distributed
731 with libguestfs.
732
733 =item B<OCaml>
734
735 See L<guestfs-ocaml(3)>.
736
737 =item B<Perl>
738
739 See L<guestfs-perl(3)> and L<Sys::Guestfs(3)>.
740
741 =item B<PHP>
742
743 For documentation see C<README-PHP> supplied with libguestfs
744 sources or in the php-libguestfs package for your distribution.
745
746 The PHP binding only works correctly on 64 bit machines.
747
748 =item B<Python>
749
750 See L<guestfs-python(3)>.
751
752 =item B<Ruby>
753
754 See L<guestfs-ruby(3)>.
755
756 =item B<shell scripts>
757
758 See L<guestfish(1)>.
759
760 =back
761
762 =head2 LIBGUESTFS GOTCHAS
763
764 L<http://en.wikipedia.org/wiki/Gotcha_(programming)>: "A feature of a
765 system [...] that works in the way it is documented but is
766 counterintuitive and almost invites mistakes."
767
768 Since we developed libguestfs and the associated tools, there are
769 several things we would have designed differently, but are now stuck
770 with for backwards compatibility or other reasons.  If there is ever a
771 libguestfs 2.0 release, you can expect these to change.  Beware of
772 them.
773
774 =over 4
775
776 =item Autosync / forgetting to sync.
777
778 I<Update:> Autosync is enabled by default for all API users starting
779 from libguestfs 1.5.24.  This section only applies to older versions.
780
781 When modifying a filesystem from C or another language, you B<must>
782 unmount all filesystems and call L</guestfs_sync> explicitly before
783 you close the libguestfs handle.  You can also call:
784
785  guestfs_set_autosync (g, 1);
786
787 to have the unmount/sync done automatically for you when the handle 'g'
788 is closed.  (This feature is called "autosync", L</guestfs_set_autosync>
789 q.v.)
790
791 If you forget to do this, then it is entirely possible that your
792 changes won't be written out, or will be partially written, or (very
793 rarely) that you'll get disk corruption.
794
795 Note that in L<guestfish(3)> autosync is the default.  So quick and
796 dirty guestfish scripts that forget to sync will work just fine, which
797 can make this very puzzling if you are trying to debug a problem.
798
799 =item Mount option C<-o sync> should not be the default.
800
801 If you use L</guestfs_mount>, then C<-o sync,noatime> are added
802 implicitly.  However C<-o sync> does not add any reliability benefit,
803 but does have a very large performance impact.
804
805 The work around is to use L</guestfs_mount_options> and set the mount
806 options that you actually want to use.
807
808 =item Read-only should be the default.
809
810 In L<guestfish(3)>, I<--ro> should be the default, and you should
811 have to specify I<--rw> if you want to make changes to the image.
812
813 This would reduce the potential to corrupt live VM images.
814
815 Note that many filesystems change the disk when you just mount and
816 unmount, even if you didn't perform any writes.  You need to use
817 L</guestfs_add_drive_ro> to guarantee that the disk is not changed.
818
819 =item guestfish command line is hard to use.
820
821 C<guestfish disk.img> doesn't do what people expect (open C<disk.img>
822 for examination).  It tries to run a guestfish command C<disk.img>
823 which doesn't exist, so it fails.  In earlier versions of guestfish
824 the error message was also unintuitive, but we have corrected this
825 since.  Like the Bourne shell, we should have used C<guestfish -c
826 command> to run commands.
827
828 =item guestfish megabyte modifiers don't work right on all commands
829
830 In recent guestfish you can use C<1M> to mean 1 megabyte (and
831 similarly for other modifiers).  What guestfish actually does is to
832 multiply the number part by the modifier part and pass the result to
833 the C API.  However this doesn't work for a few APIs which aren't
834 expecting bytes, but are already expecting some other unit
835 (eg. megabytes).
836
837 The most common is L</guestfs_lvcreate>.  The guestfish command:
838
839  lvcreate LV VG 100M
840
841 does not do what you might expect.  Instead because
842 L</guestfs_lvcreate> is already expecting megabytes, this tries to
843 create a 100 I<terabyte> (100 megabytes * megabytes) logical volume.
844 The error message you get from this is also a little obscure.
845
846 This could be fixed in the generator by specially marking parameters
847 and return values which take bytes or other units.
848
849 =item Ambiguity between devices and paths
850
851 There is a subtle ambiguity in the API between a device name
852 (eg. C</dev/sdb2>) and a similar pathname.  A file might just happen
853 to be called C<sdb2> in the directory C</dev> (consider some non-Unix
854 VM image).
855
856 In the current API we usually resolve this ambiguity by having two
857 separate calls, for example L</guestfs_checksum> and
858 L</guestfs_checksum_device>.  Some API calls are ambiguous and
859 (incorrectly) resolve the problem by detecting if the path supplied
860 begins with C</dev/>.
861
862 To avoid both the ambiguity and the need to duplicate some calls, we
863 could make paths/devices into structured names.  One way to do this
864 would be to use a notation like grub (C<hd(0,0)>), although nobody
865 really likes this aspect of grub.  Another way would be to use a
866 structured type, equivalent to this OCaml type:
867
868  type path = Path of string | Device of int | Partition of int * int
869
870 which would allow you to pass arguments like:
871
872  Path "/foo/bar"
873  Device 1            (* /dev/sdb, or perhaps /dev/sda *)
874  Partition (1, 2)    (* /dev/sdb2 (or is it /dev/sda2 or /dev/sdb3?) *)
875  Path "/dev/sdb2"    (* not a device *)
876
877 As you can see there are still problems to resolve even with this
878 representation.  Also consider how it might work in guestfish.
879
880 =back
881
882 =head2 KEYS AND PASSPHRASES
883
884 Certain libguestfs calls take a parameter that contains sensitive key
885 material, passed in as a C string.
886
887 In the future we would hope to change the libguestfs implementation so
888 that keys are L<mlock(2)>-ed into physical RAM, and thus can never end
889 up in swap.  However this is I<not> done at the moment, because of the
890 complexity of such an implementation.
891
892 Therefore you should be aware that any key parameter you pass to
893 libguestfs might end up being written out to the swap partition.  If
894 this is a concern, scrub the swap partition or don't use libguestfs on
895 encrypted devices.
896
897 =head2 MULTIPLE HANDLES AND MULTIPLE THREADS
898
899 All high-level libguestfs actions are synchronous.  If you want
900 to use libguestfs asynchronously then you must create a thread.
901
902 Only use the handle from a single thread.  Either use the handle
903 exclusively from one thread, or provide your own mutex so that two
904 threads cannot issue calls on the same handle at the same time.
905
906 See the graphical program guestfs-browser for one possible
907 architecture for multithreaded programs using libvirt and libguestfs.
908
909 =head2 PATH
910
911 Libguestfs needs a supermin appliance, which it finds by looking along
912 an internal path.
913
914 By default it looks for these in the directory C<$libdir/guestfs>
915 (eg. C</usr/local/lib/guestfs> or C</usr/lib64/guestfs>).
916
917 Use L</guestfs_set_path> or set the environment variable
918 L</LIBGUESTFS_PATH> to change the directories that libguestfs will
919 search in.  The value is a colon-separated list of paths.  The current
920 directory is I<not> searched unless the path contains an empty element
921 or C<.>.  For example C<LIBGUESTFS_PATH=:/usr/lib/guestfs> would
922 search the current directory and then C</usr/lib/guestfs>.
923
924 =head2 QEMU WRAPPERS
925
926 If you want to compile your own qemu, run qemu from a non-standard
927 location, or pass extra arguments to qemu, then you can write a
928 shell-script wrapper around qemu.
929
930 There is one important rule to remember: you I<must C<exec qemu>> as
931 the last command in the shell script (so that qemu replaces the shell
932 and becomes the direct child of the libguestfs-using program).  If you
933 don't do this, then the qemu process won't be cleaned up correctly.
934
935 Here is an example of a wrapper, where I have built my own copy of
936 qemu from source:
937
938  #!/bin/sh -
939  qemudir=/home/rjones/d/qemu
940  exec $qemudir/x86_64-softmmu/qemu-system-x86_64 -L $qemudir/pc-bios "$@"
941
942 Save this script as C</tmp/qemu.wrapper> (or wherever), C<chmod +x>,
943 and then use it by setting the LIBGUESTFS_QEMU environment variable.
944 For example:
945
946  LIBGUESTFS_QEMU=/tmp/qemu.wrapper guestfish
947
948 Note that libguestfs also calls qemu with the -help and -version
949 options in order to determine features.
950
951 =head2 ATTACHING TO RUNNING DAEMONS
952
953 I<Note (1):> This is B<highly experimental> and has a tendency to eat
954 babies.  Use with caution.
955
956 I<Note (2):> This section explains how to attach to a running daemon
957 from a low level perspective.  For most users, simply using virt tools
958 such as L<guestfish(1)> with the I<--live> option will "just work".
959
960 =head3 Using guestfs_set_attach_method
961
962 By calling L</guestfs_set_attach_method> you can change how the
963 library connects to the C<guestfsd> daemon in L</guestfs_launch>
964 (read L</ARCHITECTURE> for some background).
965
966 The normal attach method is C<appliance>, where a small appliance is
967 created containing the daemon, and then the library connects to this.
968
969 Setting attach method to C<unix:I<path>> (where I<path> is the path of
970 a Unix domain socket) causes L</guestfs_launch> to connect to an
971 existing daemon over the Unix domain socket.
972
973 The normal use for this is to connect to a running virtual machine
974 that contains a C<guestfsd> daemon, and send commands so you can read
975 and write files inside the live virtual machine.
976
977 =head3 Using guestfs_add_domain with live flag
978
979 L</guestfs_add_domain> provides some help for getting the
980 correct attach method.  If you pass the C<live> option to this
981 function, then (if the virtual machine is running) it will
982 examine the libvirt XML looking for a virtio-serial channel
983 to connect to:
984
985  <domain>
986    ...
987    <devices>
988      ...
989      <channel type='unix'>
990        <source mode='bind' path='/path/to/socket'/>
991        <target type='virtio' name='org.libguestfs.channel.0'/>
992      </channel>
993      ...
994    </devices>
995  </domain>
996
997 L</guestfs_add_domain> extracts C</path/to/socket> and sets the attach
998 method to C<unix:/path/to/socket>.
999
1000 Some of the libguestfs tools (including guestfish) support a I<--live>
1001 option which is passed through to L</guestfs_add_domain> thus allowing
1002 you to attach to and modify live virtual machines.
1003
1004 The virtual machine needs to have been set up beforehand so that it
1005 has the virtio-serial channel and so that guestfsd is running inside
1006 it.
1007
1008 =head2 ABI GUARANTEE
1009
1010 We guarantee the libguestfs ABI (binary interface), for public,
1011 high-level actions as outlined in this section.  Although we will
1012 deprecate some actions, for example if they get replaced by newer
1013 calls, we will keep the old actions forever.  This allows you the
1014 developer to program in confidence against the libguestfs API.
1015
1016 =head2 BLOCK DEVICE NAMING
1017
1018 In the kernel there is now quite a profusion of schemata for naming
1019 block devices (in this context, by I<block device> I mean a physical
1020 or virtual hard drive).  The original Linux IDE driver used names
1021 starting with C</dev/hd*>.  SCSI devices have historically used a
1022 different naming scheme, C</dev/sd*>.  When the Linux kernel I<libata>
1023 driver became a popular replacement for the old IDE driver
1024 (particularly for SATA devices) those devices also used the
1025 C</dev/sd*> scheme.  Additionally we now have virtual machines with
1026 paravirtualized drivers.  This has created several different naming
1027 systems, such as C</dev/vd*> for virtio disks and C</dev/xvd*> for Xen
1028 PV disks.
1029
1030 As discussed above, libguestfs uses a qemu appliance running an
1031 embedded Linux kernel to access block devices.  We can run a variety
1032 of appliances based on a variety of Linux kernels.
1033
1034 This causes a problem for libguestfs because many API calls use device
1035 or partition names.  Working scripts and the recipe (example) scripts
1036 that we make available over the internet could fail if the naming
1037 scheme changes.
1038
1039 Therefore libguestfs defines C</dev/sd*> as the I<standard naming
1040 scheme>.  Internally C</dev/sd*> names are translated, if necessary,
1041 to other names as required.  For example, under RHEL 5 which uses the
1042 C</dev/hd*> scheme, any device parameter C</dev/sda2> is translated to
1043 C</dev/hda2> transparently.
1044
1045 Note that this I<only> applies to parameters.  The
1046 L</guestfs_list_devices>, L</guestfs_list_partitions> and similar calls
1047 return the true names of the devices and partitions as known to the
1048 appliance.
1049
1050 =head3 ALGORITHM FOR BLOCK DEVICE NAME TRANSLATION
1051
1052 Usually this translation is transparent.  However in some (very rare)
1053 cases you may need to know the exact algorithm.  Such cases include
1054 where you use L</guestfs_config> to add a mixture of virtio and IDE
1055 devices to the qemu-based appliance, so have a mixture of C</dev/sd*>
1056 and C</dev/vd*> devices.
1057
1058 The algorithm is applied only to I<parameters> which are known to be
1059 either device or partition names.  Return values from functions such
1060 as L</guestfs_list_devices> are never changed.
1061
1062 =over 4
1063
1064 =item *
1065
1066 Is the string a parameter which is a device or partition name?
1067
1068 =item *
1069
1070 Does the string begin with C</dev/sd>?
1071
1072 =item *
1073
1074 Does the named device exist?  If so, we use that device.
1075 However if I<not> then we continue with this algorithm.
1076
1077 =item *
1078
1079 Replace initial C</dev/sd> string with C</dev/hd>.
1080
1081 For example, change C</dev/sda2> to C</dev/hda2>.
1082
1083 If that named device exists, use it.  If not, continue.
1084
1085 =item *
1086
1087 Replace initial C</dev/sd> string with C</dev/vd>.
1088
1089 If that named device exists, use it.  If not, return an error.
1090
1091 =back
1092
1093 =head3 PORTABILITY CONCERNS WITH BLOCK DEVICE NAMING
1094
1095 Although the standard naming scheme and automatic translation is
1096 useful for simple programs and guestfish scripts, for larger programs
1097 it is best not to rely on this mechanism.
1098
1099 Where possible for maximum future portability programs using
1100 libguestfs should use these future-proof techniques:
1101
1102 =over 4
1103
1104 =item *
1105
1106 Use L</guestfs_list_devices> or L</guestfs_list_partitions> to list
1107 actual device names, and then use those names directly.
1108
1109 Since those device names exist by definition, they will never be
1110 translated.
1111
1112 =item *
1113
1114 Use higher level ways to identify filesystems, such as LVM names,
1115 UUIDs and filesystem labels.
1116
1117 =back
1118
1119 =head1 SECURITY
1120
1121 This section discusses security implications of using libguestfs,
1122 particularly with untrusted or malicious guests or disk images.
1123
1124 =head2 GENERAL SECURITY CONSIDERATIONS
1125
1126 Be careful with any files or data that you download from a guest (by
1127 "download" we mean not just the L</guestfs_download> command but any
1128 command that reads files, filenames, directories or anything else from
1129 a disk image).  An attacker could manipulate the data to fool your
1130 program into doing the wrong thing.  Consider cases such as:
1131
1132 =over 4
1133
1134 =item *
1135
1136 the data (file etc) not being present
1137
1138 =item *
1139
1140 being present but empty
1141
1142 =item *
1143
1144 being much larger than normal
1145
1146 =item *
1147
1148 containing arbitrary 8 bit data
1149
1150 =item *
1151
1152 being in an unexpected character encoding
1153
1154 =item *
1155
1156 containing homoglyphs.
1157
1158 =back
1159
1160 =head2 SECURITY OF MOUNTING FILESYSTEMS
1161
1162 When you mount a filesystem under Linux, mistakes in the kernel
1163 filesystem (VFS) module can sometimes be escalated into exploits by
1164 deliberately creating a malicious, malformed filesystem.  These
1165 exploits are very severe for two reasons.  Firstly there are very many
1166 filesystem drivers in the kernel, and many of them are infrequently
1167 used and not much developer attention has been paid to the code.
1168 Linux userspace helps potential crackers by detecting the filesystem
1169 type and automatically choosing the right VFS driver, even if that
1170 filesystem type is obscure or unexpected for the administrator.
1171 Secondly, a kernel-level exploit is like a local root exploit (worse
1172 in some ways), giving immediate and total access to the system right
1173 down to the hardware level.
1174
1175 That explains why you should never mount a filesystem from an
1176 untrusted guest on your host kernel.  How about libguestfs?  We run a
1177 Linux kernel inside a qemu virtual machine, usually running as a
1178 non-root user.  The attacker would need to write a filesystem which
1179 first exploited the kernel, and then exploited either qemu
1180 virtualization (eg. a faulty qemu driver) or the libguestfs protocol,
1181 and finally to be as serious as the host kernel exploit it would need
1182 to escalate its privileges to root.  This multi-step escalation,
1183 performed by a static piece of data, is thought to be extremely hard
1184 to do, although we never say 'never' about security issues.
1185
1186 In any case callers can reduce the attack surface by forcing the
1187 filesystem type when mounting (use L</guestfs_mount_vfs>).
1188
1189 =head2 PROTOCOL SECURITY
1190
1191 The protocol is designed to be secure, being based on RFC 4506 (XDR)
1192 with a defined upper message size.  However a program that uses
1193 libguestfs must also take care - for example you can write a program
1194 that downloads a binary from a disk image and executes it locally, and
1195 no amount of protocol security will save you from the consequences.
1196
1197 =head2 INSPECTION SECURITY
1198
1199 Parts of the inspection API (see L</INSPECTION>) return untrusted
1200 strings directly from the guest, and these could contain any 8 bit
1201 data.  Callers should be careful to escape these before printing them
1202 to a structured file (for example, use HTML escaping if creating a web
1203 page).
1204
1205 Guest configuration may be altered in unusual ways by the
1206 administrator of the virtual machine, and may not reflect reality
1207 (particularly for untrusted or actively malicious guests).  For
1208 example we parse the hostname from configuration files like
1209 C</etc/sysconfig/network> that we find in the guest, but the guest
1210 administrator can easily manipulate these files to provide the wrong
1211 hostname.
1212
1213 The inspection API parses guest configuration using two external
1214 libraries: Augeas (Linux configuration) and hivex (Windows Registry).
1215 Both are designed to be robust in the face of malicious data, although
1216 denial of service attacks are still possible, for example with
1217 oversized configuration files.
1218
1219 =head2 RUNNING UNTRUSTED GUEST COMMANDS
1220
1221 Be very cautious about running commands from the guest.  By running a
1222 command in the guest, you are giving CPU time to a binary that you do
1223 not control, under the same user account as the library, albeit
1224 wrapped in qemu virtualization.  More information and alternatives can
1225 be found in the section L</RUNNING COMMANDS>.
1226
1227 =head2 CVE-2010-3851
1228
1229 https://bugzilla.redhat.com/642934
1230
1231 This security bug concerns the automatic disk format detection that
1232 qemu does on disk images.
1233
1234 A raw disk image is just the raw bytes, there is no header.  Other
1235 disk images like qcow2 contain a special header.  Qemu deals with this
1236 by looking for one of the known headers, and if none is found then
1237 assuming the disk image must be raw.
1238
1239 This allows a guest which has been given a raw disk image to write
1240 some other header.  At next boot (or when the disk image is accessed
1241 by libguestfs) qemu would do autodetection and think the disk image
1242 format was, say, qcow2 based on the header written by the guest.
1243
1244 This in itself would not be a problem, but qcow2 offers many features,
1245 one of which is to allow a disk image to refer to another image
1246 (called the "backing disk").  It does this by placing the path to the
1247 backing disk into the qcow2 header.  This path is not validated and
1248 could point to any host file (eg. "/etc/passwd").  The backing disk is
1249 then exposed through "holes" in the qcow2 disk image, which of course
1250 is completely under the control of the attacker.
1251
1252 In libguestfs this is rather hard to exploit except under two
1253 circumstances:
1254
1255 =over 4
1256
1257 =item 1.
1258
1259 You have enabled the network or have opened the disk in write mode.
1260
1261 =item 2.
1262
1263 You are also running untrusted code from the guest (see
1264 L</RUNNING COMMANDS>).
1265
1266 =back
1267
1268 The way to avoid this is to specify the expected disk format when
1269 adding disks (the optional C<format> option to
1270 L</guestfs_add_drive_opts>).  You should always do this if the disk is
1271 raw format, and it's a good idea for other cases too.
1272
1273 For disks added from libvirt using calls like L</guestfs_add_domain>,
1274 the format is fetched from libvirt and passed through.
1275
1276 For libguestfs tools, use the I<--format> command line parameter as
1277 appropriate.
1278
1279 =head1 CONNECTION MANAGEMENT
1280
1281 =head2 guestfs_h *
1282
1283 C<guestfs_h> is the opaque type representing a connection handle.
1284 Create a handle by calling L</guestfs_create>.  Call L</guestfs_close>
1285 to free the handle and release all resources used.
1286
1287 For information on using multiple handles and threads, see the section
1288 L</MULTIPLE HANDLES AND MULTIPLE THREADS> above.
1289
1290 =head2 guestfs_create
1291
1292  guestfs_h *guestfs_create (void);
1293
1294 Create a connection handle.
1295
1296 On success this returns a non-NULL pointer to a handle.  On error it
1297 returns NULL.
1298
1299 You have to "configure" the handle after creating it.  This includes
1300 calling L</guestfs_add_drive_opts> (or one of the equivalent calls) on
1301 the handle at least once.
1302
1303 After configuring the handle, you have to call L</guestfs_launch>.
1304
1305 You may also want to configure error handling for the handle.  See the
1306 L</ERROR HANDLING> section below.
1307
1308 =head2 guestfs_close
1309
1310  void guestfs_close (guestfs_h *g);
1311
1312 This closes the connection handle and frees up all resources used.
1313
1314 If autosync was set on the handle and the handle was launched, then
1315 this implicitly calls various functions to unmount filesystems and
1316 sync the disk.  See L</guestfs_set_autosync> for more details.
1317
1318 If a close callback was set on the handle, then it is called.
1319
1320 =head1 ERROR HANDLING
1321
1322 API functions can return errors.  For example, almost all functions
1323 that return C<int> will return C<-1> to indicate an error.
1324
1325 Additional information is available for errors: an error message
1326 string and optionally an error number (errno) if the thing that failed
1327 was a system call.
1328
1329 You can get at the additional information about the last error on the
1330 handle by calling L</guestfs_last_error>, L</guestfs_last_errno>,
1331 and/or by setting up an error handler with
1332 L</guestfs_set_error_handler>.
1333
1334 When the handle is created, a default error handler is installed which
1335 prints the error message string to C<stderr>.  For small short-running
1336 command line programs it is sufficient to do:
1337
1338  if (guestfs_launch (g) == -1)
1339    exit (EXIT_FAILURE);
1340
1341 since the default error handler will ensure that an error message has
1342 been printed to C<stderr> before the program exits.
1343
1344 For other programs the caller will almost certainly want to install an
1345 alternate error handler or do error handling in-line like this:
1346
1347  g = guestfs_create ();
1348  
1349  /* This disables the default behaviour of printing errors
1350     on stderr. */
1351  guestfs_set_error_handler (g, NULL, NULL);
1352  
1353  if (guestfs_launch (g) == -1) {
1354    /* Examine the error message and print it etc. */
1355    char *msg = guestfs_last_error (g);
1356    int errnum = guestfs_last_errno (g);
1357    fprintf (stderr, "%s\n", msg);
1358    /* ... */
1359   }
1360
1361 Out of memory errors are handled differently.  The default action is
1362 to call L<abort(3)>.  If this is undesirable, then you can set a
1363 handler using L</guestfs_set_out_of_memory_handler>.
1364
1365 L</guestfs_create> returns C<NULL> if the handle cannot be created,
1366 and because there is no handle if this happens there is no way to get
1367 additional error information.  However L</guestfs_create> is supposed
1368 to be a lightweight operation which can only fail because of
1369 insufficient memory (it returns NULL in this case).
1370
1371 =head2 guestfs_last_error
1372
1373  const char *guestfs_last_error (guestfs_h *g);
1374
1375 This returns the last error message that happened on C<g>.  If
1376 there has not been an error since the handle was created, then this
1377 returns C<NULL>.
1378
1379 The lifetime of the returned string is until the next error occurs, or
1380 L</guestfs_close> is called.
1381
1382 =head2 guestfs_last_errno
1383
1384  int guestfs_last_errno (guestfs_h *g);
1385
1386 This returns the last error number (errno) that happened on C<g>.
1387
1388 If successful, an errno integer not equal to zero is returned.
1389
1390 If no error, this returns 0.  This call can return 0 in three
1391 situations:
1392
1393 =over 4
1394
1395 =item 1.
1396
1397 There has not been any error on the handle.
1398
1399 =item 2.
1400
1401 There has been an error but the errno was meaningless.  This
1402 corresponds to the case where the error did not come from a
1403 failed system call, but for some other reason.
1404
1405 =item 3.
1406
1407 There was an error from a failed system call, but for some
1408 reason the errno was not captured and returned.  This usually
1409 indicates a bug in libguestfs.
1410
1411 =back
1412
1413 Libguestfs tries to convert the errno from inside the applicance into
1414 a corresponding errno for the caller (not entirely trivial: the
1415 appliance might be running a completely different operating system
1416 from the library and error numbers are not standardized across
1417 Un*xen).  If this could not be done, then the error is translated to
1418 C<EINVAL>.  In practice this should only happen in very rare
1419 circumstances.
1420
1421 =head2 guestfs_set_error_handler
1422
1423  typedef void (*guestfs_error_handler_cb) (guestfs_h *g,
1424                                            void *opaque,
1425                                            const char *msg);
1426  void guestfs_set_error_handler (guestfs_h *g,
1427                                  guestfs_error_handler_cb cb,
1428                                  void *opaque);
1429
1430 The callback C<cb> will be called if there is an error.  The
1431 parameters passed to the callback are an opaque data pointer and the
1432 error message string.
1433
1434 C<errno> is not passed to the callback.  To get that the callback must
1435 call L</guestfs_last_errno>.
1436
1437 Note that the message string C<msg> is freed as soon as the callback
1438 function returns, so if you want to stash it somewhere you must make
1439 your own copy.
1440
1441 The default handler prints messages on C<stderr>.
1442
1443 If you set C<cb> to C<NULL> then I<no> handler is called.
1444
1445 =head2 guestfs_get_error_handler
1446
1447  guestfs_error_handler_cb guestfs_get_error_handler (guestfs_h *g,
1448                                                      void **opaque_rtn);
1449
1450 Returns the current error handler callback.
1451
1452 =head2 guestfs_set_out_of_memory_handler
1453
1454  typedef void (*guestfs_abort_cb) (void);
1455  int guestfs_set_out_of_memory_handler (guestfs_h *g,
1456                                         guestfs_abort_cb);
1457
1458 The callback C<cb> will be called if there is an out of memory
1459 situation.  I<Note this callback must not return>.
1460
1461 The default is to call L<abort(3)>.
1462
1463 You cannot set C<cb> to C<NULL>.  You can't ignore out of memory
1464 situations.
1465
1466 =head2 guestfs_get_out_of_memory_handler
1467
1468  guestfs_abort_fn guestfs_get_out_of_memory_handler (guestfs_h *g);
1469
1470 This returns the current out of memory handler.
1471
1472 =head1 API CALLS
1473
1474 @ACTIONS@
1475
1476 =head1 STRUCTURES
1477
1478 @STRUCTS@
1479
1480 =head1 AVAILABILITY
1481
1482 =head2 GROUPS OF FUNCTIONALITY IN THE APPLIANCE
1483
1484 Using L</guestfs_available> you can test availability of
1485 the following groups of functions.  This test queries the
1486 appliance to see if the appliance you are currently using
1487 supports the functionality.
1488
1489 @AVAILABILITY@
1490
1491 =head2 GUESTFISH supported COMMAND
1492
1493 In L<guestfish(3)> there is a handy interactive command
1494 C<supported> which prints out the available groups and
1495 whether they are supported by this build of libguestfs.
1496 Note however that you have to do C<run> first.
1497
1498 =head2 SINGLE CALLS AT COMPILE TIME
1499
1500 Since version 1.5.8, C<E<lt>guestfs.hE<gt>> defines symbols
1501 for each C API function, such as:
1502
1503  #define LIBGUESTFS_HAVE_DD 1
1504
1505 if L</guestfs_dd> is available.
1506
1507 Before version 1.5.8, if you needed to test whether a single
1508 libguestfs function is available at compile time, we recommended using
1509 build tools such as autoconf or cmake.  For example in autotools you
1510 could use:
1511
1512  AC_CHECK_LIB([guestfs],[guestfs_create])
1513  AC_CHECK_FUNCS([guestfs_dd])
1514
1515 which would result in C<HAVE_GUESTFS_DD> being either defined
1516 or not defined in your program.
1517
1518 =head2 SINGLE CALLS AT RUN TIME
1519
1520 Testing at compile time doesn't guarantee that a function really
1521 exists in the library.  The reason is that you might be dynamically
1522 linked against a previous I<libguestfs.so> (dynamic library)
1523 which doesn't have the call.  This situation unfortunately results
1524 in a segmentation fault, which is a shortcoming of the C dynamic
1525 linking system itself.
1526
1527 You can use L<dlopen(3)> to test if a function is available
1528 at run time, as in this example program (note that you still
1529 need the compile time check as well):
1530
1531  #include <stdio.h>
1532  #include <stdlib.h>
1533  #include <unistd.h>
1534  #include <dlfcn.h>
1535  #include <guestfs.h>
1536  
1537  main ()
1538  {
1539  #ifdef LIBGUESTFS_HAVE_DD
1540    void *dl;
1541    int has_function;
1542  
1543    /* Test if the function guestfs_dd is really available. */
1544    dl = dlopen (NULL, RTLD_LAZY);
1545    if (!dl) {
1546      fprintf (stderr, "dlopen: %s\n", dlerror ());
1547      exit (EXIT_FAILURE);
1548    }
1549    has_function = dlsym (dl, "guestfs_dd") != NULL;
1550    dlclose (dl);
1551  
1552    if (!has_function)
1553      printf ("this libguestfs.so does NOT have guestfs_dd function\n");
1554    else {
1555      printf ("this libguestfs.so has guestfs_dd function\n");
1556      /* Now it's safe to call
1557      guestfs_dd (g, "foo", "bar");
1558      */
1559    }
1560  #else
1561    printf ("guestfs_dd function was not found at compile time\n");
1562  #endif
1563   }
1564
1565 You may think the above is an awful lot of hassle, and it is.
1566 There are other ways outside of the C linking system to ensure
1567 that this kind of incompatibility never arises, such as using
1568 package versioning:
1569
1570  Requires: libguestfs >= 1.0.80
1571
1572 =head1 CALLS WITH OPTIONAL ARGUMENTS
1573
1574 A recent feature of the API is the introduction of calls which take
1575 optional arguments.  In C these are declared 3 ways.  The main way is
1576 as a call which takes variable arguments (ie. C<...>), as in this
1577 example:
1578
1579  int guestfs_add_drive_opts (guestfs_h *g, const char *filename, ...);
1580
1581 Call this with a list of optional arguments, terminated by C<-1>.
1582 So to call with no optional arguments specified:
1583
1584  guestfs_add_drive_opts (g, filename, -1);
1585
1586 With a single optional argument:
1587
1588  guestfs_add_drive_opts (g, filename,
1589                          GUESTFS_ADD_DRIVE_OPTS_FORMAT, "qcow2",
1590                          -1);
1591
1592 With two:
1593
1594  guestfs_add_drive_opts (g, filename,
1595                          GUESTFS_ADD_DRIVE_OPTS_FORMAT, "qcow2",
1596                          GUESTFS_ADD_DRIVE_OPTS_READONLY, 1,
1597                          -1);
1598
1599 and so forth.  Don't forget the terminating C<-1> otherwise
1600 Bad Things will happen!
1601
1602 =head2 USING va_list FOR OPTIONAL ARGUMENTS
1603
1604 The second variant has the same name with the suffix C<_va>, which
1605 works the same way but takes a C<va_list>.  See the C manual for
1606 details.  For the example function, this is declared:
1607
1608  int guestfs_add_drive_opts_va (guestfs_h *g, const char *filename,
1609                                 va_list args);
1610
1611 =head2 CONSTRUCTING OPTIONAL ARGUMENTS
1612
1613 The third variant is useful where you need to construct these
1614 calls.  You pass in a structure where you fill in the optional
1615 fields.  The structure has a bitmask as the first element which
1616 you must set to indicate which fields you have filled in.  For
1617 our example function the structure and call are declared:
1618
1619  struct guestfs_add_drive_opts_argv {
1620    uint64_t bitmask;
1621    int readonly;
1622    const char *format;
1623    /* ... */
1624  };
1625  int guestfs_add_drive_opts_argv (guestfs_h *g, const char *filename,
1626               const struct guestfs_add_drive_opts_argv *optargs);
1627
1628 You could call it like this:
1629
1630  struct guestfs_add_drive_opts_argv optargs = {
1631    .bitmask = GUESTFS_ADD_DRIVE_OPTS_READONLY_BITMASK |
1632               GUESTFS_ADD_DRIVE_OPTS_FORMAT_BITMASK,
1633    .readonly = 1,
1634    .format = "qcow2"
1635  };
1636  
1637  guestfs_add_drive_opts_argv (g, filename, &optargs);
1638
1639 Notes:
1640
1641 =over 4
1642
1643 =item *
1644
1645 The C<_BITMASK> suffix on each option name when specifying the
1646 bitmask.
1647
1648 =item *
1649
1650 You do not need to fill in all fields of the structure.
1651
1652 =item *
1653
1654 There must be a one-to-one correspondence between fields of the
1655 structure that are filled in, and bits set in the bitmask.
1656
1657 =back
1658
1659 =head2 OPTIONAL ARGUMENTS IN OTHER LANGUAGES
1660
1661 In other languages, optional arguments are expressed in the
1662 way that is natural for that language.  We refer you to the
1663 language-specific documentation for more details on that.
1664
1665 For guestfish, see L<guestfish(1)/OPTIONAL ARGUMENTS>.
1666
1667 =head2 SETTING CALLBACKS TO HANDLE EVENTS
1668
1669 B<Note:> This section documents the generic event mechanism introduced
1670 in libguestfs 1.10, which you should use in new code if possible.  The
1671 old functions C<guestfs_set_log_message_callback>,
1672 C<guestfs_set_subprocess_quit_callback>,
1673 C<guestfs_set_launch_done_callback>, C<guestfs_set_close_callback> and
1674 C<guestfs_set_progress_callback> are no longer documented in this
1675 manual page.  Because of the ABI guarantee, the old functions continue
1676 to work.
1677
1678 Handles generate events when certain things happen, such as log
1679 messages being generated, progress messages during long-running
1680 operations, or the handle being closed.  The API calls described below
1681 let you register a callback to be called when events happen.  You can
1682 register multiple callbacks (for the same, different or overlapping
1683 sets of events), and individually remove callbacks.  If callbacks are
1684 not removed, then they remain in force until the handle is closed.
1685
1686 In the current implementation, events are only generated
1687 synchronously: that means that events (and hence callbacks) can only
1688 happen while you are in the middle of making another libguestfs call.
1689 The callback is called in the same thread.
1690
1691 Events may contain a payload, usually nothing (void), an array of 64
1692 bit unsigned integers, or a message buffer.  Payloads are discussed
1693 later on.
1694
1695 =head3 CLASSES OF EVENTS
1696
1697 =over 4
1698
1699 =item GUESTFS_EVENT_CLOSE
1700 (payload type: void)
1701
1702 The callback function will be called while the handle is being closed
1703 (synchronously from L</guestfs_close>).
1704
1705 Note that libguestfs installs an L<atexit(3)> handler to try to clean
1706 up handles that are open when the program exits.  This means that this
1707 callback might be called indirectly from L<exit(3)>, which can cause
1708 unexpected problems in higher-level languages (eg. if your HLL
1709 interpreter has already been cleaned up by the time this is called,
1710 and if your callback then jumps into some HLL function).
1711
1712 If no callback is registered: the handle is closed without any
1713 callback being invoked.
1714
1715 =item GUESTFS_EVENT_SUBPROCESS_QUIT
1716 (payload type: void)
1717
1718 The callback function will be called when the child process quits,
1719 either asynchronously or if killed by L</guestfs_kill_subprocess>.
1720 (This corresponds to a transition from any state to the CONFIG state).
1721
1722 If no callback is registered: the event is ignored.
1723
1724 =item GUESTFS_EVENT_LAUNCH_DONE
1725 (payload type: void)
1726
1727 The callback function will be called when the child process becomes
1728 ready first time after it has been launched.  (This corresponds to a
1729 transition from LAUNCHING to the READY state).
1730
1731 If no callback is registered: the event is ignored.
1732
1733 =item GUESTFS_EVENT_PROGRESS
1734 (payload type: array of 4 x uint64_t)
1735
1736 Some long-running operations can generate progress messages.  If
1737 this callback is registered, then it will be called each time a
1738 progress message is generated (usually two seconds after the
1739 operation started, and three times per second thereafter until
1740 it completes, although the frequency may change in future versions).
1741
1742 The callback receives in the payload four unsigned 64 bit numbers
1743 which are (in order): C<proc_nr>, C<serial>, C<position>, C<total>.
1744
1745 The units of C<total> are not defined, although for some
1746 operations C<total> may relate in some way to the amount of
1747 data to be transferred (eg. in bytes or megabytes), and
1748 C<position> may be the portion which has been transferred.
1749
1750 The only defined and stable parts of the API are:
1751
1752 =over 4
1753
1754 =item *
1755
1756 The callback can display to the user some type of progress bar or
1757 indicator which shows the ratio of C<position>:C<total>.
1758
1759 =item *
1760
1761 0 E<lt>= C<position> E<lt>= C<total>
1762
1763 =item *
1764
1765 If any progress notification is sent during a call, then a final
1766 progress notification is always sent when C<position> = C<total>
1767 (I<unless> the call fails with an error).
1768
1769 This is to simplify caller code, so callers can easily set the
1770 progress indicator to "100%" at the end of the operation, without
1771 requiring special code to detect this case.
1772
1773 =item *
1774
1775 For some calls we are unable to estimate the progress of the call, but
1776 we can still generate progress messages to indicate activity.  This is
1777 known as "pulse mode", and is directly supported by certain progress
1778 bar implementations (eg. GtkProgressBar).
1779
1780 For these calls, zero or more progress messages are generated with
1781 C<position = 0> and C<total = 1>, followed by a final message with
1782 C<position = total = 1>.
1783
1784 As noted above, if the call fails with an error then the final message
1785 may not be generated.
1786
1787 =back
1788
1789 The callback also receives the procedure number (C<proc_nr>) and
1790 serial number (C<serial>) of the call.  These are only useful for
1791 debugging protocol issues, and the callback can normally ignore them.
1792 The callback may want to print these numbers in error messages or
1793 debugging messages.
1794
1795 If no callback is registered: progress messages are discarded.
1796
1797 =item GUESTFS_EVENT_APPLIANCE
1798 (payload type: message buffer)
1799
1800 The callback function is called whenever a log message is generated by
1801 qemu, the appliance kernel, guestfsd (daemon), or utility programs.
1802
1803 If the verbose flag (L</guestfs_set_verbose>) is set before launch
1804 (L</guestfs_launch>) then additional debug messages are generated.
1805
1806 If no callback is registered: the messages are discarded unless the
1807 verbose flag is set in which case they are sent to stderr.  You can
1808 override the printing of verbose messages to stderr by setting up a
1809 callback.
1810
1811 =item GUESTFS_EVENT_LIBRARY
1812 (payload type: message buffer)
1813
1814 The callback function is called whenever a log message is generated by
1815 the library part of libguestfs.
1816
1817 If the verbose flag (L</guestfs_set_verbose>) is set then additional
1818 debug messages are generated.
1819
1820 If no callback is registered: the messages are discarded unless the
1821 verbose flag is set in which case they are sent to stderr.  You can
1822 override the printing of verbose messages to stderr by setting up a
1823 callback.
1824
1825 =item GUESTFS_EVENT_TRACE
1826 (payload type: message buffer)
1827
1828 The callback function is called whenever a trace message is generated.
1829 This only applies if the trace flag (L</guestfs_set_trace>) is set.
1830
1831 If no callback is registered: the messages are sent to stderr.  You
1832 can override the printing of trace messages to stderr by setting up a
1833 callback.
1834
1835 =back
1836
1837 =head3 guestfs_set_event_callback
1838
1839  int guestfs_set_event_callback (guestfs_h *g,
1840                                  guestfs_event_callback cb,
1841                                  uint64_t event_bitmask,
1842                                  int flags,
1843                                  void *opaque);
1844
1845 This function registers a callback (C<cb>) for all event classes
1846 in the C<event_bitmask>.
1847
1848 For example, to register for all log message events, you could call
1849 this function with the bitmask
1850 C<GUESTFS_EVENT_APPLIANCE|GUESTFS_EVENT_LIBRARY>.  To register a
1851 single callback for all possible classes of events, use
1852 C<GUESTFS_EVENT_ALL>.
1853
1854 C<flags> should always be passed as 0.
1855
1856 C<opaque> is an opaque pointer which is passed to the callback.  You
1857 can use it for any purpose.
1858
1859 The return value is the event handle (an integer) which you can use to
1860 delete the callback (see below).
1861
1862 If there is an error, this function returns C<-1>, and sets the error
1863 in the handle in the usual way (see L</guestfs_last_error> etc.)
1864
1865 Callbacks remain in effect until they are deleted, or until the handle
1866 is closed.
1867
1868 In the case where multiple callbacks are registered for a particular
1869 event class, all of the callbacks are called.  The order in which
1870 multiple callbacks are called is not defined.
1871
1872 =head3 guestfs_delete_event_callback
1873
1874  void guestfs_delete_event_callback (guestfs_h *g, int event_handle);
1875
1876 Delete a callback that was previously registered.  C<event_handle>
1877 should be the integer that was returned by a previous call to
1878 C<guestfs_set_event_callback> on the same handle.
1879
1880 =head3 guestfs_event_callback
1881
1882  typedef void (*guestfs_event_callback) (
1883                   guestfs_h *g,
1884                   void *opaque,
1885                   uint64_t event,
1886                   int event_handle,
1887                   int flags,
1888                   const char *buf, size_t buf_len,
1889                   const uint64_t *array, size_t array_len);
1890
1891 This is the type of the event callback function that you have to
1892 provide.
1893
1894 The basic parameters are: the handle (C<g>), the opaque user pointer
1895 (C<opaque>), the event class (eg. C<GUESTFS_EVENT_PROGRESS>), the
1896 event handle, and C<flags> which in the current API you should ignore.
1897
1898 The remaining parameters contain the event payload (if any).  Each
1899 event may contain a payload, which usually relates to the event class,
1900 but for future proofing your code should be written to handle any
1901 payload for any event class.
1902
1903 C<buf> and C<buf_len> contain a message buffer (if C<buf_len == 0>,
1904 then there is no message buffer).  Note that this message buffer can
1905 contain arbitrary 8 bit data, including NUL bytes.
1906
1907 C<array> and C<array_len> is an array of 64 bit unsigned integers.  At
1908 the moment this is only used for progress messages.
1909
1910 =head3 EXAMPLE: CAPTURING LOG MESSAGES
1911
1912 One motivation for the generic event API was to allow GUI programs to
1913 capture debug and other messages.  In libguestfs E<le> 1.8 these were
1914 sent unconditionally to C<stderr>.
1915
1916 Events associated with log messages are: C<GUESTFS_EVENT_LIBRARY>,
1917 C<GUESTFS_EVENT_APPLIANCE> and C<GUESTFS_EVENT_TRACE>.  (Note that
1918 error messages are not events; you must capture error messages
1919 separately).
1920
1921 Programs have to set up a callback to capture the classes of events of
1922 interest:
1923
1924  int eh =
1925    guestfs_set_event_callback
1926      (g, message_callback,
1927       GUESTFS_EVENT_LIBRARY|GUESTFS_EVENT_APPLIANCE|
1928       GUESTFS_EVENT_TRACE,
1929       0, NULL) == -1)
1930  if (eh == -1) {
1931    // handle error in the usual way
1932  }
1933
1934 The callback can then direct messages to the appropriate place.  In
1935 this example, messages are directed to syslog:
1936
1937  static void
1938  message_callback (
1939          guestfs_h *g,
1940          void *opaque,
1941          uint64_t event,
1942          int event_handle,
1943          int flags,
1944          const char *buf, size_t buf_len,
1945          const uint64_t *array, size_t array_len)
1946  {
1947    const int priority = LOG_USER|LOG_INFO;
1948    if (buf_len > 0)
1949      syslog (priority, "event 0x%lx: %s", event, buf);
1950  }
1951
1952 =head1 PRIVATE DATA AREA
1953
1954 You can attach named pieces of private data to the libguestfs handle,
1955 fetch them by name, and walk over them, for the lifetime of the
1956 handle.  This is called the private data area and is only available
1957 from the C API.
1958
1959 To attach a named piece of data, use the following call:
1960
1961  void guestfs_set_private (guestfs_h *g, const char *key, void *data);
1962
1963 C<key> is the name to associate with this data, and C<data> is an
1964 arbitrary pointer (which can be C<NULL>).  Any previous item with the
1965 same key is overwritten.
1966
1967 You can use any C<key> you want, but your key should I<not> start with
1968 an underscore character.  Keys beginning with an underscore character
1969 are reserved for internal libguestfs purposes (eg. for implementing
1970 language bindings).  It is recommended that you prefix the key with
1971 some unique string to avoid collisions with other users.
1972
1973 To retrieve the pointer, use:
1974
1975  void *guestfs_get_private (guestfs_h *g, const char *key);
1976
1977 This function returns C<NULL> if either no data is found associated
1978 with C<key>, or if the user previously set the C<key>'s C<data>
1979 pointer to C<NULL>.
1980
1981 Libguestfs does not try to look at or interpret the C<data> pointer in
1982 any way.  As far as libguestfs is concerned, it need not be a valid
1983 pointer at all.  In particular, libguestfs does I<not> try to free the
1984 data when the handle is closed.  If the data must be freed, then the
1985 caller must either free it before calling L</guestfs_close> or must
1986 set up a close callback to do it (see L</GUESTFS_EVENT_CLOSE>).
1987
1988 To walk over all entries, use these two functions:
1989
1990  void *guestfs_first_private (guestfs_h *g, const char **key_rtn);
1991
1992  void *guestfs_next_private (guestfs_h *g, const char **key_rtn);
1993
1994 C<guestfs_first_private> returns the first key, pointer pair ("first"
1995 does not have any particular meaning -- keys are not returned in any
1996 defined order).  A pointer to the key is returned in C<*key_rtn> and
1997 the corresponding data pointer is returned from the function.  C<NULL>
1998 is returned if there are no keys stored in the handle.
1999
2000 C<guestfs_next_private> returns the next key, pointer pair.  The
2001 return value of this function is also C<NULL> is there are no further
2002 entries to return.
2003
2004 Notes about walking over entries:
2005
2006 =over 4
2007
2008 =item *
2009
2010 You must not call C<guestfs_set_private> while walking over the
2011 entries.
2012
2013 =item *
2014
2015 The handle maintains an internal iterator which is reset when you call
2016 C<guestfs_first_private>.  This internal iterator is invalidated when
2017 you call C<guestfs_set_private>.
2018
2019 =item *
2020
2021 If you have set the data pointer associated with a key to C<NULL>, ie:
2022
2023  guestfs_set_private (g, key, NULL);
2024
2025 then that C<key> is not returned when walking.
2026
2027 =item *
2028
2029 C<*key_rtn> is only valid until the next call to
2030 C<guestfs_first_private>, C<guestfs_next_private> or
2031 C<guestfs_set_private>.
2032
2033 =back
2034
2035 The following example code shows how to print all keys and data
2036 pointers that are associated with the handle C<g>:
2037
2038  const char *key;
2039  void *data = guestfs_first_private (g, &key);
2040  while (data != NULL)
2041    {
2042      printf ("key = %s, data = %p\n", key, data);
2043      data = guestfs_next_private (g, &key);
2044    }
2045
2046 More commonly you are only interested in keys that begin with an
2047 application-specific prefix C<foo_>.  Modify the loop like so:
2048
2049  const char *key;
2050  void *data = guestfs_first_private (g, &key);
2051  while (data != NULL)
2052    {
2053      if (strncmp (key, "foo_", strlen ("foo_")) == 0)
2054        printf ("key = %s, data = %p\n", key, data);
2055      data = guestfs_next_private (g, &key);
2056    }
2057
2058 If you need to modify keys while walking, then you have to jump back
2059 to the beginning of the loop.  For example, to delete all keys
2060 prefixed with C<foo_>:
2061
2062   const char *key;
2063   void *data;
2064  again:
2065   data = guestfs_first_private (g, &key);
2066   while (data != NULL)
2067     {
2068       if (strncmp (key, "foo_", strlen ("foo_")) == 0)
2069         {
2070           guestfs_set_private (g, key, NULL);
2071           /* note that 'key' pointer is now invalid, and so is
2072              the internal iterator */
2073           goto again;
2074         }
2075       data = guestfs_next_private (g, &key);
2076     }
2077
2078 Note that the above loop is guaranteed to terminate because the keys
2079 are being deleted, but other manipulations of keys within the loop
2080 might not terminate unless you also maintain an indication of which
2081 keys have been visited.
2082
2083 =begin html
2084
2085 <!-- old anchor for the next section -->
2086 <a name="state_machine_and_low_level_event_api"/>
2087
2088 =end html
2089
2090 =head1 ARCHITECTURE
2091
2092 Internally, libguestfs is implemented by running an appliance (a
2093 special type of small virtual machine) using L<qemu(1)>.  Qemu runs as
2094 a child process of the main program.
2095
2096   ___________________
2097  /                   \
2098  | main program      |
2099  |                   |
2100  |                   |           child process / appliance
2101  |                   |           __________________________
2102  |                   |          / qemu                     \
2103  +-------------------+   RPC    |      +-----------------+ |
2104  | libguestfs     <--------------------> guestfsd        | |
2105  |                   |          |      +-----------------+ |
2106  \___________________/          |      | Linux kernel    | |
2107                                 |      +--^--------------+ |
2108                                 \_________|________________/
2109                                           |
2110                                    _______v______
2111                                   /              \
2112                                   | Device or    |
2113                                   | disk image   |
2114                                   \______________/
2115
2116 The library, linked to the main program, creates the child process and
2117 hence the appliance in the L</guestfs_launch> function.
2118
2119 Inside the appliance is a Linux kernel and a complete stack of
2120 userspace tools (such as LVM and ext2 programs) and a small
2121 controlling daemon called L</guestfsd>.  The library talks to
2122 L</guestfsd> using remote procedure calls (RPC).  There is a mostly
2123 one-to-one correspondence between libguestfs API calls and RPC calls
2124 to the daemon.  Lastly the disk image(s) are attached to the qemu
2125 process which translates device access by the appliance's Linux kernel
2126 into accesses to the image.
2127
2128 A common misunderstanding is that the appliance "is" the virtual
2129 machine.  Although the disk image you are attached to might also be
2130 used by some virtual machine, libguestfs doesn't know or care about
2131 this.  (But you will care if both libguestfs's qemu process and your
2132 virtual machine are trying to update the disk image at the same time,
2133 since these usually results in massive disk corruption).
2134
2135 =head1 STATE MACHINE
2136
2137 libguestfs uses a state machine to model the child process:
2138
2139                          |
2140                     guestfs_create
2141                          |
2142                          |
2143                      ____V_____
2144                     /          \
2145                     |  CONFIG  |
2146                     \__________/
2147                      ^ ^   ^  \
2148                     /  |    \  \ guestfs_launch
2149                    /   |    _\__V______
2150                   /    |   /           \
2151                  /     |   | LAUNCHING |
2152                 /      |   \___________/
2153                /       |       /
2154               /        |  guestfs_launch
2155              /         |     /
2156     ______  /        __|____V
2157    /      \ ------> /        \
2158    | BUSY |         | READY  |
2159    \______/ <------ \________/
2160
2161 The normal transitions are (1) CONFIG (when the handle is created, but
2162 there is no child process), (2) LAUNCHING (when the child process is
2163 booting up), (3) alternating between READY and BUSY as commands are
2164 issued to, and carried out by, the child process.
2165
2166 The guest may be killed by L</guestfs_kill_subprocess>, or may die
2167 asynchronously at any time (eg. due to some internal error), and that
2168 causes the state to transition back to CONFIG.
2169
2170 Configuration commands for qemu such as L</guestfs_add_drive> can only
2171 be issued when in the CONFIG state.
2172
2173 The API offers one call that goes from CONFIG through LAUNCHING to
2174 READY.  L</guestfs_launch> blocks until the child process is READY to
2175 accept commands (or until some failure or timeout).
2176 L</guestfs_launch> internally moves the state from CONFIG to LAUNCHING
2177 while it is running.
2178
2179 API actions such as L</guestfs_mount> can only be issued when in the
2180 READY state.  These API calls block waiting for the command to be
2181 carried out (ie. the state to transition to BUSY and then back to
2182 READY).  There are no non-blocking versions, and no way to issue more
2183 than one command per handle at the same time.
2184
2185 Finally, the child process sends asynchronous messages back to the
2186 main program, such as kernel log messages.  You can register a
2187 callback to receive these messages.
2188
2189 =head1 INTERNALS
2190
2191 =head2 COMMUNICATION PROTOCOL
2192
2193 Don't rely on using this protocol directly.  This section documents
2194 how it currently works, but it may change at any time.
2195
2196 The protocol used to talk between the library and the daemon running
2197 inside the qemu virtual machine is a simple RPC mechanism built on top
2198 of XDR (RFC 1014, RFC 1832, RFC 4506).
2199
2200 The detailed format of structures is in C<src/guestfs_protocol.x>
2201 (note: this file is automatically generated).
2202
2203 There are two broad cases, ordinary functions that don't have any
2204 C<FileIn> and C<FileOut> parameters, which are handled with very
2205 simple request/reply messages.  Then there are functions that have any
2206 C<FileIn> or C<FileOut> parameters, which use the same request and
2207 reply messages, but they may also be followed by files sent using a
2208 chunked encoding.
2209
2210 =head3 ORDINARY FUNCTIONS (NO FILEIN/FILEOUT PARAMS)
2211
2212 For ordinary functions, the request message is:
2213
2214  total length (header + arguments,
2215       but not including the length word itself)
2216  struct guestfs_message_header (encoded as XDR)
2217  struct guestfs_<foo>_args (encoded as XDR)
2218
2219 The total length field allows the daemon to allocate a fixed size
2220 buffer into which it slurps the rest of the message.  As a result, the
2221 total length is limited to C<GUESTFS_MESSAGE_MAX> bytes (currently
2222 4MB), which means the effective size of any request is limited to
2223 somewhere under this size.
2224
2225 Note also that many functions don't take any arguments, in which case
2226 the C<guestfs_I<foo>_args> is completely omitted.
2227
2228 The header contains the procedure number (C<guestfs_proc>) which is
2229 how the receiver knows what type of args structure to expect, or none
2230 at all.
2231
2232 For functions that take optional arguments, the optional arguments are
2233 encoded in the C<guestfs_I<foo>_args> structure in the same way as
2234 ordinary arguments.  A bitmask in the header indicates which optional
2235 arguments are meaningful.  The bitmask is also checked to see if it
2236 contains bits set which the daemon does not know about (eg. if more
2237 optional arguments were added in a later version of the library), and
2238 this causes the call to be rejected.
2239
2240 The reply message for ordinary functions is:
2241
2242  total length (header + ret,
2243       but not including the length word itself)
2244  struct guestfs_message_header (encoded as XDR)
2245  struct guestfs_<foo>_ret (encoded as XDR)
2246
2247 As above the C<guestfs_I<foo>_ret> structure may be completely omitted
2248 for functions that return no formal return values.
2249
2250 As above the total length of the reply is limited to
2251 C<GUESTFS_MESSAGE_MAX>.
2252
2253 In the case of an error, a flag is set in the header, and the reply
2254 message is slightly changed:
2255
2256  total length (header + error,
2257       but not including the length word itself)
2258  struct guestfs_message_header (encoded as XDR)
2259  struct guestfs_message_error (encoded as XDR)
2260
2261 The C<guestfs_message_error> structure contains the error message as a
2262 string.
2263
2264 =head3 FUNCTIONS THAT HAVE FILEIN PARAMETERS
2265
2266 A C<FileIn> parameter indicates that we transfer a file I<into> the
2267 guest.  The normal request message is sent (see above).  However this
2268 is followed by a sequence of file chunks.
2269
2270  total length (header + arguments,
2271       but not including the length word itself,
2272       and not including the chunks)
2273  struct guestfs_message_header (encoded as XDR)
2274  struct guestfs_<foo>_args (encoded as XDR)
2275  sequence of chunks for FileIn param #0
2276  sequence of chunks for FileIn param #1 etc.
2277
2278 The "sequence of chunks" is:
2279
2280  length of chunk (not including length word itself)
2281  struct guestfs_chunk (encoded as XDR)
2282  length of chunk
2283  struct guestfs_chunk (encoded as XDR)
2284    ...
2285  length of chunk
2286  struct guestfs_chunk (with data.data_len == 0)
2287
2288 The final chunk has the C<data_len> field set to zero.  Additionally a
2289 flag is set in the final chunk to indicate either successful
2290 completion or early cancellation.
2291
2292 At time of writing there are no functions that have more than one
2293 FileIn parameter.  However this is (theoretically) supported, by
2294 sending the sequence of chunks for each FileIn parameter one after
2295 another (from left to right).
2296
2297 Both the library (sender) I<and> the daemon (receiver) may cancel the
2298 transfer.  The library does this by sending a chunk with a special
2299 flag set to indicate cancellation.  When the daemon sees this, it
2300 cancels the whole RPC, does I<not> send any reply, and goes back to
2301 reading the next request.
2302
2303 The daemon may also cancel.  It does this by writing a special word
2304 C<GUESTFS_CANCEL_FLAG> to the socket.  The library listens for this
2305 during the transfer, and if it gets it, it will cancel the transfer
2306 (it sends a cancel chunk).  The special word is chosen so that even if
2307 cancellation happens right at the end of the transfer (after the
2308 library has finished writing and has started listening for the reply),
2309 the "spurious" cancel flag will not be confused with the reply
2310 message.
2311
2312 This protocol allows the transfer of arbitrary sized files (no 32 bit
2313 limit), and also files where the size is not known in advance
2314 (eg. from pipes or sockets).  However the chunks are rather small
2315 (C<GUESTFS_MAX_CHUNK_SIZE>), so that neither the library nor the
2316 daemon need to keep much in memory.
2317
2318 =head3 FUNCTIONS THAT HAVE FILEOUT PARAMETERS
2319
2320 The protocol for FileOut parameters is exactly the same as for FileIn
2321 parameters, but with the roles of daemon and library reversed.
2322
2323  total length (header + ret,
2324       but not including the length word itself,
2325       and not including the chunks)
2326  struct guestfs_message_header (encoded as XDR)
2327  struct guestfs_<foo>_ret (encoded as XDR)
2328  sequence of chunks for FileOut param #0
2329  sequence of chunks for FileOut param #1 etc.
2330
2331 =head3 INITIAL MESSAGE
2332
2333 When the daemon launches it sends an initial word
2334 (C<GUESTFS_LAUNCH_FLAG>) which indicates that the guest and daemon is
2335 alive.  This is what L</guestfs_launch> waits for.
2336
2337 =head3 PROGRESS NOTIFICATION MESSAGES
2338
2339 The daemon may send progress notification messages at any time.  These
2340 are distinguished by the normal length word being replaced by
2341 C<GUESTFS_PROGRESS_FLAG>, followed by a fixed size progress message.
2342
2343 The library turns them into progress callbacks (see
2344 L</GUESTFS_EVENT_PROGRESS>) if there is a callback registered, or
2345 discards them if not.
2346
2347 The daemon self-limits the frequency of progress messages it sends
2348 (see C<daemon/proto.c:notify_progress>).  Not all calls generate
2349 progress messages.
2350
2351 =head1 LIBGUESTFS VERSION NUMBERS
2352
2353 Since April 2010, libguestfs has started to make separate development
2354 and stable releases, along with corresponding branches in our git
2355 repository.  These separate releases can be identified by version
2356 number:
2357
2358                  even numbers for stable: 1.2.x, 1.4.x, ...
2359        .-------- odd numbers for development: 1.3.x, 1.5.x, ...
2360        |
2361        v
2362  1  .  3  .  5
2363  ^           ^
2364  |           |
2365  |           `-------- sub-version
2366  |
2367  `------ always '1' because we don't change the ABI
2368
2369 Thus "1.3.5" is the 5th update to the development branch "1.3".
2370
2371 As time passes we cherry pick fixes from the development branch and
2372 backport those into the stable branch, the effect being that the
2373 stable branch should get more stable and less buggy over time.  So the
2374 stable releases are ideal for people who don't need new features but
2375 would just like the software to work.
2376
2377 Our criteria for backporting changes are:
2378
2379 =over 4
2380
2381 =item *
2382
2383 Documentation changes which don't affect any code are
2384 backported unless the documentation refers to a future feature
2385 which is not in stable.
2386
2387 =item *
2388
2389 Bug fixes which are not controversial, fix obvious problems, and
2390 have been well tested are backported.
2391
2392 =item *
2393
2394 Simple rearrangements of code which shouldn't affect how it works get
2395 backported.  This is so that the code in the two branches doesn't get
2396 too far out of step, allowing us to backport future fixes more easily.
2397
2398 =item *
2399
2400 We I<don't> backport new features, new APIs, new tools etc, except in
2401 one exceptional case: the new feature is required in order to
2402 implement an important bug fix.
2403
2404 =back
2405
2406 A new stable branch starts when we think the new features in
2407 development are substantial and compelling enough over the current
2408 stable branch to warrant it.  When that happens we create new stable
2409 and development versions 1.N.0 and 1.(N+1).0 [N is even].  The new
2410 dot-oh release won't necessarily be so stable at this point, but by
2411 backporting fixes from development, that branch will stabilize over
2412 time.
2413
2414 =head1 EXTENDING LIBGUESTFS
2415
2416 =head2 ADDING A NEW API ACTION
2417
2418 Large amounts of boilerplate code in libguestfs (RPC, bindings,
2419 documentation) are generated, and this makes it easy to extend the
2420 libguestfs API.
2421
2422 To add a new API action there are two changes:
2423
2424 =over 4
2425
2426 =item 1.
2427
2428 You need to add a description of the call (name, parameters, return
2429 type, tests, documentation) to C<generator/generator_actions.ml>.
2430
2431 There are two sorts of API action, depending on whether the call goes
2432 through to the daemon in the appliance, or is serviced entirely by the
2433 library (see L</ARCHITECTURE> above).  L</guestfs_sync> is an example
2434 of the former, since the sync is done in the appliance.
2435 L</guestfs_set_trace> is an example of the latter, since a trace flag
2436 is maintained in the handle and all tracing is done on the library
2437 side.
2438
2439 Most new actions are of the first type, and get added to the
2440 C<daemon_functions> list.  Each function has a unique procedure number
2441 used in the RPC protocol which is assigned to that action when we
2442 publish libguestfs and cannot be reused.  Take the latest procedure
2443 number and increment it.
2444
2445 For library-only actions of the second type, add to the
2446 C<non_daemon_functions> list.  Since these functions are serviced by
2447 the library and do not travel over the RPC mechanism to the daemon,
2448 these functions do not need a procedure number, and so the procedure
2449 number is set to C<-1>.
2450
2451 =item 2.
2452
2453 Implement the action (in C):
2454
2455 For daemon actions, implement the function C<do_E<lt>nameE<gt>> in the
2456 C<daemon/> directory.
2457
2458 For library actions, implement the function C<guestfs__E<lt>nameE<gt>>
2459 (note: double underscore) in the C<src/> directory.
2460
2461 In either case, use another function as an example of what to do.
2462
2463 =back
2464
2465 After making these changes, use C<make> to compile.
2466
2467 Note that you don't need to implement the RPC, language bindings,
2468 manual pages or anything else.  It's all automatically generated from
2469 the OCaml description.
2470
2471 =head2 ADDING TESTS FOR AN API ACTION
2472
2473 You can supply zero or as many tests as you want per API call.  The
2474 tests can either be added as part of the API description
2475 (C<generator/generator_actions.ml>), or in some rarer cases you may
2476 want to drop a script into C<regressions/>.  Note that adding a script
2477 to C<regressions/> is slower, so if possible use the first method.
2478
2479 The following describes the test environment used when you add an API
2480 test in C<generator_actions.ml>.
2481
2482 The test environment has 4 block devices:
2483
2484 =over 4
2485
2486 =item C</dev/sda> 500MB
2487
2488 General block device for testing.
2489
2490 =item C</dev/sdb> 50MB
2491
2492 C</dev/sdb1> is an ext2 filesystem used for testing
2493 filesystem write operations.
2494
2495 =item C</dev/sdc> 10MB
2496
2497 Used in a few tests where two block devices are needed.
2498
2499 =item C</dev/sdd>
2500
2501 ISO with fixed content (see C<images/test.iso>).
2502
2503 =back
2504
2505 To be able to run the tests in a reasonable amount of time, the
2506 libguestfs appliance and block devices are reused between tests.  So
2507 don't try testing L</guestfs_kill_subprocess> :-x
2508
2509 Each test starts with an initial scenario, selected using one of the
2510 C<Init*> expressions, described in C<generator/generator_types.ml>.
2511 These initialize the disks mentioned above in a particular way as
2512 documented in C<generator_types.ml>.  You should not assume anything
2513 about the previous contents of other disks that are not initialized.
2514
2515 You can add a prerequisite clause to any individual test.  This is a
2516 run-time check, which, if it fails, causes the test to be skipped.
2517 Useful if testing a command which might not work on all variations of
2518 libguestfs builds.  A test that has prerequisite of C<Always> means to
2519 run unconditionally.
2520
2521 In addition, packagers can skip individual tests by setting
2522 environment variables before running C<make check>.
2523
2524  SKIP_TEST_<CMD>_<NUM>=1
2525
2526 eg: C<SKIP_TEST_COMMAND_3=1> skips test #3 of L</guestfs_command>.
2527
2528 or:
2529
2530  SKIP_TEST_<CMD>=1
2531
2532 eg: C<SKIP_TEST_ZEROFREE=1> skips all L</guestfs_zerofree> tests.
2533
2534 Packagers can run only certain tests by setting for example:
2535
2536  TEST_ONLY="vfs_type zerofree"
2537
2538 See C<capitests/tests.c> for more details of how these environment
2539 variables work.
2540
2541 =head2 DEBUGGING NEW API ACTIONS
2542
2543 Test new actions work before submitting them.
2544
2545 You can use guestfish to try out new commands.
2546
2547 Debugging the daemon is a problem because it runs inside a minimal
2548 environment.  However you can fprintf messages in the daemon to
2549 stderr, and they will show up if you use C<guestfish -v>.
2550
2551 =head2 FORMATTING CODE AND OTHER CONVENTIONS
2552
2553 Our C source code generally adheres to some basic code-formatting
2554 conventions.  The existing code base is not totally consistent on this
2555 front, but we do prefer that contributed code be formatted similarly.
2556 In short, use spaces-not-TABs for indentation, use 2 spaces for each
2557 indentation level, and other than that, follow the K&R style.
2558
2559 If you use Emacs, add the following to one of one of your start-up files
2560 (e.g., ~/.emacs), to help ensure that you get indentation right:
2561
2562  ;;; In libguestfs, indent with spaces everywhere (not TABs).
2563  ;;; Exceptions: Makefile and ChangeLog modes.
2564  (add-hook 'find-file-hook
2565      '(lambda () (if (and buffer-file-name
2566                           (string-match "/libguestfs\\>"
2567                               (buffer-file-name))
2568                           (not (string-equal mode-name "Change Log"))
2569                           (not (string-equal mode-name "Makefile")))
2570                      (setq indent-tabs-mode nil))))
2571  
2572  ;;; When editing C sources in libguestfs, use this style.
2573  (defun libguestfs-c-mode ()
2574    "C mode with adjusted defaults for use with libguestfs."
2575    (interactive)
2576    (c-set-style "K&R")
2577    (setq c-indent-level 2)
2578    (setq c-basic-offset 2))
2579  (add-hook 'c-mode-hook
2580            '(lambda () (if (string-match "/libguestfs\\>"
2581                                (buffer-file-name))
2582                            (libguestfs-c-mode))))
2583
2584 Enable warnings when compiling (and fix any problems this
2585 finds):
2586
2587  ./configure --enable-gcc-warnings
2588
2589 Useful targets are:
2590
2591  make syntax-check  # checks the syntax of the C code
2592  make check         # runs the test suite
2593
2594 =head2 DAEMON CUSTOM PRINTF FORMATTERS
2595
2596 In the daemon code we have created custom printf formatters C<%Q> and
2597 C<%R>, which are used to do shell quoting.
2598
2599 =over 4
2600
2601 =item %Q
2602
2603 Simple shell quoted string.  Any spaces or other shell characters are
2604 escaped for you.
2605
2606 =item %R
2607
2608 Same as C<%Q> except the string is treated as a path which is prefixed
2609 by the sysroot.
2610
2611 =back
2612
2613 For example:
2614
2615  asprintf (&cmd, "cat %R", path);
2616
2617 would produce C<cat /sysroot/some\ path\ with\ spaces>
2618
2619 I<Note:> Do I<not> use these when you are passing parameters to the
2620 C<command{,r,v,rv}()> functions.  These parameters do NOT need to be
2621 quoted because they are not passed via the shell (instead, straight to
2622 exec).  You probably want to use the C<sysroot_path()> function
2623 however.
2624
2625 =head2 SUBMITTING YOUR NEW API ACTIONS
2626
2627 Submit patches to the mailing list:
2628 L<http://www.redhat.com/mailman/listinfo/libguestfs>
2629 and CC to L<rjones@redhat.com>.
2630
2631 =head2 INTERNATIONALIZATION (I18N) SUPPORT
2632
2633 We support i18n (gettext anyhow) in the library.
2634
2635 However many messages come from the daemon, and we don't translate
2636 those at the moment.  One reason is that the appliance generally has
2637 all locale files removed from it, because they take up a lot of space.
2638 So we'd have to readd some of those, as well as copying our PO files
2639 into the appliance.
2640
2641 Debugging messages are never translated, since they are intended for
2642 the programmers.
2643
2644 =head2 SOURCE CODE SUBDIRECTORIES
2645
2646 =over 4
2647
2648 =item C<appliance>
2649
2650 The libguestfs appliance, build scripts and so on.
2651
2652 =item C<capitests>
2653
2654 Automated tests of the C API.
2655
2656 =item C<cat>
2657
2658 The L<virt-cat(1)>, L<virt-filesystems(1)> and L<virt-ls(1)> commands
2659 and documentation.
2660
2661 =item C<contrib>
2662
2663 Outside contributions, experimental parts.
2664
2665 =item C<daemon>
2666
2667 The daemon that runs inside the libguestfs appliance and carries out
2668 actions.
2669
2670 =item C<df>
2671
2672 L<virt-df(1)> command and documentation.
2673
2674 =item C<edit>
2675
2676 L<virt-edit(1)> command and documentation.
2677
2678 =item C<examples>
2679
2680 C API example code.
2681
2682 =item C<fish>
2683
2684 L<guestfish(1)>, the command-line shell, and various shell scripts
2685 built on top such as L<virt-copy-in(1)>, L<virt-copy-out(1)>,
2686 L<virt-tar-in(1)>, L<virt-tar-out(1)>.
2687
2688 =item C<fuse>
2689
2690 L<guestmount(1)>, FUSE (userspace filesystem) built on top of libguestfs.
2691
2692 =item C<generator>
2693
2694 The crucially important generator, used to automatically generate
2695 large amounts of boilerplate C code for things like RPC and bindings.
2696
2697 =item C<images>
2698
2699 Files used by the test suite.
2700
2701 Some "phony" guest images which we test against.
2702
2703 =item C<inspector>
2704
2705 L<virt-inspector(1)>, the virtual machine image inspector.
2706
2707 =item C<logo>
2708
2709 Logo used on the website.  The fish is called Arthur by the way.
2710
2711 =item C<m4>
2712
2713 M4 macros used by autoconf.
2714
2715 =item C<po>
2716
2717 Translations of simple gettext strings.
2718
2719 =item C<po-docs>
2720
2721 The build infrastructure and PO files for translations of manpages and
2722 POD files.  Eventually this will be combined with the C<po> directory,
2723 but that is rather complicated.
2724
2725 =item C<regressions>
2726
2727 Regression tests.
2728
2729 =item C<rescue>
2730
2731 L<virt-rescue(1)> command and documentation.
2732
2733 =item C<src>
2734
2735 Source code to the C library.
2736
2737 =item C<tools>
2738
2739 Command line tools written in Perl (L<virt-resize(1)> and many others).
2740
2741 =item C<test-tool>
2742
2743 Test tool for end users to test if their qemu/kernel combination
2744 will work with libguestfs.
2745
2746 =item C<csharp>
2747
2748 =item C<haskell>
2749
2750 =item C<java>
2751
2752 =item C<ocaml>
2753
2754 =item C<php>
2755
2756 =item C<perl>
2757
2758 =item C<python>
2759
2760 =item C<ruby>
2761
2762 Language bindings.
2763
2764 =back
2765
2766 =head1 LIMITS
2767
2768 =head2 PROTOCOL LIMITS
2769
2770 Internally libguestfs uses a message-based protocol to pass API calls
2771 and their responses to and from a small "appliance" (see L</INTERNALS>
2772 for plenty more detail about this).  The maximum message size used by
2773 the protocol is slightly less than 4 MB.  For some API calls you may
2774 need to be aware of this limit.  The API calls which may be affected
2775 are individually documented, with a link back to this section of the
2776 documentation.
2777
2778 A simple call such as L</guestfs_cat> returns its result (the file
2779 data) in a simple string.  Because this string is at some point
2780 internally encoded as a message, the maximum size that it can return
2781 is slightly under 4 MB.  If the requested file is larger than this
2782 then you will get an error.
2783
2784 In order to transfer large files into and out of the guest filesystem,
2785 you need to use particular calls that support this.  The sections
2786 L</UPLOADING> and L</DOWNLOADING> document how to do this.
2787
2788 You might also consider mounting the disk image using our FUSE
2789 filesystem support (L<guestmount(1)>).
2790
2791 =head2 MAXIMUM NUMBER OF DISKS
2792
2793 When using virtio disks (the default) the current limit is B<25>
2794 disks.
2795
2796 Virtio itself consumes 1 virtual PCI slot per disk, and PCI is limited
2797 to 31 slots.  However febootstrap only understands disks with names
2798 C</dev/vda> through C</dev/vdz> (26 letters) and it reserves one disk
2799 for its own purposes.
2800
2801 We are working to substantially raise this limit in future versions
2802 but it requires complex changes to qemu.
2803
2804 In future versions of libguestfs it should also be possible to "hot
2805 plug" disks (add and remove disks after calling L</guestfs_launch>).
2806 This also requires changes to qemu.
2807
2808 =head2 MAXIMUM NUMBER OF PARTITIONS PER DISK
2809
2810 Virtio limits the maximum number of partitions per disk to B<15>.
2811
2812 This is because it reserves 4 bits for the minor device number (thus
2813 C</dev/vda>, and C</dev/vda1> through C</dev/vda15>).
2814
2815 If you attach a disk with more than 15 partitions, the extra
2816 partitions are ignored by libguestfs.
2817
2818 =head2 MAXIMUM SIZE OF A DISK
2819
2820 Probably the limit is between 2**63-1 and 2**64-1 bytes.
2821
2822 We have tested block devices up to 1 exabyte (2**60 or
2823 1,152,921,504,606,846,976 bytes) using sparse files backed by an XFS
2824 host filesystem.
2825
2826 Although libguestfs probably does not impose any limit, the underlying
2827 host storage will.  If you store disk images on a host ext4
2828 filesystem, then the maximum size will be limited by the maximum ext4
2829 file size (currently 16 TB).  If you store disk images as host logical
2830 volumes then you are limited by the maximum size of an LV.
2831
2832 For the hugest disk image files, we recommend using XFS on the host
2833 for storage.
2834
2835 =head2 MAXIMUM SIZE OF A PARTITION
2836
2837 The MBR (ie. classic MS-DOS) partitioning scheme uses 32 bit sector
2838 numbers.  Assuming a 512 byte sector size, this means that MBR cannot
2839 address a partition located beyond 2 TB on the disk.
2840
2841 It is recommended that you use GPT partitions on disks which are
2842 larger than this size.  GPT uses 64 bit sector numbers and so can
2843 address partitions which are theoretically larger than the largest
2844 disk we could support.
2845
2846 =head2 MAXIMUM SIZE OF A FILESYSTEM, FILES, DIRECTORIES
2847
2848 This depends on the filesystem type.  libguestfs itself does not
2849 impose any known limit.  Consult Wikipedia or the filesystem
2850 documentation to find out what these limits are.
2851
2852 =head2 MAXIMUM UPLOAD AND DOWNLOAD
2853
2854 The API functions L</guestfs_upload>, L</guestfs_download>,
2855 L</guestfs_tar_in>, L</guestfs_tar_out> and the like allow unlimited
2856 sized uploads and downloads.
2857
2858 =head2 INSPECTION LIMITS
2859
2860 The inspection code has several arbitrary limits on things like the
2861 size of Windows Registry hive it will read, and the length of product
2862 name.  These are intended to stop a malicious guest from consuming
2863 arbitrary amounts of memory and disk space on the host, and should not
2864 be reached in practice.  See the source code for more information.
2865
2866 =head1 ENVIRONMENT VARIABLES
2867
2868 =over 4
2869
2870 =item LIBGUESTFS_APPEND
2871
2872 Pass additional options to the guest kernel.
2873
2874 =item LIBGUESTFS_DEBUG
2875
2876 Set C<LIBGUESTFS_DEBUG=1> to enable verbose messages.  This
2877 has the same effect as calling C<guestfs_set_verbose (g, 1)>.
2878
2879 =item LIBGUESTFS_MEMSIZE
2880
2881 Set the memory allocated to the qemu process, in megabytes.  For
2882 example:
2883
2884  LIBGUESTFS_MEMSIZE=700
2885
2886 =item LIBGUESTFS_PATH
2887
2888 Set the path that libguestfs uses to search for a supermin appliance.
2889 See the discussion of paths in section L</PATH> above.
2890
2891 =item LIBGUESTFS_QEMU
2892
2893 Set the default qemu binary that libguestfs uses.  If not set, then
2894 the qemu which was found at compile time by the configure script is
2895 used.
2896
2897 See also L</QEMU WRAPPERS> above.
2898
2899 =item LIBGUESTFS_TRACE
2900
2901 Set C<LIBGUESTFS_TRACE=1> to enable command traces.  This
2902 has the same effect as calling C<guestfs_set_trace (g, 1)>.
2903
2904 =item TMPDIR
2905
2906 Location of temporary directory, defaults to C</tmp> except for the
2907 cached supermin appliance which defaults to C</var/tmp>.
2908
2909 If libguestfs was compiled to use the supermin appliance then the
2910 real appliance is cached in this directory, shared between all
2911 handles belonging to the same EUID.  You can use C<$TMPDIR> to
2912 configure another directory to use in case C</var/tmp> is not large
2913 enough.
2914
2915 =back
2916
2917 =head1 SEE ALSO
2918
2919 L<guestfs-examples(3)>,
2920 L<guestfs-ocaml(3)>,
2921 L<guestfs-python(3)>,
2922 L<guestfs-ruby(3)>,
2923 L<guestfish(1)>,
2924 L<guestmount(1)>,
2925 L<virt-cat(1)>,
2926 L<virt-copy-in(1)>,
2927 L<virt-copy-out(1)>,
2928 L<virt-df(1)>,
2929 L<virt-edit(1)>,
2930 L<virt-filesystems(1)>,
2931 L<virt-inspector(1)>,
2932 L<virt-list-filesystems(1)>,
2933 L<virt-list-partitions(1)>,
2934 L<virt-ls(1)>,
2935 L<virt-make-fs(1)>,
2936 L<virt-rescue(1)>,
2937 L<virt-tar(1)>,
2938 L<virt-tar-in(1)>,
2939 L<virt-tar-out(1)>,
2940 L<virt-win-reg(1)>,
2941 L<qemu(1)>,
2942 L<febootstrap(1)>,
2943 L<hivex(3)>,
2944 L<http://libguestfs.org/>.
2945
2946 Tools with a similar purpose:
2947 L<fdisk(8)>,
2948 L<parted(8)>,
2949 L<kpartx(8)>,
2950 L<lvm(8)>,
2951 L<disktype(1)>.
2952
2953 =head1 BUGS
2954
2955 To get a list of bugs against libguestfs use this link:
2956
2957 L<https://bugzilla.redhat.com/buglist.cgi?component=libguestfs&product=Virtualization+Tools>
2958
2959 To report a new bug against libguestfs use this link:
2960
2961 L<https://bugzilla.redhat.com/enter_bug.cgi?component=libguestfs&product=Virtualization+Tools>
2962
2963 When reporting a bug, please check:
2964
2965 =over 4
2966
2967 =item *
2968
2969 That the bug hasn't been reported already.
2970
2971 =item *
2972
2973 That you are testing a recent version.
2974
2975 =item *
2976
2977 Describe the bug accurately, and give a way to reproduce it.
2978
2979 =item *
2980
2981 Run libguestfs-test-tool and paste the B<complete, unedited>
2982 output into the bug report.
2983
2984 =back
2985
2986 =head1 AUTHORS
2987
2988 Richard W.M. Jones (C<rjones at redhat dot com>)
2989
2990 =head1 COPYRIGHT
2991
2992 Copyright (C) 2009-2011 Red Hat Inc.
2993 L<http://libguestfs.org/>
2994
2995 This library is free software; you can redistribute it and/or
2996 modify it under the terms of the GNU Lesser General Public
2997 License as published by the Free Software Foundation; either
2998 version 2 of the License, or (at your option) any later version.
2999
3000 This library is distributed in the hope that it will be useful,
3001 but WITHOUT ANY WARRANTY; without even the implied warranty of
3002 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
3003 Lesser General Public License for more details.
3004
3005 You should have received a copy of the GNU Lesser General Public
3006 License along with this library; if not, write to the Free Software
3007 Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA