appliance: Fedora cryptsetup-luks renamed to cryptsetup.
[libguestfs.git] / src / guestfs.pod
1 =encoding utf8
2
3 =head1 NAME
4
5 guestfs - Library for accessing and modifying virtual machine images
6
7 =head1 SYNOPSIS
8
9  #include <guestfs.h>
10  
11  guestfs_h *g = guestfs_create ();
12  guestfs_add_drive (g, "guest.img");
13  guestfs_launch (g);
14  guestfs_mount (g, "/dev/sda1", "/");
15  guestfs_touch (g, "/hello");
16  guestfs_umount (g, "/");
17  guestfs_close (g);
18
19  cc prog.c -o prog -lguestfs
20 or:
21  cc prog.c -o prog `pkg-config libguestfs --cflags --libs`
22
23 =head1 DESCRIPTION
24
25 Libguestfs is a library for accessing and modifying guest disk images.
26 Amongst the things this is good for: making batch configuration
27 changes to guests, getting disk used/free statistics (see also:
28 virt-df), migrating between virtualization systems (see also:
29 virt-p2v), performing partial backups, performing partial guest
30 clones, cloning guests and changing registry/UUID/hostname info, and
31 much else besides.
32
33 Libguestfs uses Linux kernel and qemu code, and can access any type of
34 guest filesystem that Linux and qemu can, including but not limited
35 to: ext2/3/4, btrfs, FAT and NTFS, LVM, many different disk partition
36 schemes, qcow, qcow2, vmdk.
37
38 Libguestfs provides ways to enumerate guest storage (eg. partitions,
39 LVs, what filesystem is in each LV, etc.).  It can also run commands
40 in the context of the guest.  Also you can access filesystems over
41 FUSE.
42
43 Libguestfs is a library that can be linked with C and C++ management
44 programs (or management programs written in OCaml, Perl, Python, Ruby,
45 Java, PHP, Erlang, Haskell or C#).  You can also use it from shell
46 scripts or the command line.
47
48 You don't need to be root to use libguestfs, although obviously you do
49 need enough permissions to access the disk images.
50
51 Libguestfs is a large API because it can do many things.  For a gentle
52 introduction, please read the L</API OVERVIEW> section next.
53
54 There are also some example programs in the L<guestfs-examples(3)>
55 manual page.
56
57 =head1 API OVERVIEW
58
59 This section provides a gentler overview of the libguestfs API.  We
60 also try to group API calls together, where that may not be obvious
61 from reading about the individual calls in the main section of this
62 manual.
63
64 =head2 HANDLES
65
66 Before you can use libguestfs calls, you have to create a handle.
67 Then you must add at least one disk image to the handle, followed by
68 launching the handle, then performing whatever operations you want,
69 and finally closing the handle.  By convention we use the single
70 letter C<g> for the name of the handle variable, although of course
71 you can use any name you want.
72
73 The general structure of all libguestfs-using programs looks like
74 this:
75
76  guestfs_h *g = guestfs_create ();
77  
78  /* Call guestfs_add_drive additional times if there are
79   * multiple disk images.
80   */
81  guestfs_add_drive (g, "guest.img");
82  
83  /* Most manipulation calls won't work until you've launched
84   * the handle 'g'.  You have to do this _after_ adding drives
85   * and _before_ other commands.
86   */
87  guestfs_launch (g);
88  
89  /* Now you can examine what partitions, LVs etc are available.
90   */
91  char **partitions = guestfs_list_partitions (g);
92  char **logvols = guestfs_lvs (g);
93  
94  /* To access a filesystem in the image, you must mount it.
95   */
96  guestfs_mount (g, "/dev/sda1", "/");
97  
98  /* Now you can perform filesystem actions on the guest
99   * disk image.
100   */
101  guestfs_touch (g, "/hello");
102  
103  /* This is only needed for libguestfs < 1.5.24.  Since then
104   * it is done automatically when you close the handle.  See
105   * discussion of autosync in this page.
106   */
107  guestfs_sync (g);
108  
109  /* Close the handle 'g'. */
110  guestfs_close (g);
111
112 The code above doesn't include any error checking.  In real code you
113 should check return values carefully for errors.  In general all
114 functions that return integers return C<-1> on error, and all
115 functions that return pointers return C<NULL> on error.  See section
116 L</ERROR HANDLING> below for how to handle errors, and consult the
117 documentation for each function call below to see precisely how they
118 return error indications.  See L<guestfs-examples(3)> for fully worked
119 examples.
120
121 =head2 DISK IMAGES
122
123 The image filename (C<"guest.img"> in the example above) could be a
124 disk image from a virtual machine, a L<dd(1)> copy of a physical hard
125 disk, an actual block device, or simply an empty file of zeroes that
126 you have created through L<posix_fallocate(3)>.  Libguestfs lets you
127 do useful things to all of these.
128
129 The call you should use in modern code for adding drives is
130 L</guestfs_add_drive_opts>.  To add a disk image, allowing writes, and
131 specifying that the format is raw, do:
132
133  guestfs_add_drive_opts (g, filename,
134                          GUESTFS_ADD_DRIVE_OPTS_FORMAT, "raw",
135                          -1);
136
137 You can add a disk read-only using:
138
139  guestfs_add_drive_opts (g, filename,
140                          GUESTFS_ADD_DRIVE_OPTS_FORMAT, "raw",
141                          GUESTFS_ADD_DRIVE_OPTS_READONLY, 1,
142                          -1);
143
144 or by calling the older function L</guestfs_add_drive_ro>.  In either
145 case libguestfs won't modify the file.
146
147 Be extremely cautious if the disk image is in use, eg. if it is being
148 used by a virtual machine.  Adding it read-write will almost certainly
149 cause disk corruption, but adding it read-only is safe.
150
151 You must add at least one disk image, and you may add multiple disk
152 images.  In the API, the disk images are usually referred to as
153 C</dev/sda> (for the first one you added), C</dev/sdb> (for the second
154 one you added), etc.
155
156 Once L</guestfs_launch> has been called you cannot add any more images.
157 You can call L</guestfs_list_devices> to get a list of the device
158 names, in the order that you added them.  See also L</BLOCK DEVICE
159 NAMING> below.
160
161 =head2 MOUNTING
162
163 Before you can read or write files, create directories and so on in a
164 disk image that contains filesystems, you have to mount those
165 filesystems using L</guestfs_mount_options> or L</guestfs_mount_ro>.
166 If you already know that a disk image contains (for example) one
167 partition with a filesystem on that partition, then you can mount it
168 directly:
169
170  guestfs_mount_options (g, "", "/dev/sda1", "/");
171
172 where C</dev/sda1> means literally the first partition (C<1>) of the
173 first disk image that we added (C</dev/sda>).  If the disk contains
174 Linux LVM2 logical volumes you could refer to those instead
175 (eg. C</dev/VG/LV>).  Note that these are libguestfs virtual devices,
176 and are nothing to do with host devices.
177
178 If you are given a disk image and you don't know what it contains then
179 you have to find out.  Libguestfs can do that too: use
180 L</guestfs_list_partitions> and L</guestfs_lvs> to list possible
181 partitions and LVs, and either try mounting each to see what is
182 mountable, or else examine them with L</guestfs_vfs_type> or
183 L</guestfs_file>.  To list just filesystems, use
184 L</guestfs_list_filesystems>.
185
186 Libguestfs also has a set of APIs for inspection of unknown disk
187 images (see L</INSPECTION> below).  But you might find it easier to
188 look at higher level programs built on top of libguestfs, in
189 particular L<virt-inspector(1)>.
190
191 To mount a filesystem read-only, use L</guestfs_mount_ro>.  There are
192 several other variations of the C<guestfs_mount_*> call.
193
194 =head2 FILESYSTEM ACCESS AND MODIFICATION
195
196 The majority of the libguestfs API consists of fairly low-level calls
197 for accessing and modifying the files, directories, symlinks etc on
198 mounted filesystems.  There are over a hundred such calls which you
199 can find listed in detail below in this man page, and we don't even
200 pretend to cover them all in this overview.
201
202 Specify filenames as full paths, starting with C<"/"> and including
203 the mount point.
204
205 For example, if you mounted a filesystem at C<"/"> and you want to
206 read the file called C<"etc/passwd"> then you could do:
207
208  char *data = guestfs_cat (g, "/etc/passwd");
209
210 This would return C<data> as a newly allocated buffer containing the
211 full content of that file (with some conditions: see also
212 L</DOWNLOADING> below), or C<NULL> if there was an error.
213
214 As another example, to create a top-level directory on that filesystem
215 called C<"var"> you would do:
216
217  guestfs_mkdir (g, "/var");
218
219 To create a symlink you could do:
220
221  guestfs_ln_s (g, "/etc/init.d/portmap",
222                "/etc/rc3.d/S30portmap");
223
224 Libguestfs will reject attempts to use relative paths and there is no
225 concept of a current working directory.
226
227 Libguestfs can return errors in many situations: for example if the
228 filesystem isn't writable, or if a file or directory that you
229 requested doesn't exist.  If you are using the C API (documented here)
230 you have to check for those error conditions after each call.  (Other
231 language bindings turn these errors into exceptions).
232
233 File writes are affected by the per-handle umask, set by calling
234 L</guestfs_umask> and defaulting to 022.  See L</UMASK>.
235
236 =head2 PARTITIONING
237
238 Libguestfs contains API calls to read, create and modify partition
239 tables on disk images.
240
241 In the common case where you want to create a single partition
242 covering the whole disk, you should use the L</guestfs_part_disk>
243 call:
244
245  const char *parttype = "mbr";
246  if (disk_is_larger_than_2TB)
247    parttype = "gpt";
248  guestfs_part_disk (g, "/dev/sda", parttype);
249
250 Obviously this effectively wipes anything that was on that disk image
251 before.
252
253 =head2 LVM2
254
255 Libguestfs provides access to a large part of the LVM2 API, such as
256 L</guestfs_lvcreate> and L</guestfs_vgremove>.  It won't make much sense
257 unless you familiarize yourself with the concepts of physical volumes,
258 volume groups and logical volumes.
259
260 This author strongly recommends reading the LVM HOWTO, online at
261 L<http://tldp.org/HOWTO/LVM-HOWTO/>.
262
263 =head2 DOWNLOADING
264
265 Use L</guestfs_cat> to download small, text only files.  This call is
266 limited to files which are less than 2 MB and which cannot contain any
267 ASCII NUL (C<\0>) characters.  However the API is very simple to use.
268
269 L</guestfs_read_file> can be used to read files which contain
270 arbitrary 8 bit data, since it returns a (pointer, size) pair.
271 However it is still limited to "small" files, less than 2 MB.
272
273 L</guestfs_download> can be used to download any file, with no
274 limits on content or size (even files larger than 4 GB).
275
276 To download multiple files, see L</guestfs_tar_out> and
277 L</guestfs_tgz_out>.
278
279 =head2 UPLOADING
280
281 It's often the case that you want to write a file or files to the disk
282 image.
283
284 To write a small file with fixed content, use L</guestfs_write>.  To
285 create a file of all zeroes, use L</guestfs_truncate_size> (sparse) or
286 L</guestfs_fallocate64> (with all disk blocks allocated).  There are a
287 variety of other functions for creating test files, for example
288 L</guestfs_fill> and L</guestfs_fill_pattern>.
289
290 To upload a single file, use L</guestfs_upload>.  This call has no
291 limits on file content or size (even files larger than 4 GB).
292
293 To upload multiple files, see L</guestfs_tar_in> and L</guestfs_tgz_in>.
294
295 However the fastest way to upload I<large numbers of arbitrary files>
296 is to turn them into a squashfs or CD ISO (see L<mksquashfs(8)> and
297 L<mkisofs(8)>), then attach this using L</guestfs_add_drive_ro>.  If
298 you add the drive in a predictable way (eg. adding it last after all
299 other drives) then you can get the device name from
300 L</guestfs_list_devices> and mount it directly using
301 L</guestfs_mount_ro>.  Note that squashfs images are sometimes
302 non-portable between kernel versions, and they don't support labels or
303 UUIDs.  If you want to pre-build an image or you need to mount it
304 using a label or UUID, use an ISO image instead.
305
306 =head2 COPYING
307
308 There are various different commands for copying between files and
309 devices and in and out of the guest filesystem.  These are summarised
310 in the table below.
311
312 =over 4
313
314 =item B<file> to B<file>
315
316 Use L</guestfs_cp> to copy a single file, or
317 L</guestfs_cp_a> to copy directories recursively.
318
319 =item B<file or device> to B<file or device>
320
321 Use L</guestfs_dd> which efficiently uses L<dd(1)>
322 to copy between files and devices in the guest.
323
324 Example: duplicate the contents of an LV:
325
326  guestfs_dd (g, "/dev/VG/Original", "/dev/VG/Copy");
327
328 The destination (C</dev/VG/Copy>) must be at least as large as the
329 source (C</dev/VG/Original>).  To copy less than the whole
330 source device, use L</guestfs_copy_size>.
331
332 =item B<file on the host> to B<file or device>
333
334 Use L</guestfs_upload>.  See L</UPLOADING> above.
335
336 =item B<file or device> to B<file on the host>
337
338 Use L</guestfs_download>.  See L</DOWNLOADING> above.
339
340 =back
341
342 =head2 UPLOADING AND DOWNLOADING TO PIPES AND FILE DESCRIPTORS
343
344 Calls like L</guestfs_upload>, L</guestfs_download>,
345 L</guestfs_tar_in>, L</guestfs_tar_out> etc appear to only take
346 filenames as arguments, so it appears you can only upload and download
347 to files.  However many Un*x-like hosts let you use the special device
348 files C</dev/stdin>, C</dev/stdout>, C</dev/stderr> and C</dev/fd/N>
349 to read and write from stdin, stdout, stderr, and arbitrary file
350 descriptor N.
351
352 For example, L<virt-cat(1)> writes its output to stdout by
353 doing:
354
355  guestfs_download (g, filename, "/dev/stdout");
356
357 and you can write tar output to a file descriptor C<fd> by doing:
358
359  char devfd[64];
360  snprintf (devfd, sizeof devfd, "/dev/fd/%d", fd);
361  guestfs_tar_out (g, "/", devfd);
362
363 =head2 LISTING FILES
364
365 L</guestfs_ll> is just designed for humans to read (mainly when using
366 the L<guestfish(1)>-equivalent command C<ll>).
367
368 L</guestfs_ls> is a quick way to get a list of files in a directory
369 from programs, as a flat list of strings.
370
371 L</guestfs_readdir> is a programmatic way to get a list of files in a
372 directory, plus additional information about each one.  It is more
373 equivalent to using the L<readdir(3)> call on a local filesystem.
374
375 L</guestfs_find> and L</guestfs_find0> can be used to recursively list
376 files.
377
378 =head2 RUNNING COMMANDS
379
380 Although libguestfs is primarily an API for manipulating files
381 inside guest images, we also provide some limited facilities for
382 running commands inside guests.
383
384 There are many limitations to this:
385
386 =over 4
387
388 =item *
389
390 The kernel version that the command runs under will be different
391 from what it expects.
392
393 =item *
394
395 If the command needs to communicate with daemons, then most likely
396 they won't be running.
397
398 =item *
399
400 The command will be running in limited memory.
401
402 =item *
403
404 The network may not be available unless you enable it
405 (see L</guestfs_set_network>).
406
407 =item *
408
409 Only supports Linux guests (not Windows, BSD, etc).
410
411 =item *
412
413 Architecture limitations (eg. won't work for a PPC guest on
414 an X86 host).
415
416 =item *
417
418 For SELinux guests, you may need to enable SELinux and load policy
419 first.  See L</SELINUX> in this manpage.
420
421 =item *
422
423 I<Security:> It is not safe to run commands from untrusted, possibly
424 malicious guests.  These commands may attempt to exploit your program
425 by sending unexpected output.  They could also try to exploit the
426 Linux kernel or qemu provided by the libguestfs appliance.  They could
427 use the network provided by the libguestfs appliance to bypass
428 ordinary network partitions and firewalls.  They could use the
429 elevated privileges or different SELinux context of your program
430 to their advantage.
431
432 A secure alternative is to use libguestfs to install a "firstboot"
433 script (a script which runs when the guest next boots normally), and
434 to have this script run the commands you want in the normal context of
435 the running guest, network security and so on.  For information about
436 other security issues, see L</SECURITY>.
437
438 =back
439
440 The two main API calls to run commands are L</guestfs_command> and
441 L</guestfs_sh> (there are also variations).
442
443 The difference is that L</guestfs_sh> runs commands using the shell, so
444 any shell globs, redirections, etc will work.
445
446 =head2 CONFIGURATION FILES
447
448 To read and write configuration files in Linux guest filesystems, we
449 strongly recommend using Augeas.  For example, Augeas understands how
450 to read and write, say, a Linux shadow password file or X.org
451 configuration file, and so avoids you having to write that code.
452
453 The main Augeas calls are bound through the C<guestfs_aug_*> APIs.  We
454 don't document Augeas itself here because there is excellent
455 documentation on the L<http://augeas.net/> website.
456
457 If you don't want to use Augeas (you fool!) then try calling
458 L</guestfs_read_lines> to get the file as a list of lines which
459 you can iterate over.
460
461 =head2 SELINUX
462
463 We support SELinux guests.  To ensure that labeling happens correctly
464 in SELinux guests, you need to enable SELinux and load the guest's
465 policy:
466
467 =over 4
468
469 =item 1.
470
471 Before launching, do:
472
473  guestfs_set_selinux (g, 1);
474
475 =item 2.
476
477 After mounting the guest's filesystem(s), load the policy.  This
478 is best done by running the L<load_policy(8)> command in the
479 guest itself:
480
481  guestfs_sh (g, "/usr/sbin/load_policy");
482
483 (Older versions of C<load_policy> require you to specify the
484 name of the policy file).
485
486 =item 3.
487
488 Optionally, set the security context for the API.  The correct
489 security context to use can only be known by inspecting the
490 guest.  As an example:
491
492  guestfs_setcon (g, "unconfined_u:unconfined_r:unconfined_t:s0");
493
494 =back
495
496 This will work for running commands and editing existing files.
497
498 When new files are created, you may need to label them explicitly,
499 for example by running the external command
500 C<restorecon pathname>.
501
502 =head2 UMASK
503
504 Certain calls are affected by the current file mode creation mask (the
505 "umask").  In particular ones which create files or directories, such
506 as L</guestfs_touch>, L</guestfs_mknod> or L</guestfs_mkdir>.  This
507 affects either the default mode that the file is created with or
508 modifies the mode that you supply.
509
510 The default umask is C<022>, so files are created with modes such as
511 C<0644> and directories with C<0755>.
512
513 There are two ways to avoid being affected by umask.  Either set umask
514 to 0 (call C<guestfs_umask (g, 0)> early after launching).  Or call
515 L</guestfs_chmod> after creating each file or directory.
516
517 For more information about umask, see L<umask(2)>.
518
519 =head2 ENCRYPTED DISKS
520
521 Libguestfs allows you to access Linux guests which have been
522 encrypted using whole disk encryption that conforms to the
523 Linux Unified Key Setup (LUKS) standard.  This includes
524 nearly all whole disk encryption systems used by modern
525 Linux guests.
526
527 Use L</guestfs_vfs_type> to identify LUKS-encrypted block
528 devices (it returns the string C<crypto_LUKS>).
529
530 Then open these devices by calling L</guestfs_luks_open>.
531 Obviously you will require the passphrase!
532
533 Opening a LUKS device creates a new device mapper device
534 called C</dev/mapper/mapname> (where C<mapname> is the
535 string you supply to L</guestfs_luks_open>).
536 Reads and writes to this mapper device are decrypted from and
537 encrypted to the underlying block device respectively.
538
539 LVM volume groups on the device can be made visible by calling
540 L</guestfs_vgscan> followed by L</guestfs_vg_activate_all>.
541 The logical volume(s) can now be mounted in the usual way.
542
543 Use the reverse process to close a LUKS device.  Unmount
544 any logical volumes on it, deactivate the volume groups
545 by caling C<guestfs_vg_activate (g, 0, ["/dev/VG"])>.
546 Then close the mapper device by calling
547 L</guestfs_luks_close> on the C</dev/mapper/mapname>
548 device (I<not> the underlying encrypted block device).
549
550 =head2 INSPECTION
551
552 Libguestfs has APIs for inspecting an unknown disk image to find out
553 if it contains operating systems, an install CD or a live CD.  (These
554 APIs used to be in a separate Perl-only library called
555 L<Sys::Guestfs::Lib(3)> but since version 1.5.3 the most frequently
556 used part of this library has been rewritten in C and moved into the
557 core code).
558
559 Add all disks belonging to the unknown virtual machine and call
560 L</guestfs_launch> in the usual way.
561
562 Then call L</guestfs_inspect_os>.  This function uses other libguestfs
563 calls and certain heuristics, and returns a list of operating systems
564 that were found.  An empty list means none were found.  A single
565 element is the root filesystem of the operating system.  For dual- or
566 multi-boot guests, multiple roots can be returned, each one
567 corresponding to a separate operating system.  (Multi-boot virtual
568 machines are extremely rare in the world of virtualization, but since
569 this scenario can happen, we have built libguestfs to deal with it.)
570
571 For each root, you can then call various C<guestfs_inspect_get_*>
572 functions to get additional details about that operating system.  For
573 example, call L</guestfs_inspect_get_type> to return the string
574 C<windows> or C<linux> for Windows and Linux-based operating systems
575 respectively.
576
577 Un*x-like and Linux-based operating systems usually consist of several
578 filesystems which are mounted at boot time (for example, a separate
579 boot partition mounted on C</boot>).  The inspection rules are able to
580 detect how filesystems correspond to mount points.  Call
581 C<guestfs_inspect_get_mountpoints> to get this mapping.  It might
582 return a hash table like this example:
583
584  /boot => /dev/sda1
585  /     => /dev/vg_guest/lv_root
586  /usr  => /dev/vg_guest/lv_usr
587
588 The caller can then make calls to L</guestfs_mount_options> to
589 mount the filesystems as suggested.
590
591 Be careful to mount filesystems in the right order (eg. C</> before
592 C</usr>).  Sorting the keys of the hash by length, shortest first,
593 should work.
594
595 Inspection currently only works for some common operating systems.
596 Contributors are welcome to send patches for other operating systems
597 that we currently cannot detect.
598
599 Encrypted disks must be opened before inspection.  See
600 L</ENCRYPTED DISKS> for more details.  The L</guestfs_inspect_os>
601 function just ignores any encrypted devices.
602
603 A note on the implementation: The call L</guestfs_inspect_os> performs
604 inspection and caches the results in the guest handle.  Subsequent
605 calls to C<guestfs_inspect_get_*> return this cached information, but
606 I<do not> re-read the disks.  If you change the content of the guest
607 disks, you can redo inspection by calling L</guestfs_inspect_os>
608 again.  (L</guestfs_inspect_list_applications> works a little
609 differently from the other calls and does read the disks.  See
610 documentation for that function for details).
611
612 =head3 INSPECTING INSTALL DISKS
613
614 Libguestfs (since 1.9.4) can detect some install disks, install
615 CDs, live CDs and more.
616
617 Call L</guestfs_inspect_get_format> to return the format of the
618 operating system, which currently can be C<installed> (a regular
619 operating system) or C<installer> (some sort of install disk).
620
621 Further information is available about the operating system that can
622 be installed using the regular inspection APIs like
623 L</guestfs_inspect_get_product_name>,
624 L</guestfs_inspect_get_major_version> etc.
625
626 Some additional information specific to installer disks is also
627 available from the L</guestfs_inspect_is_live>,
628 L</guestfs_inspect_is_netinst> and L</guestfs_inspect_is_multipart>
629 calls.
630
631 =head2 SPECIAL CONSIDERATIONS FOR WINDOWS GUESTS
632
633 Libguestfs can mount NTFS partitions.  It does this using the
634 L<http://www.ntfs-3g.org/> driver.
635
636 =head3 DRIVE LETTERS AND PATHS
637
638 DOS and Windows still use drive letters, and the filesystems are
639 always treated as case insensitive by Windows itself, and therefore
640 you might find a Windows configuration file referring to a path like
641 C<c:\windows\system32>.  When the filesystem is mounted in libguestfs,
642 that directory might be referred to as C</WINDOWS/System32>.
643
644 Drive letter mappings can be found using inspection
645 (see L</INSPECTION> and L</guestfs_inspect_get_drive_mappings>)
646
647 Dealing with separator characters (backslash vs forward slash) is
648 outside the scope of libguestfs, but usually a simple character
649 replacement will work.
650
651 To resolve the case insensitivity of paths, call
652 L</guestfs_case_sensitive_path>.
653
654 =head3 ACCESSING THE WINDOWS REGISTRY
655
656 Libguestfs also provides some help for decoding Windows Registry
657 "hive" files, through the library C<hivex> which is part of the
658 libguestfs project although ships as a separate tarball.  You have to
659 locate and download the hive file(s) yourself, and then pass them to
660 C<hivex> functions.  See also the programs L<hivexml(1)>,
661 L<hivexsh(1)>, L<hivexregedit(1)> and L<virt-win-reg(1)> for more help
662 on this issue.
663
664 =head3 SYMLINKS ON NTFS-3G FILESYSTEMS
665
666 Ntfs-3g tries to rewrite "Junction Points" and NTFS "symbolic links"
667 to provide something which looks like a Linux symlink.  The way it
668 tries to do the rewriting is described here:
669
670 L<http://www.tuxera.com/community/ntfs-3g-advanced/junction-points-and-symbolic-links/>
671
672 The essential problem is that ntfs-3g simply does not have enough
673 information to do a correct job.  NTFS links can contain drive letters
674 and references to external device GUIDs that ntfs-3g has no way of
675 resolving.  It is almost certainly the case that libguestfs callers
676 should ignore what ntfs-3g does (ie. don't use L</guestfs_readlink> on
677 NTFS volumes).
678
679 Instead if you encounter a symbolic link on an ntfs-3g filesystem, use
680 L</guestfs_lgetxattr> to read the C<system.ntfs_reparse_data> extended
681 attribute, and read the raw reparse data from that (you can find the
682 format documented in various places around the web).
683
684 =head3 EXTENDED ATTRIBUTES ON NTFS-3G FILESYSTEMS
685
686 There are other useful extended attributes that can be read from
687 ntfs-3g filesystems (using L</guestfs_getxattr>).  See:
688
689 L<http://www.tuxera.com/community/ntfs-3g-advanced/extended-attributes/>
690
691 =head2 USING LIBGUESTFS WITH OTHER PROGRAMMING LANGUAGES
692
693 Although we don't want to discourage you from using the C API, we will
694 mention here that the same API is also available in other languages.
695
696 The API is broadly identical in all supported languages.  This means
697 that the C call C<guestfs_add_drive_ro(g,file)> is
698 C<$g-E<gt>add_drive_ro($file)> in Perl, C<g.add_drive_ro(file)> in Python,
699 and C<g#add_drive_ro file> in OCaml.  In other words, a
700 straightforward, predictable isomorphism between each language.
701
702 Error messages are automatically transformed
703 into exceptions if the language supports it.
704
705 We don't try to "object orientify" parts of the API in OO languages,
706 although contributors are welcome to write higher level APIs above
707 what we provide in their favourite languages if they wish.
708
709 =over 4
710
711 =item B<C++>
712
713 You can use the I<guestfs.h> header file from C++ programs.  The C++
714 API is identical to the C API.  C++ classes and exceptions are not
715 used.
716
717 =item B<C#>
718
719 The C# bindings are highly experimental.  Please read the warnings
720 at the top of C<csharp/Libguestfs.cs>.
721
722 =item B<Erlang>
723
724 See L<guestfs-erlang(3)>.
725
726 =item B<Haskell>
727
728 This is the only language binding that is working but incomplete.
729 Only calls which return simple integers have been bound in Haskell,
730 and we are looking for help to complete this binding.
731
732 =item B<Java>
733
734 Full documentation is contained in the Javadoc which is distributed
735 with libguestfs.  For examples, see L<guestfs-java(3)>.
736
737 =item B<OCaml>
738
739 See L<guestfs-ocaml(3)>.
740
741 =item B<Perl>
742
743 See L<guestfs-perl(3)> and L<Sys::Guestfs(3)>.
744
745 =item B<PHP>
746
747 For documentation see C<README-PHP> supplied with libguestfs
748 sources or in the php-libguestfs package for your distribution.
749
750 The PHP binding only works correctly on 64 bit machines.
751
752 =item B<Python>
753
754 See L<guestfs-python(3)>.
755
756 =item B<Ruby>
757
758 See L<guestfs-ruby(3)>.
759
760 =item B<shell scripts>
761
762 See L<guestfish(1)>.
763
764 =back
765
766 =head2 LIBGUESTFS GOTCHAS
767
768 L<http://en.wikipedia.org/wiki/Gotcha_(programming)>: "A feature of a
769 system [...] that works in the way it is documented but is
770 counterintuitive and almost invites mistakes."
771
772 Since we developed libguestfs and the associated tools, there are
773 several things we would have designed differently, but are now stuck
774 with for backwards compatibility or other reasons.  If there is ever a
775 libguestfs 2.0 release, you can expect these to change.  Beware of
776 them.
777
778 =over 4
779
780 =item Autosync / forgetting to sync.
781
782 I<Update:> Autosync is enabled by default for all API users starting
783 from libguestfs 1.5.24.  This section only applies to older versions.
784
785 When modifying a filesystem from C or another language, you B<must>
786 unmount all filesystems and call L</guestfs_sync> explicitly before
787 you close the libguestfs handle.  You can also call:
788
789  guestfs_set_autosync (g, 1);
790
791 to have the unmount/sync done automatically for you when the handle 'g'
792 is closed.  (This feature is called "autosync", L</guestfs_set_autosync>
793 q.v.)
794
795 If you forget to do this, then it is entirely possible that your
796 changes won't be written out, or will be partially written, or (very
797 rarely) that you'll get disk corruption.
798
799 Note that in L<guestfish(3)> autosync is the default.  So quick and
800 dirty guestfish scripts that forget to sync will work just fine, which
801 can make this very puzzling if you are trying to debug a problem.
802
803 =item Mount option C<-o sync> should not be the default.
804
805 I<Update:> L</guestfs_mount> no longer adds any options starting
806 from libguestfs 1.13.16.  This section only applies to older versions.
807
808 If you use L</guestfs_mount>, then C<-o sync,noatime> are added
809 implicitly.  However C<-o sync> does not add any reliability benefit,
810 but does have a very large performance impact.
811
812 The work around is to use L</guestfs_mount_options> and set the mount
813 options that you actually want to use.
814
815 =item Read-only should be the default.
816
817 In L<guestfish(3)>, I<--ro> should be the default, and you should
818 have to specify I<--rw> if you want to make changes to the image.
819
820 This would reduce the potential to corrupt live VM images.
821
822 Note that many filesystems change the disk when you just mount and
823 unmount, even if you didn't perform any writes.  You need to use
824 L</guestfs_add_drive_ro> to guarantee that the disk is not changed.
825
826 =item guestfish command line is hard to use.
827
828 C<guestfish disk.img> doesn't do what people expect (open C<disk.img>
829 for examination).  It tries to run a guestfish command C<disk.img>
830 which doesn't exist, so it fails.  In earlier versions of guestfish
831 the error message was also unintuitive, but we have corrected this
832 since.  Like the Bourne shell, we should have used C<guestfish -c
833 command> to run commands.
834
835 =item guestfish megabyte modifiers don't work right on all commands
836
837 In recent guestfish you can use C<1M> to mean 1 megabyte (and
838 similarly for other modifiers).  What guestfish actually does is to
839 multiply the number part by the modifier part and pass the result to
840 the C API.  However this doesn't work for a few APIs which aren't
841 expecting bytes, but are already expecting some other unit
842 (eg. megabytes).
843
844 The most common is L</guestfs_lvcreate>.  The guestfish command:
845
846  lvcreate LV VG 100M
847
848 does not do what you might expect.  Instead because
849 L</guestfs_lvcreate> is already expecting megabytes, this tries to
850 create a 100 I<terabyte> (100 megabytes * megabytes) logical volume.
851 The error message you get from this is also a little obscure.
852
853 This could be fixed in the generator by specially marking parameters
854 and return values which take bytes or other units.
855
856 =item Ambiguity between devices and paths
857
858 There is a subtle ambiguity in the API between a device name
859 (eg. C</dev/sdb2>) and a similar pathname.  A file might just happen
860 to be called C<sdb2> in the directory C</dev> (consider some non-Unix
861 VM image).
862
863 In the current API we usually resolve this ambiguity by having two
864 separate calls, for example L</guestfs_checksum> and
865 L</guestfs_checksum_device>.  Some API calls are ambiguous and
866 (incorrectly) resolve the problem by detecting if the path supplied
867 begins with C</dev/>.
868
869 To avoid both the ambiguity and the need to duplicate some calls, we
870 could make paths/devices into structured names.  One way to do this
871 would be to use a notation like grub (C<hd(0,0)>), although nobody
872 really likes this aspect of grub.  Another way would be to use a
873 structured type, equivalent to this OCaml type:
874
875  type path = Path of string | Device of int | Partition of int * int
876
877 which would allow you to pass arguments like:
878
879  Path "/foo/bar"
880  Device 1            (* /dev/sdb, or perhaps /dev/sda *)
881  Partition (1, 2)    (* /dev/sdb2 (or is it /dev/sda2 or /dev/sdb3?) *)
882  Path "/dev/sdb2"    (* not a device *)
883
884 As you can see there are still problems to resolve even with this
885 representation.  Also consider how it might work in guestfish.
886
887 =back
888
889 =head2 KEYS AND PASSPHRASES
890
891 Certain libguestfs calls take a parameter that contains sensitive key
892 material, passed in as a C string.
893
894 In the future we would hope to change the libguestfs implementation so
895 that keys are L<mlock(2)>-ed into physical RAM, and thus can never end
896 up in swap.  However this is I<not> done at the moment, because of the
897 complexity of such an implementation.
898
899 Therefore you should be aware that any key parameter you pass to
900 libguestfs might end up being written out to the swap partition.  If
901 this is a concern, scrub the swap partition or don't use libguestfs on
902 encrypted devices.
903
904 =head2 MULTIPLE HANDLES AND MULTIPLE THREADS
905
906 All high-level libguestfs actions are synchronous.  If you want
907 to use libguestfs asynchronously then you must create a thread.
908
909 Only use the handle from a single thread.  Either use the handle
910 exclusively from one thread, or provide your own mutex so that two
911 threads cannot issue calls on the same handle at the same time.
912
913 See the graphical program guestfs-browser for one possible
914 architecture for multithreaded programs using libvirt and libguestfs.
915
916 =head2 PATH
917
918 Libguestfs needs a supermin appliance, which it finds by looking along
919 an internal path.
920
921 By default it looks for these in the directory C<$libdir/guestfs>
922 (eg. C</usr/local/lib/guestfs> or C</usr/lib64/guestfs>).
923
924 Use L</guestfs_set_path> or set the environment variable
925 L</LIBGUESTFS_PATH> to change the directories that libguestfs will
926 search in.  The value is a colon-separated list of paths.  The current
927 directory is I<not> searched unless the path contains an empty element
928 or C<.>.  For example C<LIBGUESTFS_PATH=:/usr/lib/guestfs> would
929 search the current directory and then C</usr/lib/guestfs>.
930
931 =head2 QEMU WRAPPERS
932
933 If you want to compile your own qemu, run qemu from a non-standard
934 location, or pass extra arguments to qemu, then you can write a
935 shell-script wrapper around qemu.
936
937 There is one important rule to remember: you I<must C<exec qemu>> as
938 the last command in the shell script (so that qemu replaces the shell
939 and becomes the direct child of the libguestfs-using program).  If you
940 don't do this, then the qemu process won't be cleaned up correctly.
941
942 Here is an example of a wrapper, where I have built my own copy of
943 qemu from source:
944
945  #!/bin/sh -
946  qemudir=/home/rjones/d/qemu
947  exec $qemudir/x86_64-softmmu/qemu-system-x86_64 -L $qemudir/pc-bios "$@"
948
949 Save this script as C</tmp/qemu.wrapper> (or wherever), C<chmod +x>,
950 and then use it by setting the LIBGUESTFS_QEMU environment variable.
951 For example:
952
953  LIBGUESTFS_QEMU=/tmp/qemu.wrapper guestfish
954
955 Note that libguestfs also calls qemu with the -help and -version
956 options in order to determine features.
957
958 Wrappers can also be used to edit the options passed to qemu.  In the
959 following example, the C<-machine ...> option (C<-machine> and the
960 following argument) are removed from the command line and replaced
961 with C<-machine pc,accel=tcg>.  The while loop iterates over the
962 options until it finds the right one to remove, putting the remaining
963 options into the C<args> array.
964
965  #!/bin/bash -
966  
967  i=0
968  while [ $# -gt 0 ]; do
969      case "$1" in
970      -machine)
971          shift 2;;
972      *)
973          args[i]="$1"
974          (( i++ ))
975          shift ;;
976      esac
977  done
978  
979  exec qemu-kvm -machine pc,accel=tcg "${args[@]}"
980
981 =head2 ATTACHING TO RUNNING DAEMONS
982
983 I<Note (1):> This is B<highly experimental> and has a tendency to eat
984 babies.  Use with caution.
985
986 I<Note (2):> This section explains how to attach to a running daemon
987 from a low level perspective.  For most users, simply using virt tools
988 such as L<guestfish(1)> with the I<--live> option will "just work".
989
990 =head3 Using guestfs_set_attach_method
991
992 By calling L</guestfs_set_attach_method> you can change how the
993 library connects to the C<guestfsd> daemon in L</guestfs_launch>
994 (read L</ARCHITECTURE> for some background).
995
996 The normal attach method is C<appliance>, where a small appliance is
997 created containing the daemon, and then the library connects to this.
998
999 Setting attach method to C<unix:I<path>> (where I<path> is the path of
1000 a Unix domain socket) causes L</guestfs_launch> to connect to an
1001 existing daemon over the Unix domain socket.
1002
1003 The normal use for this is to connect to a running virtual machine
1004 that contains a C<guestfsd> daemon, and send commands so you can read
1005 and write files inside the live virtual machine.
1006
1007 =head3 Using guestfs_add_domain with live flag
1008
1009 L</guestfs_add_domain> provides some help for getting the
1010 correct attach method.  If you pass the C<live> option to this
1011 function, then (if the virtual machine is running) it will
1012 examine the libvirt XML looking for a virtio-serial channel
1013 to connect to:
1014
1015  <domain>
1016    ...
1017    <devices>
1018      ...
1019      <channel type='unix'>
1020        <source mode='bind' path='/path/to/socket'/>
1021        <target type='virtio' name='org.libguestfs.channel.0'/>
1022      </channel>
1023      ...
1024    </devices>
1025  </domain>
1026
1027 L</guestfs_add_domain> extracts C</path/to/socket> and sets the attach
1028 method to C<unix:/path/to/socket>.
1029
1030 Some of the libguestfs tools (including guestfish) support a I<--live>
1031 option which is passed through to L</guestfs_add_domain> thus allowing
1032 you to attach to and modify live virtual machines.
1033
1034 The virtual machine needs to have been set up beforehand so that it
1035 has the virtio-serial channel and so that guestfsd is running inside
1036 it.
1037
1038 =head2 ABI GUARANTEE
1039
1040 We guarantee the libguestfs ABI (binary interface), for public,
1041 high-level actions as outlined in this section.  Although we will
1042 deprecate some actions, for example if they get replaced by newer
1043 calls, we will keep the old actions forever.  This allows you the
1044 developer to program in confidence against the libguestfs API.
1045
1046 =head2 BLOCK DEVICE NAMING
1047
1048 In the kernel there is now quite a profusion of schemata for naming
1049 block devices (in this context, by I<block device> I mean a physical
1050 or virtual hard drive).  The original Linux IDE driver used names
1051 starting with C</dev/hd*>.  SCSI devices have historically used a
1052 different naming scheme, C</dev/sd*>.  When the Linux kernel I<libata>
1053 driver became a popular replacement for the old IDE driver
1054 (particularly for SATA devices) those devices also used the
1055 C</dev/sd*> scheme.  Additionally we now have virtual machines with
1056 paravirtualized drivers.  This has created several different naming
1057 systems, such as C</dev/vd*> for virtio disks and C</dev/xvd*> for Xen
1058 PV disks.
1059
1060 As discussed above, libguestfs uses a qemu appliance running an
1061 embedded Linux kernel to access block devices.  We can run a variety
1062 of appliances based on a variety of Linux kernels.
1063
1064 This causes a problem for libguestfs because many API calls use device
1065 or partition names.  Working scripts and the recipe (example) scripts
1066 that we make available over the internet could fail if the naming
1067 scheme changes.
1068
1069 Therefore libguestfs defines C</dev/sd*> as the I<standard naming
1070 scheme>.  Internally C</dev/sd*> names are translated, if necessary,
1071 to other names as required.  For example, under RHEL 5 which uses the
1072 C</dev/hd*> scheme, any device parameter C</dev/sda2> is translated to
1073 C</dev/hda2> transparently.
1074
1075 Note that this I<only> applies to parameters.  The
1076 L</guestfs_list_devices>, L</guestfs_list_partitions> and similar calls
1077 return the true names of the devices and partitions as known to the
1078 appliance.
1079
1080 =head3 ALGORITHM FOR BLOCK DEVICE NAME TRANSLATION
1081
1082 Usually this translation is transparent.  However in some (very rare)
1083 cases you may need to know the exact algorithm.  Such cases include
1084 where you use L</guestfs_config> to add a mixture of virtio and IDE
1085 devices to the qemu-based appliance, so have a mixture of C</dev/sd*>
1086 and C</dev/vd*> devices.
1087
1088 The algorithm is applied only to I<parameters> which are known to be
1089 either device or partition names.  Return values from functions such
1090 as L</guestfs_list_devices> are never changed.
1091
1092 =over 4
1093
1094 =item *
1095
1096 Is the string a parameter which is a device or partition name?
1097
1098 =item *
1099
1100 Does the string begin with C</dev/sd>?
1101
1102 =item *
1103
1104 Does the named device exist?  If so, we use that device.
1105 However if I<not> then we continue with this algorithm.
1106
1107 =item *
1108
1109 Replace initial C</dev/sd> string with C</dev/hd>.
1110
1111 For example, change C</dev/sda2> to C</dev/hda2>.
1112
1113 If that named device exists, use it.  If not, continue.
1114
1115 =item *
1116
1117 Replace initial C</dev/sd> string with C</dev/vd>.
1118
1119 If that named device exists, use it.  If not, return an error.
1120
1121 =back
1122
1123 =head3 PORTABILITY CONCERNS WITH BLOCK DEVICE NAMING
1124
1125 Although the standard naming scheme and automatic translation is
1126 useful for simple programs and guestfish scripts, for larger programs
1127 it is best not to rely on this mechanism.
1128
1129 Where possible for maximum future portability programs using
1130 libguestfs should use these future-proof techniques:
1131
1132 =over 4
1133
1134 =item *
1135
1136 Use L</guestfs_list_devices> or L</guestfs_list_partitions> to list
1137 actual device names, and then use those names directly.
1138
1139 Since those device names exist by definition, they will never be
1140 translated.
1141
1142 =item *
1143
1144 Use higher level ways to identify filesystems, such as LVM names,
1145 UUIDs and filesystem labels.
1146
1147 =back
1148
1149 =head1 SECURITY
1150
1151 This section discusses security implications of using libguestfs,
1152 particularly with untrusted or malicious guests or disk images.
1153
1154 =head2 GENERAL SECURITY CONSIDERATIONS
1155
1156 Be careful with any files or data that you download from a guest (by
1157 "download" we mean not just the L</guestfs_download> command but any
1158 command that reads files, filenames, directories or anything else from
1159 a disk image).  An attacker could manipulate the data to fool your
1160 program into doing the wrong thing.  Consider cases such as:
1161
1162 =over 4
1163
1164 =item *
1165
1166 the data (file etc) not being present
1167
1168 =item *
1169
1170 being present but empty
1171
1172 =item *
1173
1174 being much larger than normal
1175
1176 =item *
1177
1178 containing arbitrary 8 bit data
1179
1180 =item *
1181
1182 being in an unexpected character encoding
1183
1184 =item *
1185
1186 containing homoglyphs.
1187
1188 =back
1189
1190 =head2 SECURITY OF MOUNTING FILESYSTEMS
1191
1192 When you mount a filesystem under Linux, mistakes in the kernel
1193 filesystem (VFS) module can sometimes be escalated into exploits by
1194 deliberately creating a malicious, malformed filesystem.  These
1195 exploits are very severe for two reasons.  Firstly there are very many
1196 filesystem drivers in the kernel, and many of them are infrequently
1197 used and not much developer attention has been paid to the code.
1198 Linux userspace helps potential crackers by detecting the filesystem
1199 type and automatically choosing the right VFS driver, even if that
1200 filesystem type is obscure or unexpected for the administrator.
1201 Secondly, a kernel-level exploit is like a local root exploit (worse
1202 in some ways), giving immediate and total access to the system right
1203 down to the hardware level.
1204
1205 That explains why you should never mount a filesystem from an
1206 untrusted guest on your host kernel.  How about libguestfs?  We run a
1207 Linux kernel inside a qemu virtual machine, usually running as a
1208 non-root user.  The attacker would need to write a filesystem which
1209 first exploited the kernel, and then exploited either qemu
1210 virtualization (eg. a faulty qemu driver) or the libguestfs protocol,
1211 and finally to be as serious as the host kernel exploit it would need
1212 to escalate its privileges to root.  This multi-step escalation,
1213 performed by a static piece of data, is thought to be extremely hard
1214 to do, although we never say 'never' about security issues.
1215
1216 In any case callers can reduce the attack surface by forcing the
1217 filesystem type when mounting (use L</guestfs_mount_vfs>).
1218
1219 =head2 PROTOCOL SECURITY
1220
1221 The protocol is designed to be secure, being based on RFC 4506 (XDR)
1222 with a defined upper message size.  However a program that uses
1223 libguestfs must also take care - for example you can write a program
1224 that downloads a binary from a disk image and executes it locally, and
1225 no amount of protocol security will save you from the consequences.
1226
1227 =head2 INSPECTION SECURITY
1228
1229 Parts of the inspection API (see L</INSPECTION>) return untrusted
1230 strings directly from the guest, and these could contain any 8 bit
1231 data.  Callers should be careful to escape these before printing them
1232 to a structured file (for example, use HTML escaping if creating a web
1233 page).
1234
1235 Guest configuration may be altered in unusual ways by the
1236 administrator of the virtual machine, and may not reflect reality
1237 (particularly for untrusted or actively malicious guests).  For
1238 example we parse the hostname from configuration files like
1239 C</etc/sysconfig/network> that we find in the guest, but the guest
1240 administrator can easily manipulate these files to provide the wrong
1241 hostname.
1242
1243 The inspection API parses guest configuration using two external
1244 libraries: Augeas (Linux configuration) and hivex (Windows Registry).
1245 Both are designed to be robust in the face of malicious data, although
1246 denial of service attacks are still possible, for example with
1247 oversized configuration files.
1248
1249 =head2 RUNNING UNTRUSTED GUEST COMMANDS
1250
1251 Be very cautious about running commands from the guest.  By running a
1252 command in the guest, you are giving CPU time to a binary that you do
1253 not control, under the same user account as the library, albeit
1254 wrapped in qemu virtualization.  More information and alternatives can
1255 be found in the section L</RUNNING COMMANDS>.
1256
1257 =head2 CVE-2010-3851
1258
1259 https://bugzilla.redhat.com/642934
1260
1261 This security bug concerns the automatic disk format detection that
1262 qemu does on disk images.
1263
1264 A raw disk image is just the raw bytes, there is no header.  Other
1265 disk images like qcow2 contain a special header.  Qemu deals with this
1266 by looking for one of the known headers, and if none is found then
1267 assuming the disk image must be raw.
1268
1269 This allows a guest which has been given a raw disk image to write
1270 some other header.  At next boot (or when the disk image is accessed
1271 by libguestfs) qemu would do autodetection and think the disk image
1272 format was, say, qcow2 based on the header written by the guest.
1273
1274 This in itself would not be a problem, but qcow2 offers many features,
1275 one of which is to allow a disk image to refer to another image
1276 (called the "backing disk").  It does this by placing the path to the
1277 backing disk into the qcow2 header.  This path is not validated and
1278 could point to any host file (eg. "/etc/passwd").  The backing disk is
1279 then exposed through "holes" in the qcow2 disk image, which of course
1280 is completely under the control of the attacker.
1281
1282 In libguestfs this is rather hard to exploit except under two
1283 circumstances:
1284
1285 =over 4
1286
1287 =item 1.
1288
1289 You have enabled the network or have opened the disk in write mode.
1290
1291 =item 2.
1292
1293 You are also running untrusted code from the guest (see
1294 L</RUNNING COMMANDS>).
1295
1296 =back
1297
1298 The way to avoid this is to specify the expected disk format when
1299 adding disks (the optional C<format> option to
1300 L</guestfs_add_drive_opts>).  You should always do this if the disk is
1301 raw format, and it's a good idea for other cases too.
1302
1303 For disks added from libvirt using calls like L</guestfs_add_domain>,
1304 the format is fetched from libvirt and passed through.
1305
1306 For libguestfs tools, use the I<--format> command line parameter as
1307 appropriate.
1308
1309 =head1 CONNECTION MANAGEMENT
1310
1311 =head2 guestfs_h *
1312
1313 C<guestfs_h> is the opaque type representing a connection handle.
1314 Create a handle by calling L</guestfs_create>.  Call L</guestfs_close>
1315 to free the handle and release all resources used.
1316
1317 For information on using multiple handles and threads, see the section
1318 L</MULTIPLE HANDLES AND MULTIPLE THREADS> above.
1319
1320 =head2 guestfs_create
1321
1322  guestfs_h *guestfs_create (void);
1323
1324 Create a connection handle.
1325
1326 On success this returns a non-NULL pointer to a handle.  On error it
1327 returns NULL.
1328
1329 You have to "configure" the handle after creating it.  This includes
1330 calling L</guestfs_add_drive_opts> (or one of the equivalent calls) on
1331 the handle at least once.
1332
1333 After configuring the handle, you have to call L</guestfs_launch>.
1334
1335 You may also want to configure error handling for the handle.  See the
1336 L</ERROR HANDLING> section below.
1337
1338 =head2 guestfs_close
1339
1340  void guestfs_close (guestfs_h *g);
1341
1342 This closes the connection handle and frees up all resources used.
1343
1344 If autosync was set on the handle and the handle was launched, then
1345 this implicitly calls various functions to unmount filesystems and
1346 sync the disk.  See L</guestfs_set_autosync> for more details.
1347
1348 If a close callback was set on the handle, then it is called.
1349
1350 =head1 ERROR HANDLING
1351
1352 API functions can return errors.  For example, almost all functions
1353 that return C<int> will return C<-1> to indicate an error.
1354
1355 Additional information is available for errors: an error message
1356 string and optionally an error number (errno) if the thing that failed
1357 was a system call.
1358
1359 You can get at the additional information about the last error on the
1360 handle by calling L</guestfs_last_error>, L</guestfs_last_errno>,
1361 and/or by setting up an error handler with
1362 L</guestfs_set_error_handler>.
1363
1364 When the handle is created, a default error handler is installed which
1365 prints the error message string to C<stderr>.  For small short-running
1366 command line programs it is sufficient to do:
1367
1368  if (guestfs_launch (g) == -1)
1369    exit (EXIT_FAILURE);
1370
1371 since the default error handler will ensure that an error message has
1372 been printed to C<stderr> before the program exits.
1373
1374 For other programs the caller will almost certainly want to install an
1375 alternate error handler or do error handling in-line like this:
1376
1377  /* This disables the default behaviour of printing errors
1378     on stderr. */
1379  guestfs_set_error_handler (g, NULL, NULL);
1380  
1381  if (guestfs_launch (g) == -1) {
1382    /* Examine the error message and print it etc. */
1383    char *msg = guestfs_last_error (g);
1384    int errnum = guestfs_last_errno (g);
1385    fprintf (stderr, "%s", msg);
1386    if (errnum != 0)
1387      fprintf (stderr, ": %s", strerror (errnum));
1388    fprintf (stderr, "\n");
1389    /* ... */
1390  }
1391
1392 Out of memory errors are handled differently.  The default action is
1393 to call L<abort(3)>.  If this is undesirable, then you can set a
1394 handler using L</guestfs_set_out_of_memory_handler>.
1395
1396 L</guestfs_create> returns C<NULL> if the handle cannot be created,
1397 and because there is no handle if this happens there is no way to get
1398 additional error information.  However L</guestfs_create> is supposed
1399 to be a lightweight operation which can only fail because of
1400 insufficient memory (it returns NULL in this case).
1401
1402 =head2 guestfs_last_error
1403
1404  const char *guestfs_last_error (guestfs_h *g);
1405
1406 This returns the last error message that happened on C<g>.  If
1407 there has not been an error since the handle was created, then this
1408 returns C<NULL>.
1409
1410 The lifetime of the returned string is until the next error occurs, or
1411 L</guestfs_close> is called.
1412
1413 =head2 guestfs_last_errno
1414
1415  int guestfs_last_errno (guestfs_h *g);
1416
1417 This returns the last error number (errno) that happened on C<g>.
1418
1419 If successful, an errno integer not equal to zero is returned.
1420
1421 If no error, this returns 0.  This call can return 0 in three
1422 situations:
1423
1424 =over 4
1425
1426 =item 1.
1427
1428 There has not been any error on the handle.
1429
1430 =item 2.
1431
1432 There has been an error but the errno was meaningless.  This
1433 corresponds to the case where the error did not come from a
1434 failed system call, but for some other reason.
1435
1436 =item 3.
1437
1438 There was an error from a failed system call, but for some
1439 reason the errno was not captured and returned.  This usually
1440 indicates a bug in libguestfs.
1441
1442 =back
1443
1444 Libguestfs tries to convert the errno from inside the applicance into
1445 a corresponding errno for the caller (not entirely trivial: the
1446 appliance might be running a completely different operating system
1447 from the library and error numbers are not standardized across
1448 Un*xen).  If this could not be done, then the error is translated to
1449 C<EINVAL>.  In practice this should only happen in very rare
1450 circumstances.
1451
1452 =head2 guestfs_set_error_handler
1453
1454  typedef void (*guestfs_error_handler_cb) (guestfs_h *g,
1455                                            void *opaque,
1456                                            const char *msg);
1457  void guestfs_set_error_handler (guestfs_h *g,
1458                                  guestfs_error_handler_cb cb,
1459                                  void *opaque);
1460
1461 The callback C<cb> will be called if there is an error.  The
1462 parameters passed to the callback are an opaque data pointer and the
1463 error message string.
1464
1465 C<errno> is not passed to the callback.  To get that the callback must
1466 call L</guestfs_last_errno>.
1467
1468 Note that the message string C<msg> is freed as soon as the callback
1469 function returns, so if you want to stash it somewhere you must make
1470 your own copy.
1471
1472 The default handler prints messages on C<stderr>.
1473
1474 If you set C<cb> to C<NULL> then I<no> handler is called.
1475
1476 =head2 guestfs_get_error_handler
1477
1478  guestfs_error_handler_cb guestfs_get_error_handler (guestfs_h *g,
1479                                                      void **opaque_rtn);
1480
1481 Returns the current error handler callback.
1482
1483 =head2 guestfs_set_out_of_memory_handler
1484
1485  typedef void (*guestfs_abort_cb) (void);
1486  void guestfs_set_out_of_memory_handler (guestfs_h *g,
1487                                          guestfs_abort_cb);
1488
1489 The callback C<cb> will be called if there is an out of memory
1490 situation.  I<Note this callback must not return>.
1491
1492 The default is to call L<abort(3)>.
1493
1494 You cannot set C<cb> to C<NULL>.  You can't ignore out of memory
1495 situations.
1496
1497 =head2 guestfs_get_out_of_memory_handler
1498
1499  guestfs_abort_fn guestfs_get_out_of_memory_handler (guestfs_h *g);
1500
1501 This returns the current out of memory handler.
1502
1503 =head1 API CALLS
1504
1505 @ACTIONS@
1506
1507 =head1 STRUCTURES
1508
1509 @STRUCTS@
1510
1511 =head1 AVAILABILITY
1512
1513 =head2 GROUPS OF FUNCTIONALITY IN THE APPLIANCE
1514
1515 Using L</guestfs_available> you can test availability of
1516 the following groups of functions.  This test queries the
1517 appliance to see if the appliance you are currently using
1518 supports the functionality.
1519
1520 @AVAILABILITY@
1521
1522 =head2 GUESTFISH supported COMMAND
1523
1524 In L<guestfish(3)> there is a handy interactive command
1525 C<supported> which prints out the available groups and
1526 whether they are supported by this build of libguestfs.
1527 Note however that you have to do C<run> first.
1528
1529 =head2 SINGLE CALLS AT COMPILE TIME
1530
1531 Since version 1.5.8, C<E<lt>guestfs.hE<gt>> defines symbols
1532 for each C API function, such as:
1533
1534  #define LIBGUESTFS_HAVE_DD 1
1535
1536 if L</guestfs_dd> is available.
1537
1538 Before version 1.5.8, if you needed to test whether a single
1539 libguestfs function is available at compile time, we recommended using
1540 build tools such as autoconf or cmake.  For example in autotools you
1541 could use:
1542
1543  AC_CHECK_LIB([guestfs],[guestfs_create])
1544  AC_CHECK_FUNCS([guestfs_dd])
1545
1546 which would result in C<HAVE_GUESTFS_DD> being either defined
1547 or not defined in your program.
1548
1549 =head2 SINGLE CALLS AT RUN TIME
1550
1551 Testing at compile time doesn't guarantee that a function really
1552 exists in the library.  The reason is that you might be dynamically
1553 linked against a previous I<libguestfs.so> (dynamic library)
1554 which doesn't have the call.  This situation unfortunately results
1555 in a segmentation fault, which is a shortcoming of the C dynamic
1556 linking system itself.
1557
1558 You can use L<dlopen(3)> to test if a function is available
1559 at run time, as in this example program (note that you still
1560 need the compile time check as well):
1561
1562  #include <stdio.h>
1563  #include <stdlib.h>
1564  #include <unistd.h>
1565  #include <dlfcn.h>
1566  #include <guestfs.h>
1567  
1568  main ()
1569  {
1570  #ifdef LIBGUESTFS_HAVE_DD
1571    void *dl;
1572    int has_function;
1573  
1574    /* Test if the function guestfs_dd is really available. */
1575    dl = dlopen (NULL, RTLD_LAZY);
1576    if (!dl) {
1577      fprintf (stderr, "dlopen: %s\n", dlerror ());
1578      exit (EXIT_FAILURE);
1579    }
1580    has_function = dlsym (dl, "guestfs_dd") != NULL;
1581    dlclose (dl);
1582  
1583    if (!has_function)
1584      printf ("this libguestfs.so does NOT have guestfs_dd function\n");
1585    else {
1586      printf ("this libguestfs.so has guestfs_dd function\n");
1587      /* Now it's safe to call
1588      guestfs_dd (g, "foo", "bar");
1589      */
1590    }
1591  #else
1592    printf ("guestfs_dd function was not found at compile time\n");
1593  #endif
1594   }
1595
1596 You may think the above is an awful lot of hassle, and it is.
1597 There are other ways outside of the C linking system to ensure
1598 that this kind of incompatibility never arises, such as using
1599 package versioning:
1600
1601  Requires: libguestfs >= 1.0.80
1602
1603 =head1 CALLS WITH OPTIONAL ARGUMENTS
1604
1605 A recent feature of the API is the introduction of calls which take
1606 optional arguments.  In C these are declared 3 ways.  The main way is
1607 as a call which takes variable arguments (ie. C<...>), as in this
1608 example:
1609
1610  int guestfs_add_drive_opts (guestfs_h *g, const char *filename, ...);
1611
1612 Call this with a list of optional arguments, terminated by C<-1>.
1613 So to call with no optional arguments specified:
1614
1615  guestfs_add_drive_opts (g, filename, -1);
1616
1617 With a single optional argument:
1618
1619  guestfs_add_drive_opts (g, filename,
1620                          GUESTFS_ADD_DRIVE_OPTS_FORMAT, "qcow2",
1621                          -1);
1622
1623 With two:
1624
1625  guestfs_add_drive_opts (g, filename,
1626                          GUESTFS_ADD_DRIVE_OPTS_FORMAT, "qcow2",
1627                          GUESTFS_ADD_DRIVE_OPTS_READONLY, 1,
1628                          -1);
1629
1630 and so forth.  Don't forget the terminating C<-1> otherwise
1631 Bad Things will happen!
1632
1633 =head2 USING va_list FOR OPTIONAL ARGUMENTS
1634
1635 The second variant has the same name with the suffix C<_va>, which
1636 works the same way but takes a C<va_list>.  See the C manual for
1637 details.  For the example function, this is declared:
1638
1639  int guestfs_add_drive_opts_va (guestfs_h *g, const char *filename,
1640                                 va_list args);
1641
1642 =head2 CONSTRUCTING OPTIONAL ARGUMENTS
1643
1644 The third variant is useful where you need to construct these
1645 calls.  You pass in a structure where you fill in the optional
1646 fields.  The structure has a bitmask as the first element which
1647 you must set to indicate which fields you have filled in.  For
1648 our example function the structure and call are declared:
1649
1650  struct guestfs_add_drive_opts_argv {
1651    uint64_t bitmask;
1652    int readonly;
1653    const char *format;
1654    /* ... */
1655  };
1656  int guestfs_add_drive_opts_argv (guestfs_h *g, const char *filename,
1657               const struct guestfs_add_drive_opts_argv *optargs);
1658
1659 You could call it like this:
1660
1661  struct guestfs_add_drive_opts_argv optargs = {
1662    .bitmask = GUESTFS_ADD_DRIVE_OPTS_READONLY_BITMASK |
1663               GUESTFS_ADD_DRIVE_OPTS_FORMAT_BITMASK,
1664    .readonly = 1,
1665    .format = "qcow2"
1666  };
1667  
1668  guestfs_add_drive_opts_argv (g, filename, &optargs);
1669
1670 Notes:
1671
1672 =over 4
1673
1674 =item *
1675
1676 The C<_BITMASK> suffix on each option name when specifying the
1677 bitmask.
1678
1679 =item *
1680
1681 You do not need to fill in all fields of the structure.
1682
1683 =item *
1684
1685 There must be a one-to-one correspondence between fields of the
1686 structure that are filled in, and bits set in the bitmask.
1687
1688 =back
1689
1690 =head2 OPTIONAL ARGUMENTS IN OTHER LANGUAGES
1691
1692 In other languages, optional arguments are expressed in the
1693 way that is natural for that language.  We refer you to the
1694 language-specific documentation for more details on that.
1695
1696 For guestfish, see L<guestfish(1)/OPTIONAL ARGUMENTS>.
1697
1698 =head2 SETTING CALLBACKS TO HANDLE EVENTS
1699
1700 B<Note:> This section documents the generic event mechanism introduced
1701 in libguestfs 1.10, which you should use in new code if possible.  The
1702 old functions C<guestfs_set_log_message_callback>,
1703 C<guestfs_set_subprocess_quit_callback>,
1704 C<guestfs_set_launch_done_callback>, C<guestfs_set_close_callback> and
1705 C<guestfs_set_progress_callback> are no longer documented in this
1706 manual page.  Because of the ABI guarantee, the old functions continue
1707 to work.
1708
1709 Handles generate events when certain things happen, such as log
1710 messages being generated, progress messages during long-running
1711 operations, or the handle being closed.  The API calls described below
1712 let you register a callback to be called when events happen.  You can
1713 register multiple callbacks (for the same, different or overlapping
1714 sets of events), and individually remove callbacks.  If callbacks are
1715 not removed, then they remain in force until the handle is closed.
1716
1717 In the current implementation, events are only generated
1718 synchronously: that means that events (and hence callbacks) can only
1719 happen while you are in the middle of making another libguestfs call.
1720 The callback is called in the same thread.
1721
1722 Events may contain a payload, usually nothing (void), an array of 64
1723 bit unsigned integers, or a message buffer.  Payloads are discussed
1724 later on.
1725
1726 =head3 CLASSES OF EVENTS
1727
1728 =over 4
1729
1730 =item GUESTFS_EVENT_CLOSE
1731 (payload type: void)
1732
1733 The callback function will be called while the handle is being closed
1734 (synchronously from L</guestfs_close>).
1735
1736 Note that libguestfs installs an L<atexit(3)> handler to try to clean
1737 up handles that are open when the program exits.  This means that this
1738 callback might be called indirectly from L<exit(3)>, which can cause
1739 unexpected problems in higher-level languages (eg. if your HLL
1740 interpreter has already been cleaned up by the time this is called,
1741 and if your callback then jumps into some HLL function).
1742
1743 If no callback is registered: the handle is closed without any
1744 callback being invoked.
1745
1746 =item GUESTFS_EVENT_SUBPROCESS_QUIT
1747 (payload type: void)
1748
1749 The callback function will be called when the child process quits,
1750 either asynchronously or if killed by L</guestfs_kill_subprocess>.
1751 (This corresponds to a transition from any state to the CONFIG state).
1752
1753 If no callback is registered: the event is ignored.
1754
1755 =item GUESTFS_EVENT_LAUNCH_DONE
1756 (payload type: void)
1757
1758 The callback function will be called when the child process becomes
1759 ready first time after it has been launched.  (This corresponds to a
1760 transition from LAUNCHING to the READY state).
1761
1762 If no callback is registered: the event is ignored.
1763
1764 =item GUESTFS_EVENT_PROGRESS
1765 (payload type: array of 4 x uint64_t)
1766
1767 Some long-running operations can generate progress messages.  If
1768 this callback is registered, then it will be called each time a
1769 progress message is generated (usually two seconds after the
1770 operation started, and three times per second thereafter until
1771 it completes, although the frequency may change in future versions).
1772
1773 The callback receives in the payload four unsigned 64 bit numbers
1774 which are (in order): C<proc_nr>, C<serial>, C<position>, C<total>.
1775
1776 The units of C<total> are not defined, although for some
1777 operations C<total> may relate in some way to the amount of
1778 data to be transferred (eg. in bytes or megabytes), and
1779 C<position> may be the portion which has been transferred.
1780
1781 The only defined and stable parts of the API are:
1782
1783 =over 4
1784
1785 =item *
1786
1787 The callback can display to the user some type of progress bar or
1788 indicator which shows the ratio of C<position>:C<total>.
1789
1790 =item *
1791
1792 0 E<lt>= C<position> E<lt>= C<total>
1793
1794 =item *
1795
1796 If any progress notification is sent during a call, then a final
1797 progress notification is always sent when C<position> = C<total>
1798 (I<unless> the call fails with an error).
1799
1800 This is to simplify caller code, so callers can easily set the
1801 progress indicator to "100%" at the end of the operation, without
1802 requiring special code to detect this case.
1803
1804 =item *
1805
1806 For some calls we are unable to estimate the progress of the call, but
1807 we can still generate progress messages to indicate activity.  This is
1808 known as "pulse mode", and is directly supported by certain progress
1809 bar implementations (eg. GtkProgressBar).
1810
1811 For these calls, zero or more progress messages are generated with
1812 C<position = 0> and C<total = 1>, followed by a final message with
1813 C<position = total = 1>.
1814
1815 As noted above, if the call fails with an error then the final message
1816 may not be generated.
1817
1818 =back
1819
1820 The callback also receives the procedure number (C<proc_nr>) and
1821 serial number (C<serial>) of the call.  These are only useful for
1822 debugging protocol issues, and the callback can normally ignore them.
1823 The callback may want to print these numbers in error messages or
1824 debugging messages.
1825
1826 If no callback is registered: progress messages are discarded.
1827
1828 =item GUESTFS_EVENT_APPLIANCE
1829 (payload type: message buffer)
1830
1831 The callback function is called whenever a log message is generated by
1832 qemu, the appliance kernel, guestfsd (daemon), or utility programs.
1833
1834 If the verbose flag (L</guestfs_set_verbose>) is set before launch
1835 (L</guestfs_launch>) then additional debug messages are generated.
1836
1837 If no callback is registered: the messages are discarded unless the
1838 verbose flag is set in which case they are sent to stderr.  You can
1839 override the printing of verbose messages to stderr by setting up a
1840 callback.
1841
1842 =item GUESTFS_EVENT_LIBRARY
1843 (payload type: message buffer)
1844
1845 The callback function is called whenever a log message is generated by
1846 the library part of libguestfs.
1847
1848 If the verbose flag (L</guestfs_set_verbose>) is set then additional
1849 debug messages are generated.
1850
1851 If no callback is registered: the messages are discarded unless the
1852 verbose flag is set in which case they are sent to stderr.  You can
1853 override the printing of verbose messages to stderr by setting up a
1854 callback.
1855
1856 =item GUESTFS_EVENT_TRACE
1857 (payload type: message buffer)
1858
1859 The callback function is called whenever a trace message is generated.
1860 This only applies if the trace flag (L</guestfs_set_trace>) is set.
1861
1862 If no callback is registered: the messages are sent to stderr.  You
1863 can override the printing of trace messages to stderr by setting up a
1864 callback.
1865
1866 =item GUESTFS_EVENT_ENTER
1867 (payload type: function name)
1868
1869 The callback function is called whenever a libguestfs function
1870 is entered.
1871
1872 The payload is a string which contains the name of the function
1873 that we are entering (not including C<guestfs_> prefix).
1874
1875 Note that libguestfs functions can call themselves, so you may
1876 see many events from a single call.  A few libguestfs functions
1877 do not generate this event.
1878
1879 If no callback is registered: the event is ignored.
1880
1881 =back
1882
1883 =head3 guestfs_set_event_callback
1884
1885  int guestfs_set_event_callback (guestfs_h *g,
1886                                  guestfs_event_callback cb,
1887                                  uint64_t event_bitmask,
1888                                  int flags,
1889                                  void *opaque);
1890
1891 This function registers a callback (C<cb>) for all event classes
1892 in the C<event_bitmask>.
1893
1894 For example, to register for all log message events, you could call
1895 this function with the bitmask
1896 C<GUESTFS_EVENT_APPLIANCE|GUESTFS_EVENT_LIBRARY>.  To register a
1897 single callback for all possible classes of events, use
1898 C<GUESTFS_EVENT_ALL>.
1899
1900 C<flags> should always be passed as 0.
1901
1902 C<opaque> is an opaque pointer which is passed to the callback.  You
1903 can use it for any purpose.
1904
1905 The return value is the event handle (an integer) which you can use to
1906 delete the callback (see below).
1907
1908 If there is an error, this function returns C<-1>, and sets the error
1909 in the handle in the usual way (see L</guestfs_last_error> etc.)
1910
1911 Callbacks remain in effect until they are deleted, or until the handle
1912 is closed.
1913
1914 In the case where multiple callbacks are registered for a particular
1915 event class, all of the callbacks are called.  The order in which
1916 multiple callbacks are called is not defined.
1917
1918 =head3 guestfs_delete_event_callback
1919
1920  void guestfs_delete_event_callback (guestfs_h *g, int event_handle);
1921
1922 Delete a callback that was previously registered.  C<event_handle>
1923 should be the integer that was returned by a previous call to
1924 C<guestfs_set_event_callback> on the same handle.
1925
1926 =head3 guestfs_event_callback
1927
1928  typedef void (*guestfs_event_callback) (
1929                   guestfs_h *g,
1930                   void *opaque,
1931                   uint64_t event,
1932                   int event_handle,
1933                   int flags,
1934                   const char *buf, size_t buf_len,
1935                   const uint64_t *array, size_t array_len);
1936
1937 This is the type of the event callback function that you have to
1938 provide.
1939
1940 The basic parameters are: the handle (C<g>), the opaque user pointer
1941 (C<opaque>), the event class (eg. C<GUESTFS_EVENT_PROGRESS>), the
1942 event handle, and C<flags> which in the current API you should ignore.
1943
1944 The remaining parameters contain the event payload (if any).  Each
1945 event may contain a payload, which usually relates to the event class,
1946 but for future proofing your code should be written to handle any
1947 payload for any event class.
1948
1949 C<buf> and C<buf_len> contain a message buffer (if C<buf_len == 0>,
1950 then there is no message buffer).  Note that this message buffer can
1951 contain arbitrary 8 bit data, including NUL bytes.
1952
1953 C<array> and C<array_len> is an array of 64 bit unsigned integers.  At
1954 the moment this is only used for progress messages.
1955
1956 =head3 EXAMPLE: CAPTURING LOG MESSAGES
1957
1958 One motivation for the generic event API was to allow GUI programs to
1959 capture debug and other messages.  In libguestfs E<le> 1.8 these were
1960 sent unconditionally to C<stderr>.
1961
1962 Events associated with log messages are: C<GUESTFS_EVENT_LIBRARY>,
1963 C<GUESTFS_EVENT_APPLIANCE> and C<GUESTFS_EVENT_TRACE>.  (Note that
1964 error messages are not events; you must capture error messages
1965 separately).
1966
1967 Programs have to set up a callback to capture the classes of events of
1968 interest:
1969
1970  int eh =
1971    guestfs_set_event_callback
1972      (g, message_callback,
1973       GUESTFS_EVENT_LIBRARY|GUESTFS_EVENT_APPLIANCE|
1974       GUESTFS_EVENT_TRACE,
1975       0, NULL) == -1)
1976  if (eh == -1) {
1977    // handle error in the usual way
1978  }
1979
1980 The callback can then direct messages to the appropriate place.  In
1981 this example, messages are directed to syslog:
1982
1983  static void
1984  message_callback (
1985          guestfs_h *g,
1986          void *opaque,
1987          uint64_t event,
1988          int event_handle,
1989          int flags,
1990          const char *buf, size_t buf_len,
1991          const uint64_t *array, size_t array_len)
1992  {
1993    const int priority = LOG_USER|LOG_INFO;
1994    if (buf_len > 0)
1995      syslog (priority, "event 0x%lx: %s", event, buf);
1996  }
1997
1998 =head1 CANCELLING LONG TRANSFERS
1999
2000 Some operations can be cancelled by the caller while they are in
2001 progress.  Currently only operations that involve uploading or
2002 downloading data can be cancelled (technically: operations that have
2003 C<FileIn> or C<FileOut> parameters in the generator).
2004
2005 =head2 guestfs_user_cancel
2006
2007  void guestfs_user_cancel (guestfs_h *g);
2008
2009 C<guestfs_user_cancel> cancels the current upload or download
2010 operation.
2011
2012 Unlike most other libguestfs calls, this function is signal safe and
2013 thread safe.  You can call it from a signal handler or from another
2014 thread, without needing to do any locking.
2015
2016 The transfer that was in progress (if there is one) will stop shortly
2017 afterwards, and will return an error.  The errno (see
2018 L</guestfs_last_errno>) is set to C<EINTR>, so you can test for this
2019 to find out if the operation was cancelled or failed because of
2020 another error.
2021
2022 No cleanup is performed: for example, if a file was being uploaded
2023 then after cancellation there may be a partially uploaded file.  It is
2024 the caller's responsibility to clean up if necessary.
2025
2026 There are two common places that you might call C<guestfs_user_cancel>.
2027
2028 In an interactive text-based program, you might call it from a
2029 C<SIGINT> signal handler so that pressing C<^C> cancels the current
2030 operation.  (You also need to call L</guestfs_set_pgroup> so that
2031 child processes don't receive the C<^C> signal).
2032
2033 In a graphical program, when the main thread is displaying a progress
2034 bar with a cancel button, wire up the cancel button to call this
2035 function.
2036
2037 =head1 PRIVATE DATA AREA
2038
2039 You can attach named pieces of private data to the libguestfs handle,
2040 fetch them by name, and walk over them, for the lifetime of the
2041 handle.  This is called the private data area and is only available
2042 from the C API.
2043
2044 To attach a named piece of data, use the following call:
2045
2046  void guestfs_set_private (guestfs_h *g, const char *key, void *data);
2047
2048 C<key> is the name to associate with this data, and C<data> is an
2049 arbitrary pointer (which can be C<NULL>).  Any previous item with the
2050 same key is overwritten.
2051
2052 You can use any C<key> you want, but your key should I<not> start with
2053 an underscore character.  Keys beginning with an underscore character
2054 are reserved for internal libguestfs purposes (eg. for implementing
2055 language bindings).  It is recommended that you prefix the key with
2056 some unique string to avoid collisions with other users.
2057
2058 To retrieve the pointer, use:
2059
2060  void *guestfs_get_private (guestfs_h *g, const char *key);
2061
2062 This function returns C<NULL> if either no data is found associated
2063 with C<key>, or if the user previously set the C<key>'s C<data>
2064 pointer to C<NULL>.
2065
2066 Libguestfs does not try to look at or interpret the C<data> pointer in
2067 any way.  As far as libguestfs is concerned, it need not be a valid
2068 pointer at all.  In particular, libguestfs does I<not> try to free the
2069 data when the handle is closed.  If the data must be freed, then the
2070 caller must either free it before calling L</guestfs_close> or must
2071 set up a close callback to do it (see L</GUESTFS_EVENT_CLOSE>).
2072
2073 To walk over all entries, use these two functions:
2074
2075  void *guestfs_first_private (guestfs_h *g, const char **key_rtn);
2076
2077  void *guestfs_next_private (guestfs_h *g, const char **key_rtn);
2078
2079 C<guestfs_first_private> returns the first key, pointer pair ("first"
2080 does not have any particular meaning -- keys are not returned in any
2081 defined order).  A pointer to the key is returned in C<*key_rtn> and
2082 the corresponding data pointer is returned from the function.  C<NULL>
2083 is returned if there are no keys stored in the handle.
2084
2085 C<guestfs_next_private> returns the next key, pointer pair.  The
2086 return value of this function is also C<NULL> is there are no further
2087 entries to return.
2088
2089 Notes about walking over entries:
2090
2091 =over 4
2092
2093 =item *
2094
2095 You must not call C<guestfs_set_private> while walking over the
2096 entries.
2097
2098 =item *
2099
2100 The handle maintains an internal iterator which is reset when you call
2101 C<guestfs_first_private>.  This internal iterator is invalidated when
2102 you call C<guestfs_set_private>.
2103
2104 =item *
2105
2106 If you have set the data pointer associated with a key to C<NULL>, ie:
2107
2108  guestfs_set_private (g, key, NULL);
2109
2110 then that C<key> is not returned when walking.
2111
2112 =item *
2113
2114 C<*key_rtn> is only valid until the next call to
2115 C<guestfs_first_private>, C<guestfs_next_private> or
2116 C<guestfs_set_private>.
2117
2118 =back
2119
2120 The following example code shows how to print all keys and data
2121 pointers that are associated with the handle C<g>:
2122
2123  const char *key;
2124  void *data = guestfs_first_private (g, &key);
2125  while (data != NULL)
2126    {
2127      printf ("key = %s, data = %p\n", key, data);
2128      data = guestfs_next_private (g, &key);
2129    }
2130
2131 More commonly you are only interested in keys that begin with an
2132 application-specific prefix C<foo_>.  Modify the loop like so:
2133
2134  const char *key;
2135  void *data = guestfs_first_private (g, &key);
2136  while (data != NULL)
2137    {
2138      if (strncmp (key, "foo_", strlen ("foo_")) == 0)
2139        printf ("key = %s, data = %p\n", key, data);
2140      data = guestfs_next_private (g, &key);
2141    }
2142
2143 If you need to modify keys while walking, then you have to jump back
2144 to the beginning of the loop.  For example, to delete all keys
2145 prefixed with C<foo_>:
2146
2147   const char *key;
2148   void *data;
2149  again:
2150   data = guestfs_first_private (g, &key);
2151   while (data != NULL)
2152     {
2153       if (strncmp (key, "foo_", strlen ("foo_")) == 0)
2154         {
2155           guestfs_set_private (g, key, NULL);
2156           /* note that 'key' pointer is now invalid, and so is
2157              the internal iterator */
2158           goto again;
2159         }
2160       data = guestfs_next_private (g, &key);
2161     }
2162
2163 Note that the above loop is guaranteed to terminate because the keys
2164 are being deleted, but other manipulations of keys within the loop
2165 might not terminate unless you also maintain an indication of which
2166 keys have been visited.
2167
2168 =head1 SYSTEMTAP
2169
2170 The libguestfs C library can be probed using systemtap or DTrace.
2171 This is true of any library, not just libguestfs.  However libguestfs
2172 also contains static markers to help in probing internal operations.
2173
2174 You can list all the static markers by doing:
2175
2176  stap -l 'process("/usr/lib*/libguestfs.so.0")
2177               .provider("guestfs").mark("*")'
2178
2179 B<Note:> These static markers are I<not> part of the stable API and
2180 may change in future versions.
2181
2182 =head2 SYSTEMTAP SCRIPT EXAMPLE
2183
2184 This script contains examples of displaying both the static markers
2185 and some ordinary C entry points:
2186
2187  global last;
2188  
2189  function display_time () {
2190        now = gettimeofday_us ();
2191        delta = 0;
2192        if (last > 0)
2193              delta = now - last;
2194        last = now;
2195  
2196        printf ("%d (+%d):", now, delta);
2197  }
2198  
2199  probe begin {
2200        last = 0;
2201        printf ("ready\n");
2202  }
2203  
2204  /* Display all calls to static markers. */
2205  probe process("/usr/lib*/libguestfs.so.0")
2206            .provider("guestfs").mark("*") ? {
2207        display_time();
2208        printf ("\t%s %s\n", $$name, $$parms);
2209  }
2210  
2211  /* Display all calls to guestfs_mkfs* functions. */
2212  probe process("/usr/lib*/libguestfs.so.0")
2213            .function("guestfs_mkfs*") ? {
2214        display_time();
2215        printf ("\t%s %s\n", probefunc(), $$parms);
2216  }
2217
2218 The script above can be saved to C<test.stap> and run using the
2219 L<stap(1)> program.  Note that you either have to be root, or you have
2220 to add yourself to several special stap groups.  Consult the systemtap
2221 documentation for more information.
2222
2223  # stap /tmp/test.stap
2224  ready
2225
2226 In another terminal, run a guestfish command such as this:
2227
2228  guestfish -N fs
2229
2230 In the first terminal, stap trace output similar to this is shown:
2231
2232  1318248056692655 (+0): launch_start
2233  1318248056692850 (+195):       launch_build_appliance_start
2234  1318248056818285 (+125435):    launch_build_appliance_end
2235  1318248056838059 (+19774):     launch_run_qemu
2236  1318248061071167 (+4233108):   launch_end
2237  1318248061280324 (+209157):    guestfs_mkfs g=0x1024ab0 fstype=0x46116f device=0x1024e60
2238
2239 =begin html
2240
2241 <!-- old anchor for the next section -->
2242 <a name="state_machine_and_low_level_event_api"/>
2243
2244 =end html
2245
2246 =head1 ARCHITECTURE
2247
2248 Internally, libguestfs is implemented by running an appliance (a
2249 special type of small virtual machine) using L<qemu(1)>.  Qemu runs as
2250 a child process of the main program.
2251
2252   ___________________
2253  /                   \
2254  | main program      |
2255  |                   |
2256  |                   |           child process / appliance
2257  |                   |           __________________________
2258  |                   |          / qemu                     \
2259  +-------------------+   RPC    |      +-----------------+ |
2260  | libguestfs     <--------------------> guestfsd        | |
2261  |                   |          |      +-----------------+ |
2262  \___________________/          |      | Linux kernel    | |
2263                                 |      +--^--------------+ |
2264                                 \_________|________________/
2265                                           |
2266                                    _______v______
2267                                   /              \
2268                                   | Device or    |
2269                                   | disk image   |
2270                                   \______________/
2271
2272 The library, linked to the main program, creates the child process and
2273 hence the appliance in the L</guestfs_launch> function.
2274
2275 Inside the appliance is a Linux kernel and a complete stack of
2276 userspace tools (such as LVM and ext2 programs) and a small
2277 controlling daemon called L</guestfsd>.  The library talks to
2278 L</guestfsd> using remote procedure calls (RPC).  There is a mostly
2279 one-to-one correspondence between libguestfs API calls and RPC calls
2280 to the daemon.  Lastly the disk image(s) are attached to the qemu
2281 process which translates device access by the appliance's Linux kernel
2282 into accesses to the image.
2283
2284 A common misunderstanding is that the appliance "is" the virtual
2285 machine.  Although the disk image you are attached to might also be
2286 used by some virtual machine, libguestfs doesn't know or care about
2287 this.  (But you will care if both libguestfs's qemu process and your
2288 virtual machine are trying to update the disk image at the same time,
2289 since these usually results in massive disk corruption).
2290
2291 =head1 STATE MACHINE
2292
2293 libguestfs uses a state machine to model the child process:
2294
2295                          |
2296                     guestfs_create
2297                          |
2298                          |
2299                      ____V_____
2300                     /          \
2301                     |  CONFIG  |
2302                     \__________/
2303                      ^ ^   ^  \
2304                     /  |    \  \ guestfs_launch
2305                    /   |    _\__V______
2306                   /    |   /           \
2307                  /     |   | LAUNCHING |
2308                 /      |   \___________/
2309                /       |       /
2310               /        |  guestfs_launch
2311              /         |     /
2312     ______  /        __|____V
2313    /      \ ------> /        \
2314    | BUSY |         | READY  |
2315    \______/ <------ \________/
2316
2317 The normal transitions are (1) CONFIG (when the handle is created, but
2318 there is no child process), (2) LAUNCHING (when the child process is
2319 booting up), (3) alternating between READY and BUSY as commands are
2320 issued to, and carried out by, the child process.
2321
2322 The guest may be killed by L</guestfs_kill_subprocess>, or may die
2323 asynchronously at any time (eg. due to some internal error), and that
2324 causes the state to transition back to CONFIG.
2325
2326 Configuration commands for qemu such as L</guestfs_add_drive> can only
2327 be issued when in the CONFIG state.
2328
2329 The API offers one call that goes from CONFIG through LAUNCHING to
2330 READY.  L</guestfs_launch> blocks until the child process is READY to
2331 accept commands (or until some failure or timeout).
2332 L</guestfs_launch> internally moves the state from CONFIG to LAUNCHING
2333 while it is running.
2334
2335 API actions such as L</guestfs_mount> can only be issued when in the
2336 READY state.  These API calls block waiting for the command to be
2337 carried out (ie. the state to transition to BUSY and then back to
2338 READY).  There are no non-blocking versions, and no way to issue more
2339 than one command per handle at the same time.
2340
2341 Finally, the child process sends asynchronous messages back to the
2342 main program, such as kernel log messages.  You can register a
2343 callback to receive these messages.
2344
2345 =head1 INTERNALS
2346
2347 =head2 APPLIANCE BOOT PROCESS
2348
2349 This process has evolved and continues to evolve.  The description
2350 here corresponds only to the current version of libguestfs and is
2351 provided for information only.
2352
2353 In order to follow the stages involved below, enable libguestfs
2354 debugging (set the environment variable C<LIBGUESTFS_DEBUG=1>).
2355
2356 =over 4
2357
2358 =item Create the appliance
2359
2360 C<febootstrap-supermin-helper> is invoked to create the kernel, a
2361 small initrd and the appliance.
2362
2363 The appliance is cached in C</var/tmp/.guestfs-E<lt>UIDE<gt>> (or in
2364 another directory if C<TMPDIR> is set).
2365
2366 For a complete description of how the appliance is created and cached,
2367 read the L<febootstrap(8)> and L<febootstrap-supermin-helper(8)> man
2368 pages.
2369
2370 =item Start qemu and boot the kernel
2371
2372 qemu is invoked to boot the kernel.
2373
2374 =item Run the initrd
2375
2376 C<febootstrap-supermin-helper> builds a small initrd.  The initrd is
2377 not the appliance.  The purpose of the initrd is to load enough kernel
2378 modules in order that the appliance itself can be mounted and started.
2379
2380 The initrd is a cpio archive called
2381 C</var/tmp/.guestfs-E<lt>UIDE<gt>/initrd>.
2382
2383 When the initrd has started you will see messages showing that kernel
2384 modules are being loaded, similar to this:
2385
2386  febootstrap: ext2 mini initrd starting up
2387  febootstrap: mounting /sys
2388  febootstrap: internal insmod libcrc32c.ko
2389  febootstrap: internal insmod crc32c-intel.ko
2390
2391 =item Find and mount the appliance device
2392
2393 The appliance is a sparse file containing an ext2 filesystem which
2394 contains a familiar (although reduced in size) Linux operating system.
2395 It would normally be called C</var/tmp/.guestfs-E<lt>UIDE<gt>/root>.
2396
2397 The regular disks being inspected by libguestfs are the first
2398 devices exposed by qemu (eg. as C</dev/vda>).
2399
2400 The last disk added to qemu is the appliance itself (eg. C</dev/vdb>
2401 if there was only one regular disk).
2402
2403 Thus the final job of the initrd is to locate the appliance disk,
2404 mount it, and switch root into the appliance, and run C</init> from
2405 the appliance.
2406
2407 If this works successfully you will see messages such as:
2408
2409  febootstrap: picked /sys/block/vdb/dev as root device
2410  febootstrap: creating /dev/root as block special 252:16
2411  febootstrap: mounting new root on /root
2412  febootstrap: chroot
2413  Starting /init script ...
2414
2415 Note that C<Starting /init script ...> indicates that the appliance's
2416 init script is now running.
2417
2418 =item Initialize the appliance
2419
2420 The appliance itself now initializes itself.  This involves starting
2421 certain processes like C<udev>, possibly printing some debug
2422 information, and finally running the daemon (C<guestfsd>).
2423
2424 =item The daemon
2425
2426 Finally the daemon (C<guestfsd>) runs inside the appliance.  If it
2427 runs you should see:
2428
2429  verbose daemon enabled
2430
2431 The daemon expects to see a named virtio-serial port exposed by qemu
2432 and connected on the other end to the library.
2433
2434 The daemon connects to this port (and hence to the library) and sends
2435 a four byte message C<GUESTFS_LAUNCH_FLAG>, which initiates the
2436 communication protocol (see below).
2437
2438 =back
2439
2440 =head2 COMMUNICATION PROTOCOL
2441
2442 Don't rely on using this protocol directly.  This section documents
2443 how it currently works, but it may change at any time.
2444
2445 The protocol used to talk between the library and the daemon running
2446 inside the qemu virtual machine is a simple RPC mechanism built on top
2447 of XDR (RFC 1014, RFC 1832, RFC 4506).
2448
2449 The detailed format of structures is in C<src/guestfs_protocol.x>
2450 (note: this file is automatically generated).
2451
2452 There are two broad cases, ordinary functions that don't have any
2453 C<FileIn> and C<FileOut> parameters, which are handled with very
2454 simple request/reply messages.  Then there are functions that have any
2455 C<FileIn> or C<FileOut> parameters, which use the same request and
2456 reply messages, but they may also be followed by files sent using a
2457 chunked encoding.
2458
2459 =head3 ORDINARY FUNCTIONS (NO FILEIN/FILEOUT PARAMS)
2460
2461 For ordinary functions, the request message is:
2462
2463  total length (header + arguments,
2464       but not including the length word itself)
2465  struct guestfs_message_header (encoded as XDR)
2466  struct guestfs_<foo>_args (encoded as XDR)
2467
2468 The total length field allows the daemon to allocate a fixed size
2469 buffer into which it slurps the rest of the message.  As a result, the
2470 total length is limited to C<GUESTFS_MESSAGE_MAX> bytes (currently
2471 4MB), which means the effective size of any request is limited to
2472 somewhere under this size.
2473
2474 Note also that many functions don't take any arguments, in which case
2475 the C<guestfs_I<foo>_args> is completely omitted.
2476
2477 The header contains the procedure number (C<guestfs_proc>) which is
2478 how the receiver knows what type of args structure to expect, or none
2479 at all.
2480
2481 For functions that take optional arguments, the optional arguments are
2482 encoded in the C<guestfs_I<foo>_args> structure in the same way as
2483 ordinary arguments.  A bitmask in the header indicates which optional
2484 arguments are meaningful.  The bitmask is also checked to see if it
2485 contains bits set which the daemon does not know about (eg. if more
2486 optional arguments were added in a later version of the library), and
2487 this causes the call to be rejected.
2488
2489 The reply message for ordinary functions is:
2490
2491  total length (header + ret,
2492       but not including the length word itself)
2493  struct guestfs_message_header (encoded as XDR)
2494  struct guestfs_<foo>_ret (encoded as XDR)
2495
2496 As above the C<guestfs_I<foo>_ret> structure may be completely omitted
2497 for functions that return no formal return values.
2498
2499 As above the total length of the reply is limited to
2500 C<GUESTFS_MESSAGE_MAX>.
2501
2502 In the case of an error, a flag is set in the header, and the reply
2503 message is slightly changed:
2504
2505  total length (header + error,
2506       but not including the length word itself)
2507  struct guestfs_message_header (encoded as XDR)
2508  struct guestfs_message_error (encoded as XDR)
2509
2510 The C<guestfs_message_error> structure contains the error message as a
2511 string.
2512
2513 =head3 FUNCTIONS THAT HAVE FILEIN PARAMETERS
2514
2515 A C<FileIn> parameter indicates that we transfer a file I<into> the
2516 guest.  The normal request message is sent (see above).  However this
2517 is followed by a sequence of file chunks.
2518
2519  total length (header + arguments,
2520       but not including the length word itself,
2521       and not including the chunks)
2522  struct guestfs_message_header (encoded as XDR)
2523  struct guestfs_<foo>_args (encoded as XDR)
2524  sequence of chunks for FileIn param #0
2525  sequence of chunks for FileIn param #1 etc.
2526
2527 The "sequence of chunks" is:
2528
2529  length of chunk (not including length word itself)
2530  struct guestfs_chunk (encoded as XDR)
2531  length of chunk
2532  struct guestfs_chunk (encoded as XDR)
2533    ...
2534  length of chunk
2535  struct guestfs_chunk (with data.data_len == 0)
2536
2537 The final chunk has the C<data_len> field set to zero.  Additionally a
2538 flag is set in the final chunk to indicate either successful
2539 completion or early cancellation.
2540
2541 At time of writing there are no functions that have more than one
2542 FileIn parameter.  However this is (theoretically) supported, by
2543 sending the sequence of chunks for each FileIn parameter one after
2544 another (from left to right).
2545
2546 Both the library (sender) I<and> the daemon (receiver) may cancel the
2547 transfer.  The library does this by sending a chunk with a special
2548 flag set to indicate cancellation.  When the daemon sees this, it
2549 cancels the whole RPC, does I<not> send any reply, and goes back to
2550 reading the next request.
2551
2552 The daemon may also cancel.  It does this by writing a special word
2553 C<GUESTFS_CANCEL_FLAG> to the socket.  The library listens for this
2554 during the transfer, and if it gets it, it will cancel the transfer
2555 (it sends a cancel chunk).  The special word is chosen so that even if
2556 cancellation happens right at the end of the transfer (after the
2557 library has finished writing and has started listening for the reply),
2558 the "spurious" cancel flag will not be confused with the reply
2559 message.
2560
2561 This protocol allows the transfer of arbitrary sized files (no 32 bit
2562 limit), and also files where the size is not known in advance
2563 (eg. from pipes or sockets).  However the chunks are rather small
2564 (C<GUESTFS_MAX_CHUNK_SIZE>), so that neither the library nor the
2565 daemon need to keep much in memory.
2566
2567 =head3 FUNCTIONS THAT HAVE FILEOUT PARAMETERS
2568
2569 The protocol for FileOut parameters is exactly the same as for FileIn
2570 parameters, but with the roles of daemon and library reversed.
2571
2572  total length (header + ret,
2573       but not including the length word itself,
2574       and not including the chunks)
2575  struct guestfs_message_header (encoded as XDR)
2576  struct guestfs_<foo>_ret (encoded as XDR)
2577  sequence of chunks for FileOut param #0
2578  sequence of chunks for FileOut param #1 etc.
2579
2580 =head3 INITIAL MESSAGE
2581
2582 When the daemon launches it sends an initial word
2583 (C<GUESTFS_LAUNCH_FLAG>) which indicates that the guest and daemon is
2584 alive.  This is what L</guestfs_launch> waits for.
2585
2586 =head3 PROGRESS NOTIFICATION MESSAGES
2587
2588 The daemon may send progress notification messages at any time.  These
2589 are distinguished by the normal length word being replaced by
2590 C<GUESTFS_PROGRESS_FLAG>, followed by a fixed size progress message.
2591
2592 The library turns them into progress callbacks (see
2593 L</GUESTFS_EVENT_PROGRESS>) if there is a callback registered, or
2594 discards them if not.
2595
2596 The daemon self-limits the frequency of progress messages it sends
2597 (see C<daemon/proto.c:notify_progress>).  Not all calls generate
2598 progress messages.
2599
2600 =head1 LIBGUESTFS VERSION NUMBERS
2601
2602 Since April 2010, libguestfs has started to make separate development
2603 and stable releases, along with corresponding branches in our git
2604 repository.  These separate releases can be identified by version
2605 number:
2606
2607                  even numbers for stable: 1.2.x, 1.4.x, ...
2608        .-------- odd numbers for development: 1.3.x, 1.5.x, ...
2609        |
2610        v
2611  1  .  3  .  5
2612  ^           ^
2613  |           |
2614  |           `-------- sub-version
2615  |
2616  `------ always '1' because we don't change the ABI
2617
2618 Thus "1.3.5" is the 5th update to the development branch "1.3".
2619
2620 As time passes we cherry pick fixes from the development branch and
2621 backport those into the stable branch, the effect being that the
2622 stable branch should get more stable and less buggy over time.  So the
2623 stable releases are ideal for people who don't need new features but
2624 would just like the software to work.
2625
2626 Our criteria for backporting changes are:
2627
2628 =over 4
2629
2630 =item *
2631
2632 Documentation changes which don't affect any code are
2633 backported unless the documentation refers to a future feature
2634 which is not in stable.
2635
2636 =item *
2637
2638 Bug fixes which are not controversial, fix obvious problems, and
2639 have been well tested are backported.
2640
2641 =item *
2642
2643 Simple rearrangements of code which shouldn't affect how it works get
2644 backported.  This is so that the code in the two branches doesn't get
2645 too far out of step, allowing us to backport future fixes more easily.
2646
2647 =item *
2648
2649 We I<don't> backport new features, new APIs, new tools etc, except in
2650 one exceptional case: the new feature is required in order to
2651 implement an important bug fix.
2652
2653 =back
2654
2655 A new stable branch starts when we think the new features in
2656 development are substantial and compelling enough over the current
2657 stable branch to warrant it.  When that happens we create new stable
2658 and development versions 1.N.0 and 1.(N+1).0 [N is even].  The new
2659 dot-oh release won't necessarily be so stable at this point, but by
2660 backporting fixes from development, that branch will stabilize over
2661 time.
2662
2663 =head1 EXTENDING LIBGUESTFS
2664
2665 =head2 ADDING A NEW API ACTION
2666
2667 Large amounts of boilerplate code in libguestfs (RPC, bindings,
2668 documentation) are generated, and this makes it easy to extend the
2669 libguestfs API.
2670
2671 To add a new API action there are two changes:
2672
2673 =over 4
2674
2675 =item 1.
2676
2677 You need to add a description of the call (name, parameters, return
2678 type, tests, documentation) to C<generator/generator_actions.ml>.
2679
2680 There are two sorts of API action, depending on whether the call goes
2681 through to the daemon in the appliance, or is serviced entirely by the
2682 library (see L</ARCHITECTURE> above).  L</guestfs_sync> is an example
2683 of the former, since the sync is done in the appliance.
2684 L</guestfs_set_trace> is an example of the latter, since a trace flag
2685 is maintained in the handle and all tracing is done on the library
2686 side.
2687
2688 Most new actions are of the first type, and get added to the
2689 C<daemon_functions> list.  Each function has a unique procedure number
2690 used in the RPC protocol which is assigned to that action when we
2691 publish libguestfs and cannot be reused.  Take the latest procedure
2692 number and increment it.
2693
2694 For library-only actions of the second type, add to the
2695 C<non_daemon_functions> list.  Since these functions are serviced by
2696 the library and do not travel over the RPC mechanism to the daemon,
2697 these functions do not need a procedure number, and so the procedure
2698 number is set to C<-1>.
2699
2700 =item 2.
2701
2702 Implement the action (in C):
2703
2704 For daemon actions, implement the function C<do_E<lt>nameE<gt>> in the
2705 C<daemon/> directory.
2706
2707 For library actions, implement the function C<guestfs__E<lt>nameE<gt>>
2708 (note: double underscore) in the C<src/> directory.
2709
2710 In either case, use another function as an example of what to do.
2711
2712 =back
2713
2714 After making these changes, use C<make> to compile.
2715
2716 Note that you don't need to implement the RPC, language bindings,
2717 manual pages or anything else.  It's all automatically generated from
2718 the OCaml description.
2719
2720 =head2 ADDING TESTS FOR AN API ACTION
2721
2722 You can supply zero or as many tests as you want per API call.  The
2723 tests can either be added as part of the API description
2724 (C<generator/generator_actions.ml>), or in some rarer cases you may
2725 want to drop a script into C<regressions/>.  Note that adding a script
2726 to C<regressions/> is slower, so if possible use the first method.
2727
2728 The following describes the test environment used when you add an API
2729 test in C<generator_actions.ml>.
2730
2731 The test environment has 4 block devices:
2732
2733 =over 4
2734
2735 =item C</dev/sda> 500MB
2736
2737 General block device for testing.
2738
2739 =item C</dev/sdb> 50MB
2740
2741 C</dev/sdb1> is an ext2 filesystem used for testing
2742 filesystem write operations.
2743
2744 =item C</dev/sdc> 10MB
2745
2746 Used in a few tests where two block devices are needed.
2747
2748 =item C</dev/sdd>
2749
2750 ISO with fixed content (see C<images/test.iso>).
2751
2752 =back
2753
2754 To be able to run the tests in a reasonable amount of time, the
2755 libguestfs appliance and block devices are reused between tests.  So
2756 don't try testing L</guestfs_kill_subprocess> :-x
2757
2758 Each test starts with an initial scenario, selected using one of the
2759 C<Init*> expressions, described in C<generator/generator_types.ml>.
2760 These initialize the disks mentioned above in a particular way as
2761 documented in C<generator_types.ml>.  You should not assume anything
2762 about the previous contents of other disks that are not initialized.
2763
2764 You can add a prerequisite clause to any individual test.  This is a
2765 run-time check, which, if it fails, causes the test to be skipped.
2766 Useful if testing a command which might not work on all variations of
2767 libguestfs builds.  A test that has prerequisite of C<Always> means to
2768 run unconditionally.
2769
2770 In addition, packagers can skip individual tests by setting
2771 environment variables before running C<make check>.
2772
2773  SKIP_TEST_<CMD>_<NUM>=1
2774
2775 eg: C<SKIP_TEST_COMMAND_3=1> skips test #3 of L</guestfs_command>.
2776
2777 or:
2778
2779  SKIP_TEST_<CMD>=1
2780
2781 eg: C<SKIP_TEST_ZEROFREE=1> skips all L</guestfs_zerofree> tests.
2782
2783 Packagers can run only certain tests by setting for example:
2784
2785  TEST_ONLY="vfs_type zerofree"
2786
2787 See C<capitests/tests.c> for more details of how these environment
2788 variables work.
2789
2790 =head2 DEBUGGING NEW API ACTIONS
2791
2792 Test new actions work before submitting them.
2793
2794 You can use guestfish to try out new commands.
2795
2796 Debugging the daemon is a problem because it runs inside a minimal
2797 environment.  However you can fprintf messages in the daemon to
2798 stderr, and they will show up if you use C<guestfish -v>.
2799
2800 =head2 FORMATTING CODE AND OTHER CONVENTIONS
2801
2802 Our C source code generally adheres to some basic code-formatting
2803 conventions.  The existing code base is not totally consistent on this
2804 front, but we do prefer that contributed code be formatted similarly.
2805 In short, use spaces-not-TABs for indentation, use 2 spaces for each
2806 indentation level, and other than that, follow the K&R style.
2807
2808 If you use Emacs, add the following to one of one of your start-up files
2809 (e.g., ~/.emacs), to help ensure that you get indentation right:
2810
2811  ;;; In libguestfs, indent with spaces everywhere (not TABs).
2812  ;;; Exceptions: Makefile and ChangeLog modes.
2813  (add-hook 'find-file-hook
2814      '(lambda () (if (and buffer-file-name
2815                           (string-match "/libguestfs\\>"
2816                               (buffer-file-name))
2817                           (not (string-equal mode-name "Change Log"))
2818                           (not (string-equal mode-name "Makefile")))
2819                      (setq indent-tabs-mode nil))))
2820  
2821  ;;; When editing C sources in libguestfs, use this style.
2822  (defun libguestfs-c-mode ()
2823    "C mode with adjusted defaults for use with libguestfs."
2824    (interactive)
2825    (c-set-style "K&R")
2826    (setq c-indent-level 2)
2827    (setq c-basic-offset 2))
2828  (add-hook 'c-mode-hook
2829            '(lambda () (if (string-match "/libguestfs\\>"
2830                                (buffer-file-name))
2831                            (libguestfs-c-mode))))
2832
2833 Enable warnings when compiling (and fix any problems this
2834 finds):
2835
2836  ./configure --enable-gcc-warnings
2837
2838 Useful targets are:
2839
2840  make syntax-check  # checks the syntax of the C code
2841  make check         # runs the test suite
2842
2843 =head2 DAEMON CUSTOM PRINTF FORMATTERS
2844
2845 In the daemon code we have created custom printf formatters C<%Q> and
2846 C<%R>, which are used to do shell quoting.
2847
2848 =over 4
2849
2850 =item %Q
2851
2852 Simple shell quoted string.  Any spaces or other shell characters are
2853 escaped for you.
2854
2855 =item %R
2856
2857 Same as C<%Q> except the string is treated as a path which is prefixed
2858 by the sysroot.
2859
2860 =back
2861
2862 For example:
2863
2864  asprintf (&cmd, "cat %R", path);
2865
2866 would produce C<cat /sysroot/some\ path\ with\ spaces>
2867
2868 I<Note:> Do I<not> use these when you are passing parameters to the
2869 C<command{,r,v,rv}()> functions.  These parameters do NOT need to be
2870 quoted because they are not passed via the shell (instead, straight to
2871 exec).  You probably want to use the C<sysroot_path()> function
2872 however.
2873
2874 =head2 SUBMITTING YOUR NEW API ACTIONS
2875
2876 Submit patches to the mailing list:
2877 L<http://www.redhat.com/mailman/listinfo/libguestfs>
2878 and CC to L<rjones@redhat.com>.
2879
2880 =head2 INTERNATIONALIZATION (I18N) SUPPORT
2881
2882 We support i18n (gettext anyhow) in the library.
2883
2884 However many messages come from the daemon, and we don't translate
2885 those at the moment.  One reason is that the appliance generally has
2886 all locale files removed from it, because they take up a lot of space.
2887 So we'd have to readd some of those, as well as copying our PO files
2888 into the appliance.
2889
2890 Debugging messages are never translated, since they are intended for
2891 the programmers.
2892
2893 =head2 SOURCE CODE SUBDIRECTORIES
2894
2895 =over 4
2896
2897 =item C<align>
2898
2899 L<virt-alignment-scan(1)> command and documentation.
2900
2901 =item C<appliance>
2902
2903 The libguestfs appliance, build scripts and so on.
2904
2905 =item C<capitests>
2906
2907 Automated tests of the C API.
2908
2909 =item C<cat>
2910
2911 The L<virt-cat(1)>, L<virt-filesystems(1)> and L<virt-ls(1)> commands
2912 and documentation.
2913
2914 =item C<caution>
2915
2916 Safety and liveness tests of components that libguestfs depends upon
2917 (not of libguestfs itself).  Mainly this is for qemu and the kernel.
2918
2919 =item C<clone>
2920
2921 Tools for cloning virtual machines.  Currently contains
2922 L<virt-sysprep(1)> command and documentation.
2923
2924 =item C<contrib>
2925
2926 Outside contributions, experimental parts.
2927
2928 =item C<daemon>
2929
2930 The daemon that runs inside the libguestfs appliance and carries out
2931 actions.
2932
2933 =item C<df>
2934
2935 L<virt-df(1)> command and documentation.
2936
2937 =item C<edit>
2938
2939 L<virt-edit(1)> command and documentation.
2940
2941 =item C<examples>
2942
2943 C API example code.
2944
2945 =item C<fish>
2946
2947 L<guestfish(1)>, the command-line shell, and various shell scripts
2948 built on top such as L<virt-copy-in(1)>, L<virt-copy-out(1)>,
2949 L<virt-tar-in(1)>, L<virt-tar-out(1)>.
2950
2951 =item C<fuse>
2952
2953 L<guestmount(1)>, FUSE (userspace filesystem) built on top of libguestfs.
2954
2955 =item C<generator>
2956
2957 The crucially important generator, used to automatically generate
2958 large amounts of boilerplate C code for things like RPC and bindings.
2959
2960 =item C<images>
2961
2962 Files used by the test suite.
2963
2964 Some "phony" guest images which we test against.
2965
2966 =item C<inspector>
2967
2968 L<virt-inspector(1)>, the virtual machine image inspector.
2969
2970 =item C<logo>
2971
2972 Logo used on the website.  The fish is called Arthur by the way.
2973
2974 =item C<m4>
2975
2976 M4 macros used by autoconf.
2977
2978 =item C<po>
2979
2980 Translations of simple gettext strings.
2981
2982 =item C<po-docs>
2983
2984 The build infrastructure and PO files for translations of manpages and
2985 POD files.  Eventually this will be combined with the C<po> directory,
2986 but that is rather complicated.
2987
2988 =item C<regressions>
2989
2990 Regression tests.
2991
2992 =item C<rescue>
2993
2994 L<virt-rescue(1)> command and documentation.
2995
2996 =item C<resize>
2997
2998 L<virt-resize(1)> command and documentation.
2999
3000 =item C<sparsify>
3001
3002 L<virt-sparsify(1)> command and documentation.
3003
3004 =item C<src>
3005
3006 Source code to the C library.
3007
3008 =item C<tools>
3009
3010 Command line tools written in Perl (L<virt-win-reg(1)> and many others).
3011
3012 =item C<test-tool>
3013
3014 Test tool for end users to test if their qemu/kernel combination
3015 will work with libguestfs.
3016
3017 =item C<csharp>
3018
3019 =item C<erlang>
3020
3021 =item C<haskell>
3022
3023 =item C<java>
3024
3025 =item C<ocaml>
3026
3027 =item C<php>
3028
3029 =item C<perl>
3030
3031 =item C<python>
3032
3033 =item C<ruby>
3034
3035 Language bindings.
3036
3037 =back
3038
3039 =head2 MAKING A STABLE RELEASE
3040
3041 When we make a stable release, there are several steps documented
3042 here.  See L</LIBGUESTFS VERSION NUMBERS> for general information
3043 about the stable branch policy.
3044
3045 =over 4
3046
3047 =item *
3048
3049 Check C<make && make check> works on at least Fedora, Debian and
3050 Ubuntu.
3051
3052 =item *
3053
3054 Finalize RELEASE-NOTES.
3055
3056 =item *
3057
3058 Update ROADMAP.
3059
3060 =item *
3061
3062 Run C<src/api-support/update-from-tarballs.sh>.
3063
3064 =item *
3065
3066 Push and pull from Transifex.
3067
3068 Run:
3069
3070  tx push -s
3071
3072 to push the latest POT files to Transifex.  Then run:
3073
3074  ./tx-pull.sh
3075
3076 which is a wrapper to pull the latest translated C<*.po> files.
3077
3078 =item *
3079
3080 Create new stable and development directories under
3081 L<http://libguestfs.org/download>.
3082
3083 =item *
3084
3085 Create the branch in git:
3086
3087  git tag -a 1.XX.0 -m "Version 1.XX.0 (stable)"
3088  git tag -a 1.YY.0 -m "Version 1.YY.0 (development)"
3089  git branch stable-1.XX
3090  git push origin tag 1.XX.0 1.YY.0 stable-1.XX
3091
3092 =back
3093
3094 =head1 LIMITS
3095
3096 =head2 PROTOCOL LIMITS
3097
3098 Internally libguestfs uses a message-based protocol to pass API calls
3099 and their responses to and from a small "appliance" (see L</INTERNALS>
3100 for plenty more detail about this).  The maximum message size used by
3101 the protocol is slightly less than 4 MB.  For some API calls you may
3102 need to be aware of this limit.  The API calls which may be affected
3103 are individually documented, with a link back to this section of the
3104 documentation.
3105
3106 A simple call such as L</guestfs_cat> returns its result (the file
3107 data) in a simple string.  Because this string is at some point
3108 internally encoded as a message, the maximum size that it can return
3109 is slightly under 4 MB.  If the requested file is larger than this
3110 then you will get an error.
3111
3112 In order to transfer large files into and out of the guest filesystem,
3113 you need to use particular calls that support this.  The sections
3114 L</UPLOADING> and L</DOWNLOADING> document how to do this.
3115
3116 You might also consider mounting the disk image using our FUSE
3117 filesystem support (L<guestmount(1)>).
3118
3119 =head2 MAXIMUM NUMBER OF DISKS
3120
3121 When using virtio disks (the default) the current limit is B<25>
3122 disks.
3123
3124 Virtio itself consumes 1 virtual PCI slot per disk, and PCI is limited
3125 to 31 slots.  However febootstrap only understands disks with names
3126 C</dev/vda> through C</dev/vdz> (26 letters) and it reserves one disk
3127 for its own purposes.
3128
3129 We are working to substantially raise this limit in future versions
3130 but it requires complex changes to qemu.
3131
3132 In future versions of libguestfs it should also be possible to "hot
3133 plug" disks (add and remove disks after calling L</guestfs_launch>).
3134 This also requires changes to qemu.
3135
3136 =head2 MAXIMUM NUMBER OF PARTITIONS PER DISK
3137
3138 Virtio limits the maximum number of partitions per disk to B<15>.
3139
3140 This is because it reserves 4 bits for the minor device number (thus
3141 C</dev/vda>, and C</dev/vda1> through C</dev/vda15>).
3142
3143 If you attach a disk with more than 15 partitions, the extra
3144 partitions are ignored by libguestfs.
3145
3146 =head2 MAXIMUM SIZE OF A DISK
3147
3148 Probably the limit is between 2**63-1 and 2**64-1 bytes.
3149
3150 We have tested block devices up to 1 exabyte (2**60 or
3151 1,152,921,504,606,846,976 bytes) using sparse files backed by an XFS
3152 host filesystem.
3153
3154 Although libguestfs probably does not impose any limit, the underlying
3155 host storage will.  If you store disk images on a host ext4
3156 filesystem, then the maximum size will be limited by the maximum ext4
3157 file size (currently 16 TB).  If you store disk images as host logical
3158 volumes then you are limited by the maximum size of an LV.
3159
3160 For the hugest disk image files, we recommend using XFS on the host
3161 for storage.
3162
3163 =head2 MAXIMUM SIZE OF A PARTITION
3164
3165 The MBR (ie. classic MS-DOS) partitioning scheme uses 32 bit sector
3166 numbers.  Assuming a 512 byte sector size, this means that MBR cannot
3167 address a partition located beyond 2 TB on the disk.
3168
3169 It is recommended that you use GPT partitions on disks which are
3170 larger than this size.  GPT uses 64 bit sector numbers and so can
3171 address partitions which are theoretically larger than the largest
3172 disk we could support.
3173
3174 =head2 MAXIMUM SIZE OF A FILESYSTEM, FILES, DIRECTORIES
3175
3176 This depends on the filesystem type.  libguestfs itself does not
3177 impose any known limit.  Consult Wikipedia or the filesystem
3178 documentation to find out what these limits are.
3179
3180 =head2 MAXIMUM UPLOAD AND DOWNLOAD
3181
3182 The API functions L</guestfs_upload>, L</guestfs_download>,
3183 L</guestfs_tar_in>, L</guestfs_tar_out> and the like allow unlimited
3184 sized uploads and downloads.
3185
3186 =head2 INSPECTION LIMITS
3187
3188 The inspection code has several arbitrary limits on things like the
3189 size of Windows Registry hive it will read, and the length of product
3190 name.  These are intended to stop a malicious guest from consuming
3191 arbitrary amounts of memory and disk space on the host, and should not
3192 be reached in practice.  See the source code for more information.
3193
3194 =head1 ENVIRONMENT VARIABLES
3195
3196 =over 4
3197
3198 =item FEBOOTSTRAP_KERNEL
3199
3200 =item FEBOOTSTRAP_MODULES
3201
3202 These two environment variables allow the kernel that libguestfs uses
3203 in the appliance to be selected.  If C<$FEBOOTSTRAP_KERNEL> is not
3204 set, then the most recent host kernel is chosen.  For more information
3205 about kernel selection, see L<febootstrap-supermin-helper(8)>.  This
3206 feature is only available in febootstrap E<ge> 3.8.
3207
3208 =item LIBGUESTFS_APPEND
3209
3210 Pass additional options to the guest kernel.
3211
3212 =item LIBGUESTFS_DEBUG
3213
3214 Set C<LIBGUESTFS_DEBUG=1> to enable verbose messages.  This
3215 has the same effect as calling C<guestfs_set_verbose (g, 1)>.
3216
3217 =item LIBGUESTFS_MEMSIZE
3218
3219 Set the memory allocated to the qemu process, in megabytes.  For
3220 example:
3221
3222  LIBGUESTFS_MEMSIZE=700
3223
3224 =item LIBGUESTFS_PATH
3225
3226 Set the path that libguestfs uses to search for a supermin appliance.
3227 See the discussion of paths in section L</PATH> above.
3228
3229 =item LIBGUESTFS_QEMU
3230
3231 Set the default qemu binary that libguestfs uses.  If not set, then
3232 the qemu which was found at compile time by the configure script is
3233 used.
3234
3235 See also L</QEMU WRAPPERS> above.
3236
3237 =item LIBGUESTFS_TRACE
3238
3239 Set C<LIBGUESTFS_TRACE=1> to enable command traces.  This
3240 has the same effect as calling C<guestfs_set_trace (g, 1)>.
3241
3242 =item TMPDIR
3243
3244 Location of temporary directory, defaults to C</tmp> except for the
3245 cached supermin appliance which defaults to C</var/tmp>.
3246
3247 If libguestfs was compiled to use the supermin appliance then the
3248 real appliance is cached in this directory, shared between all
3249 handles belonging to the same EUID.  You can use C<$TMPDIR> to
3250 configure another directory to use in case C</var/tmp> is not large
3251 enough.
3252
3253 =back
3254
3255 =head1 SEE ALSO
3256
3257 L<guestfs-examples(3)>,
3258 L<guestfs-erlang(3)>,
3259 L<guestfs-java(3)>,
3260 L<guestfs-ocaml(3)>,
3261 L<guestfs-perl(3)>,
3262 L<guestfs-python(3)>,
3263 L<guestfs-ruby(3)>,
3264 L<guestfish(1)>,
3265 L<guestmount(1)>,
3266 L<virt-alignment-scan(1)>,
3267 L<virt-cat(1)>,
3268 L<virt-copy-in(1)>,
3269 L<virt-copy-out(1)>,
3270 L<virt-df(1)>,
3271 L<virt-edit(1)>,
3272 L<virt-filesystems(1)>,
3273 L<virt-inspector(1)>,
3274 L<virt-list-filesystems(1)>,
3275 L<virt-list-partitions(1)>,
3276 L<virt-ls(1)>,
3277 L<virt-make-fs(1)>,
3278 L<virt-rescue(1)>,
3279 L<virt-resize(1)>,
3280 L<virt-sparsify(1)>,
3281 L<virt-sysprep(1)>,
3282 L<virt-tar(1)>,
3283 L<virt-tar-in(1)>,
3284 L<virt-tar-out(1)>,
3285 L<virt-win-reg(1)>,
3286 L<qemu(1)>,
3287 L<febootstrap(1)>,
3288 L<febootstrap-supermin-helper(8)>,
3289 L<hivex(3)>,
3290 L<stap(1)>,
3291 L<http://libguestfs.org/>.
3292
3293 Tools with a similar purpose:
3294 L<fdisk(8)>,
3295 L<parted(8)>,
3296 L<kpartx(8)>,
3297 L<lvm(8)>,
3298 L<disktype(1)>.
3299
3300 =head1 BUGS
3301
3302 To get a list of bugs against libguestfs use this link:
3303
3304 L<https://bugzilla.redhat.com/buglist.cgi?component=libguestfs&product=Virtualization+Tools>
3305
3306 To report a new bug against libguestfs use this link:
3307
3308 L<https://bugzilla.redhat.com/enter_bug.cgi?component=libguestfs&product=Virtualization+Tools>
3309
3310 When reporting a bug, please check:
3311
3312 =over 4
3313
3314 =item *
3315
3316 That the bug hasn't been reported already.
3317
3318 =item *
3319
3320 That you are testing a recent version.
3321
3322 =item *
3323
3324 Describe the bug accurately, and give a way to reproduce it.
3325
3326 =item *
3327
3328 Run libguestfs-test-tool and paste the B<complete, unedited>
3329 output into the bug report.
3330
3331 =back
3332
3333 =head1 AUTHORS
3334
3335 Richard W.M. Jones (C<rjones at redhat dot com>)
3336
3337 =head1 COPYRIGHT
3338
3339 Copyright (C) 2009-2011 Red Hat Inc.
3340 L<http://libguestfs.org/>
3341
3342 This library is free software; you can redistribute it and/or
3343 modify it under the terms of the GNU Lesser General Public
3344 License as published by the Free Software Foundation; either
3345 version 2 of the License, or (at your option) any later version.
3346
3347 This library is distributed in the hope that it will be useful,
3348 but WITHOUT ANY WARRANTY; without even the implied warranty of
3349 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
3350 Lesser General Public License for more details.
3351
3352 You should have received a copy of the GNU Lesser General Public
3353 License along with this library; if not, write to the Free Software
3354 Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA