docs: Refresh guestfs(3)/MOUNTING
[libguestfs.git] / src / guestfs.pod
1 =encoding utf8
2
3 =head1 NAME
4
5 guestfs - Library for accessing and modifying virtual machine images
6
7 =head1 SYNOPSIS
8
9  #include <guestfs.h>
10  
11  guestfs_h *g = guestfs_create ();
12  guestfs_add_drive (g, "guest.img");
13  guestfs_launch (g);
14  guestfs_mount (g, "/dev/sda1", "/");
15  guestfs_touch (g, "/hello");
16  guestfs_umount (g, "/");
17  guestfs_close (g);
18
19  cc prog.c -o prog -lguestfs
20 or:
21  cc prog.c -o prog `pkg-config libguestfs --cflags --libs`
22
23 =head1 DESCRIPTION
24
25 Libguestfs is a library for accessing and modifying guest disk images.
26 Amongst the things this is good for: making batch configuration
27 changes to guests, getting disk used/free statistics (see also:
28 virt-df), migrating between virtualization systems (see also:
29 virt-p2v), performing partial backups, performing partial guest
30 clones, cloning guests and changing registry/UUID/hostname info, and
31 much else besides.
32
33 Libguestfs uses Linux kernel and qemu code, and can access any type of
34 guest filesystem that Linux and qemu can, including but not limited
35 to: ext2/3/4, btrfs, FAT and NTFS, LVM, many different disk partition
36 schemes, qcow, qcow2, vmdk.
37
38 Libguestfs provides ways to enumerate guest storage (eg. partitions,
39 LVs, what filesystem is in each LV, etc.).  It can also run commands
40 in the context of the guest.  Also you can access filesystems over
41 FUSE.
42
43 Libguestfs is a library that can be linked with C and C++ management
44 programs (or management programs written in OCaml, Perl, Python, Ruby,
45 Java, PHP, Haskell or C#).  You can also use it from shell scripts or the
46 command line.
47
48 You don't need to be root to use libguestfs, although obviously you do
49 need enough permissions to access the disk images.
50
51 Libguestfs is a large API because it can do many things.  For a gentle
52 introduction, please read the L</API OVERVIEW> section next.
53
54 There are also some example programs in the L<guestfs-examples(3)>
55 manual page.
56
57 =head1 API OVERVIEW
58
59 This section provides a gentler overview of the libguestfs API.  We
60 also try to group API calls together, where that may not be obvious
61 from reading about the individual calls in the main section of this
62 manual.
63
64 =head2 HANDLES
65
66 Before you can use libguestfs calls, you have to create a handle.
67 Then you must add at least one disk image to the handle, followed by
68 launching the handle, then performing whatever operations you want,
69 and finally closing the handle.  By convention we use the single
70 letter C<g> for the name of the handle variable, although of course
71 you can use any name you want.
72
73 The general structure of all libguestfs-using programs looks like
74 this:
75
76  guestfs_h *g = guestfs_create ();
77  
78  /* Call guestfs_add_drive additional times if there are
79   * multiple disk images.
80   */
81  guestfs_add_drive (g, "guest.img");
82  
83  /* Most manipulation calls won't work until you've launched
84   * the handle 'g'.  You have to do this _after_ adding drives
85   * and _before_ other commands.
86   */
87  guestfs_launch (g);
88  
89  /* Now you can examine what partitions, LVs etc are available.
90   */
91  char **partitions = guestfs_list_partitions (g);
92  char **logvols = guestfs_lvs (g);
93  
94  /* To access a filesystem in the image, you must mount it.
95   */
96  guestfs_mount (g, "/dev/sda1", "/");
97  
98  /* Now you can perform filesystem actions on the guest
99   * disk image.
100   */
101  guestfs_touch (g, "/hello");
102
103  /* This is only needed for libguestfs < 1.5.24.  Since then
104   * it is done automatically when you close the handle.  See
105   * discussion of autosync in this page.
106   */
107  guestfs_sync (g);
108  
109  /* Close the handle 'g'. */
110  guestfs_close (g);
111
112 The code above doesn't include any error checking.  In real code you
113 should check return values carefully for errors.  In general all
114 functions that return integers return C<-1> on error, and all
115 functions that return pointers return C<NULL> on error.  See section
116 L</ERROR HANDLING> below for how to handle errors, and consult the
117 documentation for each function call below to see precisely how they
118 return error indications.  See L<guestfs-examples(3)> for fully worked
119 examples.
120
121 =head2 DISK IMAGES
122
123 The image filename (C<"guest.img"> in the example above) could be a
124 disk image from a virtual machine, a L<dd(1)> copy of a physical hard
125 disk, an actual block device, or simply an empty file of zeroes that
126 you have created through L<posix_fallocate(3)>.  Libguestfs lets you
127 do useful things to all of these.
128
129 The call you should use in modern code for adding drives is
130 L</guestfs_add_drive_opts>.  To add a disk image, allowing writes, and
131 specifying that the format is raw, do:
132
133  guestfs_add_drive_opts (g, filename,
134                          GUESTFS_ADD_DRIVE_OPTS_FORMAT, "raw",
135                          -1);
136
137 You can add a disk read-only using:
138
139  guestfs_add_drive_opts (g, filename,
140                          GUESTFS_ADD_DRIVE_OPTS_FORMAT, "raw",
141                          GUESTFS_ADD_DRIVE_OPTS_READONLY, 1,
142                          -1);
143
144 or by calling the older function L</guestfs_add_drive_ro>.  In either
145 case libguestfs won't modify the file.
146
147 Be extremely cautious if the disk image is in use, eg. if it is being
148 used by a virtual machine.  Adding it read-write will almost certainly
149 cause disk corruption, but adding it read-only is safe.
150
151 You must add at least one disk image, and you may add multiple disk
152 images.  In the API, the disk images are usually referred to as
153 C</dev/sda> (for the first one you added), C</dev/sdb> (for the second
154 one you added), etc.
155
156 Once L</guestfs_launch> has been called you cannot add any more images.
157 You can call L</guestfs_list_devices> to get a list of the device
158 names, in the order that you added them.  See also L</BLOCK DEVICE
159 NAMING> below.
160
161 =head2 MOUNTING
162
163 Before you can read or write files, create directories and so on in a
164 disk image that contains filesystems, you have to mount those
165 filesystems using L</guestfs_mount_options> or L</guestfs_mount_ro>.
166 If you already know that a disk image contains (for example) one
167 partition with a filesystem on that partition, then you can mount it
168 directly:
169
170  guestfs_mount_options (g, "", "/dev/sda1", "/");
171
172 where C</dev/sda1> means literally the first partition (C<1>) of the
173 first disk image that we added (C</dev/sda>).  If the disk contains
174 Linux LVM2 logical volumes you could refer to those instead
175 (eg. C</dev/VG/LV>).  Note that these are libguestfs virtual devices,
176 and are nothing to do with host devices.
177
178 If you are given a disk image and you don't know what it contains then
179 you have to find out.  Libguestfs can do that too: use
180 L</guestfs_list_partitions> and L</guestfs_lvs> to list possible
181 partitions and LVs, and either try mounting each to see what is
182 mountable, or else examine them with L</guestfs_vfs_type> or
183 L</guestfs_file>.  To list just filesystems, use
184 L</guestfs_list_filesystems>.
185
186 Libguestfs also has a set of APIs for inspection of unknown disk
187 images (see L</INSPECTION> below).  But you might find it easier to
188 look at higher level programs built on top of libguestfs, in
189 particular L<virt-inspector(1)>.
190
191 To mount a filesystem read-only, use L</guestfs_mount_ro>.  There are
192 several other variations of the C<guestfs_mount_*> call.
193
194 =head2 FILESYSTEM ACCESS AND MODIFICATION
195
196 The majority of the libguestfs API consists of fairly low-level calls
197 for accessing and modifying the files, directories, symlinks etc on
198 mounted filesystems.  There are over a hundred such calls which you
199 can find listed in detail below in this man page, and we don't even
200 pretend to cover them all in this overview.
201
202 Specify filenames as full paths, starting with C<"/"> and including
203 the mount point.
204
205 For example, if you mounted a filesystem at C<"/"> and you want to
206 read the file called C<"etc/passwd"> then you could do:
207
208  char *data = guestfs_cat (g, "/etc/passwd");
209
210 This would return C<data> as a newly allocated buffer containing the
211 full content of that file (with some conditions: see also
212 L</DOWNLOADING> below), or C<NULL> if there was an error.
213
214 As another example, to create a top-level directory on that filesystem
215 called C<"var"> you would do:
216
217  guestfs_mkdir (g, "/var");
218
219 To create a symlink you could do:
220
221  guestfs_ln_s (g, "/etc/init.d/portmap",
222                "/etc/rc3.d/S30portmap");
223
224 Libguestfs will reject attempts to use relative paths and there is no
225 concept of a current working directory.
226
227 Libguestfs can return errors in many situations: for example if the
228 filesystem isn't writable, or if a file or directory that you
229 requested doesn't exist.  If you are using the C API (documented here)
230 you have to check for those error conditions after each call.  (Other
231 language bindings turn these errors into exceptions).
232
233 File writes are affected by the per-handle umask, set by calling
234 L</guestfs_umask> and defaulting to 022.  See L</UMASK>.
235
236 =head2 PARTITIONING
237
238 Libguestfs contains API calls to read, create and modify partition
239 tables on disk images.
240
241 In the common case where you want to create a single partition
242 covering the whole disk, you should use the L</guestfs_part_disk>
243 call:
244
245  const char *parttype = "mbr";
246  if (disk_is_larger_than_2TB)
247    parttype = "gpt";
248  guestfs_part_disk (g, "/dev/sda", parttype);
249
250 Obviously this effectively wipes anything that was on that disk image
251 before.
252
253 =head2 LVM2
254
255 Libguestfs provides access to a large part of the LVM2 API, such as
256 L</guestfs_lvcreate> and L</guestfs_vgremove>.  It won't make much sense
257 unless you familiarize yourself with the concepts of physical volumes,
258 volume groups and logical volumes.
259
260 This author strongly recommends reading the LVM HOWTO, online at
261 L<http://tldp.org/HOWTO/LVM-HOWTO/>.
262
263 =head2 DOWNLOADING
264
265 Use L</guestfs_cat> to download small, text only files.  This call
266 is limited to files which are less than 2 MB and which cannot contain
267 any ASCII NUL (C<\0>) characters.  However it has a very simple
268 to use API.
269
270 L</guestfs_read_file> can be used to read files which contain
271 arbitrary 8 bit data, since it returns a (pointer, size) pair.
272 However it is still limited to "small" files, less than 2 MB.
273
274 L</guestfs_download> can be used to download any file, with no
275 limits on content or size (even files larger than 4 GB).
276
277 To download multiple files, see L</guestfs_tar_out> and
278 L</guestfs_tgz_out>.
279
280 =head2 UPLOADING
281
282 It's often the case that you want to write a file or files to the disk
283 image.
284
285 To write a small file with fixed content, use L</guestfs_write>.  To
286 create a file of all zeroes, use L</guestfs_truncate_size> (sparse) or
287 L</guestfs_fallocate64> (with all disk blocks allocated).  There are a
288 variety of other functions for creating test files, for example
289 L</guestfs_fill> and L</guestfs_fill_pattern>.
290
291 To upload a single file, use L</guestfs_upload>.  This call has no
292 limits on file content or size (even files larger than 4 GB).
293
294 To upload multiple files, see L</guestfs_tar_in> and L</guestfs_tgz_in>.
295
296 However the fastest way to upload I<large numbers of arbitrary files>
297 is to turn them into a squashfs or CD ISO (see L<mksquashfs(8)> and
298 L<mkisofs(8)>), then attach this using L</guestfs_add_drive_ro>.  If
299 you add the drive in a predictable way (eg. adding it last after all
300 other drives) then you can get the device name from
301 L</guestfs_list_devices> and mount it directly using
302 L</guestfs_mount_ro>.  Note that squashfs images are sometimes
303 non-portable between kernel versions, and they don't support labels or
304 UUIDs.  If you want to pre-build an image or you need to mount it
305 using a label or UUID, use an ISO image instead.
306
307 =head2 COPYING
308
309 There are various different commands for copying between files and
310 devices and in and out of the guest filesystem.  These are summarised
311 in the table below.
312
313 =over 4
314
315 =item B<file> to B<file>
316
317 Use L</guestfs_cp> to copy a single file, or
318 L</guestfs_cp_a> to copy directories recursively.
319
320 =item B<file or device> to B<file or device>
321
322 Use L</guestfs_dd> which efficiently uses L<dd(1)>
323 to copy between files and devices in the guest.
324
325 Example: duplicate the contents of an LV:
326
327  guestfs_dd (g, "/dev/VG/Original", "/dev/VG/Copy");
328
329 The destination (C</dev/VG/Copy>) must be at least as large as the
330 source (C</dev/VG/Original>).  To copy less than the whole
331 source device, use L</guestfs_copy_size>.
332
333 =item B<file on the host> to B<file or device>
334
335 Use L</guestfs_upload>.  See L</UPLOADING> above.
336
337 =item B<file or device> to B<file on the host>
338
339 Use L</guestfs_download>.  See L</DOWNLOADING> above.
340
341 =back
342
343 =head2 UPLOADING AND DOWNLOADING TO PIPES AND FILE DESCRIPTORS
344
345 Calls like L</guestfs_upload>, L</guestfs_download>,
346 L</guestfs_tar_in>, L</guestfs_tar_out> etc appear to only take
347 filenames as arguments, so it appears you can only upload and download
348 to files.  However many Un*x-like hosts let you use the special device
349 files C</dev/stdin>, C</dev/stdout>, C</dev/stderr> and C</dev/fd/N>
350 to read and write from stdin, stdout, stderr, and arbitrary file
351 descriptor N.
352
353 For example, L<virt-cat(1)> writes its output to stdout by
354 doing:
355
356  guestfs_download (filename, "/dev/stdout");
357
358 and you can write tar output to a pipe C<fd> by doing:
359
360  char devfd[64];
361  snprintf (devfd, sizeof devfd, "/dev/fd/%d", fd);
362  guestfs_tar_out ("/", devfd);
363
364 =head2 LISTING FILES
365
366 L</guestfs_ll> is just designed for humans to read (mainly when using
367 the L<guestfish(1)>-equivalent command C<ll>).
368
369 L</guestfs_ls> is a quick way to get a list of files in a directory
370 from programs, as a flat list of strings.
371
372 L</guestfs_readdir> is a programmatic way to get a list of files in a
373 directory, plus additional information about each one.  It is more
374 equivalent to using the L<readdir(3)> call on a local filesystem.
375
376 L</guestfs_find> and L</guestfs_find0> can be used to recursively list
377 files.
378
379 =head2 RUNNING COMMANDS
380
381 Although libguestfs is primarily an API for manipulating files
382 inside guest images, we also provide some limited facilities for
383 running commands inside guests.
384
385 There are many limitations to this:
386
387 =over 4
388
389 =item *
390
391 The kernel version that the command runs under will be different
392 from what it expects.
393
394 =item *
395
396 If the command needs to communicate with daemons, then most likely
397 they won't be running.
398
399 =item *
400
401 The command will be running in limited memory.
402
403 =item *
404
405 The network may not be available unless you enable it
406 (see L</guestfs_set_network>).
407
408 =item *
409
410 Only supports Linux guests (not Windows, BSD, etc).
411
412 =item *
413
414 Architecture limitations (eg. won't work for a PPC guest on
415 an X86 host).
416
417 =item *
418
419 For SELinux guests, you may need to enable SELinux and load policy
420 first.  See L</SELINUX> in this manpage.
421
422 =item *
423
424 I<Security:> It is not safe to run commands from untrusted, possibly
425 malicious guests.  These commands may attempt to exploit your program
426 by sending unexpected output.  They could also try to exploit the
427 Linux kernel or qemu provided by the libguestfs appliance.  They could
428 use the network provided by the libguestfs appliance to bypass
429 ordinary network partitions and firewalls.  They could use the
430 elevated privileges or different SELinux context of your program
431 to their advantage.
432
433 A secure alternative is to use libguestfs to install a "firstboot"
434 script (a script which runs when the guest next boots normally), and
435 to have this script run the commands you want in the normal context of
436 the running guest, network security and so on.  For information about
437 other security issues, see L</SECURITY>.
438
439 =back
440
441 The two main API calls to run commands are L</guestfs_command> and
442 L</guestfs_sh> (there are also variations).
443
444 The difference is that L</guestfs_sh> runs commands using the shell, so
445 any shell globs, redirections, etc will work.
446
447 =head2 CONFIGURATION FILES
448
449 To read and write configuration files in Linux guest filesystems, we
450 strongly recommend using Augeas.  For example, Augeas understands how
451 to read and write, say, a Linux shadow password file or X.org
452 configuration file, and so avoids you having to write that code.
453
454 The main Augeas calls are bound through the C<guestfs_aug_*> APIs.  We
455 don't document Augeas itself here because there is excellent
456 documentation on the L<http://augeas.net/> website.
457
458 If you don't want to use Augeas (you fool!) then try calling
459 L</guestfs_read_lines> to get the file as a list of lines which
460 you can iterate over.
461
462 =head2 SELINUX
463
464 We support SELinux guests.  To ensure that labeling happens correctly
465 in SELinux guests, you need to enable SELinux and load the guest's
466 policy:
467
468 =over 4
469
470 =item 1.
471
472 Before launching, do:
473
474  guestfs_set_selinux (g, 1);
475
476 =item 2.
477
478 After mounting the guest's filesystem(s), load the policy.  This
479 is best done by running the L<load_policy(8)> command in the
480 guest itself:
481
482  guestfs_sh (g, "/usr/sbin/load_policy");
483
484 (Older versions of C<load_policy> require you to specify the
485 name of the policy file).
486
487 =item 3.
488
489 Optionally, set the security context for the API.  The correct
490 security context to use can only be known by inspecting the
491 guest.  As an example:
492
493  guestfs_setcon (g, "unconfined_u:unconfined_r:unconfined_t:s0");
494
495 =back
496
497 This will work for running commands and editing existing files.
498
499 When new files are created, you may need to label them explicitly,
500 for example by running the external command
501 C<restorecon pathname>.
502
503 =head2 UMASK
504
505 Certain calls are affected by the current file mode creation mask (the
506 "umask").  In particular ones which create files or directories, such
507 as L</guestfs_touch>, L</guestfs_mknod> or L</guestfs_mkdir>.  This
508 affects either the default mode that the file is created with or
509 modifies the mode that you supply.
510
511 The default umask is C<022>, so files are created with modes such as
512 C<0644> and directories with C<0755>.
513
514 There are two ways to avoid being affected by umask.  Either set umask
515 to 0 (call C<guestfs_umask (g, 0)> early after launching).  Or call
516 L</guestfs_chmod> after creating each file or directory.
517
518 For more information about umask, see L<umask(2)>.
519
520 =head2 ENCRYPTED DISKS
521
522 Libguestfs allows you to access Linux guests which have been
523 encrypted using whole disk encryption that conforms to the
524 Linux Unified Key Setup (LUKS) standard.  This includes
525 nearly all whole disk encryption systems used by modern
526 Linux guests.
527
528 Use L</guestfs_vfs_type> to identify LUKS-encrypted block
529 devices (it returns the string C<crypto_LUKS>).
530
531 Then open these devices by calling L</guestfs_luks_open>.
532 Obviously you will require the passphrase!
533
534 Opening a LUKS device creates a new device mapper device
535 called C</dev/mapper/mapname> (where C<mapname> is the
536 string you supply to L</guestfs_luks_open>).
537 Reads and writes to this mapper device are decrypted from and
538 encrypted to the underlying block device respectively.
539
540 LVM volume groups on the device can be made visible by calling
541 L</guestfs_vgscan> followed by L</guestfs_vg_activate_all>.
542 The logical volume(s) can now be mounted in the usual way.
543
544 Use the reverse process to close a LUKS device.  Unmount
545 any logical volumes on it, deactivate the volume groups
546 by caling C<guestfs_vg_activate (g, 0, ["/dev/VG"])>.
547 Then close the mapper device by calling
548 L</guestfs_luks_close> on the C</dev/mapper/mapname>
549 device (I<not> the underlying encrypted block device).
550
551 =head2 INSPECTION
552
553 Libguestfs has APIs for inspecting an unknown disk image to find out
554 if it contains operating systems.  (These APIs used to be in a
555 separate Perl-only library called L<Sys::Guestfs::Lib(3)> but since
556 version 1.5.3 the most frequently used part of this library has been
557 rewritten in C and moved into the core code).
558
559 Add all disks belonging to the unknown virtual machine and call
560 L</guestfs_launch> in the usual way.
561
562 Then call L</guestfs_inspect_os>.  This function uses other libguestfs
563 calls and certain heuristics, and returns a list of operating systems
564 that were found.  An empty list means none were found.  A single
565 element is the root filesystem of the operating system.  For dual- or
566 multi-boot guests, multiple roots can be returned, each one
567 corresponding to a separate operating system.  (Multi-boot virtual
568 machines are extremely rare in the world of virtualization, but since
569 this scenario can happen, we have built libguestfs to deal with it.)
570
571 For each root, you can then call various C<guestfs_inspect_get_*>
572 functions to get additional details about that operating system.  For
573 example, call L</guestfs_inspect_get_type> to return the string
574 C<windows> or C<linux> for Windows and Linux-based operating systems
575 respectively.
576
577 Un*x-like and Linux-based operating systems usually consist of several
578 filesystems which are mounted at boot time (for example, a separate
579 boot partition mounted on C</boot>).  The inspection rules are able to
580 detect how filesystems correspond to mount points.  Call
581 C<guestfs_inspect_get_mountpoints> to get this mapping.  It might
582 return a hash table like this example:
583
584  /boot => /dev/sda1
585  /     => /dev/vg_guest/lv_root
586  /usr  => /dev/vg_guest/lv_usr
587
588 The caller can then make calls to L</guestfs_mount_options> to
589 mount the filesystems as suggested.
590
591 Be careful to mount filesystems in the right order (eg. C</> before
592 C</usr>).  Sorting the keys of the hash by length, shortest first,
593 should work.
594
595 Inspection currently only works for some common operating systems.
596 Contributors are welcome to send patches for other operating systems
597 that we currently cannot detect.
598
599 Encrypted disks must be opened before inspection.  See
600 L</ENCRYPTED DISKS> for more details.  The L</guestfs_inspect_os>
601 function just ignores any encrypted devices.
602
603 A note on the implementation: The call L</guestfs_inspect_os> performs
604 inspection and caches the results in the guest handle.  Subsequent
605 calls to C<guestfs_inspect_get_*> return this cached information, but
606 I<do not> re-read the disks.  If you change the content of the guest
607 disks, you can redo inspection by calling L</guestfs_inspect_os>
608 again.  (L</guestfs_inspect_list_applications> works a little
609 differently from the other calls and does read the disks.  See
610 documentation for that function for details).
611
612 =head2 SPECIAL CONSIDERATIONS FOR WINDOWS GUESTS
613
614 Libguestfs can mount NTFS partitions.  It does this using the
615 L<http://www.ntfs-3g.org/> driver.
616
617 =head3 DRIVE LETTERS AND PATHS
618
619 DOS and Windows still use drive letters, and the filesystems are
620 always treated as case insensitive by Windows itself, and therefore
621 you might find a Windows configuration file referring to a path like
622 C<c:\windows\system32>.  When the filesystem is mounted in libguestfs,
623 that directory might be referred to as C</WINDOWS/System32>.
624
625 Drive letter mappings are outside the scope of libguestfs.  You have
626 to use libguestfs to read the appropriate Windows Registry and
627 configuration files, to determine yourself how drives are mapped (see
628 also L<hivex(3)> and L<virt-inspector(1)>).
629
630 Replacing backslash characters with forward slash characters is also
631 outside the scope of libguestfs, but something that you can easily do.
632
633 Where we can help is in resolving the case insensitivity of paths.
634 For this, call L</guestfs_case_sensitive_path>.
635
636 =head3 ACCESSING THE WINDOWS REGISTRY
637
638 Libguestfs also provides some help for decoding Windows Registry
639 "hive" files, through the library C<hivex> which is part of the
640 libguestfs project although ships as a separate tarball.  You have to
641 locate and download the hive file(s) yourself, and then pass them to
642 C<hivex> functions.  See also the programs L<hivexml(1)>,
643 L<hivexsh(1)>, L<hivexregedit(1)> and L<virt-win-reg(1)> for more help
644 on this issue.
645
646 =head3 SYMLINKS ON NTFS-3G FILESYSTEMS
647
648 Ntfs-3g tries to rewrite "Junction Points" and NTFS "symbolic links"
649 to provide something which looks like a Linux symlink.  The way it
650 tries to do the rewriting is described here:
651
652 L<http://www.tuxera.com/community/ntfs-3g-advanced/junction-points-and-symbolic-links/>
653
654 The essential problem is that ntfs-3g simply does not have enough
655 information to do a correct job.  NTFS links can contain drive letters
656 and references to external device GUIDs that ntfs-3g has no way of
657 resolving.  It is almost certainly the case that libguestfs callers
658 should ignore what ntfs-3g does (ie. don't use L</guestfs_readlink> on
659 NTFS volumes).
660
661 Instead if you encounter a symbolic link on an ntfs-3g filesystem, use
662 L</guestfs_lgetxattr> to read the C<system.ntfs_reparse_data> extended
663 attribute, and read the raw reparse data from that (you can find the
664 format documented in various places around the web).
665
666 =head3 EXTENDED ATTRIBUTES ON NTFS-3G FILESYSTEMS
667
668 There are other useful extended attributes that can be read from
669 ntfs-3g filesystems (using L</guestfs_getxattr>).  See:
670
671 L<http://www.tuxera.com/community/ntfs-3g-advanced/extended-attributes/>
672
673 =head2 USING LIBGUESTFS WITH OTHER PROGRAMMING LANGUAGES
674
675 Although we don't want to discourage you from using the C API, we will
676 mention here that the same API is also available in other languages.
677
678 The API is broadly identical in all supported languages.  This means
679 that the C call C<guestfs_mount(g,path)> is
680 C<$g-E<gt>mount($path)> in Perl, C<g.mount(path)> in Python,
681 and C<Guestfs.mount g path> in OCaml.  In other words, a
682 straightforward, predictable isomorphism between each language.
683
684 Error messages are automatically transformed
685 into exceptions if the language supports it.
686
687 We don't try to "object orientify" parts of the API in OO languages,
688 although contributors are welcome to write higher level APIs above
689 what we provide in their favourite languages if they wish.
690
691 =over 4
692
693 =item B<C++>
694
695 You can use the I<guestfs.h> header file from C++ programs.  The C++
696 API is identical to the C API.  C++ classes and exceptions are not
697 used.
698
699 =item B<C#>
700
701 The C# bindings are highly experimental.  Please read the warnings
702 at the top of C<csharp/Libguestfs.cs>.
703
704 =item B<Haskell>
705
706 This is the only language binding that is working but incomplete.
707 Only calls which return simple integers have been bound in Haskell,
708 and we are looking for help to complete this binding.
709
710 =item B<Java>
711
712 Full documentation is contained in the Javadoc which is distributed
713 with libguestfs.
714
715 =item B<OCaml>
716
717 For documentation see L<guestfs-ocaml(3)>.
718
719 =item B<Perl>
720
721 For documentation see L<Sys::Guestfs(3)>.
722
723 =item B<PHP>
724
725 For documentation see C<README-PHP> supplied with libguestfs
726 sources or in the php-libguestfs package for your distribution.
727
728 The PHP binding only works correctly on 64 bit machines.
729
730 =item B<Python>
731
732 For documentation see L<guestfs-python(3)>.
733
734 =item B<Ruby>
735
736 For documentation see L<guestfs-ruby(3)>.
737
738 =item B<shell scripts>
739
740 For documentation see L<guestfish(1)>.
741
742 =back
743
744 =head2 LIBGUESTFS GOTCHAS
745
746 L<http://en.wikipedia.org/wiki/Gotcha_(programming)>: "A feature of a
747 system [...] that works in the way it is documented but is
748 counterintuitive and almost invites mistakes."
749
750 Since we developed libguestfs and the associated tools, there are
751 several things we would have designed differently, but are now stuck
752 with for backwards compatibility or other reasons.  If there is ever a
753 libguestfs 2.0 release, you can expect these to change.  Beware of
754 them.
755
756 =over 4
757
758 =item Autosync / forgetting to sync.
759
760 When modifying a filesystem from C or another language, you B<must>
761 unmount all filesystems and call L</guestfs_sync> explicitly before
762 you close the libguestfs handle.  You can also call:
763
764  guestfs_set_autosync (g, 1);
765
766 to have the unmount/sync done automatically for you when the handle 'g'
767 is closed.  (This feature is called "autosync", L</guestfs_set_autosync>
768 q.v.)
769
770 If you forget to do this, then it is entirely possible that your
771 changes won't be written out, or will be partially written, or (very
772 rarely) that you'll get disk corruption.
773
774 Note that in L<guestfish(3)> autosync is the default.  So quick and
775 dirty guestfish scripts that forget to sync will work just fine, which
776 can make this very puzzling if you are trying to debug a problem.
777
778 Update: Autosync is enabled by default for all API users starting from
779 libguestfs 1.5.24.
780
781 =item Mount option C<-o sync> should not be the default.
782
783 If you use L</guestfs_mount>, then C<-o sync,noatime> are added
784 implicitly.  However C<-o sync> does not add any reliability benefit,
785 but does have a very large performance impact.
786
787 The work around is to use L</guestfs_mount_options> and set the mount
788 options that you actually want to use.
789
790 =item Read-only should be the default.
791
792 In L<guestfish(3)>, I<--ro> should be the default, and you should
793 have to specify I<--rw> if you want to make changes to the image.
794
795 This would reduce the potential to corrupt live VM images.
796
797 Note that many filesystems change the disk when you just mount and
798 unmount, even if you didn't perform any writes.  You need to use
799 L</guestfs_add_drive_ro> to guarantee that the disk is not changed.
800
801 =item guestfish command line is hard to use.
802
803 C<guestfish disk.img> doesn't do what people expect (open C<disk.img>
804 for examination).  It tries to run a guestfish command C<disk.img>
805 which doesn't exist, so it fails.  In earlier versions of guestfish
806 the error message was also unintuitive, but we have corrected this
807 since.  Like the Bourne shell, we should have used C<guestfish -c
808 command> to run commands.
809
810 =item guestfish megabyte modifiers don't work right on all commands
811
812 In recent guestfish you can use C<1M> to mean 1 megabyte (and
813 similarly for other modifiers).  What guestfish actually does is to
814 multiply the number part by the modifier part and pass the result to
815 the C API.  However this doesn't work for a few APIs which aren't
816 expecting bytes, but are already expecting some other unit
817 (eg. megabytes).
818
819 The most common is L</guestfs_lvcreate>.  The guestfish command:
820
821  lvcreate LV VG 100M
822
823 does not do what you might expect.  Instead because
824 L</guestfs_lvcreate> is already expecting megabytes, this tries to
825 create a 100 I<terabyte> (100 megabytes * megabytes) logical volume.
826 The error message you get from this is also a little obscure.
827
828 This could be fixed in the generator by specially marking parameters
829 and return values which take bytes or other units.
830
831 =item Ambiguity between devices and paths
832
833 There is a subtle ambiguity in the API between a device name
834 (eg. C</dev/sdb2>) and a similar pathname.  A file might just happen
835 to be called C<sdb2> in the directory C</dev> (consider some non-Unix
836 VM image).
837
838 In the current API we usually resolve this ambiguity by having two
839 separate calls, for example L</guestfs_checksum> and
840 L</guestfs_checksum_device>.  Some API calls are ambiguous and
841 (incorrectly) resolve the problem by detecting if the path supplied
842 begins with C</dev/>.
843
844 To avoid both the ambiguity and the need to duplicate some calls, we
845 could make paths/devices into structured names.  One way to do this
846 would be to use a notation like grub (C<hd(0,0)>), although nobody
847 really likes this aspect of grub.  Another way would be to use a
848 structured type, equivalent to this OCaml type:
849
850  type path = Path of string | Device of int | Partition of int * int
851
852 which would allow you to pass arguments like:
853
854  Path "/foo/bar"
855  Device 1            (* /dev/sdb, or perhaps /dev/sda *)
856  Partition (1, 2)    (* /dev/sdb2 (or is it /dev/sda2 or /dev/sdb3?) *)
857  Path "/dev/sdb2"    (* not a device *)
858
859 As you can see there are still problems to resolve even with this
860 representation.  Also consider how it might work in guestfish.
861
862 =back
863
864 =head2 PROTOCOL LIMITS
865
866 Internally libguestfs uses a message-based protocol to pass API calls
867 and their responses to and from a small "appliance" (see L</INTERNALS>
868 for plenty more detail about this).  The maximum message size used by
869 the protocol is slightly less than 4 MB.  For some API calls you may
870 need to be aware of this limit.  The API calls which may be affected
871 are individually documented, with a link back to this section of the
872 documentation.
873
874 A simple call such as L</guestfs_cat> returns its result (the file
875 data) in a simple string.  Because this string is at some point
876 internally encoded as a message, the maximum size that it can return
877 is slightly under 4 MB.  If the requested file is larger than this
878 then you will get an error.
879
880 In order to transfer large files into and out of the guest filesystem,
881 you need to use particular calls that support this.  The sections
882 L</UPLOADING> and L</DOWNLOADING> document how to do this.
883
884 You might also consider mounting the disk image using our FUSE
885 filesystem support (L<guestmount(1)>).
886
887 =head2 KEYS AND PASSPHRASES
888
889 Certain libguestfs calls take a parameter that contains sensitive key
890 material, passed in as a C string.
891
892 In the future we would hope to change the libguestfs implementation so
893 that keys are L<mlock(2)>-ed into physical RAM, and thus can never end
894 up in swap.  However this is I<not> done at the moment, because of the
895 complexity of such an implementation.
896
897 Therefore you should be aware that any key parameter you pass to
898 libguestfs might end up being written out to the swap partition.  If
899 this is a concern, scrub the swap partition or don't use libguestfs on
900 encrypted devices.
901
902 =head2 MULTIPLE HANDLES AND MULTIPLE THREADS
903
904 All high-level libguestfs actions are synchronous.  If you want
905 to use libguestfs asynchronously then you must create a thread.
906
907 Only use the handle from a single thread.  Either use the handle
908 exclusively from one thread, or provide your own mutex so that two
909 threads cannot issue calls on the same handle at the same time.
910
911 See the graphical program guestfs-browser for one possible
912 architecture for multithreaded programs using libvirt and libguestfs.
913
914 =head2 PATH
915
916 Libguestfs needs a kernel and initrd.img, which it finds by looking
917 along an internal path.
918
919 By default it looks for these in the directory C<$libdir/guestfs>
920 (eg. C</usr/local/lib/guestfs> or C</usr/lib64/guestfs>).
921
922 Use L</guestfs_set_path> or set the environment variable
923 L</LIBGUESTFS_PATH> to change the directories that libguestfs will
924 search in.  The value is a colon-separated list of paths.  The current
925 directory is I<not> searched unless the path contains an empty element
926 or C<.>.  For example C<LIBGUESTFS_PATH=:/usr/lib/guestfs> would
927 search the current directory and then C</usr/lib/guestfs>.
928
929 =head2 QEMU WRAPPERS
930
931 If you want to compile your own qemu, run qemu from a non-standard
932 location, or pass extra arguments to qemu, then you can write a
933 shell-script wrapper around qemu.
934
935 There is one important rule to remember: you I<must C<exec qemu>> as
936 the last command in the shell script (so that qemu replaces the shell
937 and becomes the direct child of the libguestfs-using program).  If you
938 don't do this, then the qemu process won't be cleaned up correctly.
939
940 Here is an example of a wrapper, where I have built my own copy of
941 qemu from source:
942
943  #!/bin/sh -
944  qemudir=/home/rjones/d/qemu
945  exec $qemudir/x86_64-softmmu/qemu-system-x86_64 -L $qemudir/pc-bios "$@"
946
947 Save this script as C</tmp/qemu.wrapper> (or wherever), C<chmod +x>,
948 and then use it by setting the LIBGUESTFS_QEMU environment variable.
949 For example:
950
951  LIBGUESTFS_QEMU=/tmp/qemu.wrapper guestfish
952
953 Note that libguestfs also calls qemu with the -help and -version
954 options in order to determine features.
955
956 =head2 ABI GUARANTEE
957
958 We guarantee the libguestfs ABI (binary interface), for public,
959 high-level actions as outlined in this section.  Although we will
960 deprecate some actions, for example if they get replaced by newer
961 calls, we will keep the old actions forever.  This allows you the
962 developer to program in confidence against the libguestfs API.
963
964 =head2 BLOCK DEVICE NAMING
965
966 In the kernel there is now quite a profusion of schemata for naming
967 block devices (in this context, by I<block device> I mean a physical
968 or virtual hard drive).  The original Linux IDE driver used names
969 starting with C</dev/hd*>.  SCSI devices have historically used a
970 different naming scheme, C</dev/sd*>.  When the Linux kernel I<libata>
971 driver became a popular replacement for the old IDE driver
972 (particularly for SATA devices) those devices also used the
973 C</dev/sd*> scheme.  Additionally we now have virtual machines with
974 paravirtualized drivers.  This has created several different naming
975 systems, such as C</dev/vd*> for virtio disks and C</dev/xvd*> for Xen
976 PV disks.
977
978 As discussed above, libguestfs uses a qemu appliance running an
979 embedded Linux kernel to access block devices.  We can run a variety
980 of appliances based on a variety of Linux kernels.
981
982 This causes a problem for libguestfs because many API calls use device
983 or partition names.  Working scripts and the recipe (example) scripts
984 that we make available over the internet could fail if the naming
985 scheme changes.
986
987 Therefore libguestfs defines C</dev/sd*> as the I<standard naming
988 scheme>.  Internally C</dev/sd*> names are translated, if necessary,
989 to other names as required.  For example, under RHEL 5 which uses the
990 C</dev/hd*> scheme, any device parameter C</dev/sda2> is translated to
991 C</dev/hda2> transparently.
992
993 Note that this I<only> applies to parameters.  The
994 L</guestfs_list_devices>, L</guestfs_list_partitions> and similar calls
995 return the true names of the devices and partitions as known to the
996 appliance.
997
998 =head3 ALGORITHM FOR BLOCK DEVICE NAME TRANSLATION
999
1000 Usually this translation is transparent.  However in some (very rare)
1001 cases you may need to know the exact algorithm.  Such cases include
1002 where you use L</guestfs_config> to add a mixture of virtio and IDE
1003 devices to the qemu-based appliance, so have a mixture of C</dev/sd*>
1004 and C</dev/vd*> devices.
1005
1006 The algorithm is applied only to I<parameters> which are known to be
1007 either device or partition names.  Return values from functions such
1008 as L</guestfs_list_devices> are never changed.
1009
1010 =over 4
1011
1012 =item *
1013
1014 Is the string a parameter which is a device or partition name?
1015
1016 =item *
1017
1018 Does the string begin with C</dev/sd>?
1019
1020 =item *
1021
1022 Does the named device exist?  If so, we use that device.
1023 However if I<not> then we continue with this algorithm.
1024
1025 =item *
1026
1027 Replace initial C</dev/sd> string with C</dev/hd>.
1028
1029 For example, change C</dev/sda2> to C</dev/hda2>.
1030
1031 If that named device exists, use it.  If not, continue.
1032
1033 =item *
1034
1035 Replace initial C</dev/sd> string with C</dev/vd>.
1036
1037 If that named device exists, use it.  If not, return an error.
1038
1039 =back
1040
1041 =head3 PORTABILITY CONCERNS WITH BLOCK DEVICE NAMING
1042
1043 Although the standard naming scheme and automatic translation is
1044 useful for simple programs and guestfish scripts, for larger programs
1045 it is best not to rely on this mechanism.
1046
1047 Where possible for maximum future portability programs using
1048 libguestfs should use these future-proof techniques:
1049
1050 =over 4
1051
1052 =item *
1053
1054 Use L</guestfs_list_devices> or L</guestfs_list_partitions> to list
1055 actual device names, and then use those names directly.
1056
1057 Since those device names exist by definition, they will never be
1058 translated.
1059
1060 =item *
1061
1062 Use higher level ways to identify filesystems, such as LVM names,
1063 UUIDs and filesystem labels.
1064
1065 =back
1066
1067 =head1 SECURITY
1068
1069 This section discusses security implications of using libguestfs,
1070 particularly with untrusted or malicious guests or disk images.
1071
1072 =head2 GENERAL SECURITY CONSIDERATIONS
1073
1074 Be careful with any files or data that you download from a guest (by
1075 "download" we mean not just the L</guestfs_download> command but any
1076 command that reads files, filenames, directories or anything else from
1077 a disk image).  An attacker could manipulate the data to fool your
1078 program into doing the wrong thing.  Consider cases such as:
1079
1080 =over 4
1081
1082 =item *
1083
1084 the data (file etc) not being present
1085
1086 =item *
1087
1088 being present but empty
1089
1090 =item *
1091
1092 being much larger than normal
1093
1094 =item *
1095
1096 containing arbitrary 8 bit data
1097
1098 =item *
1099
1100 being in an unexpected character encoding
1101
1102 =item *
1103
1104 containing homoglyphs.
1105
1106 =back
1107
1108 =head2 SECURITY OF MOUNTING FILESYSTEMS
1109
1110 When you mount a filesystem under Linux, mistakes in the kernel
1111 filesystem (VFS) module can sometimes be escalated into exploits by
1112 deliberately creating a malicious, malformed filesystem.  These
1113 exploits are very severe for two reasons.  Firstly there are very many
1114 filesystem drivers in the kernel, and many of them are infrequently
1115 used and not much developer attention has been paid to the code.
1116 Linux userspace helps potential crackers by detecting the filesystem
1117 type and automatically choosing the right VFS driver, even if that
1118 filesystem type is obscure or unexpected for the administrator.
1119 Secondly, a kernel-level exploit is like a local root exploit (worse
1120 in some ways), giving immediate and total access to the system right
1121 down to the hardware level.
1122
1123 That explains why you should never mount a filesystem from an
1124 untrusted guest on your host kernel.  How about libguestfs?  We run a
1125 Linux kernel inside a qemu virtual machine, usually running as a
1126 non-root user.  The attacker would need to write a filesystem which
1127 first exploited the kernel, and then exploited either qemu
1128 virtualization (eg. a faulty qemu driver) or the libguestfs protocol,
1129 and finally to be as serious as the host kernel exploit it would need
1130 to escalate its privileges to root.  This multi-step escalation,
1131 performed by a static piece of data, is thought to be extremely hard
1132 to do, although we never say 'never' about security issues.
1133
1134 In any case callers can reduce the attack surface by forcing the
1135 filesystem type when mounting (use L</guestfs_mount_vfs>).
1136
1137 =head2 PROTOCOL SECURITY
1138
1139 The protocol is designed to be secure, being based on RFC 4506 (XDR)
1140 with a defined upper message size.  However a program that uses
1141 libguestfs must also take care - for example you can write a program
1142 that downloads a binary from a disk image and executes it locally, and
1143 no amount of protocol security will save you from the consequences.
1144
1145 =head2 INSPECTION SECURITY
1146
1147 Parts of the inspection API (see L</INSPECTION>) return untrusted
1148 strings directly from the guest, and these could contain any 8 bit
1149 data.  Callers should be careful to escape these before printing them
1150 to a structured file (for example, use HTML escaping if creating a web
1151 page).
1152
1153 Guest configuration may be altered in unusual ways by the
1154 administrator of the virtual machine, and may not reflect reality
1155 (particularly for untrusted or actively malicious guests).  For
1156 example we parse the hostname from configuration files like
1157 C</etc/sysconfig/network> that we find in the guest, but the guest
1158 administrator can easily manipulate these files to provide the wrong
1159 hostname.
1160
1161 The inspection API parses guest configuration using two external
1162 libraries: Augeas (Linux configuration) and hivex (Windows Registry).
1163 Both are designed to be robust in the face of malicious data, although
1164 denial of service attacks are still possible, for example with
1165 oversized configuration files.
1166
1167 =head2 RUNNING UNTRUSTED GUEST COMMANDS
1168
1169 Be very cautious about running commands from the guest.  By running a
1170 command in the guest, you are giving CPU time to a binary that you do
1171 not control, under the same user account as the library, albeit
1172 wrapped in qemu virtualization.  More information and alternatives can
1173 be found in the section L</RUNNING COMMANDS>.
1174
1175 =head2 CVE-2010-3851
1176
1177 https://bugzilla.redhat.com/642934
1178
1179 This security bug concerns the automatic disk format detection that
1180 qemu does on disk images.
1181
1182 A raw disk image is just the raw bytes, there is no header.  Other
1183 disk images like qcow2 contain a special header.  Qemu deals with this
1184 by looking for one of the known headers, and if none is found then
1185 assuming the disk image must be raw.
1186
1187 This allows a guest which has been given a raw disk image to write
1188 some other header.  At next boot (or when the disk image is accessed
1189 by libguestfs) qemu would do autodetection and think the disk image
1190 format was, say, qcow2 based on the header written by the guest.
1191
1192 This in itself would not be a problem, but qcow2 offers many features,
1193 one of which is to allow a disk image to refer to another image
1194 (called the "backing disk").  It does this by placing the path to the
1195 backing disk into the qcow2 header.  This path is not validated and
1196 could point to any host file (eg. "/etc/passwd").  The backing disk is
1197 then exposed through "holes" in the qcow2 disk image, which of course
1198 is completely under the control of the attacker.
1199
1200 In libguestfs this is rather hard to exploit except under two
1201 circumstances:
1202
1203 =over 4
1204
1205 =item 1.
1206
1207 You have enabled the network or have opened the disk in write mode.
1208
1209 =item 2.
1210
1211 You are also running untrusted code from the guest (see
1212 L</RUNNING COMMANDS>).
1213
1214 =back
1215
1216 The way to avoid this is to specify the expected disk format when
1217 adding disks (the optional C<format> option to
1218 L</guestfs_add_drive_opts>).  You should always do this if the disk is
1219 raw format, and it's a good idea for other cases too.
1220
1221 For disks added from libvirt using calls like L</guestfs_add_domain>,
1222 the format is fetched from libvirt and passed through.
1223
1224 For libguestfs tools, use the I<--format> command line parameter as
1225 appropriate.
1226
1227 =head1 CONNECTION MANAGEMENT
1228
1229 =head2 guestfs_h *
1230
1231 C<guestfs_h> is the opaque type representing a connection handle.
1232 Create a handle by calling L</guestfs_create>.  Call L</guestfs_close>
1233 to free the handle and release all resources used.
1234
1235 For information on using multiple handles and threads, see the section
1236 L</MULTIPLE HANDLES AND MULTIPLE THREADS> below.
1237
1238 =head2 guestfs_create
1239
1240  guestfs_h *guestfs_create (void);
1241
1242 Create a connection handle.
1243
1244 You have to call L</guestfs_add_drive_opts> (or one of the equivalent
1245 calls) on the handle at least once.
1246
1247 This function returns a non-NULL pointer to a handle on success or
1248 NULL on error.
1249
1250 After configuring the handle, you have to call L</guestfs_launch>.
1251
1252 You may also want to configure error handling for the handle.  See
1253 L</ERROR HANDLING> section below.
1254
1255 =head2 guestfs_close
1256
1257  void guestfs_close (guestfs_h *g);
1258
1259 This closes the connection handle and frees up all resources used.
1260
1261 =head1 ERROR HANDLING
1262
1263 API functions can return errors.  For example, almost all functions
1264 that return C<int> will return C<-1> to indicate an error.
1265
1266 Additional information is available for errors: an error message
1267 string and optionally an error number (errno) if the thing that failed
1268 was a system call.
1269
1270 You can get at the additional information about the last error on the
1271 handle by calling L</guestfs_last_error>, L</guestfs_last_errno>,
1272 and/or by setting up an error handler with
1273 L</guestfs_set_error_handler>.
1274
1275 When the handle is created, a default error handler is installed which
1276 prints the error message string to C<stderr>.  For small short-running
1277 command line programs it is sufficient to do:
1278
1279  if (guestfs_launch (g) == -1)
1280    exit (EXIT_FAILURE);
1281
1282 since the default error handler will ensure that an error message has
1283 been printed to C<stderr> before the program exits.
1284
1285 For other programs the caller will almost certainly want to install an
1286 alternate error handler or do error handling in-line like this:
1287
1288  g = guestfs_create ();
1289  
1290  /* This disables the default behaviour of printing errors
1291     on stderr. */
1292  guestfs_set_error_handler (g, NULL, NULL);
1293  
1294  if (guestfs_launch (g) == -1) {
1295    /* Examine the error message and print it etc. */
1296    char *msg = guestfs_last_error (g);
1297    int errnum = guestfs_last_errno (g);
1298    fprintf (stderr, "%s\n", msg);
1299    /* ... */
1300   }
1301
1302 Out of memory errors are handled differently.  The default action is
1303 to call L<abort(3)>.  If this is undesirable, then you can set a
1304 handler using L</guestfs_set_out_of_memory_handler>.
1305
1306 L</guestfs_create> returns C<NULL> if the handle cannot be created,
1307 and because there is no handle if this happens there is no way to get
1308 additional error information.  However L</guestfs_create> is supposed
1309 to be a lightweight operation which can only fail because of
1310 insufficient memory (it returns NULL in this case).
1311
1312 =head2 guestfs_last_error
1313
1314  const char *guestfs_last_error (guestfs_h *g);
1315
1316 This returns the last error message that happened on C<g>.  If
1317 there has not been an error since the handle was created, then this
1318 returns C<NULL>.
1319
1320 The lifetime of the returned string is until the next error occurs, or
1321 L</guestfs_close> is called.
1322
1323 =head2 guestfs_last_errno
1324
1325  int guestfs_last_errno (guestfs_h *g);
1326
1327 This returns the last error number (errno) that happened on C<g>.
1328
1329 If successful, an errno integer not equal to zero is returned.
1330
1331 If no error, this returns 0.  This call can return 0 in three
1332 situations:
1333
1334 =over 4
1335
1336 =item 1.
1337
1338 There has not been any error on the handle.
1339
1340 =item 2.
1341
1342 There has been an error but the errno was meaningless.  This
1343 corresponds to the case where the error did not come from a
1344 failed system call, but for some other reason.
1345
1346 =item 3.
1347
1348 There was an error from a failed system call, but for some
1349 reason the errno was not captured and returned.  This usually
1350 indicates a bug in libguestfs.
1351
1352 =back
1353
1354 Libguestfs tries to convert the errno from inside the applicance into
1355 a corresponding errno for the caller (not entirely trivial: the
1356 appliance might be running a completely different operating system
1357 from the library and error numbers are not standardized across
1358 Un*xen).  If this could not be done, then the error is translated to
1359 C<EINVAL>.  In practice this should only happen in very rare
1360 circumstances.
1361
1362 =head2 guestfs_set_error_handler
1363
1364  typedef void (*guestfs_error_handler_cb) (guestfs_h *g,
1365                                            void *opaque,
1366                                            const char *msg);
1367  void guestfs_set_error_handler (guestfs_h *g,
1368                                  guestfs_error_handler_cb cb,
1369                                  void *opaque);
1370
1371 The callback C<cb> will be called if there is an error.  The
1372 parameters passed to the callback are an opaque data pointer and the
1373 error message string.
1374
1375 C<errno> is not passed to the callback.  To get that the callback must
1376 call L</guestfs_last_errno>.
1377
1378 Note that the message string C<msg> is freed as soon as the callback
1379 function returns, so if you want to stash it somewhere you must make
1380 your own copy.
1381
1382 The default handler prints messages on C<stderr>.
1383
1384 If you set C<cb> to C<NULL> then I<no> handler is called.
1385
1386 =head2 guestfs_get_error_handler
1387
1388  guestfs_error_handler_cb guestfs_get_error_handler (guestfs_h *g,
1389                                                      void **opaque_rtn);
1390
1391 Returns the current error handler callback.
1392
1393 =head2 guestfs_set_out_of_memory_handler
1394
1395  typedef void (*guestfs_abort_cb) (void);
1396  int guestfs_set_out_of_memory_handler (guestfs_h *g,
1397                                         guestfs_abort_cb);
1398
1399 The callback C<cb> will be called if there is an out of memory
1400 situation.  I<Note this callback must not return>.
1401
1402 The default is to call L<abort(3)>.
1403
1404 You cannot set C<cb> to C<NULL>.  You can't ignore out of memory
1405 situations.
1406
1407 =head2 guestfs_get_out_of_memory_handler
1408
1409  guestfs_abort_fn guestfs_get_out_of_memory_handler (guestfs_h *g);
1410
1411 This returns the current out of memory handler.
1412
1413 =head1 API CALLS
1414
1415 @ACTIONS@
1416
1417 =head1 STRUCTURES
1418
1419 @STRUCTS@
1420
1421 =head1 AVAILABILITY
1422
1423 =head2 GROUPS OF FUNCTIONALITY IN THE APPLIANCE
1424
1425 Using L</guestfs_available> you can test availability of
1426 the following groups of functions.  This test queries the
1427 appliance to see if the appliance you are currently using
1428 supports the functionality.
1429
1430 @AVAILABILITY@
1431
1432 =head2 GUESTFISH supported COMMAND
1433
1434 In L<guestfish(3)> there is a handy interactive command
1435 C<supported> which prints out the available groups and
1436 whether they are supported by this build of libguestfs.
1437 Note however that you have to do C<run> first.
1438
1439 =head2 SINGLE CALLS AT COMPILE TIME
1440
1441 Since version 1.5.8, C<E<lt>guestfs.hE<gt>> defines symbols
1442 for each C API function, such as:
1443
1444  #define LIBGUESTFS_HAVE_DD 1
1445
1446 if L</guestfs_dd> is available.
1447
1448 Before version 1.5.8, if you needed to test whether a single
1449 libguestfs function is available at compile time, we recommended using
1450 build tools such as autoconf or cmake.  For example in autotools you
1451 could use:
1452
1453  AC_CHECK_LIB([guestfs],[guestfs_create])
1454  AC_CHECK_FUNCS([guestfs_dd])
1455
1456 which would result in C<HAVE_GUESTFS_DD> being either defined
1457 or not defined in your program.
1458
1459 =head2 SINGLE CALLS AT RUN TIME
1460
1461 Testing at compile time doesn't guarantee that a function really
1462 exists in the library.  The reason is that you might be dynamically
1463 linked against a previous I<libguestfs.so> (dynamic library)
1464 which doesn't have the call.  This situation unfortunately results
1465 in a segmentation fault, which is a shortcoming of the C dynamic
1466 linking system itself.
1467
1468 You can use L<dlopen(3)> to test if a function is available
1469 at run time, as in this example program (note that you still
1470 need the compile time check as well):
1471
1472  #include <stdio.h>
1473  #include <stdlib.h>
1474  #include <unistd.h>
1475  #include <dlfcn.h>
1476  #include <guestfs.h>
1477  
1478  main ()
1479  {
1480  #ifdef LIBGUESTFS_HAVE_DD
1481    void *dl;
1482    int has_function;
1483  
1484    /* Test if the function guestfs_dd is really available. */
1485    dl = dlopen (NULL, RTLD_LAZY);
1486    if (!dl) {
1487      fprintf (stderr, "dlopen: %s\n", dlerror ());
1488      exit (EXIT_FAILURE);
1489    }
1490    has_function = dlsym (dl, "guestfs_dd") != NULL;
1491    dlclose (dl);
1492  
1493    if (!has_function)
1494      printf ("this libguestfs.so does NOT have guestfs_dd function\n");
1495    else {
1496      printf ("this libguestfs.so has guestfs_dd function\n");
1497      /* Now it's safe to call
1498      guestfs_dd (g, "foo", "bar");
1499      */
1500    }
1501  #else
1502    printf ("guestfs_dd function was not found at compile time\n");
1503  #endif
1504   }
1505
1506 You may think the above is an awful lot of hassle, and it is.
1507 There are other ways outside of the C linking system to ensure
1508 that this kind of incompatibility never arises, such as using
1509 package versioning:
1510
1511  Requires: libguestfs >= 1.0.80
1512
1513 =head1 CALLS WITH OPTIONAL ARGUMENTS
1514
1515 A recent feature of the API is the introduction of calls which take
1516 optional arguments.  In C these are declared 3 ways.  The main way is
1517 as a call which takes variable arguments (ie. C<...>), as in this
1518 example:
1519
1520  int guestfs_add_drive_opts (guestfs_h *g, const char *filename, ...);
1521
1522 Call this with a list of optional arguments, terminated by C<-1>.
1523 So to call with no optional arguments specified:
1524
1525  guestfs_add_drive_opts (g, filename, -1);
1526
1527 With a single optional argument:
1528
1529  guestfs_add_drive_opts (g, filename,
1530                          GUESTFS_ADD_DRIVE_OPTS_FORMAT, "qcow2",
1531                          -1);
1532
1533 With two:
1534
1535  guestfs_add_drive_opts (g, filename,
1536                          GUESTFS_ADD_DRIVE_OPTS_FORMAT, "qcow2",
1537                          GUESTFS_ADD_DRIVE_OPTS_READONLY, 1,
1538                          -1);
1539
1540 and so forth.  Don't forget the terminating C<-1> otherwise
1541 Bad Things will happen!
1542
1543 =head2 USING va_list FOR OPTIONAL ARGUMENTS
1544
1545 The second variant has the same name with the suffix C<_va>, which
1546 works the same way but takes a C<va_list>.  See the C manual for
1547 details.  For the example function, this is declared:
1548
1549  int guestfs_add_drive_opts_va (guestfs_h *g, const char *filename,
1550                                 va_list args);
1551
1552 =head2 CONSTRUCTING OPTIONAL ARGUMENTS
1553
1554 The third variant is useful where you need to construct these
1555 calls.  You pass in a structure where you fill in the optional
1556 fields.  The structure has a bitmask as the first element which
1557 you must set to indicate which fields you have filled in.  For
1558 our example function the structure and call are declared:
1559
1560  struct guestfs_add_drive_opts_argv {
1561    uint64_t bitmask;
1562    int readonly;
1563    const char *format;
1564    /* ... */
1565  };
1566  int guestfs_add_drive_opts_argv (guestfs_h *g, const char *filename,
1567               const struct guestfs_add_drive_opts_argv *optargs);
1568
1569 You could call it like this:
1570
1571  struct guestfs_add_drive_opts_argv optargs = {
1572    .bitmask = GUESTFS_ADD_DRIVE_OPTS_READONLY_BITMASK |
1573               GUESTFS_ADD_DRIVE_OPTS_FORMAT_BITMASK,
1574    .readonly = 1,
1575    .format = "qcow2"
1576  };
1577  
1578  guestfs_add_drive_opts_argv (g, filename, &optargs);
1579
1580 Notes:
1581
1582 =over 4
1583
1584 =item *
1585
1586 The C<_BITMASK> suffix on each option name when specifying the
1587 bitmask.
1588
1589 =item *
1590
1591 You do not need to fill in all fields of the structure.
1592
1593 =item *
1594
1595 There must be a one-to-one correspondence between fields of the
1596 structure that are filled in, and bits set in the bitmask.
1597
1598 =back
1599
1600 =head2 OPTIONAL ARGUMENTS IN OTHER LANGUAGES
1601
1602 In other languages, optional arguments are expressed in the
1603 way that is natural for that language.  We refer you to the
1604 language-specific documentation for more details on that.
1605
1606 For guestfish, see L<guestfish(1)/OPTIONAL ARGUMENTS>.
1607
1608 =head2 SETTING CALLBACKS TO HANDLE EVENTS
1609
1610 The child process generates events in some situations.  Current events
1611 include: receiving a log message, the child process exits.
1612
1613 Use the C<guestfs_set_*_callback> functions to set a callback for
1614 different types of events.
1615
1616 Only I<one callback of each type> can be registered for each handle.
1617 Calling C<guestfs_set_*_callback> again overwrites the previous
1618 callback of that type.  Cancel all callbacks of this type by calling
1619 this function with C<cb> set to C<NULL>.
1620
1621 =head2 guestfs_set_log_message_callback
1622
1623  typedef void (*guestfs_log_message_cb) (guestfs_h *g, void *opaque,
1624                                          char *buf, int len);
1625  void guestfs_set_log_message_callback (guestfs_h *g,
1626                                         guestfs_log_message_cb cb,
1627                                         void *opaque);
1628
1629 The callback function C<cb> will be called whenever qemu or the guest
1630 writes anything to the console.
1631
1632 Use this function to capture kernel messages and similar.
1633
1634 Normally there is no log message handler, and log messages are just
1635 discarded.
1636
1637 =head2 guestfs_set_subprocess_quit_callback
1638
1639  typedef void (*guestfs_subprocess_quit_cb) (guestfs_h *g, void *opaque);
1640  void guestfs_set_subprocess_quit_callback (guestfs_h *g,
1641                                             guestfs_subprocess_quit_cb cb,
1642                                             void *opaque);
1643
1644 The callback function C<cb> will be called when the child process
1645 quits, either asynchronously or if killed by
1646 L</guestfs_kill_subprocess>.  (This corresponds to a transition from
1647 any state to the CONFIG state).
1648
1649 =head2 guestfs_set_launch_done_callback
1650
1651  typedef void (*guestfs_launch_done_cb) (guestfs_h *g, void *opaque);
1652  void guestfs_set_launch_done_callback (guestfs_h *g,
1653                                         guestfs_launch_done_cb cb,
1654                                         void *opaque);
1655
1656 The callback function C<cb> will be called when the child process
1657 becomes ready first time after it has been launched.  (This
1658 corresponds to a transition from LAUNCHING to the READY state).
1659
1660 =head2 guestfs_set_close_callback
1661
1662  typedef void (*guestfs_close_cb) (guestfs_h *g, void *opaque);
1663  void guestfs_set_close_callback (guestfs_h *g,
1664                                   guestfs_close_cb cb,
1665                                   void *opaque);
1666
1667 The callback function C<cb> will be called while the handle
1668 is being closed (synchronously from L</guestfs_close>).
1669
1670 Note that libguestfs installs an L<atexit(3)> handler to try to
1671 clean up handles that are open when the program exits.  This
1672 means that this callback might be called indirectly from
1673 L<exit(3)>, which can cause unexpected problems in higher-level
1674 languages (eg. if your HLL interpreter has already been cleaned
1675 up by the time this is called, and if your callback then jumps
1676 into some HLL function).
1677
1678 =head2 guestfs_set_progress_callback
1679
1680  typedef void (*guestfs_progress_cb) (guestfs_h *g, void *opaque,
1681                                       int proc_nr, int serial,
1682                                       uint64_t position, uint64_t total);
1683  void guestfs_set_progress_callback (guestfs_h *g,
1684                                      guestfs_progress_cb cb,
1685                                      void *opaque);
1686
1687 Some long-running operations can generate progress messages.  If
1688 this callback is registered, then it will be called each time a
1689 progress message is generated (usually two seconds after the
1690 operation started, and three times per second thereafter until
1691 it completes, although the frequency may change in future versions).
1692
1693 The callback receives two numbers: C<position> and C<total>.
1694 The units of C<total> are not defined, although for some
1695 operations C<total> may relate in some way to the amount of
1696 data to be transferred (eg. in bytes or megabytes), and
1697 C<position> may be the portion which has been transferred.
1698
1699 The only defined and stable parts of the API are:
1700
1701 =over 4
1702
1703 =item *
1704
1705 The callback can display to the user some type of progress bar or
1706 indicator which shows the ratio of C<position>:C<total>.
1707
1708 =item *
1709
1710 0 E<lt>= C<position> E<lt>= C<total>
1711
1712 =item *
1713
1714 If any progress notification is sent during a call, then a final
1715 progress notification is always sent when C<position> = C<total>.
1716
1717 This is to simplify caller code, so callers can easily set the
1718 progress indicator to "100%" at the end of the operation, without
1719 requiring special code to detect this case.
1720
1721 =back
1722
1723 The callback also receives the procedure number and serial number of
1724 the call.  These are only useful for debugging protocol issues, and
1725 the callback can normally ignore them.  The callback may want to
1726 print these numbers in error messages or debugging messages.
1727
1728 =head1 PRIVATE DATA AREA
1729
1730 You can attach named pieces of private data to the libguestfs handle,
1731 and fetch them by name for the lifetime of the handle.  This is called
1732 the private data area and is only available from the C API.
1733
1734 To attach a named piece of data, use the following call:
1735
1736  void guestfs_set_private (guestfs_h *g, const char *key, void *data);
1737
1738 C<key> is the name to associate with this data, and C<data> is an
1739 arbitrary pointer (which can be C<NULL>).  Any previous item with the
1740 same name is overwritten.
1741
1742 You can use any C<key> you want, but names beginning with an
1743 underscore character are reserved for internal libguestfs purposes
1744 (for implementing language bindings).  It is recommended to prefix the
1745 name with some unique string to avoid collisions with other users.
1746
1747 To retrieve the pointer, use:
1748
1749  void *guestfs_get_private (guestfs_h *g, const char *key);
1750
1751 This function returns C<NULL> if either no data is found associated
1752 with C<key>, or if the user previously set the C<key>'s C<data>
1753 pointer to C<NULL>.
1754
1755 Libguestfs does not try to look at or interpret the C<data> pointer in
1756 any way.  As far as libguestfs is concerned, it need not be a valid
1757 pointer at all.  In particular, libguestfs does I<not> try to free the
1758 data when the handle is closed.  If the data must be freed, then the
1759 caller must either free it before calling L</guestfs_close> or must
1760 set up a close callback to do it (see L</guestfs_set_close_callback>,
1761 and note that only one callback can be registered for a handle).
1762
1763 The private data area is implemented using a hash table, and should be
1764 reasonably efficient for moderate numbers of keys.
1765
1766 =begin html
1767
1768 <!-- old anchor for the next section -->
1769 <a name="state_machine_and_low_level_event_api"/>
1770
1771 =end html
1772
1773 =head1 ARCHITECTURE
1774
1775 Internally, libguestfs is implemented by running an appliance (a
1776 special type of small virtual machine) using L<qemu(1)>.  Qemu runs as
1777 a child process of the main program.
1778
1779   ___________________
1780  /                   \
1781  | main program      |
1782  |                   |
1783  |                   |           child process / appliance
1784  |                   |           __________________________
1785  |                   |          / qemu                     \
1786  +-------------------+   RPC    |      +-----------------+ |
1787  | libguestfs     <--------------------> guestfsd        | |
1788  |                   |          |      +-----------------+ |
1789  \___________________/          |      | Linux kernel    | |
1790                                 |      +--^--------------+ |
1791                                 \_________|________________/
1792                                           |
1793                                    _______v______
1794                                   /              \
1795                                   | Device or    |
1796                                   | disk image   |
1797                                   \______________/
1798
1799 The library, linked to the main program, creates the child process and
1800 hence the appliance in the L</guestfs_launch> function.
1801
1802 Inside the appliance is a Linux kernel and a complete stack of
1803 userspace tools (such as LVM and ext2 programs) and a small
1804 controlling daemon called L</guestfsd>.  The library talks to
1805 L</guestfsd> using remote procedure calls (RPC).  There is a mostly
1806 one-to-one correspondence between libguestfs API calls and RPC calls
1807 to the daemon.  Lastly the disk image(s) are attached to the qemu
1808 process which translates device access by the appliance's Linux kernel
1809 into accesses to the image.
1810
1811 A common misunderstanding is that the appliance "is" the virtual
1812 machine.  Although the disk image you are attached to might also be
1813 used by some virtual machine, libguestfs doesn't know or care about
1814 this.  (But you will care if both libguestfs's qemu process and your
1815 virtual machine are trying to update the disk image at the same time,
1816 since these usually results in massive disk corruption).
1817
1818 =head1 STATE MACHINE
1819
1820 libguestfs uses a state machine to model the child process:
1821
1822                          |
1823                     guestfs_create
1824                          |
1825                          |
1826                      ____V_____
1827                     /          \
1828                     |  CONFIG  |
1829                     \__________/
1830                      ^ ^   ^  \
1831                     /  |    \  \ guestfs_launch
1832                    /   |    _\__V______
1833                   /    |   /           \
1834                  /     |   | LAUNCHING |
1835                 /      |   \___________/
1836                /       |       /
1837               /        |  guestfs_launch
1838              /         |     /
1839     ______  /        __|____V
1840    /      \ ------> /        \
1841    | BUSY |         | READY  |
1842    \______/ <------ \________/
1843
1844 The normal transitions are (1) CONFIG (when the handle is created, but
1845 there is no child process), (2) LAUNCHING (when the child process is
1846 booting up), (3) alternating between READY and BUSY as commands are
1847 issued to, and carried out by, the child process.
1848
1849 The guest may be killed by L</guestfs_kill_subprocess>, or may die
1850 asynchronously at any time (eg. due to some internal error), and that
1851 causes the state to transition back to CONFIG.
1852
1853 Configuration commands for qemu such as L</guestfs_add_drive> can only
1854 be issued when in the CONFIG state.
1855
1856 The API offers one call that goes from CONFIG through LAUNCHING to
1857 READY.  L</guestfs_launch> blocks until the child process is READY to
1858 accept commands (or until some failure or timeout).
1859 L</guestfs_launch> internally moves the state from CONFIG to LAUNCHING
1860 while it is running.
1861
1862 API actions such as L</guestfs_mount> can only be issued when in the
1863 READY state.  These API calls block waiting for the command to be
1864 carried out (ie. the state to transition to BUSY and then back to
1865 READY).  There are no non-blocking versions, and no way to issue more
1866 than one command per handle at the same time.
1867
1868 Finally, the child process sends asynchronous messages back to the
1869 main program, such as kernel log messages.  You can register a
1870 callback to receive these messages.
1871
1872 =head1 INTERNALS
1873
1874 =head2 COMMUNICATION PROTOCOL
1875
1876 Don't rely on using this protocol directly.  This section documents
1877 how it currently works, but it may change at any time.
1878
1879 The protocol used to talk between the library and the daemon running
1880 inside the qemu virtual machine is a simple RPC mechanism built on top
1881 of XDR (RFC 1014, RFC 1832, RFC 4506).
1882
1883 The detailed format of structures is in C<src/guestfs_protocol.x>
1884 (note: this file is automatically generated).
1885
1886 There are two broad cases, ordinary functions that don't have any
1887 C<FileIn> and C<FileOut> parameters, which are handled with very
1888 simple request/reply messages.  Then there are functions that have any
1889 C<FileIn> or C<FileOut> parameters, which use the same request and
1890 reply messages, but they may also be followed by files sent using a
1891 chunked encoding.
1892
1893 =head3 ORDINARY FUNCTIONS (NO FILEIN/FILEOUT PARAMS)
1894
1895 For ordinary functions, the request message is:
1896
1897  total length (header + arguments,
1898       but not including the length word itself)
1899  struct guestfs_message_header (encoded as XDR)
1900  struct guestfs_<foo>_args (encoded as XDR)
1901
1902 The total length field allows the daemon to allocate a fixed size
1903 buffer into which it slurps the rest of the message.  As a result, the
1904 total length is limited to C<GUESTFS_MESSAGE_MAX> bytes (currently
1905 4MB), which means the effective size of any request is limited to
1906 somewhere under this size.
1907
1908 Note also that many functions don't take any arguments, in which case
1909 the C<guestfs_I<foo>_args> is completely omitted.
1910
1911 The header contains the procedure number (C<guestfs_proc>) which is
1912 how the receiver knows what type of args structure to expect, or none
1913 at all.
1914
1915 For functions that take optional arguments, the optional arguments are
1916 encoded in the C<guestfs_I<foo>_args> structure in the same way as
1917 ordinary arguments.  A bitmask in the header indicates which optional
1918 arguments are meaningful.  The bitmask is also checked to see if it
1919 contains bits set which the daemon does not know about (eg. if more
1920 optional arguments were added in a later version of the library), and
1921 this causes the call to be rejected.
1922
1923 The reply message for ordinary functions is:
1924
1925  total length (header + ret,
1926       but not including the length word itself)
1927  struct guestfs_message_header (encoded as XDR)
1928  struct guestfs_<foo>_ret (encoded as XDR)
1929
1930 As above the C<guestfs_I<foo>_ret> structure may be completely omitted
1931 for functions that return no formal return values.
1932
1933 As above the total length of the reply is limited to
1934 C<GUESTFS_MESSAGE_MAX>.
1935
1936 In the case of an error, a flag is set in the header, and the reply
1937 message is slightly changed:
1938
1939  total length (header + error,
1940       but not including the length word itself)
1941  struct guestfs_message_header (encoded as XDR)
1942  struct guestfs_message_error (encoded as XDR)
1943
1944 The C<guestfs_message_error> structure contains the error message as a
1945 string.
1946
1947 =head3 FUNCTIONS THAT HAVE FILEIN PARAMETERS
1948
1949 A C<FileIn> parameter indicates that we transfer a file I<into> the
1950 guest.  The normal request message is sent (see above).  However this
1951 is followed by a sequence of file chunks.
1952
1953  total length (header + arguments,
1954       but not including the length word itself,
1955       and not including the chunks)
1956  struct guestfs_message_header (encoded as XDR)
1957  struct guestfs_<foo>_args (encoded as XDR)
1958  sequence of chunks for FileIn param #0
1959  sequence of chunks for FileIn param #1 etc.
1960
1961 The "sequence of chunks" is:
1962
1963  length of chunk (not including length word itself)
1964  struct guestfs_chunk (encoded as XDR)
1965  length of chunk
1966  struct guestfs_chunk (encoded as XDR)
1967    ...
1968  length of chunk
1969  struct guestfs_chunk (with data.data_len == 0)
1970
1971 The final chunk has the C<data_len> field set to zero.  Additionally a
1972 flag is set in the final chunk to indicate either successful
1973 completion or early cancellation.
1974
1975 At time of writing there are no functions that have more than one
1976 FileIn parameter.  However this is (theoretically) supported, by
1977 sending the sequence of chunks for each FileIn parameter one after
1978 another (from left to right).
1979
1980 Both the library (sender) I<and> the daemon (receiver) may cancel the
1981 transfer.  The library does this by sending a chunk with a special
1982 flag set to indicate cancellation.  When the daemon sees this, it
1983 cancels the whole RPC, does I<not> send any reply, and goes back to
1984 reading the next request.
1985
1986 The daemon may also cancel.  It does this by writing a special word
1987 C<GUESTFS_CANCEL_FLAG> to the socket.  The library listens for this
1988 during the transfer, and if it gets it, it will cancel the transfer
1989 (it sends a cancel chunk).  The special word is chosen so that even if
1990 cancellation happens right at the end of the transfer (after the
1991 library has finished writing and has started listening for the reply),
1992 the "spurious" cancel flag will not be confused with the reply
1993 message.
1994
1995 This protocol allows the transfer of arbitrary sized files (no 32 bit
1996 limit), and also files where the size is not known in advance
1997 (eg. from pipes or sockets).  However the chunks are rather small
1998 (C<GUESTFS_MAX_CHUNK_SIZE>), so that neither the library nor the
1999 daemon need to keep much in memory.
2000
2001 =head3 FUNCTIONS THAT HAVE FILEOUT PARAMETERS
2002
2003 The protocol for FileOut parameters is exactly the same as for FileIn
2004 parameters, but with the roles of daemon and library reversed.
2005
2006  total length (header + ret,
2007       but not including the length word itself,
2008       and not including the chunks)
2009  struct guestfs_message_header (encoded as XDR)
2010  struct guestfs_<foo>_ret (encoded as XDR)
2011  sequence of chunks for FileOut param #0
2012  sequence of chunks for FileOut param #1 etc.
2013
2014 =head3 INITIAL MESSAGE
2015
2016 When the daemon launches it sends an initial word
2017 (C<GUESTFS_LAUNCH_FLAG>) which indicates that the guest and daemon is
2018 alive.  This is what L</guestfs_launch> waits for.
2019
2020 =head3 PROGRESS NOTIFICATION MESSAGES
2021
2022 The daemon may send progress notification messages at any time.  These
2023 are distinguished by the normal length word being replaced by
2024 C<GUESTFS_PROGRESS_FLAG>, followed by a fixed size progress message.
2025
2026 The library turns them into progress callbacks (see
2027 C<guestfs_set_progress_callback>) if there is a callback registered,
2028 or discards them if not.
2029
2030 The daemon self-limits the frequency of progress messages it sends
2031 (see C<daemon/proto.c:notify_progress>).  Not all calls generate
2032 progress messages.
2033
2034 =head1 LIBGUESTFS VERSION NUMBERS
2035
2036 Since April 2010, libguestfs has started to make separate development
2037 and stable releases, along with corresponding branches in our git
2038 repository.  These separate releases can be identified by version
2039 number:
2040
2041                  even numbers for stable: 1.2.x, 1.4.x, ...
2042        .-------- odd numbers for development: 1.3.x, 1.5.x, ...
2043        |
2044        v
2045  1  .  3  .  5
2046  ^           ^
2047  |           |
2048  |           `-------- sub-version
2049  |
2050  `------ always '1' because we don't change the ABI
2051
2052 Thus "1.3.5" is the 5th update to the development branch "1.3".
2053
2054 As time passes we cherry pick fixes from the development branch and
2055 backport those into the stable branch, the effect being that the
2056 stable branch should get more stable and less buggy over time.  So the
2057 stable releases are ideal for people who don't need new features but
2058 would just like the software to work.
2059
2060 Our criteria for backporting changes are:
2061
2062 =over 4
2063
2064 =item *
2065
2066 Documentation changes which don't affect any code are
2067 backported unless the documentation refers to a future feature
2068 which is not in stable.
2069
2070 =item *
2071
2072 Bug fixes which are not controversial, fix obvious problems, and
2073 have been well tested are backported.
2074
2075 =item *
2076
2077 Simple rearrangements of code which shouldn't affect how it works get
2078 backported.  This is so that the code in the two branches doesn't get
2079 too far out of step, allowing us to backport future fixes more easily.
2080
2081 =item *
2082
2083 We I<don't> backport new features, new APIs, new tools etc, except in
2084 one exceptional case: the new feature is required in order to
2085 implement an important bug fix.
2086
2087 =back
2088
2089 A new stable branch starts when we think the new features in
2090 development are substantial and compelling enough over the current
2091 stable branch to warrant it.  When that happens we create new stable
2092 and development versions 1.N.0 and 1.(N+1).0 [N is even].  The new
2093 dot-oh release won't necessarily be so stable at this point, but by
2094 backporting fixes from development, that branch will stabilize over
2095 time.
2096
2097 =head1 EXTENDING LIBGUESTFS
2098
2099 =head2 ADDING A NEW API ACTION
2100
2101 Large amounts of boilerplate code in libguestfs (RPC, bindings,
2102 documentation) are generated, and this makes it easy to extend the
2103 libguestfs API.
2104
2105 To add a new API action there are two changes:
2106
2107 =over 4
2108
2109 =item 1.
2110
2111 You need to add a description of the call (name, parameters, return
2112 type, tests, documentation) to C<generator/generator_actions.ml>.
2113
2114 There are two sorts of API action, depending on whether the call goes
2115 through to the daemon in the appliance, or is serviced entirely by the
2116 library (see L</ARCHITECTURE> above).  L</guestfs_sync> is an example
2117 of the former, since the sync is done in the appliance.
2118 L</guestfs_set_trace> is an example of the latter, since a trace flag
2119 is maintained in the handle and all tracing is done on the library
2120 side.
2121
2122 Most new actions are of the first type, and get added to the
2123 C<daemon_functions> list.  Each function has a unique procedure number
2124 used in the RPC protocol which is assigned to that action when we
2125 publish libguestfs and cannot be reused.  Take the latest procedure
2126 number and increment it.
2127
2128 For library-only actions of the second type, add to the
2129 C<non_daemon_functions> list.  Since these functions are serviced by
2130 the library and do not travel over the RPC mechanism to the daemon,
2131 these functions do not need a procedure number, and so the procedure
2132 number is set to C<-1>.
2133
2134 =item 2.
2135
2136 Implement the action (in C):
2137
2138 For daemon actions, implement the function C<do_E<lt>nameE<gt>> in the
2139 C<daemon/> directory.
2140
2141 For library actions, implement the function C<guestfs__E<lt>nameE<gt>>
2142 (note: double underscore) in the C<src/> directory.
2143
2144 In either case, use another function as an example of what to do.
2145
2146 =back
2147
2148 After making these changes, use C<make> to compile.
2149
2150 Note that you don't need to implement the RPC, language bindings,
2151 manual pages or anything else.  It's all automatically generated from
2152 the OCaml description.
2153
2154 =head2 ADDING TESTS FOR AN API ACTION
2155
2156 You can supply zero or as many tests as you want per API call.  The
2157 tests can either be added as part of the API description
2158 (C<generator/generator_actions.ml>), or in some rarer cases you may
2159 want to drop a script into C<regressions/>.  Note that adding a script
2160 to C<regressions/> is slower, so if possible use the first method.
2161
2162 The following describes the test environment used when you add an API
2163 test in C<generator_actions.ml>.
2164
2165 The test environment has 4 block devices:
2166
2167 =over 4
2168
2169 =item C</dev/sda> 500MB
2170
2171 General block device for testing.
2172
2173 =item C</dev/sdb> 50MB
2174
2175 C</dev/sdb1> is an ext2 filesystem used for testing
2176 filesystem write operations.
2177
2178 =item C</dev/sdc> 10MB
2179
2180 Used in a few tests where two block devices are needed.
2181
2182 =item C</dev/sdd>
2183
2184 ISO with fixed content (see C<images/test.iso>).
2185
2186 =back
2187
2188 To be able to run the tests in a reasonable amount of time, the
2189 libguestfs appliance and block devices are reused between tests.  So
2190 don't try testing L</guestfs_kill_subprocess> :-x
2191
2192 Each test starts with an initial scenario, selected using one of the
2193 C<Init*> expressions, described in C<generator/generator_types.ml>.
2194 These initialize the disks mentioned above in a particular way as
2195 documented in C<generator_types.ml>.  You should not assume anything
2196 about the previous contents of other disks that are not initialized.
2197
2198 You can add a prerequisite clause to any individual test.  This is a
2199 run-time check, which, if it fails, causes the test to be skipped.
2200 Useful if testing a command which might not work on all variations of
2201 libguestfs builds.  A test that has prerequisite of C<Always> means to
2202 run unconditionally.
2203
2204 In addition, packagers can skip individual tests by setting
2205 environment variables before running C<make check>.
2206
2207  SKIP_TEST_<CMD>_<NUM>=1
2208
2209 eg: C<SKIP_TEST_COMMAND_3=1> skips test #3 of L</guestfs_command>.
2210
2211 or:
2212
2213  SKIP_TEST_<CMD>=1
2214
2215 eg: C<SKIP_TEST_ZEROFREE=1> skips all L</guestfs_zerofree> tests.
2216
2217 Packagers can run only certain tests by setting for example:
2218
2219  TEST_ONLY="vfs_type zerofree"
2220
2221 See C<capitests/tests.c> for more details of how these environment
2222 variables work.
2223
2224 =head2 DEBUGGING NEW API ACTIONS
2225
2226 Test new actions work before submitting them.
2227
2228 You can use guestfish to try out new commands.
2229
2230 Debugging the daemon is a problem because it runs inside a minimal
2231 environment.  However you can fprintf messages in the daemon to
2232 stderr, and they will show up if you use C<guestfish -v>.
2233
2234 =head2 FORMATTING CODE AND OTHER CONVENTIONS
2235
2236 Our C source code generally adheres to some basic code-formatting
2237 conventions.  The existing code base is not totally consistent on this
2238 front, but we do prefer that contributed code be formatted similarly.
2239 In short, use spaces-not-TABs for indentation, use 2 spaces for each
2240 indentation level, and other than that, follow the K&R style.
2241
2242 If you use Emacs, add the following to one of one of your start-up files
2243 (e.g., ~/.emacs), to help ensure that you get indentation right:
2244
2245  ;;; In libguestfs, indent with spaces everywhere (not TABs).
2246  ;;; Exceptions: Makefile and ChangeLog modes.
2247  (add-hook 'find-file-hook
2248      '(lambda () (if (and buffer-file-name
2249                           (string-match "/libguestfs\\>"
2250                               (buffer-file-name))
2251                           (not (string-equal mode-name "Change Log"))
2252                           (not (string-equal mode-name "Makefile")))
2253                      (setq indent-tabs-mode nil))))
2254  
2255  ;;; When editing C sources in libguestfs, use this style.
2256  (defun libguestfs-c-mode ()
2257    "C mode with adjusted defaults for use with libguestfs."
2258    (interactive)
2259    (c-set-style "K&R")
2260    (setq c-indent-level 2)
2261    (setq c-basic-offset 2))
2262  (add-hook 'c-mode-hook
2263            '(lambda () (if (string-match "/libguestfs\\>"
2264                                (buffer-file-name))
2265                            (libguestfs-c-mode))))
2266
2267 Enable warnings when compiling (and fix any problems this
2268 finds):
2269
2270  ./configure --enable-gcc-warnings
2271
2272 Useful targets are:
2273
2274  make syntax-check  # checks the syntax of the C code
2275  make check         # runs the test suite
2276
2277 =head2 DAEMON CUSTOM PRINTF FORMATTERS
2278
2279 In the daemon code we have created custom printf formatters C<%Q> and
2280 C<%R>, which are used to do shell quoting.
2281
2282 =over 4
2283
2284 =item %Q
2285
2286 Simple shell quoted string.  Any spaces or other shell characters are
2287 escaped for you.
2288
2289 =item %R
2290
2291 Same as C<%Q> except the string is treated as a path which is prefixed
2292 by the sysroot.
2293
2294 =back
2295
2296 For example:
2297
2298  asprintf (&cmd, "cat %R", path);
2299
2300 would produce C<cat /sysroot/some\ path\ with\ spaces>
2301
2302 I<Note:> Do I<not> use these when you are passing parameters to the
2303 C<command{,r,v,rv}()> functions.  These parameters do NOT need to be
2304 quoted because they are not passed via the shell (instead, straight to
2305 exec).  You probably want to use the C<sysroot_path()> function
2306 however.
2307
2308 =head2 SUBMITTING YOUR NEW API ACTIONS
2309
2310 Submit patches to the mailing list:
2311 L<http://www.redhat.com/mailman/listinfo/libguestfs>
2312 and CC to L<rjones@redhat.com>.
2313
2314 =head2 INTERNATIONALIZATION (I18N) SUPPORT
2315
2316 We support i18n (gettext anyhow) in the library.
2317
2318 However many messages come from the daemon, and we don't translate
2319 those at the moment.  One reason is that the appliance generally has
2320 all locale files removed from it, because they take up a lot of space.
2321 So we'd have to readd some of those, as well as copying our PO files
2322 into the appliance.
2323
2324 Debugging messages are never translated, since they are intended for
2325 the programmers.
2326
2327 =head2 SOURCE CODE SUBDIRECTORIES
2328
2329 =over 4
2330
2331 =item C<appliance>
2332
2333 The libguestfs appliance, build scripts and so on.
2334
2335 =item C<capitests>
2336
2337 Automated tests of the C API.
2338
2339 =item C<cat>
2340
2341 The L<virt-cat(1)>, L<virt-filesystems(1)> and L<virt-ls(1)> commands
2342 and documentation.
2343
2344 =item C<contrib>
2345
2346 Outside contributions, experimental parts.
2347
2348 =item C<daemon>
2349
2350 The daemon that runs inside the libguestfs appliance and carries out
2351 actions.
2352
2353 =item C<df>
2354
2355 L<virt-df(1)> command and documentation.
2356
2357 =item C<examples>
2358
2359 C API example code.
2360
2361 =item C<fish>
2362
2363 L<guestfish(1)>, the command-line shell.
2364
2365 =item C<fuse>
2366
2367 L<guestmount(1)>, FUSE (userspace filesystem) built on top of libguestfs.
2368
2369 =item C<generator>
2370
2371 The crucially important generator, used to automatically generate
2372 large amounts of boilerplate C code for things like RPC and bindings.
2373
2374 =item C<images>
2375
2376 Files used by the test suite.
2377
2378 Some "phony" guest images which we test against.
2379
2380 =item C<inspector>
2381
2382 L<virt-inspector(1)>, the virtual machine image inspector.
2383
2384 =item C<m4>
2385
2386 M4 macros used by autoconf.
2387
2388 =item C<po>
2389
2390 Translations of simple gettext strings.
2391
2392 =item C<po-docs>
2393
2394 The build infrastructure and PO files for translations of manpages and
2395 POD files.  Eventually this will be combined with the C<po> directory,
2396 but that is rather complicated.
2397
2398 =item C<regressions>
2399
2400 Regression tests.
2401
2402 =item C<rescue>
2403
2404 L<virt-rescue(1)> command and documentation.
2405
2406 =item C<src>
2407
2408 Source code to the C library.
2409
2410 =item C<tools>
2411
2412 Command line tools written in Perl (L<virt-resize(1)> and many others).
2413
2414 =item C<test-tool>
2415
2416 Test tool for end users to test if their qemu/kernel combination
2417 will work with libguestfs.
2418
2419 =item C<csharp>
2420
2421 =item C<haskell>
2422
2423 =item C<java>
2424
2425 =item C<ocaml>
2426
2427 =item C<php>
2428
2429 =item C<perl>
2430
2431 =item C<python>
2432
2433 =item C<ruby>
2434
2435 Language bindings.
2436
2437 =back
2438
2439 =head1 ENVIRONMENT VARIABLES
2440
2441 =over 4
2442
2443 =item LIBGUESTFS_APPEND
2444
2445 Pass additional options to the guest kernel.
2446
2447 =item LIBGUESTFS_DEBUG
2448
2449 Set C<LIBGUESTFS_DEBUG=1> to enable verbose messages.  This
2450 has the same effect as calling C<guestfs_set_verbose (g, 1)>.
2451
2452 =item LIBGUESTFS_MEMSIZE
2453
2454 Set the memory allocated to the qemu process, in megabytes.  For
2455 example:
2456
2457  LIBGUESTFS_MEMSIZE=700
2458
2459 =item LIBGUESTFS_PATH
2460
2461 Set the path that libguestfs uses to search for kernel and initrd.img.
2462 See the discussion of paths in section PATH above.
2463
2464 =item LIBGUESTFS_QEMU
2465
2466 Set the default qemu binary that libguestfs uses.  If not set, then
2467 the qemu which was found at compile time by the configure script is
2468 used.
2469
2470 See also L</QEMU WRAPPERS> above.
2471
2472 =item LIBGUESTFS_TRACE
2473
2474 Set C<LIBGUESTFS_TRACE=1> to enable command traces.  This
2475 has the same effect as calling C<guestfs_set_trace (g, 1)>.
2476
2477 =item TMPDIR
2478
2479 Location of temporary directory, defaults to C</tmp>.
2480
2481 If libguestfs was compiled to use the supermin appliance then the
2482 real appliance is cached in this directory, shared between all
2483 handles belonging to the same EUID.  You can use C<$TMPDIR> to
2484 configure another directory to use in case C</tmp> is not large
2485 enough.
2486
2487 =back
2488
2489 =head1 SEE ALSO
2490
2491 L<guestfs-examples(3)>,
2492 L<guestfs-ocaml(3)>,
2493 L<guestfs-python(3)>,
2494 L<guestfs-ruby(3)>,
2495 L<guestfish(1)>,
2496 L<guestmount(1)>,
2497 L<virt-cat(1)>,
2498 L<virt-df(1)>,
2499 L<virt-edit(1)>,
2500 L<virt-filesystems(1)>,
2501 L<virt-inspector(1)>,
2502 L<virt-list-filesystems(1)>,
2503 L<virt-list-partitions(1)>,
2504 L<virt-ls(1)>,
2505 L<virt-make-fs(1)>,
2506 L<virt-rescue(1)>,
2507 L<virt-tar(1)>,
2508 L<virt-win-reg(1)>,
2509 L<qemu(1)>,
2510 L<febootstrap(1)>,
2511 L<hivex(3)>,
2512 L<http://libguestfs.org/>.
2513
2514 Tools with a similar purpose:
2515 L<fdisk(8)>,
2516 L<parted(8)>,
2517 L<kpartx(8)>,
2518 L<lvm(8)>,
2519 L<disktype(1)>.
2520
2521 =head1 BUGS
2522
2523 To get a list of bugs against libguestfs use this link:
2524
2525 L<https://bugzilla.redhat.com/buglist.cgi?component=libguestfs&product=Virtualization+Tools>
2526
2527 To report a new bug against libguestfs use this link:
2528
2529 L<https://bugzilla.redhat.com/enter_bug.cgi?component=libguestfs&product=Virtualization+Tools>
2530
2531 When reporting a bug, please check:
2532
2533 =over 4
2534
2535 =item *
2536
2537 That the bug hasn't been reported already.
2538
2539 =item *
2540
2541 That you are testing a recent version.
2542
2543 =item *
2544
2545 Describe the bug accurately, and give a way to reproduce it.
2546
2547 =item *
2548
2549 Run libguestfs-test-tool and paste the B<complete, unedited>
2550 output into the bug report.
2551
2552 =back
2553
2554 =head1 AUTHORS
2555
2556 Richard W.M. Jones (C<rjones at redhat dot com>)
2557
2558 =head1 COPYRIGHT
2559
2560 Copyright (C) 2009-2010 Red Hat Inc.
2561 L<http://libguestfs.org/>
2562
2563 This library is free software; you can redistribute it and/or
2564 modify it under the terms of the GNU Lesser General Public
2565 License as published by the Free Software Foundation; either
2566 version 2 of the License, or (at your option) any later version.
2567
2568 This library is distributed in the hope that it will be useful,
2569 but WITHOUT ANY WARRANTY; without even the implied warranty of
2570 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
2571 Lesser General Public License for more details.
2572
2573 You should have received a copy of the GNU Lesser General Public
2574 License along with this library; if not, write to the Free Software
2575 Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA